Handysteuerung mit Gesichtsgesten

Moderne Mobilgeräte werden meist mithilfe eines Touchscreens gesteuert. Im Alltag gibt es jedoch viele Situationen, in denen sich diese Art der Bedienung nicht umsetzen lässt. Trägt man zum Beispiel Handschuhe oder hat die Hände mit Einkäufen voll, ist das Nutzen von Smartphone und Co. nur schwer möglich.

Wissenschaftler des Fraunhofer IGD suchen daher nach alternativen Konzepten zur Steuerung mobiler Geräte. Naheliegend ist die Steuerung via Sprache. Doch Herausforderungen wie Umgebungslärm sowie die soziale Akzeptanz setzen der Sprachsteuerung enge Grenzen. Die Lösung der Fraunhofer-Experten: Die Steuerung über Kopf- und Gesichtsgesten wie Augenzwinkern, Lächeln oder Nicken.

EarFS misst das Lächeln im Ohr

Im Rahmen der Erforschung berührungsloser Steuerung für mobile Szenarien evaluierten die Rostocker Forscher und Forscherinnen verschiedene Technologien, mit denen Kopf- sowie Gesichtsbewegungen ausgelesen werden können. Dabei kam besonders der Alltagstauglichkeit große Bedeutung zu. So sind zum Beispiel Systeme, die Gesten mithilfe von Sensoren direkt im Gesicht ablesen, zwar sehr genau und in der Lage, eine große Zahl an Gesten zu erkennen.

Allerdings sind sie derart auffällig und unangenehm zu tragen, dass sie sich nicht für den täglichen Gebrauch in der Öffentlichkeit eignen. Dafür bedarf es möglichst unauffälliger Systeme wie zum Beispiel EarFS, einer Eigenentwicklung des Fraunhofer IGD. Dabei handelt es sich um einen speziellen Ohrstöpsel, der die Muskelströme und Verformungen des Ohrkanals misst, die bei Gesichtsbewegungen auftreten. Der Sensor registriert bereits kleinste Bewegungen im Gesicht durch die Art, wie sich die Form des Ohrkanals verändert, und misst Muskelströme, die bei der Bewegung des Gesichts oder des Kopfes entstehen.

»Die Herausforderung war, dass diese Ströme und Bewegungen mitunter sehr klein sind und verstärkt werden müssen«, erklärt Denys Matthies, Wissenschaftler am Fraunhofer IDG. »Außerdem dürfen die Sensoren sich nicht von anderen Bewegungen des Körpers, zum Beispiel den Erschütterungen beim Gehen oder von externen Interferenzen stören lassen. Dafür wurde eine zusätzliche Referenzelektrode an das Ohrläppchen angebracht, die die von außen kommenden Signale registriert.« Die im Inneren des Ohrs erfassten Signale werden mit den von außen kommenden Signalen abgeglichen – das verbleibende Nutzsignal ermöglicht eine eindeutige Gesichtsgestenidentifizierung, selbst wenn der EarFS-Träger sich bewegt.

Zahlreiche Einsatz- und Weiterentwicklungsmöglichkeiten

EarFS ermöglicht nicht nur Mikrointeraktionen mit dem Smartphone wie etwa das Annehmen und Ablehnen von Telefonanrufen oder die Steuerung des Music-Players. Die Auswertung der Gesichtsbewegungen erlaubt auch Rückschlüsse auf Müdigkeit, Anstrengung und andere Gemütszustände des Nutzers. Dadurch könnten Smartphones beispielsweise Autofahrer warnen, wenn verstärkt Zeichen von Müdigkeit und Erschöpfung registriert werden, oder sich automatisch lautlos stellen, wenn ihr Besitzer hoch konzentriert arbeitet.

Denkbar ist der Einsatz der Technologie auch im medizinischen Bereich. Zum Beispiel könnte sie Menschen mit Locked-in-Syndrom helfen, leichter zu kommunizieren, indem sie ihnen ermöglicht, Computer mit Gesichtsbewegungen zu steuern. Doch damit ist das Potenzial von EarFS noch lange nicht erschöpft.

»Das Differential Amplification Sensing, also das Verstärken von Muskelströmen und Ohrkanalverformungen bei gleichzeitigem Herausfiltern von externen Signalen, füllt eine Forschungslücke«, so Matthies. »Mit der Technologie können wir auch an anderen Stellen des Körpers Aktivitäten ablesen und von externen Signalen trennen: Dies eröffnet uns weitere Einsatzmöglichkeiten, darunter die komplementäre Steuerung von Maschinen in der Industrie 4.0.«

Kontakt

Daniela Welling

Fraunhofer-Institut für Graphische Datenverarbeitung IGD
Fraunhoferstr. 5
64283 Darmstadt

Telefon +49 6151 155-146