Aktivitätserkennung im Fahrzeuginnenraum

Automatisiertes Fahren…

Ist der Autofahrer müde oder schläft er gar? Kameras im Innenraum überprüfen dies bereits. Wichtig und vom Gesetzgeber vorgeschrieben werden Innenraumkameras insbesondere beim automatisierten Fahren. Ein neues System des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB leitet aus den Bilddaten erstmals Aussagen zu den Aktivitäten des Fahrers ab und analysiert, wie schnell dieser die Steuerung übernehmen könnte.

Beim automatisierten Fahren entscheidet das Fahrzeug, was es tun muss – es lenkt, bremst und beschleunigt. Bis es jedoch so weit ist, dass Fahrzeuge gänzlich auf einen Fahrer verzichten können, werden teilautomatisierte Fahrzeuge den Wagenlenker unterstützen und ihm zunehmend mehr Freiheiten verleihen. Naturgemäß sind bei teilautomatisierten Fahrzeugen Übergaben zwischen Auto und Fahrer nötig, etwa bei einer Baustelle auf der Autobahn oder beim Übergang in den Stadtverkehr nach einer Autobahnfahrt. Das Fahrzeug muss also nicht nur intelligent werden, um den Verkehr zu interpretieren, sondern auch nach innen schauen und mit dem Fahrer in den Dialog treten. Was macht der Fahrer gerade? Wie schnell könnte er die Steuerung des Fahrzeugs übernehmen? Zwar gibt es bereits Fahrerbeobachtungssysteme, diese nutzen jedoch bisher kaum Kamerabilddaten und beschränken sich vorwiegend auf die Erkennung von Müdigkeit.

Künstliche Intelligenz erkennt, was der Fahrer tut

Dem Dialog zwischen Fahrer und Auto widmen sich die Forscherinnen und Forscher am Fraunhofer IOSB – und füllen damit diese Lücke. »Mit unserer Technologie erkennen wir nicht nur das Gesicht, sondern vielmehr die aktuellen Posen des Fahrers und der Mitfahrer«, sagt Dr. Michael Voit, Gruppenleiter am Fraunhofer IOSB. »Aus diesen Posen wiederum können wir zuverlässig bestimmen, womit sich Fahrer und Insassen gerade beschäftigen.«

Der Kern der Entwicklung liegt in Algorithmen und Verfahren des maschinellen Lernens, also der Künstlichen Intelligenz. Die Algorithmen analysieren die Kameradaten in Echtzeit und finden heraus, ob der Fahrer telefoniert, mit den Kindern spielt oder auf das Handy des Mitfahrers schaut. Die Technologie des Fraunhofer IOSB geht damit über die reine Bilderkennung hinaus und interpretiert Aktivitäten im Kontext. Die Forscherinnen und Forscher haben das System zunächst angelernt, indem sie zahlreiche Kameraaufnahmen per Hand annotierten: Wo befinden sich Hände, Füße, Schultern der Personen, wo sind Objekte wie Smartphones, Bücher und Co. zu erkennen? Anschließend evaluierten sie die Algorithmen mit neuen Bildern und korrigierten oder verifizierten deren Ergebnisse.

Aufnahmen des Fahrers oder der Insassen abstrahiert das System zu einem digitalen Skelett – einer Art Strichmännchen, das die Körperpose der Person nachbildet. Aus der Skelettbewegung und einer ergänzenden Objekterkennung wiederum schließt es auf die Aktivität. »Die Algorithmen wissen also, ob jemand schläft oder auf die Straße blickt, wie abgelenkt die Person ist und wie lange es dauert, bis die volle Aufmerksamkeit wieder auf den Verkehr gerichtet werden kann«, erläutert Voit. Hierfür werden sowohl klassische Videokameras unterstützt als auch Infrarotkameras, die im Dunkeln sehen können, sowie 3D-Kameras, die die Entfernung der Objekte zur Kamera messen. Auch bei der Platzierung der Kameras lässt das System den Innenraumdesignern Freiheit.

Fragen rund um die Aktivitätserkennung im Fahrzeuginnenraum bearbeiten die Forscherinnen und Forscher in zahlreichen Verbundprojekten mit namhaften Autoherstellern wie Audi und Volkswagen, aber auch Zulieferern wie Bosch und Continental. Die Projekte werden durch das Bundesministerium für Bildung und Forschung BMBF, das Bundesministerium für Wirtschaft und Energie BMWi oder das Bundesministerium für Verkehr und digitale Infrastruktur BMVI unterstützt. »Wir erkennen nicht nur die Aktivitäten des Fahrers, sondern aller Insassen im gesamten Fahrzeuginnenraum«, bekräftigt Voit. »Die Technologie ist bereit für die Vorserie. Wir stehen schon im ersten Kontakt mit Unternehmen, die unsere Technologie nutzen wollen.« Bindeglied der Entwicklungen ist der institutseigene Fahrsimulator, von dem Industriekunden auch im Rahmen individueller F&E-Projekte profitieren können. Dank simulierbarer Verkehrssituationen bietet er die Grundlage für das Sammeln relevanter Fahrt- und Verhaltensdaten und ermöglicht mit seiner umfangreichen Sensorausstattung Studien für alle Insassen.

Für Datenschutz ist gesorgt

Was Datenschutz- und Sicherheitsaspekte angeht, so denken die Forscherinnen und Forscher diese von Anfang an mit. »Die Kameradaten werden in Echtzeit ausgewertet, nicht gespeichert und verlassen zu keinem Zeitpunkt das Fahrzeug. Personalisierte Modelle werden dafür ebenso wenig benötigt – somit werden keine personenbezogenen Daten gesammelt«, sagt Dr. Pascal Birnstill, Senior Scientist, zu den Themen Datensicherheit, Datenschutz und Transparenz am Fraunhofer IOSB. Die Technologie respektiert also von vornherein die Privatsphäre und entspricht damit den strengen Regularien und dem hohen Datenschutzbewusstsein in der EU.

Zahlreiche Anwendungen – auch jenseits der Aktivitätserkennung

Wie wichtig Aktivitätserkennungen sind, zeigt eine Verordnung der EU: Das »Driver Monitoring« soll bei der Automatisierung des Autos verpflichtend werden. Mit der Technologie aus dem Fraunhofer IOSB können Fahrzeughersteller nicht nur diese Richtlinie erfüllen, sondern zudem zahlreiche Visionen in puncto autonomes Fahren Realität werden lassen. Ein Beispiel: Spracherkennung stößt bei der Kommunikation von Mensch und Auto schnell an ihre Grenzen. So ist der Befehl »Park dort ein« für sich genommen nicht aussagekräftig. Über die Körperposen- und Aktivitätserkennung weiß das System jedoch, auf welche Parklücke der Nutzer in dem Moment zeigt. Auch bei Sicherheitsaspekten von fahrerlosen Fahrzeugen kann das System helfen: Während derzeit die Fahrenden noch darauf achten, dass alle Mitfahrer die Sicherheitsregeln einhalten und sich beispielsweise anschnallen, wird dies künftig das fahrerlose Fahrzeug übernehmen müssen – etwa bei autonom fahrenden Taxis oder Bussen. Auch hier ist eine zuverlässige Innenraumüberwachung unverzichtbar.

Weitere Informationen:

https://www.fraunhofer.de/de/presse/presseinformationen/2021/september-2021/akti…