Soziale Kompetenz für autonome Autos

KI-System deutet Fußgängerverhalten, um Interaktion zwischen Auto und Passanten zu ermöglichen.

Autofahren ist mehr als Gas geben, lenken und bremsen: Eine entscheidende Rolle spielt die Verständigung mit anderen Verkehrsteilnehmern. Das autonome Fahrzeug der Zukunft muss deshalb unter anderem mit Fußgängern interagieren. Dazu muss es erkennen, welche Passanten relevant werden könnten, um sodann deren Verhalten zu erfassen und zu deuten. Ein Prototyp eines Systems, das mittels Künstlicher Intelligenz genau das leisten soll, hat nun das Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB in Karlsruhe vorgestellt.

Will der Fußgänger die Straße überqueren oder nicht? Das ist für Manuel Martin eine Schlüsselfrage für seine Forschung. Was ein menschlicher Autofahrer in der Regel intuitiv und ohne nachzudenken wahrnimmt, etwa anhand von Standort, Blickrichtung und Gestik, muss ein autonomes Fahrzeug erst beigebracht bekommen, um auch in einem Wohngebiet oder vor einer Schule sicher eigenständig agieren zu können. Verfahren der Künstlichen Intelligenz (KI) bieten das Potenzial, Videobilder dahingehend zu analysieren – aber müssen erst anhand großer Mengen an Trainingsdaten lernen, die richtigen Schlüsse zu ziehen. Genau daran arbeitet der Diplom-Informatiker und wissenschaftliche Mitarbeiter des Fraunhofer IOSB im Rahmen des Forschungsprojekts »Intelligente Mensch-Technik-Kommunikation im gemischten Verkehr«, kurz INITIATIVE.

»Wir haben mittlerweile einen Forschungs-Prototypen umgesetzt, der abschätzt, ob ein Fußgänger die Straße überqueren möchte, seine Gesten analysiert und somit die Grundlage für die Interaktion schafft«, erklärt Martin. Das System bestehe aus einer Stereokamera, die räumlich »sehen« und somit die genaue Position von Passanten erfassen könne, und einem KI-Algorithmus, der die Positionen der Gliedmaßen erfasse und daraus Schlüsse ziehe. »Dieses System haben wir bei einer Projektpräsentation anlässlich der Halbzeit von INITIATIVE erfolgreich demonstriert«, so der IOSB-Forscher. »Nun geht es darum, die KI weiter zu trainieren und das System insgesamt zu verfeinern, damit es in allen denkbaren Situationen die Absichten der Fußgänger möglichst zutreffend erkennen kann.«

Erfassung des Verhaltens von Insassen und anderen Verkehrsteilnehmern aus einer Hand

Das Fraunhofer IOSB vollzieht damit den Brückenschlag zwischen der Beobachtung des Fahrzeuginnen- und des Außenraums, wie der Leiter der Forschungsgruppe »Perceptual User Interfaces«, Dr. Michael Voit, hervorhebt: »Was bisher getrennte Welten waren, bringen wir nun zusammen: Die intelligente Erfassung des Verhaltens von Fahrer und gegebenenfalls Beifahrern durch unser Advanced Occupant Monitoring System – und die Erfassung anderer Verkehrsteilnehmer und ihrer Intentionen im Rahmen von INITIATIVE.« Damit sei nun auch die Erfassung von Interaktionen zwischen Fahrer und Passanten möglich, was wiederum den Zugang zu neuen Forschungsfragen und Anwendungen eröffnet.

Auch im Forschungsprojekt INITIATIVE ist die Erkennung von Fußgänger-Intentionen nur ein Puzzleteil – das große Ziel ist hier, KI-gestützt die adaptive Kommunikation verschiedener Verkehrsteilnehmer zu ermöglichen, um automatisierte Fahrzeuge in gemischte Verkehrsszenarien integrieren zu können. Dazu sollen letztlich umfassende Kommunikationsschnittstellen für die Interaktion des Fahrzeugs sowohl mit sonstigen Verkehrsteilnehmern als auch mit seinen eigenen Insassen entwickelt werden. Bei-spielsweise soll das Auto einem überquerungswilligen Fußgänger mittels einer unmiss-verständlichen Leuchtanzeige mitteilen können, dass es anhalten wird oder vorbeifahren möchte. Gestartet im April 2021, wird INITIATIVE vom Bundesministerium für Wirtschaft über drei Jahre mit insgesamt gut 4 Millionen Euro gefördert. Beteiligt an dem Projekt sind außerdem der Lichttechnik- und Elektronik-Zulieferer HELLA GmbH & Co. KGaA (Koordination), das Würzburger Institut für Verkehrswissenschaften (WIVW), die Electric Special Photronicsysteme GmbH, die version 1 GmbH, das Institut für Rechtsinformatik der Universität des Saarlandes sowie das Lichttechnische Institut und das Institut für Regelungs- und Steuerungssysteme des Karlsruher Instituts für Technologie (KIT).

Die Fraunhofer-Gesellschaft ist die weltweit führende Organisation für anwendungsorientierte Forschung. Unter ihrem Dach arbeiten 76 Institute und Forschungseinrichtungen an Standorten in ganz Deutschland. Eines davon ist das Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB mit rund 800 Mitarbeitenden in Karlsruhe, Ettlingen, Ilmenau, Lemgo, Görlitz, Rostock und Peking. Zu seinen Schwerpunkten zählen das industrielle Internet der Dinge, Informationsmanagement, bildgebende Sensoren und die automatisierte Auswertung der anfallenden Daten, bis hin zur Entwicklung von Entscheidungsunterstützungssystemen und (teil-)autonomen Systemen, sowie die Nutzbarmachung Künstlicher Intelligenz in praktischen Anwendungen. www.iosb.fraunhofer.de

Kontakt

Ulrich Pontes | Leiter Presse und Kommunikation | Telefon +49 721 6091-301 | ulrich.pontes@iosb.fraunhofer.de | Fraunhoferstr. 1 | 76131 Karlsruhe | www.iosb.fraunhofer.de

Wissenschaftliche Ansprechpartner:

Dr. Michael Voit | +49 721 6091-449 | michael.voit@iosb.fraunhofer.de

Weitere Informationen:

https://www.iosb.fraunhofer.de/de/presse/presseinformationen/2022/initiative-aut…