Ereigniskamera und KI erkennen Fussgänger und Hindernisse viel schneller

Künstliche Intelligenz in Kombination mit einer neuartigen, vom menschlichen Auge inspirierten Kamera erkennt Verkehrsteilnehmer und Hindernisse hundertmal schneller als aktuelle Autokameras. Das neue System kann die Sicherheit von Automobilsystemen und autonomen Fahrzeugen erheblich verbessern, wie Forschende der Universität Zürich zeigen.

Das Bild zeigt sowohl Farbinformationen von der Farbkamera als auch Ereignisse (blaue und rote Punkte) von der Ereigniskamera; die Begrenzungskästen zeigen die Erkennung von Autos durch den Algorithmus. (c) Gruppe Robotik und Wahrnehmung, Universität Zürich

Es ist der Alptraum eines jeden Autofahrers: Ein Fussgänger, der scheinbar aus dem Nichts vor das Auto tritt. Es bleibt nur der Bruchteil einer Sekunde, um zu bremsen oder auszuweichen und so das Schlimmste zu verhindern. Einige Autos verfügen heute über Kamerasysteme, die die Fahrenden warnen oder eine Notbremsung einleiten können. Aber diese Systeme sind noch nicht schnell und zuverlässig genug, um in autonomen Fahrzeugen eingesetzt zu werden.

Schnellere Erkennung mit weniger Rechenleistung

Daniel Gehrig und Davide Scaramuzza vom Institut für Informatik der Universität Zürich (UZH) haben nun ein System entwickelt, das eine neuartige, biologisch inspirierte Kamera mit künstlicher Intelligenz kombiniert. Dieses kann Hindernisse in der Umgebung eines Autos viel schneller und mit weniger Rechenleistung erkennen als aktuelle Systeme, wie die beiden Forscher in der neuesten Ausgabe des Wissenschaftsjournals Nature zeigen.

Die meisten aktuellen Kameras sind bildbasiert: Sie machen in regelmässigen Abständen Schnappschüsse. Die Fahrerassistenz in Autos nimmt in der Regel 30 bis 50 Bilder pro Sekunde auf. Ein künstliches neuronales Netz kann darauf trainiert werden, Objekte auf diesen Bildern zu erkennen – etwa Fussgänger, Fahrräder und andere Fahrzeuge. «Wenn aber in den 20 oder 30 Millisekunden zwischen zwei Schnappschüssen etwas passiert, sieht es die Kamera womöglich zu spät. Die Lösung wäre, die Bildrate zu erhöhen. Aber das bedeutet mehr Daten, die in Echtzeit verarbeitet werden müssen, und somit mehr Rechenleistung», sagt Daniel Gehrig, Erstautor der Studie.

Das Beste aus zwei Kameratypen mit KI kombinieren

Ereigniskameras beruhen auf einem anderen Prinzip: Sie verfügen über intelligente Pixel, die jedes Mal Informationen aufzeichnen, wenn sie schnelle Bewegungen erkennen. «Auf diese Weise haben sie keinen blinden Fleck zwischen den einzelnen Bildern – sie können Hindernisse schneller erkennen. Man nennt sie auch neuromorphe Kameras, weil sie nachahmen, wie das menschliche Auge Bilder wahrnimmt», sagt Davide Scaramuzza, Leiter der Forschungsgruppe für Robotik und Wahrnehmung. Allerdings haben auch sie Schwächen: Sie können Dinge übersehen, die sich langsam bewegen. Und ihre Bilder lassen sich nicht so leicht in die übliche Datenform zum Trainieren des KI-Algorithmus umwandeln.

Mit einem Hybridsystem haben Gehrig und Scaramuzza das Beste aus beiden Welten vereint: Es umfasst eine Standardkamera, die 20 Bilder pro Sekunde aufnimmt – eine relativ niedrige Bildrate im Vergleich zu den derzeit verwendeten Kameras. Die Bilder werden von einem KI-System verarbeitet, das darauf trainiert ist, Autos oder Fussgänger zu erkennen. Die Daten der Ereigniskamera sind mit einer anderen Art von KI-System gekoppelt, das sich besonders gut für die Analyse von 3D-Daten eignet, die sich im Laufe der Zeit verändern.

Was die Ereigniskamera sieht, wird verwendet, um zu antizipieren, was die Standardkamera erkennt, um deren Leistung zu steigern. «Das Ergebnis ist ein visueller Detektor, der Objekte genauso schnell erkennen kann wie eine Standardkamera, die 5’000 Bilder pro Sekunde aufnimmt. Aber sie braucht nur dieselbe Bandbreite wie eine Standardkamera mit 50 Bildern pro Sekunde», sagt Daniel Gehrig.

Hundertmal schnellere Detektion mit weniger Daten

Das Team testete das System im Vergleich zu den besten, derzeit auf dem Automobilmarkt erhältlichen Kameras und visuellen Algorithmen. Resultat: Die Detektion von Ereignissen erfolgt hundertmal schneller. Gleichzeitig ist die zwischen Kamera und Bordcomputer zu übertragende Datenmenge und die für die Bildverarbeitung erforderliche Rechenleistung reduziert, ohne die Genauigkeit zu beeinträchtigen. Massgebend ist, dass das System Autos und Fussgänger, die zwischen zwei aufeinanderfolgenden Bildern der Standardkamera in das Sichtfeld eindringen, effektiv erkennen kann – vor allem bei hohen Geschwindigkeiten.

Die Methode könnte in Zukunft noch leistungsfähiger werden, wenn Kameras mit LiDAR-Sensoren wie in selbstfahrenden Autos integriert werden. «Solche hybride Systeme könnten entscheidend sein, die notwendige Sicherheit für autonomes Fahren zu ermöglichen ohne erheblichen Anstieg der Daten- und Rechenleistung», sagt Davide Scaramuzza.

Wissenschaftliche Ansprechpartner:

Prof. Dr. Davide Scaramuzza
Robotics and Perception Group
Institut für Informatik
Universität Zürich
Tel. +41 44 635 24 09
E-Mail: sdavide@ifi.uzh.ch

Originalpublikation:

Daniel Gehrig, Davide Scaramuzza. Low Latency Automotive Vision with Event Cameras. Nature. 29 May 2024. DOI: 10.1038/s41586-024-07409-w

Weitere Informationen:

https://www.news.uzh.ch/de/articles/media/2024/Zwei-Kameras-plus-KI.html