Neues miniaturisiertes Weitwinkel-3D-Kamerasystem

Neue Mini-3D-Kamera schafft wichtige Voraussetzung für die nächste Stufe des autonomen Fahrens.

In einem gemeinsamen Forschungsvorhaben mit Automobilhersteller BMW haben Forschende des Fraunhofer-Instituts für Angewandte Optik und Feinmechanik IOF ein miniaturisiertes Weitwinkel-3D-Kamerasystem entwickelt. Die Kamera soll künftig den Innenraum von autonom fahrenden Fahrzeugen mittels 3D-Sensorik überwachen und so für mehr Sicherheit im Straßenverkehr der Zukunft sorgen. Das System wird auf der Messe K vom 19. bis 26. Oktober in Düsseldorf vorgestellt werden.

Autonom fahrende Fahrzeuge versprechen einen Wandel des Straßenverkehrs so wie wir ihn bisher kennen. Zudem werden wir ein völlig neues Maß an Reisekomfort erleben. Doch je autonomer ein Fahrzeug wird, umso besserer Sicherheitssysteme bedarf es – etwa um zu überwachen, ob ein Fahrer bzw. eine Fahrerin bereit ist, die Steuerung über das Auto in einer schwierigen Situation übernehmen zu können. Forschende des Fraunhofer IOF haben in Kooperation mit BMW nun eine miniaturisierte Kamera entwickelt, die genau das ermöglichen soll: Im Rahmen des gemeinsamen Forschungsprojektes MinTOFKA wurde ein »miniaturisiertes Time-Of-Flight Kamerasystem« realisiert. Mit Hilfe einer sechskanaligen Mikro-Optik und einem VGA-3D ToF-Sensor wird ein Sichtbereich von mehr als 170°x130° abgedeckt. Ideal um Gesten und Blickrichtungen aller Mitfahrenden zu erfassen.

Das System ermöglicht eine Vielzahl relevanter Sicherheitsfeatures: Neben der vollständigen Fahrerüberwachung gehören auch die Hand-am-Lenkrad-Erkennung sowie die Sicherheitsgurt-Erkennung und die Überwachung der Sitzplatzbelegung mit gekoppelter Airbag-Steuerung dazu. Auch die Anwesenheit von Kindern kann explizit erfasst werden. Die Gestensteuerung ermöglicht überdies einen komfortableren Zugriff auf das Infotainment, was gleichermaßen für mehr Sicherheit im Straßenverkehr durch weniger Ablenkung sorgt.

Besonders kompaktes Design dank Aufteilung des Gesichtsfeldes

Die besondere Herausforderung bei der Entwicklung: Im Auto der Zukunft werden aufgrund immer umfassenderer und komplexerer Features immer mehr Systeme integriert. Entsprechend steht nur wenig Bauraum zur Verfügung. Für eine Kamera zur Innenraumüberwachung, die unterhalb des Rückspiegels angebracht werden soll, sind es max. 10mm. Gleichzeitig muss die Kamera, um den Innenraum möglichst weit zu erfassen, ein stark erweitertes Gesichtsfeld aufweisen. Klassische Weitfeld-Kameraoptiken können dabei nicht zum Einsatz kommen, da sie sich nicht auf die erforderliche Kompaktheit reduzieren lassen.

Hier setzt die neue Mini-Kamera aus Jena an: Den Forschenden ist es gelungen, ein neues, mehrkanaliges Kamerakonzept zu realisieren, bei dem ein große Gesichtsfeld in mehrere vordefinierte Einzelkanäle aufgeteilt wird. »Anders als in klassischen Ansätzen wird dabei nicht das gesamte zu beobachtende Gesichtsfeld mit einem Objektiv abgebildet«, erklärt Dr. Robert Brüning, Abteilungsleiter für optisches und mechanisches Systemdesign am Fraunhofer IOF. »Stattdessen kommen mehrere parallelisierte Abbildungskanäle zum Einsatz. Sie decken jeweils nur einen Teil des Gesichtsfeldes ab, nämlich ca. 90° je Kanal. Um das angestrebte horizontale Gesichtsfeld von 170° zu erreichen, wählen wir eine Kombination aus drei mal zwei Kanälen. Um für die anschließende Bildverarbeitung ein Zusammenführen der Tiefenkarten beider Kanäle zu ermöglichen, halten wir zusätzlich eine Überlappung der Einzelgesichtsfelder von 15° vor.« Das bedeutet: Die Kamera setzt mittels Computer-Algorithmus mehreren Aufnahmen aus verschiedenen Blickrichtungen sowie die dazugehörigen 3D-Daten zu einem Einzelbild zusammen.

Neuer Time-of-Flight-Sensor mit höherer Auflösung

Das System basiert auf einem Time-of-Flight-Kameraansatz, im Deutschen auch Flugzeitkameras genannt. »Es handelt sich dabei um eine 3D-Sensortechnik mit deren Hilfe Personen und Objekte, sowie deren Position, Bewegung und Form dreidimensional erfasst werden können«, erläutert Brüning weiter. »Dies gelingt, indem die Kamera Lichtimpulse aussendet. Anschließend misst sie die Zeit, die das Licht braucht, um – reflektiert von verschiedenen Punkten eines Objektes – wieder zur Kamera zurückzukommen. Indem man sehr viele Lichtimpulse in unterschiedliche Richtungen aussendet, kann man aus einer sogenannte Punktewolke alle für die Kamera sichtbaren Objekte berechnen.« Durch den Vergleich dieser Punktwolken mit bekannten Formen können Personen, aber auch Objekte wie etwa Kindersitze identifiziert werden. Das Licht, dass die Kamera aussendet, liegt im Infrarotspektrum und ist für das menschliche Auge damit nicht sichtbar.

Frühere für die Automobilbranche entwickelte ToF-Sensoren verfügten über ein deutlich kleineres Gesichtsfeld von 76° x 60° bei geringerer Auflösung (320 x 240 Pixel). Sie wurden ausschließlich zum Zweck entwickelt, Handgesten zu erkennen. Der vom Team des Fraunhofer IOF entwickelte Sensor hingegen verfügt über einen erheblich erweiterten Funktionsumfang bei gleichzeitig höherer Auflösung von 640 x 480 Pixel (VGA) und größerem Gesichtsfeld. In ersten Tests wies das System eine Detektionsgenauigkeit von mehr als 95% auf.

Am Fraunhofer IOF fand die Entwicklung der Optik vom Design über Konstruktion und Aufbau bis zur Charakterisierung statt. Zusätzlich erfolgte die Entwicklung der Software für die digitale Vorverarbeitung der Einzelbilder, die dabei zu einem Gesamtbild mit großem Gesichtsfeld zusammenfügt wurden.

Das System wird auf der Messe K vom 19. bis 26. Oktober in Düsseldorf vorgestellt werden. Das Fraunhofer IOF ist in Halle 7.0 an Stand SC01 zu finden.

Wissenschaftliche Ansprechpartner:

Dr. Robert Brüning
Fraunhofer IOF
Abteilung Optisches und Mechanisches Systemdesign

Telefon: +49 (0) 3641 807-360
Mail: robert.bruening@iof.fraunhofer.de

Weitere Informationen:

https://www.iof.fraunhofer.de/de/presse-medien/pressemitteilungen/2022/MinTOFKA-…