Digitaler Zwilling des Verkehrs: Erstmals ins Auto übertragen

Im Forschungsprojekt Providentia++ haben Forschende der Technischen Universität München (TUM) zusammen mit Industriepartnern eine Technologie entwickelt, die Fahrzeugperspektive auf Basis von Bordsensoren durch eine Sicht aus der Vogelperspektive zu ergänzen. Das erhöht die Sicherheit im Verkehr – auch für das autonome Fahren.

Die Erwartungshaltung an das autonome Fahren ist klar: „Ein Fahrzeug muss nicht nur bei geringem Tempo sicher fahren, sondern auch bei hoher Geschwindigkeit“, sagt Jörg Schrepfer. Liegt etwa verloren gegangene Ladung auf der Autobahn, reicht die „Ego“-Perspektive des Autos oft nicht aus, um sie frühzeitig zu sehen. „Ein sanftes Manöver wird in diesem Fall schwer“, meint der Head of Driving Advanced Research Germany bei Valeo. Deshalb haben die Forschenden im Projekt Providentia++, das das Bundesministerium für Digitales und Verkehr (BMDV) im Rahmen einer Förderung für automatisiertes und vernetztes Fahren über fünfeinhalb Jahre unterstützt hat, ein System entwickelt, mit dem eine weitere Perspektive der Verkehrssituation in Fahrzeuge übermittelt werden kann. „Mithilfe von Sensoren an Schilderbrücken und Sensormasten haben wir auf unserer Teststrecke einen zuverlässigen Echtzeitzwilling des Verkehrs geschaffen, der rund um die Uhr im Einsatz ist“, erläutert Prof. Alois Knoll vom Konsortialführer TUM: „Damit haben wir die Voraussetzung dafür geschaffen, die Sicht des Fahrzeugs durch eine externe Sicht – nämlich aus der Vogelperspektive – zu ergänzen und zudem das Verhalten anderer Verkehrsteilnehmer in Entscheidungen einzubeziehen.“

Den digitalen Zwilling ins Auto übertragen: Verzögerungen geringhalten

Das ist nicht trivial: Denn der digitale Zwilling muss wissen, wo genau sich das Fahrzeug befindet, in das die Informationen der Sensorstationen per Funk übertragen werden sollen. Damit das gelingt, setzt Projektpartner Valeo auf ein so genanntes IMU-GNSS-System (kurz für: Inertial Measurement Unit – Global Navigation Satellite System), bestehend aus einer Messeinheit und einem Satellitennavigationssystem sowie ein Realtime-Kinematik-Kit. „So schaffen wir ein Koordinatensystem in Echtzeit, das zentimetergenau ist“, erläutert Valeo-Experte Schrepfer. Damit nun die Informationen aus den Fahrzeugen und den Messstationen des digitalen Zwillings synchronisiert werden können, nutzen die Forschenden den UTC-Standard, welcher eine einheitliche Zeitbasis liefert. Idealerweise würde sich das digitale Abbild wie eine zweite Schicht über die Perspektive des Autos legen. Allerdings lassen sich Verzögerungen (Latenzen) im Gesamtsystem nicht ganz vermeiden. Von der physikalischen Aufnahme der Sensoren über die Weiterverarbeitung der Daten und Übertragung ins Fahrzeug vergeht Zeit. Daten werden verpackt, codiert, versendet und im Auto wieder decodiert. Hinzu kommen weitere Randbedingungen, die eine Rolle spielen, etwa wie weit das Fahrzeug vom Sendemast auf der Teststrecke entfernt ist und wie belegt das Übertragungsnetz ist. In einer Demonstrationsfahrt arbeitete Valeo kürzlich mit LTE (4G)-Funkgeschwindigkeit, was eine Verzögerung von 100 bis 400 Millisekunden verursachte. „Ganz vermeiden lassen werden sich diese Latenzen nie, allerdings hilft uns hier eine intelligente Algorithmik“, erläutert Schrepfer: „Noch besser wird es das Ergebnis sein, wenn künftig die Funktechnologien 5G oder 6G flächendeckend im Einsatz sind.“

Prototyp von digitalem Echtzeitzwilling verfügbar

Die Voraussetzung dafür, dass diese Daten nun im Fahrzeug genutzt werden können, wurde im Forschungsprojekt Providentia++ gelegt. Ziel war es, einen digitalen Zwilling des Verkehrs zu erzeugen, der echtzeitfähig, skalierbar und hochverfügbar ist. Dafür baute das Forscherteam eine 3,5 Kilometer lange Teststrecke in Garching bei München, bestehend aus sieben Sensorstationen. Der Prototyp wurde so entwickelt, dass er künftig bei Bedarf in Serie einsetzbar ist:

• Die Forschenden arbeiten mit dezentralen digitalen Zwillingen, wodurch eine Teststrecke beliebig verlängert, bzw. skaliert werden kann.
• Um Datenmengen von mehreren Gigabyte pro Sekunde bewältigen zu können, entstand ein Datenverarbeitungskonzept, das die Leistungen der Rechenkerne (CPUs) und Grafikkarten (GPUs) optimal untereinander aufteilte.
• Als besondere softwaretechnische Herausforderungen stellten sich die Sensorkalibrierung und die Entwicklung der Tracking-Algorithmen heraus. Eine entsprechende Software gab es noch nicht.

„Wir haben nun ein automatisches Kalibrierungsverfahren anhand einer hochauflösenden Straßenkarte (HD-Karte) im Einsatz, das es noch nicht gab und von uns entwickelt wurde“, erläutert der technische Projektleiter Venkatnarayanan Lakshminarashiman aus dem Lehrstuhl für Robotik, künstliche Intelligenz und Echtzeitsysteme der TUM.

Der Leiter des Konsortiums Prof. Alois Knoll von der TUM zieht ein ausgesprochen positives Resümee: „Der digitale Zwilling ist reif für die sich anschließende konkrete Produktentwicklung, läuft zuverlässig im 24/7-Betrieb und steht nicht nur auf der Autobahn, sondern auch für Landstraßen und im Kreuzungsbereich zur Verfügung.“

Live-Bilder von der Teststrecke des Forschungsprojektes Providentia++ und Hintergrundinformationen zum Projekt: https://innovation-mobility.com/projekt-providentia/

Bilder zum Download:
https://mediatum.ub.tum.de/1687419; https://mediatum.ub.tum.de/1687418; https://mediatum.ub.tum.de/1687417; https://mediatum.ub.tum.de/1687416
Dieser Text im Web: http://go.tum.de/702060

Wissenschaftliche Ansprechpartner:

Prof. Dr. Alois Knoll
Technische Universität München
Lehrstuhl für Robotik, künstliche Intelligenz und Echtzeitsysteme
Tel: 089-289-18116
knoll@in.tum.de

Andreas Schmitz,
Corporate Communication Center, TUM
Tel 089-289 18198

Andreas vom Bruch
Director Communications Germany, Valeo
andreas.vom-bruch@valeo.com

Originalpublikation:

Systematic Error Source Analysis of a Real-World Multi-Camera Traffic Surveillance System; 25th International Conference on Information Fusion (FUSION 2022); https://ieeexplore.ieee.org/document/9841305

A9-Dataset: Multi-Sensor Infrastructure-Based Dataset for Mobility Research, IEEE; https://ieeexplore.ieee.org/document/9827401