Smart Window – Augmented Reality für die Schiffsführung von morgen

Das präzise übertragene Bild der Kaimauer auf dem Schiffsfenster der Steuerbrücke, versehen mit einigen Zusatzhinweisen, etwa zu Strömungsverhältnissen und Anlegemöglichkeiten – selbst bei Nebel, Dunkelheit und schlechter Sicht – so könnte die Schiffsnavigation von morgen aussehen.

Mit dem Verbundprojekt „Smart Window“ hat das Fraunhofer ISIT gemeinsam mit Partnern aus Industrie und dem Fraunhofer-Institut für graphische Datenverarbeitung (IGD) an einer intelligenten Lösung zur Implementierung eines Augmented-Reality-Displays auf einer Schiffsbrücke gearbeitet, um zukünftig alle relevanten Daten für den Schiffsbetrieb zu verarbeiten, zu filtern und darzustellen.

Das Einbetten des AR-Displays in ein Fenster der Schiffsbrücke bietet dabei die Möglichkeit, eine Vielzahl von Informationen direkt im Blickfeld des Schiffsführers darzustellen, und so den Schiffsführern ihre Arbeit zu erleichtern.

Das Fraunhofer ISIT hat für das neuartige AR-Display als zentrales Element ein scannendes Vollfarben-Laserprojektionssystem entwickelt. Kernstück des Systems ist ein Mikrospiegel aus Silizium. Er ist an zwei senkrecht zueinanderstehenden Achsen aufgehängt. Um diese Achsen kann der Spiegel schwingen, angeregt durch elektrostatische Kräfte. Wird Laserlicht auf den Spiegel geworfen, kann mit einem solchen Spiegel ein beliebiges, für die Anwendung hinreichend großes und gut ausgeleuchtetes Bild auf das Schiffsfenster projiziert werden. Damit der Spiegel große Ablenkwinkel erreicht und nicht verschmutzt, wird er mit einem Glasdeckel bei geringem Innendruck auf Waferebene verkapselt.

Das Vorhaben insgesamt ist sehr anspruchsvoll. Eine Augmented Reality-Ansicht entsteht durch das komplexe Zusammenspiel von Datenaufbereitung, Sensorik und Visualisierung, welche meist speziell für einen Blickwinkel erstellt wird. Um dem Benutzer Informationen so in sein Sichtfeld einzuspielen, dass diese die Realität gezielt anreichern, muss das digitale Modell der Welt mit der Realität in Deckung gebracht werden. So sind globale Daten, wie etwa Positionsdaten aus dem elektronischen Seekartendarstellungssystem, und lokale Daten aus schiffseigenen Sensoren, etwa Radar, zu fusionieren und relativ zum Betrachter wiederzugeben. Das erfordert neben einer enormen Rechenleistung insbesondere Informationen über das Blickfeld des Nutzers, so dass die eingeblendeten Daten aus dessen Sicht klar den realen Objekten zugeordnet werden können. Bewegt sich der Nutzer, muss dies in Echtzeit nachvollzogen und das virtuelle Bild entsprechend nachgeführt werden. Diese Tracking-Funktion übernimmt eine 3D-Kamera, die auch bei den schwachen Lichtverhältnissen auf einer nächtlichen Schiffsbrücke robust und exakt funktionieren muss.

Ein weiterer wichtiger Baustein für AR-Projektionen an den Fenstern der Steuerbrücke sind geeignete Glaslaminate für die Fenster. Diese bestehen aus normgerechten Einzelgläsern, die mit Folien zu einem Laminat verbunden sind und die die strengen Voraussetzungen für die Eignung in maritimer Umgebung erfüllen müssen.

Das Projekt Smart Window hat eine große Bedeutung für die steigenden Anforderungen an die aktuelle Transport- und Versorgungsinfrastruktur angesichts der zunehmenden Globalisierung. Die Schifffahrt spielt hier eine besondere Rolle. Denn während Lastwagenfahrer und Lokführer an die Infrastruktur des Straßen- und Schienennetzes gebunden sind und Piloten sich weltweit auf eine elektronische Überwachung und Steuerung verlassen können, sind Schiffe vielerorts häufig noch auf sich allein gestellt. Dies erfordert von den Schiffsführern eine hohe Entscheidungskompetenz und eine vorausschauende datenbasierte Planung.

„Insbesondere aktuelle umfangreiche Informationen zur Navigation, dem Wetter und lokalen Besonderheiten, wie kreuzende Schiffe sind mit Smart Window in Echtzeit verfügbar, genauso wie Informationen zum technischen Status des Schiffes und der Funktionsfähigkeit vieler Subsysteme. Smart Window bietet damit gute Ansätze, die Sicherheit im Seeverkehr weiter zu optimieren“, erläutert die Leiterin des Projektes am Fraunhofer ISIT Dr. Shanshan Gu-Stoppel.

In den vergangenen Monaten haben die Wissenschaftlerinnen und Wissenschaftler des Fraunhofer ISIT das Projektionssystem und die dazu notwendige Regelelektronik hinsichtlich Bildstabilität, Kontrast, Stabilität und Bildwiederholungsrate noch einmal deutlich verbessert. Sie zeigen ihr System auf der Hannovermesse vom 17. April bis zum 21. April 2023 am Stand A12 der Fraunhofer-Gesellschaft in Halle 16.

Wissenschaftliche Ansprechpartner:

Dr. Shanshan Gu-Stoppel
shanshan.gu-stoppel@isit.fraunhofer.de

https://www.isit.fraunhofer.de/