Bilder aus der Tiefsee mit künstlicher Intelligenz verstehen

Die Auswertung sehr großer Datenmengen wird auch in der Ozeanforschung immer relevanter. Tauchroboter oder Autonome Unterwasserfahrzeuge, die selbstständig in der Tiefsee Messungen durchführen, können inzwischen große Mengen an hochaufgelösten Bildern aufnehmen. Um diese nachhaltig wissenschaftlich auswerten zu können, sind bei der Datenerhebung, der Verarbeitung, und dem Daten-Management eine Reihe von Voraussetzungen zu erfüllen.

„Wir haben in den vergangenen drei Jahren einen standardisierten Workflow erarbeitet, der es ermöglicht, große Mengen an Bilddaten systematisch und nachhaltig wissenschaftlich auswerten zu können“, erklärt Dr. Timm Schoening aus der Arbeitsgruppe „Deep Sea Monitoring“ unter der Leitung von Prof. Dr. Jens Greinert am GEOMAR. Hintergrund war das Projekt JPIOceans „Mining Impact“.

Um das Ökosystem rund um Manganknollen im Pazifik zu untersuchen, wurde das Autonome Unterwasserfahrzeug ABYSS mit einem neuen, digitalen Kamerasystem ausgestattet. Mit den so gesammelten Daten wurde der Workflow konzipiert und erstmals getestet. Die Ergebnisse wurden jetzt in der internationalen Fachzeitschrift Scientific Data veröffentlicht.

Das Vorgehen gliedert sich dabei in drei Schritte: Datenerhebung, Datenverarbeitung und Datenspeicherung, in denen jeweils festgelegte Zwischenschritte absolviert werden sollten. Wichtig ist beispielsweise festzulegen, wie die Kamera einzustellen ist, welche Daten erfasst werden, oder welche Beleuchtung sinnvoll ist um eine bestimmte wissenschaftliche Fragestellung beantworten zu können. Dazu müssen insbesondere auch die Meta-Daten des Tauchroboters aufgezeichnet werden.

„Für die Datenverarbeitung ist es essentiell, die Bilddaten der Kamera mit den Metadaten des Tauchroboters zu verknüpfen“, sagt Schoening. Das AUV ABYSS erfasste beispielsweise automatisiert seine Position, die Tiefe des Tauchgangs und Eigenschaften des umliegenden Wassers. „All diese Informationen müssen mit dem jeweiligen Bild verknüpft werden, da sie wichtige Hinweise für die anschließende Auswertung liefern“, sagt Schoening.

Eine gewaltige Aufgabe: in rund 30 Tauchgängen sammelte ABYSS gut 500.000 Aufnahmen des Meeresbodens. Für die Zusammenführung der Daten sorgten verschiedene Programme, die das Team eigens für diesen Zweck entwickelte. Hier wurde auch unbrauchbares Bildmaterial, das zum Beispiel verwackelt ist, aussortiert.

All diese Prozesse funktionieren jetzt automatisiert. „Bis dahin war allerdings eine Vielzahl an zeitaufwändigen Versuchen notwendig“, sagt Schoening. „Jetzt kann die Methode auf beliebige Projekte, auch mit anderen AUVs oder Kamerasystemen, übertragen werden.“ Das so bearbeitete Material wurde im Anschluss auf öffentlich zugänglichen Plattformen dauerhaft weltweit bereitgestellt.

Für die Auswertung am GEOMAR kam schließlich künstliche Intelligenz in Form des eigens entwickelten Algorithmus‘ „CoMoNoD“ zum Einsatz. Er erfasst automatisch, ob, in welcher Größe und an welcher Position, Manganknollen in einem Foto vorliegen. Im Anschluss konnten so beispielsweise die einzelnen Aufnahmen zu größeren Karten des Meeresbodens zusammengesetzt werden. Der nächste Einsatz des Workflows und der neu entwickelten Programme ist bereits geplant: Bei der nächsten Ausfahrt im Frühjahr kommenden Jahres in Richtung Manganknollen soll die Auswertung des Bildmaterials dann direkt an Bord erfolgen. „Dafür werden wir einige besonders leistungsfähige Rechner mit auf das Schiff nehmen“, sagt Timm Schoening.

Im Rahmen der Digitalen Woche Kiel wird er diese und weitere Auswertungsmethoden von Bilddaten aus der Tiefsee mit Methoden der künstlichen Intelligenz ausführlicher präsentieren. Der Vortrag findet am Dienstag, 11. September 2018, von 13 bis 14 Uhr an der Seeburg, Düsternbrooker Weg 2, in 24105 Kiel statt. Alle Interessierten sind herzlich eingeladen.

Schoening, Timm; Köser, Kevin; Greinert, Jens (2018): An acquisition, curation and management workflow for sustainable, terabyte-scale marine image analysis. Scientific Data, 5, 180181, https://doi.org/10.1038/sdata.2018.181