Das Unsichtbare sichtbar machen: Schlierenfotografie mit Eventkameras

Ein völlig neues Konzept in der Fotografie kann die Aufnahme von Strömungen transparenter Medien wesentlich verbessern.

Die sogenannte Schlierenfotografie ist ein Standardverfahren in Forschung und Industrie: Mit ihr werden Aufnahmen im Windkanal gemacht, Strömungen von Düsen und Turbinen untersucht oder Gaslecks in Tanks und Anlagen aufgespürt. Einem Team aus zwei Forschern der TU Berlin und einem japanischen Wissenschaftler ist es am Exzellenzcluster „Science of Intelligence“ (SCIoI) nun gelungen, mit dem völlig neuen Konzept der „Eventkameras“ die Möglichkeiten der Schlierenfotografie deutlich zu erweitern.

Im Gegensatz zu herkömmlichen Kameras nehmen Eventkameras nicht ganze Bilder auf einmal auf, sondern registrieren für jedes lichtempfindliche Pixel getrennt nur die Veränderungen in der Helligkeit (die „Events“). Wissenschaftler*innen der TU Berlin am Exzellenzcluster „Science of Intelligence“ forschen an neuen Methoden, mit der sich solche Aufnahmen auswerten lassen. Sie könnten Robotern das Sehen erleichtern, autonom fahrende Autos sicherer machen und in unseren Smartphones für noch mehr kreative Möglichkeiten sorgen. „Eher durch Zufall haben wir festgestellt, dass sich Eventkameras auch hervorragend eignen, um das Verfahren der Schlierenfotografie zu verbessern“, erklärt Prof. Dr. Guillermo Gallego von der Fakultät IV „Elektrotechnik und Informatik“ der TU Berlin.

Internationale Zusammenarbeit war Anstoß zum Erfolg

Mit einem DAAD-Stipendium war Shintaro Shiba von der Keio University im japanischen Kanagawa zwei Jahre lang an der TU Berlin als Doktorand in der Arbeitsgruppe von Guillermo Gallego tätig. Sein Thema waren Methoden zur Schätzung von Bewegungen mit Hilfe der Eventfotografie – was etwa für das autonome Fahren oder die Zusammenarbeit von Menschen und Robotern wichtig ist. „Bei einer Literaturrecherche bin ich eher nebenbei auf die Schlierenfotografie aufmerksam geworden, mit deren Hilfe man die Bewegung von transparenten Medien beobachten kann“, erzählt Shiba. Das Team stellte schnell fest: Eine Kombination von Schlieren- und Eventfotografie würde enorme Vorteile bringen.

Schlierenfotografie macht Unsichtbares sichtbar

An einem heißen Sommertag scheint die Luft über dem grauen, aufgeheizten Asphalt zu flimmern. Der physikalische Effekt ist derselbe wie bei der Schlierenfotografie: Hier wird die Bewegung von eigentlich nicht sichtbaren, transparenten Medien wie Flüssigkeiten oder Gasen sichtbar gemacht. Eine Methode ist dabei, diese Medien vor einem kleingemusterten, schwarzweißen Hintergrund aufzunehmen. Durch Bewegung etwa in einem transparenten Gas entstehen Orte mit unterschiedlicher Dichte und damit unterschiedlichem Brechungsindex. Die Kanten im Hintergrundmuster werden dadurch unterschiedlich verzerrt, was zu einem schlierenhaften Abbild der Bewegung führt – daher der Name des Verfahrens. Mit Hilfe von Software kann aus den Daten dann der Hintergrund auch ganz entfernt werden, übrig bleibt das Schlierenmuster.

Eventfotografie arbeitet ohne Belichtungszeit

Die Eventfotografie wiederum ist vom menschlichen Sehen inspiriert: Ähnlich wie bei den Vorgängen in der Netzhaut trägt jedes lichtempfindliche Pixel der Kamera zeitlich unabhängig zum Gesamtbild bei – es gibt also keine Belichtungszeit, nach der alle Pixel auf einmal ausgelesen werden. Da die Pixel nur ein Signal senden, wenn sich die Stärke des Lichteinfalls ändert, ist die zu verarbeitende Datenmenge für mit Eventkameras aufgenommene Videos kleiner. Und weil es keine Belichtungszeit gibt, für die sich die Kamera entscheiden muss, können sowohl dunkle wie besonders helle Bereiche annähernd gleich gut dargestellt werden. Zudem ist die Reaktionszeit einer Eventkamera durch den Wegfall der Belichtungszeit kleiner, was es einfacher macht, Hochgeschwindigkeitsaufnahmen durchzuführen. Mit diesen können dann hochaufgelöste Zeitlupenfilme erstellt werden.

Event-basierte Schlierenfotografie erfasst Bewegungen an Kanten von Objekten

„Bei der Auswertung unserer mit Eventkameras aufgenommenen Daten können wir die Bewegung von Objekten vor allem an deren Kanten erfassen. Dies nutzen wir nun auch für die Schlierenfotografie: Wir erfassen die scheinbare Bewegung des Hintergrundmusters mithilfe der Eventdaten und können in der Folge die Bewegungsrichtung schätzen“, erklärt der dritte Wissenschaftler im Team, der Doktorand Friedhelm Hamann.

Verbesserungen um das Zehnfache

In seiner Veröffentlichung, die diese Zusammenhänge erstmals beschreibt, hat das Forscherteam auch eine komplette mathematische Theorie für die digitale Auswertung von Schlierenaufnahmen mit Eventkameras aufgestellt. Um das für die Schlierenfotografie notwendige Hintergrundmuster im Computer entfernen zu können, nahmen sie beispielhafte Szenen – etwa aufsteigende Luft über einer Herdplatte oder menschlichen Atem – sowohl mit einer Event- wie mit einer normalen Kamera auf. Durch den Einsatz von Künstlicher Intelligenz (KI) bei der Auswertung erzielten sie bereits mit dieser Kombination Hochgeschwindigkeitsaufnahmen, die sonst nur mit sehr teuren und aufgrund ihrer Größe vielfach unpraktischen modernen Hochgeschwindigkeitskameras möglich gewesen wären. In Bezug auf die zeitliche Auflösung und den Dynamikbereich, also das Maß für die noch darstellbaren Helligkeitsunterschiede, konnten sie eine zehnfache beziehungsweise vierfache Verbesserung gegenüber den üblicherweise in der Schlierenfotografie verwendeten Kameras erzielen. Weil die KI nur wenige Daten von der normalen Kamera benötigte, konnte auch die Menge der insgesamt verwendeten Daten auf ein Zehntel reduziert werden.

Anwendungen in Luft- und Raumfahrtforschung, Strömungstechnik und Industrie

„Die besseren Zeitlupenaufnahmen bei gleichzeitig höherer Auflösung werden sicherlich in Zukunft in den Laboren zum Beispiel der Luft- und Raumfahrtforschung wertvolle Dienste leisten“, ist sich Teamleiter Guillermo Gallego sicher. Auch bei der Entwicklung neuer Gasturbinen, die etwa für die Energiewende benötigt werden, könne die Schlierenfotografie mit Eventkameras wichtig werden. „Dass Eventkameras auch bei schlechten Lichtverhältnissen funktionieren, kann wiederum im industriellen Einsatz nützlich sein, etwa beim Aufspüren von Gaslecks mit Hilfe von Schlierenfotografie.“ Durch die Reduktion der Datenmengen entfalle zudem die oft notwendige, aufwändige Kühlung der lichtempfindlichen Chips in den Kameras, was eine kleinere Bauart möglich mache.

Beweis für die Wichtigkeit von Grundlagenforschung

Der unerwartete Erfolg sei auch ein Beweis für die Bedeutung von Grundlagenforschung, deren Anwendungsmöglichkeiten man nicht vorhersagen könne, erklärt Gallego. „Die Forschung an Eventkameras wurde ursprünglich von Neurowissenschaftler*innen angestoßen, die damit ein Modell für das menschliche Sehen etablieren haben. Hier am Exzellenzcluster Science of Intelligence nutzen wir sie, weil wir intelligente Anwendungen etwa in Robotern oder Fahrzeugen vorantreiben wollen. Und nun hat sich durch Zufall gezeigt, dass Eventkameras auch für Strömungsforschung und Industrie hilfreich sein können. Das investierte Geld und die Anstrengung von allen Beteiligten haben sich hier also schon doppelt und dreifach ausgezahlt.“

Zusätzliche Informationen:

Shintaro Shiba, Friedhelm Hamann, Yoshimitsu Aoki and Guillermo Gallego, „Event based Background-Oriented Schlieren“, IEEE Trans. Pattern Anal. Machine Intell. (TPAMI), 2023 [Link: https://doi.org/10.1109/TPAMI.2023.3328188]

Video (HD): https://youtu.be/JbEQBjvpYDc

Weitere Informationen erteilen Ihnen gern:

Prof. Dr. Guillermo Gallego
Technische Universität Berlin
Fakultät IV „Elektrotechnik und Informatik“
Tel.: +49 (0)30 314 – 70145
E-Mail: guillermo.gallego@tu-berlin.de

Friedhelm Hamann
Technische Universität Berlin
Fakultät IV „Elektrotechnik und Informatik“
Tel.: +49 (0)30 – 75771
E-Mail: f.hamann@tu-berlin.de, friedhelmha2@gmail.com

https://www.tu.berlin/ueber-die-tu-berlin/profil/pressemitteilungen-nachrichten/schlierenfotografie