Künstliche Intelligenz sagt Augenbewegungen voraus

Permanent strömt eine Vielzahl an Informationen über die Augen in unser Gehirn. Die Hirn-Aktivität können Wissenschaftler mithilfe der Magnetresonanztomographie (MRT) messen. Die genaue Messung der Augenbewegungen während eines MRT-Scans verrät Wissenschaftlern zudem sehr viel über unsere Gedanken, Erinnerungen und derzeitigen Ziele, aber auch über Erkrankungen unseres Gehirns.

Forscher vom Max-Planck-Institut für Kognitions- und Neurowissenschaften in Leipzig und vom Kavli Institute for Systems Neuroscience in Trondheim haben nun eine Software entwickelt, die mithilfe von Künstlicher Intelligenz Blickposition und Augenbewegungen aus MRT-Bildern direkt vorhersagen kann.

Permanent strömt eine Vielzahl an Informationen über die Augen in unser Gehirn. Die Hirn-Aktivität können Wissenschaftler mithilfe der Magnetresonanztomographie (MRT) messen. Die genaue Messung der Augenbewegungen während eines MRT-Scans verrät Wissenschaftlern zudem sehr viel über unsere Gedanken, Erinnerungen und derzeitigen Ziele, aber auch über Erkrankungen unseres Gehirns. Forscher vom Max-Planck-Institut für Kognitions- und Neurowissenschaften (MPI CBS) in Leipzig und vom Kavli Institute for Systems Neuroscience in Trondheim haben nun eine Software entwickelt, die mithilfe von Künstlicher Intelligenz Blickposition und Augenbewegungen aus MRT-Bildern direkt vorhersagen kann. Die Methode eröffnet schnelle und kostengünstige Studien- und Diagnosemöglichkeiten, so zum Beispiel bei neurologischen Erkrankungen, die sich häufig durch Störungen der Augenbewegungen bemerkbar machen.

Zur Erfassung der Augenbewegungen nutzen Forschungseinrichtungen das sogenannte Eye-Tracking – eine Sensor-Technologie, bei der Infrarotlicht aus einer Kamera auf die Netzhaut des Auges trifft und dort reflektiert wird, was schließlich ausgemessen werden kann. „Da ein MRT ein sehr starkes Magnetfeld hat, kann man darin keine handelsüblichen Kameras benutzen. Man braucht spezielle Eye-Tracker Kameras, die für Kliniken und kleine Labore oft finanziell und zeitlich nicht realisierbar sind.“, sagt Studienautor Matthias Nau, der gemeinsam mit Markus Frey und Christian Doeller die neue Alternative entwickelt hat. Der hohe Preis dieser Kameras und der experimentelle Aufwand, der mit ihrer Nutzung einhergeht, verhinderte bisher eine breite Anwendung von Eye-Tracking in MRT-Untersuchungen. Das könnte sich nun ändern. Die Wissenschaftler aus Leipzig und Trondheim haben ihre kostenlose und einfach zu handhabende Software „DeepMReye“ kürzlich im Journal Nature Neuroscience vorgestellt.

Während bisher bei MRT-Experimenten spezielle Eye-Tracking-Kameras zur Anwendung kamen, kann man nun sogar ohne Kamera herausfinden, wo die Studienteilnehmer wirklich hinschauen. „Das neuronale Netzwerk, das wir nutzen, entdeckt spezifische Muster im MRT-Signal der Augen. Dies ermöglicht uns, vorherzusagen, wohin die Person schaut. Die künstliche Intelligenz hilft uns hier sehr, da wir häufig nicht genau wissen, nach welchen Mustern wir als Wissenschaftler suchen sollen.“, erklärt Markus Frey. Er und seine Kollegen haben das neuronale Netzwerk mit eigenen und öffentlich zugänglichen Daten von StudienteilnehmerInnen so trainiert, dass es nun sogar bei neuen Daten vorhersagen kann, wohin jemand schaut. Dies eröffnet viele Möglichkeiten – so kann man nun das Blickverhalten der Teilnehmer und Patienten sogar in existierenden MRT-Daten untersuchen, die ursprünglich ohne Eye-Tracking aufgenommen wurden. Auf diese Weise könnten WissenschaftlerInnen zum Beispiel mithilfe älterer Studien und Datensätze ganz neue Fragen beantworten.

Die Software kann außerdem vorhersagen, wann die Augen offen oder geschlossen sind. Selbst wenn die StudienteilnehmerInnen schlafen oder sogar im Tiefschlaf sind, kann das Modell die Augenbewegungen analysieren. „Ich kann mir daher vorstellen, dass die Software auch im klinischen Bereich eingesetzt werden wird, zum Beispiel im Schlaflabor, um Augenbewegungen in unterschiedlichen Schlafstadien zu untersuchen“, sagt Matthias Nau. Zudem konnten für blinde Patienten die speziellen Eye-Tracking-Kameras bisher nur sehr selten genutzt werden, da eine genaue Kalibrierung sehr umständlich war. „Auch hier können mit DeepMReye Studien einfacher durchgeführt werden, da man die Künstliche Intelligenz mithilfe gesunder Probanden kalibrieren könnte, um sie dann in Untersuchungen von blinden Patienten anzuwenden”. Die Software könnte damit in einer Vielzahl von Einsatzbereichen angewendet werden und vielleicht sogar dazu führen, dass Eye-Tracking in MRT-Studien und im klinischen Alltag zum Standard wird.

Die DeepMReye-Software ist eine Open Source-Anwendung und kann hier heruntergeladen werden: https://github.com/DeepMReye/DeepMReye/

Wissenschaftliche Ansprechpartner:

Dr. Matthias Nau
Abteilung Psychologie
nau@cbs.mpg.de

Markus Frey
Doktorand (in Kooperation mit Norwegian University of Science and Technology, Trondheim)
markus.frey@ntnu.no

Originalpublikation:

Markus Frey, Matthias Nau, Christian Doeller (MF & MN shared first, MN & CD shared senior)
„Magnetic resonance-based eye tracking using deep neural networks“
in Nature Neuroscience 2021
https://www.nature.com/articles/s41593-021-00947-w

Weitere Informationen:

https://www.cbs.mpg.de/ki-augenbewegungen?c=2470