Neue Software erleichtert Tierbewegungsforschung

Eine neue Software soll künftig Tiervideos besonders schnell und präzise auswerten: Das Programm DeepLabCut wurde von einem Forschungsteam der Universitäten Tübingen und Harvard entwickelt. Die Software basiert auf maschinellem Lernen und kann nach kurzem Training Bewegungsabläufe von Tieren in Videos analysieren.

Es ist auf viele Versuchsanordnungen übertragbar, kann ohne Programmierkenntnisse bedient werden und ist frei im Internet verfügbar: http://mousemotorlab.org/deeplabcut. Die Ergebnisse der Wissenschaftlerinnen und Wissenschaftler zu DeepLabCut wurden nun in der Fachzeitschrift Nature Neuroscience veröffentlicht.

„Bisher war es sehr aufwändig, Bewegungen von Körperteilen in Videos zu analysieren“, erklärt Dr. Alexander Mathis, Neurowissenschaftler am Bernstein Center for Computational Neuroscience an der Universität Tübingen sowie der Harvard University „DeepLabCut lernt anhand einiger Beispielbilder, die exakte Position von Körperteilen in allen Bildern eines Videos zu bestimmen.“ Gemeinsam mit Dr. Mackenzie Mathis vom Rowland Insitute at Harvard, sowie Dr. Matthias Bethge, Professor für Computational Neuroscience and Machine Learning an der Universität Tübingen, hat er das Projekt geleitet.

Es begann mit einem doppelten Dilemma: Mackenzie Mathis wollte erforschen, wie genau das Zusammenspiel von Händen und Gehirn bei Mäusen funktioniert und hatte dafür Mäuse bei Greifbewegungen auf Video aufgezeichnet. Alexander Mathis hatte unter Laborbedingungen eine Maus gefilmt, die auf einem Laufband laufend einer Riechspur verfolgt.

Er wollte herausfinden, wie Mäuse die einzelnen Geruchsfetzen, die sich bei jedem Einatmen ergeben, zu einem Ganzen zusammenfügen. Für beide Vorhaben mussten die Forscher die Bewegungsabläufe genauestens dokumentieren, doch herkömmliche neurowissenschaftliche Methoden lieferten keine befriedigenden Ergebnisse.

Alternativ hätten sie Reflektoren auf den Versuchstieren platzieren werden können, um die Körperteilerkennung zu vereinfachen, wie es in Biomechanikstudien üblich ist. „Das kam jedoch nicht in Frage, denn solche Marker beeinträchtigen auch das Verhalten des Tieres“, erinnert sich Alexander Mathis. Sie machten sich daher auf die Suche nach einer Alternative.

Forscherkollege Matthias Bethge schlug den Mathises vor, ein bestehendes Netzwerk umzutrainieren – im Fachjargon transfer learning genannt. Denn fernab der Neurowissenschaften waren im Forschungsfeld des Maschinellen Sehens beeindruckende Methoden zur reflektorfreien Erkennung von Gliedmaßen von Menschen entwickelt worden. Diese, so glaubte Bethge, könnten als Basis für die Tierbewegungsforschung dienen. Die Mathises wählten als Grundlage den Algorithmus DeeperCut, der menschliche Körperhaltungen analysieren kann.

In der Vorbereitung lernt DeeperCut anhand hunderttausender Bilder von Katzen, Hunden, Früchten etc. zunächst viele verschiedene sogenannte visuelle Repräsentationen. Die Forscher vermuteten, dass das Netzwerk wegen dieses großen Vorwissens mit nur wenigen Beispielen zur Körperteilerkennung von Tieren umtrainiert werden kann. Ähnlich funktioniert auch das visuelle Lernen von Kindern, die neue Seherlebnisse anhand ihrer Erfahrung aus vorherigen Beobachtungen einordnen können: Ein unbekanntes faustgroßes, ballförmiges Objekt kann als Frucht eingeordnet werden ohne es gleich als Apfel identifizieren zu müssen.

Entsprechend trainierten die Forscher ihre eigenen Netzwerke auf Bildern aus Tiervideos von Mäusen und Fruchtfliegen, indem sie bei einigen Aufnahmen die zu beobachtenden Körperteile manuell markierten. Mithilfe dieses Trainings sollte der Computer auf allen übrigen Bildern der Videos die entsprechenden Körperteile erkennen und automatisch markieren können.

Der Versuch war überaus erfolgreich: Nicht nur gelang der Lerntransfer vom einen auf das andere Netzwerk, auch der geringe Trainingsaufwand ließ die Forscher staunen. Der neue Algorithmus DeepLabCut konnte bereits ab einem Trainingsdatensatz von 200 Bildern die Körperteile der jeweiligen Tiere in Bewegung erkennen und sie so präzise wie ein Mensch zuordnen.

DeepLabCut kann mit etwas Training fast jedes Tierverhalten auswerten. Das Programm entspricht einem Baukasten und ist sehr benutzerfreundlich konzipiert; Programmierkenntnisse sind hilfreich, aber nicht erforderlich. „Die Software ist frei verfügbar“, betont Mackenzie Mathis „Wir wollen, dass möglichst viele Wissenschaftler und ihre Forschung davon profitieren.“ Mehr als fünfzig Labore nutzen das Programm schon, um beispielsweise die Gangart von Pferden zu vermessen, das Kriechverhalten von Blutegeln zu erforschen oder um Bewegungen von Operationsrobotern aufzuzeichnen.

Ohne die Arbeiten zum Algorithmus DeeperCut wäre den Forschern die Entwicklung von DeepLabCut so schnell nicht möglich gewesen. Als Würdigung der Arbeit der Forscherkollegen ist daher der Name von DeepLabCut an DeeperCut eng angelehnt. „Für den wissenschaftlichen Fortschritt ist das Teilen von Ergebnissen, Daten und auch Algorithmen essentiell wichtig“, betont Bethge. „Daher haben wir DeepLabCut als Open Source Software entwickelt und freuen uns sehr über das positive Feedback unserer Forscherkollegen in den Neurowissenschaften.“

Professor Matthias Bethge
Universität Tübingen
Computational Neuroscience & Machine Learning
Tel.: + 49 7071 2989017
E-Mail: matthias.bethge@uni-tuebingen.de

Dr. Isabel Suditsch
Universität Tübingen
Cyber Valley AI Unit
Tel.: +49 7071 6011924
E-Mail: isabel.suditsch@uni-tuebingen.de

Mathis et al, DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience, August 20th, 2018. DOI: 10.1038/s41593-018-0209-y

http://www.mousemotorlab.org/deeplabcut
http://www.nature.com/articles/s41593-018-0209-y