Tierbewegungen in freier Wildbahn verfolgen – ohne Marker

Forschende des Konstanzer Exzellenzclusters Kollektives Verhalten haben ein Computer Vision-System zur Bestimmung der Körperhaltung von Tieren, ihrer Identifikation und zur Nachverfolgung ihrer Bewegungen entwickelt. Erstmals kann es sowohl in Innenräumen als auch in freier Wildbahn eingesetzt werden. Unter Einsatz von Computer Vision und maschinellem Lernen ist dem Team somit ein wichtiger Schritt zur Beobachtung von Tieren in freier Wildbahn gelungen

Zwei Tauben picken Körner auf einer Grünfläche in Konstanz. Eine dritte Taube landet in der Nähe. Vier Kameras sind um die Fläche aufgestellt. Die Doktoranden Alex Chan und Urs Waldmann vom Exzellenzcluster Kollektives Verhalten an der Universität Konstanz nehmen die Szene auf. Zurück im Büro modellieren sie auf Basis des Filmmaterials mit einem Computer Vision-System die Körperhaltung der Tiere, stellen deren Identität fest und analysieren ihre Bewegungen.

Das System erkennt automatisch alle Tauben im Bild und zeichnet einen rechteckigen Rahmen um das Tier. Es erfasst zentrale Körperteile und die Körperhaltung der Tiere sowie deren Position und Interaktionen mit den anderen Tauben. All das ist möglich, ohne dass auch nur ein einziger Marker an einem Tier angebracht werden musste. Auch sonst fand keinerlei menschliche Einflussnahme auf die Tiere statt. Bis vor Kurzem wäre das noch nicht möglich gewesen.

System zur 3D-Modellierung und Erfassung der Körperhaltung von bis zu zehn Tauben

In jüngster Zeit jedoch ist die Entwicklung von computergestützten Methoden, die die Körperhaltungen von Tieren und deren Bewegungen auswerten, enorm fortgeschritten. Es fehlten jedoch Systeme und Benchmarks für die 3D-Erfassung der Bewegungen von Tiergruppen. Genau an dieser Stelle setzten Forschende des Exzellenzclusters Kollektives Verhalten an der Universität Konstanz und des Max-Planck-Instituts für Verhaltensbiologie mit ihrem 3D-MuPPET-System an, welches mit den Aufnahmen von mehreren Kameras die Körperhaltung und Bewegung von bis zu zehn Tauben gleichzeitig in drei Dimensionen modelliert und nachverfolgt. Ihre Ergebnisse wurden kürzlich in der Fachzeitschrift International Journal of Computer Vision (IJCV) veröffentlicht.

Wichtiger Schritt für die Nachverfolgung von Tierbewegungen und die automatische Verhaltensanalyse

3D-MuPPET ist ein Computervision-System, das auf Basis der Aufnahmen von vier Kameras die Körperhaltung und Identität von bis zu zehn einzelnen Tauben nachverfolgen kann – und das für Daten, die sowohl im Labor als auch in freier Wildbahn gesammelt wurden. „Wir haben einen 2D-Keypoint-Detektor trainiert und diese Punkte in 3D übertragen. Außerdem haben wir gezeigt, dass Modelle, die auf Basis von Daten zu einzelnen Tauben entwickelt wurden, auch gut mit den Daten vom mehreren Tauben umgehen können“, beschreibt Urs Waldmann.

Damit bietet das System eine konkrete Methode für Biolog*innen, um Experimente zu erstellen und die Körperhaltung von bis zu zehn Tieren für die automatische Verhaltensanalyse zu messen. „Dieses System ist ein wichtiger Meilenstein in der Erfassung der Körperhaltungen von Tieren und der automatischen Verhaltensanalyse“, so Alex Chan und Urs Waldmann.

Auch in freier Wildbahn einsetzbar

Sowohl in Innenräumen als auch in der Natur – dort allerdings bisher nur mit bis zu drei Tieren – kann 3D-MuPPET die Bewegungen von Tauben nachverfolgen. „Wir haben das ‚Segment Anything Model‘ verwendet, das den Umriss eines beliebigen abgebildeten Objekts identifizieren kann. Dann haben wir einen 2D-Keypoint-Detektor mit Innenaufnahmen einer ausgeschnittenen Taube trainiert, bevor wir das Model für die Analyse von Taubenfotos aus der freien Wildbahn verwendet haben. Hierfür waren keine zusätzlichen Modell-Optimierungen notwendig“, erläutert Alex Chan.

3D-MuPPET ist eine der ersten Fallstudien zur Frage, wie ein fließender Übergang von der Erforschung von Tierbewegungen im Labor zu deren Erforschung in freier Wildbahn gelingt. Dies bereitet die Bühne für detaillierte Beobachtungen von Tierverhalten im natürlichen Lebensraum. Die hierfür entwickelten Methoden können, so die Forscher, künftig auch auf andere Tierarten ausgeweitet werden. Mögliche Anwendungen liegen beispielsweise in der groß angelegten Erforschung kollektiven Verhaltens und dem Monitoring einzelner Tierarten.

3D-MuPPET bietet somit ein leistungsfähiges und flexibles System für Forschende, die mit Unterstützung der 3D-Rekonstruktion von der Körperhaltung einzelner Tiere das kollektive Verhalten von einer beliebigen Tierart überall erforschen möchten. Es bedarf lediglich mehrerer Kameras und eines Tools zur 2D-Modellierung von Tierkörperhaltungen, damit das System auch die Körperhaltungen beliebiger Tiere in drei Dimensionen nachverfolgen kann.

Faktenübersicht:
• Originalpublikation: Waldmann, U. & Chan, A.H.H. et al. 3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking. Int J Comput Vis (2024).
DOI: https://doi.org/10.1007/s11263-024-02074-y
• Dieser Artikel ist Teil einer Sonderausgabe mit dem Titel „Computer Vision Approaches for Animal Tracking and Modeling 2023“ in IJCV.
• Das System wurde entwickelt mit dem 3D-POP Datensatz und dem I-MuPPET-Framework, welche von Forschenden am Konstanzer Exzellenzcluster Kollektives Verhalten entwickelt wurden.
• Alex Chan und Urs Waldmann promovieren jeweils in den Disziplinen Biologie und Informatik am Exzellenzcluster Kollektives Verhalten. Senior-Autor Fumihiro Kano ist Nachwuchsgruppenleiter am Exzellenzcluster Kollektives Verhalten.
• Der Exzellenzcluster Kollektives Verhalten der Universität Konstanz ist ein weltweit führendes Spitzenforschungszentrum für die Erforschung von Schwarmverhalten. Interdisziplinär werden drängende Fragen über Arten- und Organisationsebenen hinweg angegangen, von neuronalen Mechanismen über individuelle Wahrnehmung und Präferenzen bis hin zu kollektivem Verhalten in Gruppen oder ganzen Gesellschaften.

Hinweis an die Redaktionen:
Das folgende Video demonstriert die automatisierte Erfassung der Körperhaltung von Tauben: https://youtu.be/GZZ_u53UpfQ?si=pW0DQRM2oelku41c
Fotos sind im Folgenden verfügbar:
1) https://www.uni-konstanz.de/fileadmin/pi/fileserver/2024_EXTRA/tierbewegungen_in…

2) https://www.uni-konstanz.de/fileadmin/pi/fileserver/2024_EXTRA/Tierbewegungen_in…

Bildunterschrift: Auf Grundlage von Computer Vision ermöglicht 3D-MuPPET die automatische Bestimmung der Körperhaltung von Tieren – sowohl in Innenräumen als auch in freier Natur.
Copyright: Alex Chan

Kontakt:
Universität Konstanz
Kommunikation und Marketing
Telefon: + 49 7531 88-3603
E-Mail: kum@uni-konstanz.de

http://www.uni-konstanz.de