Die Vermessung der Körpersprache

– den Gefühlen auf der Spur.

Kann man an unseren Bewegungen ablesen, wie wir uns fühlen? Und wie lassen sich Gefühle mit empirischen Methoden erforschen? Um diese Fragen beantworten zu können, hat ein großes internationales, interdisziplinäres Forschungsteam unter Leitung des Max-Planck-Instituts für empirische Ästhetik (MPIEA) in Frankfurt am Main eine integrative wissenschaftliche Methodik entwickelt. Die Forscher:innen erarbeiteten mit künstlerischen und digitalen Mitteln, wie der Motion-Capture-Technologie, die Software EMOKINE zur Vermessung der objektiven kinematischen Merkmale von Bewegungen, die Emotionen ausdrücken. Die Ergebnisse der Studie wurden jüngst im Fachjournal Behavior Research Methods veröffentlicht.

Das Team ließ hierfür eine professionelle Tänzerin kurze Tanzchoreografien vor einem Greenscreen wiederholen. Dabei sollte sie mit ihren Bewegungen unterschiedliche Emotionen zum Ausdruck bringen: Wut, Zufriedenheit, Angst, Freude, Neutralität und Traurigkeit. Um die Tanzbewegungen als Daten erfassen zu können, bedienten sich die Wissenschaftler:innen aus dem Technik-Fundus des MPIEA: So trug die Tänzerin einen Motion-Capture-Ganzkörperanzug des Unternehmens XSENS®, der mit insgesamt 17 hochsensiblen Sensoren ausgestattet ist. In Kombination mit einer Filmkamera wurden die dynamischen Körperbewegungen gemessen und aufgezeichnet. Daraufhin extrahierten die Forscher:innen die objektiven kinematischen Merkmale (Bewegungsparameter) und programmierten die Software EMOKINE, die diese Bewegungsparameter auf Knopfdruck aus Datensätzen zur Verfügung stellen kann.

Computergestütztes Tracking für Ganzkörperbewegungen

Insgesamt 32 Statistiken aus 12 Bewegungsparametern wurden erarbeitet und aus einem Pilot-Tanz-Datensatz extrahiert. Die kinematischen Parameter, die erfasst wurden, waren beispielsweise Geschwindigkeit, Beschleunigung oder die Kontraktion der Gliedmaßen.

„Wir haben 12 kinematische Merkmale emotionaler Ganzkörperbewegungen, die in der Literatur früherer Forschungsarbeiten separat diskutiert wurden, nun alle zusammen aus einem selben Datensatz ermittelt und die Merkmale dann einheitlich in die EMOKINE Software eingespeist“, berichtet Erstautorin Julia F. Christensen vom MPIEA.

Bewegungstracking findet in den letzten Jahren in vielen Bereichen Anwendung, weil das objektive Erfassen von Bewegungsparametern Aufschluss über Intentionen, Gefühle und Gemütsverfassung von Personen geben kann. Diese Forschung braucht allerdings theoriebasierte Methodik, um aussagekräftige Schlussfolgerungen über erfasste Daten machen zu können.

„Diese Arbeit zeigt, wie künstlerische Praxis, Psychologie und Computerwissenschaften auf ideale Weise zusammenarbeiten können, um Methoden zur Erforschung der menschlichen Kognition zu erarbeiten“, sagt Andrés Fernández vom Max-Planck-Institut für Intelligente Systeme in Tübingen und Co-Erstautor der Arbeit.

Mit dem Rahmenkonzept, das die Software begleitet und das sich explizit den Tanzbewegungen zur Erforschung von Emotionen bedient, wichen die Wissenschaftler:innen von bisherigen Forschungsansätzen ab, bei denen oftmals die klassischen emotionsaktionsbasierten Videoclips, wie zum Beispiel das Winken mit der Hand oder Gehbewegungen, zum Einsatz kamen.

„Wir freuen uns ganz besonders über die Veröffentlichung dieser Arbeit, an der so viele Expert:innen, unter anderem von der Goethe-Universität Frankfurt am Main, der Universität von Glasgow und das Filmteam von WiseWorld Ai aus Portugal beteiligt waren. Hier kamen Disziplinen aus der Psychologie, den Neurowissenschaften, der Informatik, der empirischen Ästhetik, aber auch aus Tanz und Film zusammen“, resümiert Seniorautorin Gemma Roig, Professorin für Computer Science, Computational Vision and AI lab an der Goethe-Universität Frankfurt am Main.

Das Softwarepaket als Open Source

EMOKINE ist über die Internetplattformen ZENODOund GitHub frei verfügbar und kann mit leichten Modifizierungen auch auf andere Motion-Capture-Systeme angewendet werden. Mit diesen frei verfügbaren digitalen Werkzeugen kann nicht nur der emotionale Ausdruck von Tänzer:innen und anderer Künstler:innengruppen untersucht werden, sondern auch ganz alltägliche Bewegungen.

Die Forscher:innen hoffen nun, dass die von ihnen entwickelte Software EMOKINE in verschiedenen Bereichen Anwendung findet: in der experimentellen Psychologie, den affektiven Neurowissenschaften sowie auf dem Feld der Computer Vision, insbesondere in der KI-gestützten Auswertung von visuell geprägten Medien – ein Feld innerhalb der KI, das es Computern und Systemen ermöglicht, aussagefähige Informationen aus digitalen Bildern, Videos und anderen visuellen Eingaben zu gewinnen. EMOKINE hilft Wissenschaftler:innen die Frage zu beantworten, wie kinematische Parameter von Ganzkörperbewegungen Beobachter:innen verschiedene Absichten, Gefühle und mentale Zustände vermitteln.

Wissenschaftliche Ansprechpartner:

Max-Planck-Institut für empirische Ästhetik
Dr. Julia F. Christensen
julia.christensen@ae.mpg.de

Originalpublikation:

Christensen, J. F., Fernández, A., Smith, R. A., Michalareas, G., Yazdi, S. H. N., Farahi, et al., F., Schmidt E. M., Bahmanian, N., & Roig, G. (2024). EMOKINE: A Software Package and Computational Framework for Scaling Up the Creation of Highly Controlled Emotional Full-Body Movement Datasets. Behavior Research Methods. Advance online publication. https://doi.org/10.3758/s13428-024-02433-0

Weitere Informationen:

https://zenodo.org/records/7821844
https://github.com/andres-fr/emokine

https://www.aesthetics.mpg.de/newsroom/news/news-artikel/article/die-vermessung-der-koerpersprache.html