Pflegeroboter GARMI wird zum universellen Assistenten

Von Inselbegabungen zum Gesamtkonzept.

• Auf der Robotikmesse ICRA in Yokohama in Japan stellen die Geriatronik-Forscher der Technischen Universität München (TUM) vier neue Forschungsarbeiten vor – unter anderem über das Greifen von Gegenständen und neue Sicherheitsfunktionalitäten.
• Ein generatives KI-Modell bringt GARMI erstmals dazu, auf Zuruf telemedizinische Anwendungen, Physiotherapie oder pflegerische Aufgaben zu ermöglichen.
• Neuronale Netze unterstützen GARMI darin, Objekte präzise erkennen und greifen zu können.

Erstmals zeigt Assistenzroboter GARMI, dass er verschiedene Fähigkeiten direkt miteinander verbinden und Personen im Alltag über den ganzen Tag hinweg unterstützen kann. Dank digitalem Zwilling, künstlicher Intelligenz und ChatGPT übernimmt der Pflegeassistent der Technischen Universität München (TUM) pflegerische Aufgaben, bringt morgens Wasser und Frühstück ans Bett, vermittelt Gespräche mit Ärztinnen und Ärzten, ermöglicht telemedizinische Untersuchungen und hilft bei Reha-Übungen sowie beim Aufstehen.

Der Assistenzroboter GARMI wird immer vielfältiger und intelligenter. Wie die Forschenden aus dem Munich Institute of Robotics and Machine Intelligence (MIRMI) der TUM auf der Robotikmesse ICRA 2024 in Yokohama in Japan zeigen, versteht der Roboter nicht nur diverse Kommandos per ChatGPT, sondern setzt so unterschiedliche Aufgaben und Fertigkeiten wie das Greifen von Gegenständen, sicheres Manövrieren und die Kommunikation mit Patientinnen und Patienten autonom um. Zudem vermittelt er Live-Gespräche mit Ärztinnen und Ärzten, die telemedizinische Untersuchungen vornehmen. „GARMI ist nun in der Lage, diverse Einzelfähigkeiten, die wir ihm in den letzten Jahren beigebracht haben, sicher und auf Zuruf über ChatGPT auszuführen“, erläutert der Leiter des Geriatronik-Projekts Dr.-Ing. Abdeldjallil Naceri.

Mensch-Roboter-Interaktion: Tools müssen zuverlässig und sicher sein

Dafür verbinden die Forschenden diverse technologische Innovationen miteinander. Ein digitaler Zwilling kommt zum Einsatz, um die Bewegungen des Roboters vor der realen Interaktion mit dem Menschen in einer Simulation durchzuprobieren und so Zusammenstöße zu vermeiden. Künstliche Intelligenz (KI) trägt dazu bei, dass GARMI Tassen und Gläser greifen und herüberreichen kann, ohne Flüssigkeit zu verschütten. Und ChatGPT übernimmt als Bindeglied die Kommunikation zwischen Roboter, Patientinnen und Patienten, Physiotherapeutinnen und Physiotherapeuten sowie Ärztinnen und Ärzten.

Forscher Naceri vergleicht die Innovationen im GARMI mit Entwicklungen im autonomen Fahren: „Bis eine neue Funktion wie etwa die autonome Einparkhilfe in einem Fahrzeug zur Verfügung steht, sind viele Entwicklungsschritte nötig“, so der Forscher, „ähnlich wie in der Pflegerobotik muss die Technologie absolut zuverlässig und sicher sein, da sie im Umfeld mit Menschen eingesetzt wird.“

Pflegeassistent mit ChatGPT, Digital Twin und menschenähnlichen Händen

Besonders in drei Bereichen haben die Forschenden der TUM große Fortschritte erzielt:

1. Geschicklichkeit – Greifen und präzise aus der Ferne bewegen

Das Greifen: Damit GARMI ähnlich wie Menschen greifen kann, haben die Forschenden eine Kamera, einen Roboterarm mit sieben Gelenken und künstlicher Hand sowie künstliche Intelligenz zusammengebracht. Zunächst macht die Kamera ein Bild von dem Objekt, das GARMI greifen soll und identifiziert es über den Einsatz von neuronalen Netzen als Tasse, Flasche oder Ball. Da die Kamera nur von einer Seite das Objekt sieht, ergänzt das System nicht-sichtbare Bereiche etwa einer Tasse, indem es das Gesehene mit anderen Bildern vergleicht und rekonstruiert das vollständige 3-D-Objekt. Die Wahrscheinlichkeiten, mit denen das Objekt so dargestellt wird, wie es in Wirklichkeit aussieht, stellen die Forschenden in einer farblich abgestuften Grafik dar, einer „Heatmap“. So lässt sich die ideale Position für die Hand ermitteln, die etwa eine Tasse greifen soll. In neun von zehn Fällen ist das komplexe System nun dazu in der Lage. „Wenn es mit einer Tasse klappt, kann unser System das auf alle anderen Tassenformen übertragen“, sagt Naceri.

Aus der Ferne bewegen: Um erforschen zu können, ob Ärztinnen und Ärzte per Teleoperation mit Patientinnen und Patienten zusammenarbeiten können, dachten sich die Forschenden einen besonderen Versuchsaufbau aus. Dafür zeichneten sie auf einem digitalen Grafik-Tablet einfache Formen. GARMI wurde ebenfalls mit einem Stift in einer Hand und mit einer Kamera in der anderen ausgestattet. Einen Raum entfernt sollte GARMI auf eine Leinwand übertragen, was die Forschenden zuvor gezeichnet haben – also eine einfache Zeichnung in ein komplexes robotisches System projizieren. Es stellte sich heraus, dass die besten Kreise, Quadrate und Dreiecke dann entstanden, wenn GARMI die Kamera autonom einsetzte, eine Erkenntnis, die künftig in die Zusammenarbeit zwischen behandelnden Medizinerinnen und Mediziner und Patientinnen und Patienten einfließt. Denn beispielsweise bei einer Ultraschalluntersuchung geht es darum, den Ultraschallkopf möglichst präzise aufzusetzen oder bei einer Reha-Übung, Bewegungen richtig auszuführen.

Umgebung wahrnehmen und navigieren: In einer neuen Forschungsarbeit zeigen die Forschenden, wie Werkzeuge an einem Gegenstand vorbeimanövriert werden können. Die Herausforderung besteht darin, einerseits die Abstände im Auge zu behalten und andererseits die Beweglichkeit des Roboterarms mit allen seinen Gelenken richtig einzuschätzen. Gelingt das, kann der Roboter sogar entgegenfliegenden Bällen ausweichen.

2. Sicherheit: Ein taktiler Roboter reagiert innerhalb von einer Millisekunde

GARMI verarbeitet Informationen mit einer Taktung von einer Millisekunde. Das betrifft die Wahrnehmung, Interaktion und Navigation gleichermaßen. Die Kraftsensoren der Roboterarme registrieren geringste Berührungen und reagieren sofort. Stößt ein Mensch versehentlich gegen den Arm des Roboters, bleibt er aus Sicherheitsgründen innerhalb von einer Millisekunde stehen. Um Unfälle auszuschließen, treffen Mensch und Roboter zunächst als digitale Zwillinge in einem virtuellem Umfeld aufeinander. Das ist unerlässlich, denn der Assistenzroboter kann in der Wohnung eines Pflegeheims theoretisch bis zu 20 km/h schnell werden. In der Computersimulation registriert GARMI mithilfe der Safety Motion Unit über seine Sensoren, wenn ihm eine Person zu nah kommt und bewegt sich langsamer. Entfernt sich die Person, bewegt er sich wieder schneller.

3. Sprache: ChatGPT nutzt Liste an Kommandos

Das KI-Tool ChatGPT funktioniert als Übersetzer zwischen Technik und Mensch. Es hat diverse Kommandos wie „Starte die Reha“, „Zeig mir das Wetter von morgen“ oder „Ruf den Arzt an“ gelernt, und GARMI nutzt dieses Tool, um mit Patientinnen und Patienten zu kommunizieren. „Aktuell haben die Forschenden eine Liste von 15 bis 20 Kommandos, die bestimmte Aktionen triggern. „Potenziell können wir sie beliebig erweitern“, sagt Robotik-Forscher Naceri, „das MIRMI gehört damit zu den ersten Instituten, in denen Roboter und Menschen mithilfe von ChatGPT miteinander interagieren.“

GARMI lernt noch, mit menschlicher Umgebung umzugehen

Der neue universelle GARMI wird nun in einer Musterwohnung in Garmisch-Partenkirchen aktiv. Das Hauptforschungsfeld wird die Weiterentwicklung von Händen sein, die immer feinere Aufgaben übernehmen können. Bis GARMI letztlich in Pflegeheimen zum Einsatz kommt, werden noch einige Jahre vergehen. „Es ist wie mit dem autonomen Auto“, sagt Naceri, „es sind schon große Fortschritte gemacht worden, doch fehlen noch ein paar Details, um es im Umfeld des Menschen einsetzen zu können.“

Publikationen
– RETOM: Leveraging Maneuverability for Reactive Tool Manipulation using Wrench-Fields; Felix Eberle, Riddhiman Laha, Haowen Yao, Abdesdjallil Naceri, Luis F.C. Figueredo, Sami Haddadin; ICRA 2024
– Autonomous and Teleoperation Control of a Drawing Robot Avartar; Lingyun Chen, Abdeldjallil Naceri, Abdalla Swikir, Sandra Hirche, Sami Haddadin; ICRA 2024
– Anthropomorphic Grasping with Neural Object Shape Completion; Diego Hidalgo-Carvajal,l Hanzhi Chen, Gemma C. Bettelani, Jaesug Jung, Melissa Zavaglia, Laura Busse, Abdeldjallil Naceri, Stefan Leuttenegger, Sami Haddadin; ICRA 2024
– Safe-By-Design Digital Twins for Human-Robot Interaction: A Use Case for Humanoid Service Robots. Jon Škerlj*, Mazin Hamad*, Jean Elsner, Abdeldjallil Naceri, Sami Haddadin.
– Video: A Day with GARMI: Robot Home Assistence in the Lives of Senior Citizens; S. Bing, J. Skerlj, F. Eberle, A. Teimoorzadeh, X. Chen, M. Forouhar, H. Seghedian, A. Naceri, S. Haddadin; ICRA 2024; https://youtu.be/mL-50vtXHdo

Zusatzinformationen für Redaktionen
Fotos zum Download: https://mediatum.ub.tum.de/image/1742821.jpg

Wissenschaftliche Ansprechpartner:

Prof. Sami Haddadin
Executive Director des Munich Institute of Robotics and Machine Intelligence (MIRMI)
Technische Universität München (TUM)
haddadin@tum.de

Dr. Abdeldjallil Naceri
Leitender Wissenschaftler im MIRMI
Leiter der Geriatronik-Forschung
Technische Universität München (TUM)
Djallil.naceri@tum.de

https://www.tum.de/aktuelles/alle-meldungen/pressemitteilungen/details/pflegeroboter-garmi-wird-zum-universellen-assistenten