Roboter-Hund lernt in einer Stunde das Laufen

Virtuelles Rückenmark wird kontinuierlich optimiert.

Wie ein neu geborenes Jungtier stolpert ein vierbeiniger Roboter bei seinen ersten Laufversuchen durch die Gegend. Doch während ein Fohlen oder eine Giraffe viel länger bräuchte, um richtig gehen zu können, lernt der Roboter in nur einer Stunde flüssig zu gehen. Ein Computerprogramm, welches wie ein künstliches Nervensystem im Rückenmark fungiert und zu Beginn noch nicht ideal eingestellt ist, lernt dank eines Algorithmus in kürzester Zeit, die Bewegung des Roboters zu optimieren. Am 18. Juli wird die Forschungsarbeit an der Schnittstelle der Robotik und Biologie im renommierten Fachjournal Nature Machine Intelligence veröffentlicht.

Eine neugeborene Giraffe oder ein Fohlen muss nach der Geburt erst einmal lernen, seine Beine geschickt einzusetzen. Voll ausgestattet kommen die Tiere auf die Welt, aber die Koordination, alle Muskeln und Sehnen perfekt einzusetzen, kommt erst mit der Zeit. Bis sie selbständig vor Fressfeinden fliehen können, sind neu geborene Tierbabys auf ihre Reflexe angewiesen. Reflexe helfen bei den ersten Gehversuchen, nicht hinzufallen und sich wehzutun. Die genaue Muskelkontrolle muss geübt werden; bis irgendwann das Nervensystem im Rückenmark gut angepasst ist. Kein unkontrolliertes Rumstaksen mehr – das Jungtier kann mit den erwachsenen Artgenossen mithalten.

Forscher des Max-Planck-Instituts für Intelligente Systeme (MPI-IS) in Stuttgart gingen in einer Forschungsarbeit der Frage nach, wie Tiere das Laufen und aus Stolperern lernen. Dafür bauten sie einen vierbeinigen Roboter, der einem Hund ähnelt.

„Als Ingenieure beziehungsweise Robotiker suchten wir die Antwort, indem wir einen Roboter bauten, der wie ein Tier Reflexe besitzt und aus Fehlern lernt“, sagt Felix Ruppert, ehemaliger Doktorand der Forschungsgruppe Dynamische Lokomotion am MPI-IS. „Wenn ein Tier stolpert, ist das dann ein Fehler? Bei einem Mal nicht. Wenn es aber häufig stolpert, gibt uns das ein Maß dafür, wie gut das Laufen funktioniert.“

Ruppert ist Erstautor der Publikation „Learning Plastic Matching of Robot Dynamics in Closed-loop Central Pattern Generators”, die am 18. Juli im renommierten Fachblatt Nature Machine Intelligence veröffentlicht wird.

Lernalgorithmus optimiert virtuelles Rückenmark

Wenn er erstmals beginnt zu laufen, lernt Rupperts Roboter in nur einer Stunde, seine interne Mechanik so gut er kann einzusetzen. Das funktioniert mit einem bayesian optimization Lernalgorithmus: Sensorinformationen von den Füßen (die Ist-Daten) werden mit den Solldaten des Computers bzw. des virtuellen Rückenmarks abgeglichen. Der Roboter lernt zu laufen, indem er die Struktur der gesendeten Bewegungsmuster kontinuierlich an die Sensorinformationen angleicht.

Der Lernalgorithmus beeinflusst einen sogenannten Central Pattern Generator (CPG); einen zentralen Bewegungsmuster-Generator. Bei Menschen und Tieren sind diese Mustergeneratoren Netzwerke aus Nervenzellen im Rückenmark, die selbstständig und ohne Einfluss des Gehirns rhythmische Muskelkontraktionen veranlassen. Diese neuronalen Netze spielen eine wichtige Rolle bei kontinuierlichen Bewegungen wie dem Gehen, beim Blinzeln oder der Verdauung. Bei neugeborenen Tieren sieht man sehr gut, dass die CPGs noch nicht genau genug eingestellt sind. Solange das Jungtier über einen perfekt ebenen Untergrund läuft, steuern die CPGs die Bewegungssignale aus dem Rückenmark korrekt. Mit einer kleinen Unebenheit ändert sich das schnell; Reflexe schalten sich dazu und passen die Bewegungsmuster an, damit das Tier nicht hinfällt. Diese kurzzeitigen Änderungen der Bewegungssignale sind reversible, oder ‚elastisch‘, und die Bewegungsmuster kehren nach der Störung in ihre ursprüngliche Konfiguration zurück. Wenn aber das Tier über viele Bewegungszyklen nicht aufhört zu stolpern – trotz aktiver Reflexe – dann müssen die Bewegungsmuster neu, und ‚plastisch‘, d.h. irreversibel gelernt werden.

Beim Labrador-großen Roboter-Hund namens „Morti“ ist es genauso. Er optimiert jedoch viel schneller seine Bewegungsmuster, nämlich in ca. einer Stunde. Mortis CPG wird dabei in einem kleinen und leichten Computer simuliert. Dieses virtuelle Rückenmark ist bei dem Vierfüßler dort angebracht, wo eigentlich der Kopf wäre. In der Stunde, die es braucht, damit der Roboter flüssig läuft, werden kontinuierlich die Daten der Sensoren, die an den Füßen angebracht sind, mit den CPG Signalen abgeglichen. Stolpert der Roboter, ändert der Lernalgorithmus, wie weit die Beine vor und zurück schwingen, wie schnell sie schwingen, wie lange ein Bein auf dem Boden bleibt. Die angepasste Beinbewegung beeinflusst, wie gut oder schlecht der Roboter seine Mechanik ausnutzten kann. Das CPG sendet angepasste Signale, damit der Roboter fortan möglichst wenig stolpert und damit sein Laufen optimiert. Das virtuelle Rückenmark muss dabei nicht wissen, dass der Roboter künstliche Muskeln und Sehnen besitzt. Es weiß nichts über die Physik der Maschine.

„Unser Roboter wird sinnbildlich geboren und weiß nichts darüber, wie seine Beine funktionieren“, erklärt Ruppert. „Das CPG funktioniert wie eine eingebaute automatische Laufintelligenz, welche die Natur uns bereitstellt und die wir auf den Roboter übertragen haben. Der Computer produziert Signale, die an die Beine gehen. Der Roboter läuft und stolpert dabei. Diese Daten fließen von den Sensoren zurück nach oben und werden vom Computer abgeglichen, der die Bewegungsmuster blind erzeugt. Erfüllen die Daten die Vorgaben nicht, dann verändern wir das Gehverhalten, bis Gehen ohne Stolpern funktioniert. Die Veränderung der Vorgabe, was die Beine tun sollen, ist der Lernprozess.“

Roboter-Hund sehr energieeffizient

Der Computer verbraucht dabei lediglich fünf Watt (W) Energie. Bei riesigen Roboter-Konstrukten prominenter Hersteller, die mithilfe von komplexen und aufwändigen Steuerungen laufen gelernt haben und deren genaue Masse und Geometrie bekannt ist, besteht ein weit höherer Energiebedarf – sie verbrauchen in der Regel mehrere Dutzend bis zu mehreren Hundert Watt Strom. Beide Systeme laufen dynamisch und effizient, doch der Energieverbrauch ist beim Stuttgarter Modell weit geringer. Zudem liefert es wichtige Erkenntnisse über die Anatomie von Tieren.

„Wir können das Rückenmark eines lebenden Tieres nicht erforschen. Wir können es aber im Roboter modellieren“, sagt Alexander Badri-Spröwitz, der zusammen mit Ruppert die Publikation verfasst hat und die Forschungsgruppe Dynamische Lokomotion leitet. „Wir wissen grundsätzlich, dass es diese CPGs in Tieren gibt; wir wissen, dass es Reflexe gibt. Wie aber kann ich beide so kombinieren, dass Tiere mit den Reflexen und den CPGs Bewegungen lernen können? Hier geht es um Grundlagenforschung an der Schnittstelle zwischen Robotik und Biologie. Das Robotermodell gibt uns Antworten auf Fragen, die die Biologie allein nicht beantworten kann.“

Wissenschaftliche Ansprechpartner:

Dr. Felix Ruppert
ehemaliger Doktorand der Forschungsgruppe Dynamische Lokomotion
Max-Planck-Instituts für Intelligente Systeme
ruppert@is.mpg.de

Originalpublikation:

DOI: 10.1038/s42256-022-00505-4
Paper Link: https://www.nature.com/articles/s42256-022-00505-4

Weitere Informationen:

Fotos und Video in dieser Dropbox: https://www.dropbox.com/sh/v98rvf7yd6qv906/AAD65L1udaU_k7DGayvTanM4a?dl=0
Youtube Clip über die Forschungsarbeit: