Forschende nutzen ChatGPT für Choreographien mit Flugrobotern

Robotik und ChatGPT miteinander verbinden…

• Prof. Angela Schoellig von der Technischen Universität München (TUM) hat gezeigt, dass Large Language Models in der Robotik sicher eingesetzt werden können.
• ChatGPT entwickelt Choreographien für bis zu neun Flugroboter, individuell zur jeweiligen Musik.
• Ein zusätzlicher Algorithmus garantiert, dass die Drohnen sicher fliegen.

Prof. Angela Schoellig von der Technischen Universität München (TUM) setzt ChatGPT ein, um Choreographien für Drohnenschwärme passend zur jeweiligen Musik zu entwickeln. Ein zusätzlicher Sicherheitsfilter verhindert, dass die Flugroboter in der Luft zusammenstoßen. Damit beweisen die Forschenden erstmalig, dass Large Language Models (LLMs) wie ChatGPT in der Robotik grundsätzlich zum Einsatz kommen können.

Das Webinterface ist einfach zu bedienen: Doktorand Martin Schuck sucht sich einen Musiktitel aus und trägt in einem Textfeld ein, dass ihm das System eine Choreographie vorschlagen soll. Über einen weiteren „Prompt“ im ChatGPT-Tool lassen sich zusätzliche Anweisungen an den Drohnenschwarm geben, ehe ein Algorithmus überprüft, ob diese Flugbahnen machbar sind. Auf dem Bildschirm im Learning Systems and Robotics Lab ist nun ein simuliertes Flugfeld zu erkennen, auf dem sechs Drohnen im Kreis fliegen, passend zur Musik. Gefällt dem Wissenschaftler aus dem Lehrstuhl für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme der TUM diese Choreographie, loggt er sie ein und wenig später heben sechs Handteller-große Drohnen vom Boden des Robotik-Labs ab.

Choreographie mit drei Flugrobotern ist nach fünf Minuten fertig

Im Labor von Prof. Angela Schoellig hat das Forschendenteam dafür in einem etwa 40 Quadratmeter großen und drei Meter hohen Raum sechs Kameras an der Decke angebracht. Auf dem Boden sind mit Isolierband Kreuze markiert – die Startpositionen der Drohnen. Hat der Rechner nun eine mögliche Choreographie verifiziert, kann der Flug beginnen. 200 Mal in der Sekunde detektieren die Kameras die Position der mit vier Propellern und Motoren ausgestatteten Quadrocopter. Das System gleicht sie mit der erwünschten Position ab. Zu 100 Prozent sicher sind die Flugshows im Learning Systems and Robotics Lab heute, die das Forschendenteam mit bis zu neun Drohnen realisiert. Ohne den speziellen Sicherheitsfilter geht nur jede vierte Flugshow unfallfrei über die Bühne.

SwarmGPT: Zusatzalgorithmus macht Flugroboter sicher

Für den „Tanz der Flugroboter“ hat Prof. Angela Schoellig ChatGPT mit dem Sicherheitsfilter kombiniert. „Das KI-Tool ChatGPT wurde primär dafür geschaffen, um Texte zu generieren, doch es kann auch Choreografien vorschlagen“, sagt die Professorin. „Allerdings weiß es zunächst nichts über die Eigenschaften von Drohnen und physikalischen Grenzen für die Flugbahnen. Klar ist also, dass ChatGPT Fehler macht.“

Der zusätzliche Sicherheitsalgorithmus schließt diese Lücke und plant die Flugbahnen für die vorgeschlagene Choreografie exakt so um, dass die Drohnen in der Luft nicht miteinander kollidieren. Selbst ein diagonaler Flug zweier sich entgegenkommender Drohnen wird so möglich. Das für den Einsatz von mehreren Flugrobotern konzipierte Gesamtkonzept aus ChatGPT und Sicherheitsfilter nennt Prof. Schoellig SwarmGPT. Das Tool generiert einerseits die Abläufe in der Luft und dient andererseits als Interface zwischen Roboter und Mensch, der keinerlei Expertenwissen benötigt.

ChatGPT hat einen Quantensprung bewirkt

Als Angela Schoellig vor knapp 15 Jahren mit ihrer Forschung an Drohnen begann, wurden Choreografien von Hand entwickelt. Bis die ersten sechs Choreographien für sechs Drohnen entwickelt waren und funktionierten, vergingen mehr als drei Jahre. „ChatGPT hat hier einen Quantensprung bewirkt“, so Prof. Schoellig. In den letzten drei Monaten experimentierten die Forschenden mit über 30 Choreographien für bis zu neun Drohnen. Um heute eine sichere Choreograhie für einzelne etwa 30 Sekunden lange Musikclips mit drei Drohnen zu entwickeln, benötigen die Forschenden gerade einmal etwa fünf Minuten. Je mehr Drohnen hinzukommen, umso länger muss ChatGPT rechnen, und desto länger dauert der Vorschlag für eine Choreographie. Doch ist Schoellig sich sicher: „Das Konzept ist skalierbar.“

Robotik: Wird ChatGPT zum Interface für Nicht-Expertinnen und Nicht-Experten

Können auch andere Roboter mit einem solchen Interface über ChatGPT eingesetzt werden? Für Roboter, die über Sprachsteuerung Dinge greifen, Kabel legen oder Türen öffnen, liegt die Erfolgsrate der Szenarien derzeit bei nur 63, 56 und 80 Prozent. Auf den Einsatz in anderen Robotikszenarien ist also bis jetzt eher wenig Verlass. Für Prof. Angela Schoellig ist das ein Ansporn: „Ich gehe davon aus, dass unser Ansatz auch mit anderen Szenarien immer besser funktionieren wird.“ Saug- und industrielle Roboter könnten sich demnächst womöglich einfach durch Sprachanweisung umprogrammieren lassen, ohne Experten- und Programmierwissen.

Weitere Informationen:
Prof. Angela Schoellig ist Leiterin des Lehrstuhls für Sicherheit, Performanz und Zuverlässigkeit für lernende Systeme der TUM und zudem Direktorin im Munich Institute of Robotics and Machine Intelligence (MIRMI). In dem Robotik- und KI-Institut der TUM sind über 70 Professor:innen darauf fokussiert, robotische und intelligente Lösungen in den Bereichen Gesundheit, Umwelt, Mobilität und Arbeit zu entwickeln.

Swarm-GPT: Combining Large Language Models with Safe Motion Planning for Robot Choreography Design;NeurIPS 2023 workshop paper – https://tinyurl.com/23qwnyb8

Zusatzinformationen für Redaktionen
Fotos zum Download: https://mediatum.ub.tum.de/image/1740784
Video: https://youtu.be/aKnhSnJHNpw

Wissenschaftliche Ansprechpartner:

Prof. Angela Schoellig
Lehrstuhl für Sicherheit, Performanz und Zuverlässigkeit lernender Systeme
Technische Universität München (TUM)
Angela.schoellig@tum.de

Originalpublikation:

Vivek K. Adajania, Siqi Zhou, Arun Kumar Singh, Angela P. Schoellig
AMSwarm: An Alternating Minimization Approach for Safe Motion Planning of Quadrotor Swarms in Cluttered Environments; IEEE; ; https://ieeexplore.ieee.org/document/10161063

https://www.tum.de/aktuelles/alle-meldungen/pressemitteilungen/details/tum-professorin-nutzt-chatgpt-fuer-choreographien-mit-flugrobotern