Roboter lernen mit Qubits

Bremer Forschende entwickeln innovativen Ansatz zur quantengestützten Weltraumerkundung.

Quantencomputer bergen ungeahntes Potenzial für zahlreiche Anwendungsfelder – auch für die Robotik. Doch noch steckt die Forschung in den Kinderschuhen. Im nun abgeschlossenen Projekt QINROS ist es Forschenden des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI) und der Universität Bremen gelungen, bestärkende Lernverfahren mit Quantenalgorithmen erstmalig für die Roboternavigation im Kontext der Weltraumexploration einzusetzen. Damit schaffen sie wichtige Grundlagen zur Erforschung der Zukunftstechnologie für robotische Anwendungen. Das Vorhaben wurde vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) über das Deutsche Zentrum für Luft- und Raumfahrt (DLR) gefördert.

Die größte Herausforderung im Bereich der autonomen Robotik ist die riesige Datenmenge, die in kürzester Zeit verarbeitet werden muss, damit Roboter selbständig agieren und schnell auf unvorhergesehene Situationen reagieren können. Quantencomputer sind in der Lage, eine Vielzahl von Lösungswegen parallel zu berechnen, weshalb sie Informationen deutlich schneller verarbeiten, und sehr viel komplexere Aufgaben bewältigen könnten als klassische digitale Computer. Doch die Erforschung quantengestützter Berechnungsverfahren in der Robotik steht noch ganz am Anfang. Diese voranzutreiben, haben sich das DFKI Robotics Innovation Center und die Arbeitsgruppe Robotik der Universität Bremen auf die Fahne geschrieben und eine Forschungsagenda definiert, um quantengestützte Konzepte und Lösungen für Anwendungsfelder in der Künstlichen Intelligenz (KI) und Robotik zu erarbeiten.

Prof. Dr. Dr. h.c. Frank Kirchner, Leiter des DFKI Robotics Innovation Center: „Die Quantentechnologie, insbesondere das Quantenmaschinelle Lernen, hat das Potenzial bedeutende Entwicklungen im Bereich der effizienten Berechnung hoch komplexer Prozesse zu ermöglichen. Gerade in der Robotik haben wir das Problem, dass wir immer am Limit der Computer arbeiten – je mehr Rechenkraft uns zur Verfügung steht, desto besser. Allerdings gilt es hier noch sehr viel grundlegende Forschung zu betreiben und entsprechende Ausbildungsarbeit zu leisten. Dazu möchten wir mit aktuellen und zukünftigen Projekten beitragen.“

Im Mittelpunkt des im September 2020 gestarteten Projekts QINROS (Quantencomputing und quantenmaschinelles Lernen für intelligente und robotische Systeme) stand die Frage, ob und in welchem Ausmaß sich Rechenprozesse für robotische Navigationsaufgaben bereits heute auf Quantencomputer auslagern lassen. Die Verteilung von Rechenprozessen ist deshalb von besonderer Relevanz, weil die Rechenkapazität aktueller Quantencomputer noch nicht für eine vollständig quantenbasierte Verarbeitung ausreicht. Zudem wollten die Bremer Forschenden herausfinden, inwiefern die quantengestützte Ausführung maschineller Lern- und Optimierungsverfahren Vorteile gegenüber klassischen Verfahren birgt. Dies untersuchten sie am Beispiel eines mobilen Turtlebot-Systems, dessen Aufgabe es ist, mithilfe von Reinforcement Learning eine unbekannte Umgebung eigenständig zu erkunden. Dabei erfasst der Roboter sowohl Sensorwerte der Umgebung als auch Informationen zu seinem internen Status, die als Datenbasis für das bestärkende Lernen dienen, das erwünschtes Roboterverhalten wie das erfolgreiche Umfahren eines Hindernisses belohnt. So lernt das System, sich nach und nach in der ihm fremden Umgebung zurechtzufinden.

Ausgehend von diesem Szenario wurde zunächst theoretisch evaluiert, welche Anteile des Reinforcement Learning sich mithilfe von quantengestützten Verfahren berechnen lassen, und welche sinnvollerweise, aber auch notwendigerweise mit klassischen Verfahren vorverarbeitet werden müssen. Die Umsetzung erfolgte in der simulierten Umgebung mit steigender Komplexität. Hierfür entwickelten die Forschenden Algorithmen für parametrisierbare Quantenschaltkreise, die u.a. die Berechnung neuer Trajektorienziele mit Qubits ermöglichen. Dabei zeigte sich, dass sich mithilfe der Quantenschaltkreise äquivalente Ergebnisse wie mit klassischen neuronalen Netzen erzielen lassen. Darüber hinaus deuten erste Ergebnisse darauf hin, dass sich Probleme deutlich kompakter darstellen lassen: So benötigten die Wissenschaftler zur Lösung ein und desselben Problems anstatt 2000 Parameter im neuronalen Netz nur 200 Parameter im Quantenschaltkreis. Die Projektergebnisse veröffentlichten die Forschenden in dem Paper „Quantum Deep Reinforcement Learning for Robot Navigation Tasks“ (arXiv:2202.12180).

Ein weiterer wesentlicher Bestanteil von QINROS war ein zweitätiger virtueller Workshop am 17. und 18. Februar 2022, der darauf abzielte, Interessierten aus der (KI-)Software-Entwicklung, Führungskräften aus Industrie und Forschung sowie Studierenden und Promovierenden einen ersten Einblick in die komplexe Thematik zu geben. Mit insgesamt 150 Teilnehmenden, einem durchweg positiven Feedback sowie dem Wunsch nach weiteren derartigen Weiterbildungsmöglichkeiten war die Veranstaltung ein voller Erfolg.

Frank Kirchner: „Mit QINROS ist es uns erstmalig gelungen, quantenmaschinelle Lernverfahren für Roboterverhalten in einer simulierten Umgebung zu demonstrieren und so die Leistungsfähigkeit parametrisierbarer Quantenschaltkreise in einem Anwendungsfall der Weltraumrobotik darzustellen. Wir freuen uns sehr über die vielversprechenden Ergebnisse, die wir nun weiterverfolgen wollen. Die rege Teilnahme an unserem Workshop hat uns den Bedarf und das enorme Interesse an dem Thema nochmals vor Augen geführt.“

Das Projekt QINROS wurde vom 1. September 2020 bis zum 28. Februar 2022 vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) über das Deutsche Zentrum für Luft- und Raumfahrt (DLR) gefördert.

DFKI-Pressekontakt:
Unternehmenskommunikation Bremen
E-Mail: uk-hb@dfki.de
Tel.: +49 421 178 45 4180

Wissenschaftliche Ansprechpartner:

Prof. Dr. Dr. h.c. Frank Kirchner
Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)
Robotics Innovation Center
E-Mail: frank.kirchner@dfki.de
Tel.: +49 421 178 45 4101

Originalpublikation:

Dirk Heimann, Hans Hohenfeld, Felix Wiebe, Frank Kirchner: Quantum Deep Reinforcement Learning for Robot Navigation Tasks https://arxiv.org/abs/2202.12180

http://www.dfki.de