Neue Bildverarbeitungslösungen für interaktive Serviceroboter

Im Oktober präsentierten die Forschungsprojekte »ASARob« und »RoPHa« ihre Ergebnisse. In beiden entwickelte das Fraunhofer IPA mit Projektpartnern neue Grundfertigkeiten für interaktive Serviceroboter. Damit können Roboter ihre Umgebung besser wahrnehmen und zum Beispiel bei der Personenführung oder Nahrungsaufnahme unterstützen.

Was für den Menschen selbstverständlich ist, stellt einen Serviceroboter vor Herausforderungen. Erkennen, was ein Mensch tun möchte und welche Hilfe er benötigen könnte, sowie das Anbieten und Ausführen entsprechender Assistenzfunktionen in direkter Interaktion mit dem Nutzer: Um dies leisten zu können, muss ein Serviceroboter ein Verständnis für seine Umgebung entwickeln, beispielsweise Personen und Objekte erkennen, und sich sicher in dieser bewegen sowie geeignete Handgriffe in
der Nähe des Menschen ausführen können.

Diese grundlegenden Fähigkeiten weiterzuentwickeln war das Ziel der Forschungsprojekte ASARob und RoPHa, die das Bundesministerium für Bildung und Forschung (BMBF) durch die Fördermaßnahme »Autonome Roboter für Assistenzfunktionen: Interaktive Grundfertigkeiten (ARA1)« unterstützte. Im Oktober stellten die Projektpartner, darunter das Fraunhofer IPA, online im Rahmen einer Abschlussveranstaltung der Fördermaßnahme ihre Ergebnisse vor. Die Projekte nutzten den Serviceroboter Care- O-bot® 4 des Fraunhofer IPA, der mittlerweile von einem Spinoff des Instituts vertrieben wird, um die entwickelten Technologien in praxisnahen Anwendungsszenarien zu testen. Letztere erarbeiteten die Beteiligten in beiden Projekten in enger Abstimmung mit Experten aus der stationären Pflege und auf Basis umfangreicher Analysen vor Ort. Damit konnte sichergestellt werden, dass die robotische Unterstützung auch einem konkreten Praxisbedarf entsprach.

Projekten für verschiedene Softwareentwicklungen zuständig, um Umgebungsinformationen erfassen zu können. Diese sind eine essenzielle Grundlage dafür, dass der Roboter seine Aufgaben autonom ausführen kann. Hinzu kamen die Integration aller nötigen Technologien auf dem Demonstrator sowie die Umsetzung der Anwendungsszenarien.

Zuverlässiger Lotse

Im Projekt »Aufmerksamkeitssensitiver Assistenzroboter« (ASARob) ging es darum, die Aufmerksamkeitszustände des menschlichen Gegenübers mithilfe von Perzeptionsalgorithmen zu erfassen und auszuwerten. Ziel hiervon war, die Interaktion durch Roboterfunktionen für die Aufmerksamkeitsgenerierung, -lenkung und -wiederherstellung zu verbessern. Hierfür sind im Projekt Softwarelösungen zur Umgebungsund Personen- bzw. Posenerkennung entstanden.

Menschen interpretieren eine Szene anhand von zahlreichen Informationen wie Sprache, Geräuschen, Texten, räumlichen und visuellen Eindrücken und erfassen damit intuitiv, was das Gegenüber tut oder plant. »Unser Beitrag, damit ein Roboter dieses Verständnis erhält, war die Erweiterung unseres Umgebungsmodells um Semantiken. Diese Semantiken ergänzen die Bedeutung der Umgebungsinformation, die zunächst nur als dreidimensionale Punktwolke vorliegt. Die Semantiken identifizieren einzelne Objekte wie beispielsweise Stühle, Tische oder Pflanzen und liefern so mögliche Aufmerksamkeitsziele.«, erklärt Florenz Graf, der im Projekt die Arbeiten des Fraunhofer IPA koordinierte. Softwaremodule für die Erkennung und Klassifizierung geometrischer Formen und für die Ableitung entsprechender Raumstrukturen ermöglichen dieses Verständnis.

»Die genannten Technologien ergänzen unsere bereits vorhandenen Algorithmen zur Personen- und Aktivitätenerkennung bestens. Gemeinsam ermöglichen sie einem Roboter, eine Szene ganzheitlich zu verstehen«, so Graf. Praktisch getestet wurden die Technologien in einem Anwendungsszenario, in dem Care-O-bot® 4 eine Person durch ein Gebäude sicher und aufmerksam zu ihrem gewünschten Ziel begleitet.

Helfer am Esstisch

Ziel des Projekts »Robuste Perzeption für die interaktive Unterstützung älterer Nutzer im häuslichen Umfeld« (RoPHa) war die Entwicklung von Perzeptions- und Handhabungsfunktionen. Sie ermöglichen einem Roboter, bei der mundgerechten Bereitstellung von Nahrung zu unterstützen.

Die entwickelten Assistenzfunktionen sollten dabei in unterschiedlichen Anwendungen erprobt werden. Insbesondere sollte der Roboter unterschiedliche Speisen nach Wahl des Nutzers anreichen oder beim Schneiden und Würzen der Speisen unterstützen können. Damit der Roboter derart assistieren kann, hat das Fraunhofer IPA bildverarbeitende Algorithmen für die Segmentierung und Klassifizierung der Speisen auf Basis von Methoden des maschinellen Lernens entwickelt. »Mithilfe dieser kann der Roboter sowohl den Nutzer als auch ausgewählte Speisen auf Tellern erkennen und genau lokalisieren«, erläutert Florian Jordan, der im Projekt die Softwareentwicklungen koordinierte. »So kann der Roboter Essen handhaben und damit bei einer typischen Alltagsaufgabe beispielsweise Menschen mit Querschnittslähmung unterstützen.«

Mit Mitarbeitenden aus der stationären Pflege führten die Projektpartner zwei Testreihen durch. Diese zeigten, dass die Szenarien zuverlässig umsetzbar sind. Die Testpersonen empfanden die Interaktion mit dem Roboter größtenteils als angenehm. Lediglich bezüglich der Ausführungsgeschwindigkeit gab es noch Verbesserungsbedarf. »Ein weiteres Anwendungsfeld der entwickelten Software sehen wir im Einsatz für Großküchen, wo Roboter beispielsweise bei Routineaufgaben unterstützen könnten, oder auch für autonome und somit hygienischere Büffets«, teilt Jordan mit.

Vielfältige Einsatzmöglichkeiten

Auch abseits der beschriebenen Anwendungsszenarien stehen die in beiden Projekten entwickelten Bildverarbeitungslösungen – insbesondere für die Umgebungsmodellierung sowie für die Speisen-, Personen- und Objekterkennung – für vielfältige Einsatzmöglichkeiten bereit. Die Algorithmen können verschiedene Farb- und 3D-Sensormodalitäten nutzen, sind also nicht auf bestimmte Sensoren beschränkt. Durch die modulare Gestaltung sind sie einfach in neue Anwendungen übertragbar.

Wissenschaftliche Ansprechpartner:

Für ASARob: Florenz Graf, Tel.: +49 (0)711/970-1286, E-Mail: florenz.graf@ipa.fraunhofer.de
Für RoPHa: Florian Jordan: Tel.: +49 (0)711/970-1878, E-Mail: florian.jordan@ipa.fraunhofer.de

Weitere Informationen:

http://www.ipa.fraunhofer.de/asarob – Projektwebsite ASARob
http://www.youtube.com/watch?v=c4XV4fu3r5I&t=32s – YouTube-Video zu ASARob
http://www.ipa.fraunhofer.de/ropha – Projektwebsite RoPHa
http://www.youtube.com/watch?v=dc2MxVPapZU – YouTube-Video zu RoPHa