Leistungsstarke Objekterkennung

… für vielfältige Anwendungen rund um KI und Robotik.

Am Fraunhofer IPA sind neue Algorithmen für die Objekterkennung und Umgebungserfassung entstanden, die anspruchsvolle Automatisierungslösungen in Dienstleistung und Produktion ermöglichen. Sie sind ein Ergebnis des Forschungsprojekts »Knowledge4Retail«, in dem zwölf Projektpartner Lösungen für einen zukunftsorientierten Einzelhandel entwickelt haben.

Den stationären Einzelhandel mithilfe digitaler Lösungen wieder attraktiver für die Kundschaft machen – diesem Ziel widmeten sich die Beteiligten in »Knowledge4Retail« (K4R) von Januar 2020 bis Dezember 2022. Beim Abschlusstreffen in diesem Frühjahr präsentierten sie die Ergebnisse. Kern des Projekts ist eine auf dem Versionsverwaltungssystem GitHub verfügbare K4R-Open-Source-Plattform, die dem Einzelhandel die Ergebnisse zugänglich macht. Einzelhandelsunternehmen können über die Plattform analoge und digitale Welten verbinden und beispielsweise Prozesse einfacher analysieren und Prognosen zum Kaufverhalten erstellen. Die Projektpartner entwickelten dabei Lösungen für die Anwendungskontexte Logistik, Filialaufbau, Servicerobotik und einen vollautomatischen Kiosk.

Flexible und schnelle 3D-Bildverarbeitung

Die IPA-Forscherinnen und Forscher hatten mehrere Entwicklungsschwerpunkte im Projekt, durch die sie ihr Knowhow und das daraus resultierende Angebot rund um die 3D-Bildverarbeitung erweitert haben. Ein Kernaspekt war die Erstellung sogenannter semantischer digitaler Zwillinge der Einzelhandelsprodukte. Hierbei wird ein beliebiges, auch vorher noch nie gesehenes Produkt mithilfe von Sensoren beispielsweise in einer Scanstation erfasst und dann mit vielfältigen Informationen wie Form, Farbe oder Textur dreidimensional modelliert. Für das Modellieren, bei dem das Fraunhofer IPA mit der Firma Kaptura zusammenarbeitete, kommen auch Methoden des Maschinellen Lernens, einem Teilgebiet der Künstlichen Intelligenz (KI), zum Einsatz.

Mithilfe der entwickelten Technologien ist es möglich, breite Produktpaletten schnell und hochaufgelöst in 3D zu modellieren. Im Zuge der Modellierung werden auch semantische Informationen wie Logos, Nährwert- oder Mengenangaben auf den Produkten erkannt und digital erfasst. So sind die erzeugten Modelle die Grundlage z. B. für digitale Abbilder einer Filiale, einen Webshop (siehe die hier unten im Infokasten verlinkte Demowebseite eines virtuellen Shops) oder auch automatisierte Produktanalysen, wie sie u. a. in Labors stattfinden.

Ferner ist eine skalierbare, für den Handel optimierte Objekterkennungslösung entstanden, die durch präzise optische Identifizierung von Produkten Automatisierungslösungen in Produktion und Logistik ermöglicht. Beispielanwendungen sind das roboterbasierte Bin Picking (Griff-in-die-Kiste) oder Bin Packing, also das Einpacken von Gütern aller Art und Form. Letztere, auch »Order Picking« oder »Pick & Pack« genannte Aufgabe, bei der die Waren aus Kisten oder Regalen entnommen und ordentlich in einen Zielkarton verpackt werden, wird insbesondere in Zeiten eines boomenden Online-Handels immer wichtiger. Die entwickelte Objekterkennungslösung kann zur Unterstützung dieser Prozesse vollautomatisch direkt anhand der digitalen 3D-Produktmodelle in weniger als einer Stunde für jedes neue Produkt eingelernt werden.

Smarte Regale und Kiosk-Systeme

Ein weiteres Ergebnis vonseiten des Fraunhofer IPA ist eine mobile Pointer-Einheit, die bei der Warenverräumung »mithilft«. Die Lösung adressiert Fachkräfte in der Logistik oder im Einzelhandel und erleichtert ihnen das Einräumen in Regale. Die Fachkraft trägt hierfür einen kleinen Barcode-Scanner am Finger, einen sog. Ringscanner, und erfasst damit ein Produkt oder dessen Karton, das in das Regal geräumt werden soll. Ein beweglicher Scheinwerfer beleuchtet dann auf Basis eines digitalen Filialzwillings den Platz, an dem das Produkt eingeordnet werden muss. Die Anwendung unterstützt das Personal insbesondere bei kleinen und sich ähnelnden Produkten und spart Zeit (siehe Videolink unten).

Mit dem »Smart-Kiosk-System« wurde zudem eine Verkaufslösung entwickelt und erprobt, die durch das Konzept des Mikromarkts neue Absatzkanäle abseits der Supermärkte in Kantinen oder Pausenbereichen schafft. Dazu sind in einem Kühlschrank Gewichtssensoren und Kameras installiert. Sie ermöglichen mithilfe der Objekterkennung, Hände und Produkte sowie das Entnehmen oder Ablegen von Produkten automatisiert zu erkennen. Kombiniert wird dies mit einer persönlichen Identifizierung durch eine Nutzeroberfläche und der Anbindung an ein Abrechnungssystem (im Projekt durch den Partner Nagarro z. B. an SAP). Folglich können Produktentnahmen automatisch im virtuellen Einkaufswagen verbucht und später digital abgerechnet werden. Zudem erhält das Service-Personal eine Nachricht, wenn Produkte wieder aufgefüllt werden müssen, da das Kiosk-System stetig den digitalen Zwilling auf der angebundenen K4R-Cloud-Plattform aktualisiert. Die Projektarbeiten haben in Absprache mit dem Praxispartner Livello stattgefunden.

Integration in die Open-Source-Plattform

Nicht zuletzt berieten die IPA-Expertinnen und Experten auch dabei, wie die im Projekt entwickelten Lösungen spezifiziert und bestmöglich in die K4R-Open-Source-Plattform integriert werden konnten. Die offen erweiterbare Plattform stellt Funktionen und Schnittstellen für die Anbindung an unterschiedliche Logistiksysteme, Sensoren, Roboter oder die umfangreichen Softwaremodule aus dem Umfeld des Robot Operating System ROS ebenso bereit wie die notwendige Infrastruktur für vernetzte digitale Zwillinge von Filialen und Produkten.

Dadurch, dass das Fraunhofer IPA bereits seit Jahren den europäischen Teil des ROS-Industrial-Konsortiums leitet, liegt hier umfangreiche Erfahrung in der Entwicklung leistungsfähiger, modularer Open-Source-Systeme vor. Und auch in Vorgängerprojekten wie beispielsweise »Serviceroboter-Netzwerk« (SeRoNet) war eines der Projektziele, die Ergebnisse nachhaltig und über das Projektende hinaus zugänglich zu machen. In SeRoNet erfolgte dies durch den als Start-up weitergeführten virtuellen Marktplatz »Xito.one« und die ebenfalls auf GitHub veröffentlichten Entwicklungswerkzeuge »ROStooling«, was als Wissensgrundlage für die K4R-Plattform genutzt wurde.

Wissenschaftliche Ansprechpartner:

Jochen Lindermayr | Telefon +49 711 970-1565 | jochen.lindermayr@ipa.fraunhofer.de
Richard Bormann | Telefon +49 711 970-1062 | richard.bormann@ipa.fraunhofer.de

Weitere Informationen:

https://github.com/knowledge4retail -> GitHub-Link
http://www.object-twin.ai -> Webseite des »virtuellen Shops«
https://knowledge4retail.org/ -> Projektwebseite

http://www.ipa.fraunhofer.de/