Sensoren lernen das Denken

Im Leitprojekt NeurOSmart der Fraunhofer-Gesellschaft forschen fünf Institute (ISIT, IPMS, IMS, IWU, IAIS)* unter Leitung des Fraunhofer-Instituts für Siliziumtechnologie ISIT in Itzehoe gemeinsam an besonders energieeffizienten und intelligenten Sensoren für die nächste Generation autonomer Systeme. Dabei werden die Brücken zwischen Wahrnehmung und Informationsverarbeitung durch innovative Elektronik neu definiert.

Intelligente Maschinen werden zunehmender Bestandteil unseres Alltages. Naheliegende Beispiele sind das autonome Fahren oder etwa moderne Roboter-Staubsauger im Haushalt. Doch auch dort, wo wir nicht direkt mit ihnen in den Kontakt kommen, sind selbstständig arbeitende Roboter zunehmend unerlässlich: als flinke und unermüdliche Helfer in Logistikzentren oder als präzise und starke Partner in Fertigungsumgebungen.

Um in diesen Anwendungen autonom, also möglichst eigenständig ohne Überwachung durch Menschen, arbeiten zu können, sind diese Roboter mit Sensoren und Elektronik gespickt, die es ihnen ermöglichen, ihre Umgebung wahrzunehmen und auch unvorhergesehene Situationen eigenständig zu bewältigen. Je komplizierter das Aufgabengebiet, desto intelligenter und agiler muss die Maschine sein. Dies führt dazu, dass immer mehr und verschiedene Sensoren, etwa für die Abstandsmessung, für die Bewegungserfassung oder die Druckbestimmung bei Berührungen, kombiniert werden und die Elektronik und Computertechnik für die Erfassung und Verarbeitung der Daten immer leistungsstärker sein muss.

Allerdings geht dieser Trend zu mobilen Supercomputern mit einem erheblich steigenden Energieverbrauch einher. Besonders bei mobilen Systemen führt dies zu verkürzen Einsatzdauern oder Reichweiten und stößt laut aktuellen Prognosen in den nächsten Jahrzehnten gar an die Grenzen der weltweiten Energieerzeugung.

Um dieser Eskalation entgegenzuwirken, setzen die in NeurOSmart beteiligten Fraunhofer-Forscherinnen und Forscher auf eine dezentrale Intelligenz, die auf den jeweiligen Sensor maßgeschneidert wird. Das Projekt hat eine Laufzeit von vier Jahren und ein Finanzvolumen von acht Millionen Euro. Als Vorbild für die zu entwickelnde sogenannte neuromorphe Elektronik dient das menschliche Gehirn, denn dieses ist trotz seiner enormen Rechenleistung sehr energiesparend beim Treffen von Entscheidungen.

»Diese Art der Datenverarbeitung, also des Denkens, wird durch eine neuartige analoge Computer-Speichertechnologie realisiert, die zudem in der Lage ist, Rechenoperationen durchzuführen, wenn Daten in dem System neu erfasst werden«, erläutert der ISIT-Wissenschaftler und Projektleiter Dr. Michael Mensing: „In der Praxis wird dies genutzt, um Objekte und ihr Verhalten exakt und in Echtzeit zu erkennen.“ Bisher sind für diese Funktionsweise mehrere getrennt entwickelte Komponenten in Computern und eine besonders energieaufwändige Kommunikation zwischen ihnen nötig.

Unterstrichen werden die Vorteile des neuen Ansatzes durch die parallele Entwicklung besonders kleiner und effizienter Modelle für die Objekterkennung und -klassifizierung, die speziell auf den Sensor, die neuen Möglichkeiten der direkt integrierten Elektronik und ihre Anwendungen angepasst werden. Das Resultat ist eine schnelle Reaktionszeit, erhöhter Datenschutz und erhebliche Energieeinsparung gegenüber dem aktuellen Trend von praxisfernen oder cloudbasierten Lösungen, die bevorzugt auf immer größere, energieintensivere Modelle zurückgreifen.

In den nächsten vier Jahren soll dieser Ansatz erstmals mit einem komplexen, bei Fraunhofer entwickelten LiDAR-System (Light Detection And Ranging) kombiniert und in anwendungsnaher Umgebung erprobt werden. Dieses Sensorsystem ist ein entscheidender Bestandteil autonom arbeitender Systeme, da er seine Umgebung mithilfe detaillierter Abstandsinformationen auch bei schlechtem Wetter und über einen weiten Entfernungsbereich erkennt. Als erste Probe der neuartigen Sensoren werden sie in den nächsten Jahren in Robotersysteme integriert, die ihre menschlichen Kolleginnen und Kollegen in Fertigungsumgebungen unterstützen, beispielsweise durch das Bewegen von schweren Lasten oder Anreichen von Komponenten.
*Die im Leitprojekt beteiligten Fraunhofer-Institute sind:

Fraunhofer ISIT
Das Fraunhofer ISIT ist der Koordinator des Projekts NeurOSmart: Zu den Forschungskompetenzen gehört die Entwicklung und Integration von piezo- und ferroelektrischen Materialien für mikroelektronische und elektromechanische Anwendungen. Im Rahmen des Projekts ist das Fraunhofer ISIT bei der Entwicklung und Fertigung des Scanning-LiDAR-Systems sowie AIScN-basierter ferroelektrischer Multibitspeicher beteiligt.

Fraunhofer IPMS
Zu den primären Forschungskompetenzen zählt die Entwicklung von Speichertechnologien in advanced node CMOS Realisierungen. Hierfür verfügt das Fraunhofer IPMS über eine innovative ferroelektrische Speichertechnologie (FeFET). Im Rahmen von NeurOSmart dient die Speicheremulation u.a. für Softwareblöcke zur Ansteuerung der In-Memory-Hardware-Blöcke sowie zur Verwaltung von Datenströmen.

Fraunhofer IMS
Die Kernkompetenzen des Fraunhofer IMS bestehen in der Entwicklung von Embedded Software und AI, Smart Sensor Systems. Das Institut hat eine AIfES (Artificial Intelligence for Embedded Systems) entwickelt – eine plattformunabhängige und stetig wachsende Machine-Learning-Bibliothek in der Programmiersprache C. AlfES stellt auch für NeurOSmart eine wichtige Voraussetzung für die Entwicklung der Hardwareplattform zur Sensor- und Scanner-Ansteuerung dar.

Fraunhofer IWU
Der Kompetenzbereich des Fraunhofer IWU reicht von Werkzeugmaschinen, Umform-, Füge- und Montagetechnik über Präzisionstechnik und Mechatronik bis hin zur Digitalisierung in der Produktion sowie der virtuellen Realität im Kontext Maschinenbau. Im Rahmen des Projekts wird das Institut das Sensorsystem in einem industriellen Umfeld auf die Anwendbarkeit evaluieren.

Fraunhofer IAIS
Das Fraunhofer IAIS verfügt über Forschungskompetenzen in den Bereichen verteiltes Lernen, Sprachassistenzsysteme und Computer Vision für das Autonome Fahren. Dabei verfügt das Institut über ein leistungsfähiges Spracherkennungssystem für die automatische Transkription und die Erkennung von Sprachsignalen. Im Rahmen von NeurOSmart bündelt das Institut seine Kompetenzen u.a. für das Training des neuronalen Netzwerkes.

Wissenschaftliche Ansprechpartner:

Dr. Michael Mensing
Fraunhofer-Institut für Siliziumtechnologie ISIT
Telefon +49 4821-17 4331
michael.mensing@isit.fraunhofer.de

Weitere Informationen:

http://www.neurosmart.fraunhofer.de

https://www.isit.fraunhofer.de/de/newsroom/aktuelles/sensoren-lernen-das-denken.html