NeurOSmart: Entwicklung eines smarten LiDAR Sensors

… mit integrierter neuromorpher Datenverarbeitung nimmt Fahrt auf.

Im Fraunhofer-Leitprojekt NeurOSmart forschen fünf Institute (ISIT, IPMS, IMS, IWU, IAIS)* gemeinsam an einem besonders energieeffizienten und intelligenten Sensor für die nächste Generation autonom agierender Systeme. Nach knapp einem Jahr Projektlaufzeit präsentieren die Fraunhofer-Forscherinnen und Forscher auf der Electronica das zu erwartende Sensorsystem und die hybride, neuromorphe Datenverarbeitungspipeline.

Aktuell geht der Trend für komplexe anspruchsvolle Anwendungen, wie etwa dem autonomen Fahren, zu mobilen Supercomputern mit einem erheblich steigenden Energieverbrauch. Besonders bei mobilen Systemen führt dies zu verkürzen Einsatzdauern oder Reichweiten und stößt laut aktuellen Prognosen in den nächsten Jahrzehnten gar an die Grenzen der weltweiten Energieerzeugung. Um dieser Eskalation entgegenzuwirken, setzen die in NeurOSmart beteiligten Fraunhofer-Forscherinnen und Forscher auf eine dezentrale Intelligenz, die auf den jeweiligen Sensor maßgeschneidert wird und neue Ansätze der energieeffizienten Datenverarbeitung.

Der Grundgedanke des ambitionierten Vorhabens liegt darin, die Datenverarbeitung soweit es geht, direkt in den Sensor zu integrieren und durch aufeinander abgestimmte Komponenten möglichst energieeffizient zu werden.

Das erstrebte Resultat ist ein Entfernungssensor (LiDAR), welcher in einem Sichtfeld von 90° x 90° bei Arbeitsabständen bis zu 12 Metern, Objekte auf Basis individueller Pixel erkennt und klassifiziert. All dies in Echtzeit mit Bildwiederholraten von über 20 Hz und bei einem Energieverbrauch von ein paar 10 W. Damit kann dieses System als Sicherheitssystem für die Kollaboration zwischen Menschen und Industrierobotern und zukünftig auch für mobile Anwendungen genutzt werden kann.
Ermöglicht wird diese Leistungsfähigkeit durch eine Vielzahl an Innovationen im Bereich der Datenverarbeitung und Sensorik, die in diesem Vorhaben kombiniert werden.

Besonders hervorheben möchten wir die Rohdatenaufbereitung und -vorverarbeitung, welche über die Verbindung des RISC-V Manycore-Clusters AIRISC-N mit dem embedded AI Framework AIfES eine integrierte Lösung für die energieeffiziente Berechnung von KI-Algorithmen auf eingebetteter Hardware in Echtzeit bietet. Auf diese Weise reduziert sich die Menge der zu interpretierenden Daten um einen Faktor von 10 und ermöglichen es, auch nur Teile der Szene zu beobachten (Region of Interest), was den Energieverbrauch erneut senkt und die Reaktionszeit erhöht.

Das Beste – die Fraunhofer Technologien des AIRISC Core und AI Framework AIfES sind kostenlos über GitHub erhältlich und können seit kurzem auch problemlos als vorkonfiguriertes System im Intel Pathfinder Shop heruntergeladen und in eigene Designs integrieret werden. Neben Anwendungen der Bildverarbeitung (LiDAR, Wärmebild, Visible) werden unter anderem auch Zeitreihen-Analysen (Akustisches Überwachung, Medizintechnik) und KI-basierte Prädiktionen (Predictive Maintenance, Ausfallvorhersage) mittels vorkonfigurierter Erweiterungen unterstützt.

Die weiterführende Dateninterpretation wird auf einem neuartigen mixed-signal in-memory Beschleuniger umgesetzt, der mit einer erwarteten Energieeffizienz von mehr als 1000 TOPS/W heutige Alternativen um mindestens zwei Größenordnungen übertrifft. Das Herz des Beschleunigers sind sogenannte ferroelektrische Feldeffekttransistoren (FeFETs), welche gleichermaßen Informationen speichern und verarbeiten können (in-memory compute). Auf diese Weise wird der energieaufwendige Engpass in der Kommunikation zwischen Speicher und Rechenkern aufgelöst und aufwendige KI-Verfahren können auch in mobilen Endgeräten realisiert werden.

Unterstrichen werden die Vorteile des neuen Ansatzes durch die parallele Entwicklung besonders kleiner und effizienter Modelle für die Objekterkennung und -klassifizierung. Sie sind speziell auf den Sensor, auf neue Möglichkeiten der direkt integrierten Elektronik und auf ihre Anwendungen angepasst. Das Resultat ist eine schnelle Reaktionszeit, erhöhter Datenschutz und erhebliche Energieeinsparung gegenüber dem aktuellen Trend von praxisfernen oder cloudbasierten Lösungen, die bevorzugt auf immer größere, energieintensivere Modelle zurückgreifen.

Auf der Electronica 2022 finden Sie die Forscherinnen und Forscher des Vorhabens am Stand der Fraunhofer-Gesellschaft in Halle B4, Stand 258.

*Die im Leitprojekt beteiligten Fraunhofer-Institute sind:

Fraunhofer ISIT
Das Fraunhofer ISIT ist der Koordinator des Projekts NeurOSmart: Zu den Forschungskompetenzen gehört die Entwicklung und Integration von piezo- und ferroelektrischen Materialien für mikroelektronische und elektromechanische Anwendungen. Im Rahmen des Projekts ist das Fraunhofer ISIT bei der Entwicklung und Fertigung des Scanning-LiDAR-Systems sowie AIScN-basierter ferroelektrischer Multibitspeicher beteiligt.

Fraunhofer IPMS
Zu den primären Forschungskompetenzen zählt die Entwicklung von Speichertechnologien in advanced node CMOS-Realisierungen. Hierfür verfügt das Fraunhofer IPMS über eine innovative ferroelektrische Speichertechnologie (FeFET). Im Rahmen von NeurOSmart dient die Speicheremulation u.a. für Softwareblöcke zur Ansteuerung der In-Memory-Hardware-Blöcke sowie zur Verwaltung von Datenströmen.

Fraunhofer IMS
Die Kernkompetenzen des Fraunhofer IMS bestehen in der Entwicklung von Embedded Software und AI, Smart Sensor Systems. Das Institut hat eine AIfES (Artificial Intelligence for Embedded Systems) entwickelt – eine plattformunabhängige und stetig wachsende Machine-Learning-Bibliothek in der Programmiersprache C. AlfES stellt auch für NeurOSmart eine wichtige Voraussetzung für die Entwicklung der Hardwareplattform zur Sensor- und Scanner-Ansteuerung dar.

Fraunhofer IWU
Der Kompetenzbereich des Fraunhofer IWU reicht von Werkzeugmaschinen, Umform-, Füge- und Montagetechnik über Präzisionstechnik und Mechatronik bis hin zur Digitalisierung in der Produktion sowie der virtuellen Realität im Kontext Maschinenbau. Im Rahmen des Projekts wird das Institut das Sensorsystem in einem industriellen Umfeld auf die Anwendbarkeit evaluieren.

Fraunhofer IAIS
Das Fraunhofer IAIS verfügt über Forschungskompetenzen in den Bereichen verteiltes Lernen, Sprachassistenzsysteme und Computer Vision für das Autonome Fahren. Dabei verfügt das Institut über ein leistungsfähiges Spracherkennungssystem für die automatische Transkription und die Erkennung von Sprachsignalen. Im Rahmen von NeurOSmart bündelt das Institut seine Kompetenzen u.a. für das Training des neuronalen Netzwerkes.

Wissenschaftliche Ansprechpartner:

Dr. Michael Mensing
michael.mensing@isit.fraunhofer.de

Weitere Informationen:

https://www.isit.fraunhofer.de/de/newsroom/aktuelles/neurosmart–entwicklung-ein…