Neue Deep Learning Modelle: Weniger Neuronen, mehr Intelligenz

Ein internationales Forschungsteam der TU Wien (Wien), des IST Austria und des MIT (USA) hat ein neues System künstlicher Intelligenz entwickelt, welches auf den Gehirnen winziger Tiere, wie z.B. Fadenwürmern, basiert. Dieses neuartige KI-System kann ein Fahrzeug mit nur wenigen künstlichen Neuronen steuern. Nach Ansicht des Teams hat das System entscheidende Vorteile gegenüber bisherigen Modellen des Deep Learnings: Es kommt viel besser mit gestörten Eingaben zurecht und aufgrund seiner Einfachheit kann seine Funktionsweise im Detail erklärt werden. Dieses neue Modell des Deep Learnings ist nun in der Zeitschrift Nature Machine Intelligence veröffentlicht worden.

Künstliche Intelligenz (KI) kann effizienter und zuverlässiger werden, wenn sie nach biologischen Systemen modelliert wird. Neue Zugänge zu KI-Forschung sind in Experimenten enorm erfolgreich.

Künstliche Intelligenz (KI) ist in unserer Alltagswelt angekommen—von Suchmaschinen bis hin zu selbstfahrenden Autos. Dies hat mit der enormen Rechenleistung zu tun, die in den letzten Jahren verfügbar geworden ist. Neue Ergebnisse aus der KI-Forschung zeigen nun aber, dass mit einfacheren, kleineren neuronalen Netzen bestimmte Aufgaben noch besser, effizienter und zuverlässiger gelöst werden können als je zuvor.

Ein internationales Forschungsteam der TU Wien (Wien), des IST Austria und des MIT (USA) hat ein neues System künstlicher Intelligenz entwickelt, welches auf den Gehirnen winziger Tiere, wie z.B. Fadenwürmern, basiert. Dieses neuartige KI-System kann ein Fahrzeug mit nur wenigen künstlichen Neuronen steuern. Nach Ansicht des Teams hat das System entscheidende Vorteile gegenüber bisherigen Modellen des Deep Learnings: Es kommt viel besser mit gestörten Eingaben zurecht und aufgrund seiner Einfachheit kann seine Funktionsweise im Detail erklärt werden. Es muss nicht als eine komplexe „Black Box“ betrachtet werden, denn es ist für Menschen verstehbar. Dieses neue Modell des Deep Learnings ist nun in der Zeitschrift Nature Machine Intelligence veröffentlicht worden.

Von der Natur lernen

Ähnlich wie lebende Gehirne bestehen künstliche neuronale Netzwerke aus vielen einzelnen Zellen. Wenn eine Zelle aktiv ist, sendet sie ein Signal an andere Zellen. Alle von der nächsten Zelle empfangenen Signale werden kombiniert, um zu entscheiden, ob auch diese Zelle aktiv wird. Die Art und Weise, wie eine Zelle die Aktivität der nächsten Zelle beeinflusst, bestimmt das Verhalten des Systems – diese Parameter werden in einem automatischen Lernprozess so lange angepasst, bis das neuronale Netz eine bestimmte Aufgabe lösen kann.

„Seit Jahren erforschen wir, was wir von der Natur lernen können, um Deep Learning zu verbessern“, sagt Prof. Radu Grosu, Leiter der Forschungsgruppe “ Cyber-Physical Systems“ an der TU Wien. „Der Fadenwurm C. elegans zum Beispiel lebt sein Leben mit einer erstaunlich geringen Anzahl von Neuronen und zeigt immer noch interessante Verhaltensmuster. Dies ist auf die effiziente und harmonische Art und Weise zurückzuführen, wie das Nervensystem des Fadenwurms Informationen verarbeitet.

„Die Natur zeigt uns, dass es noch viel Raum für Verbesserungen gibt“, meint Prof. Daniela Rus, Direktorin des Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT. „Daher war es unser Ziel, die Komplexität massiv zu reduzieren und die Interpretierbarkeit von Modellen neuronaler Netze zu verbessern.

„Inspiriert von der Natur haben wir neue mathematische Modelle von Neuronen und Synapsen entwickelt“, pflichtet Prof. Thomas Henzinger, Präsident des IST Austria, bei.

„Die Verarbeitung der Signale innerhalb der einzelnen Zellen folgt anderen mathematischen Prinzipien als frühere Modelle für Deep Learning“, sagt Dr. Ramin Hasani, Postdoc-Assistent am Institut für Technische Informatik, TU Wien und am MIT CSAIL. „Außerdem sind unsere Netzwerke sehr lose verbunden—das bedeutet, dass nicht jede Zelle mit jeder anderen Zelle verbunden ist. Das macht das Netzwerk auch einfacher.“

Autonome Fahrspurhaltung

Um diese neuen Ideen zu testen, wählte das Team eine besonders wichtige Testaufgabe: selbstfahrende Autos, die in ihrer Spur bleiben sollen. Das neuronale Netz erhält als Input Kamerabilder der Straße und soll automatisch entscheiden, ob es nach rechts oder links lenkt.
„Für das Erlernen komplexer Aufgaben wie das autonome Fahren werden heute oft Deep learning Modelle mit vielen Millionen Parametern verwendet“, gibt Mathias Lechner, Alumnus der TU Wien und Doktorand am IST Austria, zu bedenken.

„Unser neuer Ansatz ermöglicht es uns jedoch, die Größe der Netzwerke um zwei Größenordnungen zu reduzieren. Unsere Systeme verwenden nur 75.000 trainierbare Parameter“.

Alexander Amini, Doktorand am MIT CSAIL, erklärt, dass das neue System aus zwei Teilen besteht: Der Kameraeingang wird zunächst von einem sogenannten faltenden neuronalen Netzwerk verarbeitet, das nur die visuellen Daten wahrnimmt, um strukturelle Merkmale aus den eingehenden Pixeln zu erfassen. Dieses Netzwerk entscheidet, welche Teile des Kamerabildes interessant und wichtig sind, und leitet dann Signale an den entscheidenden Teil des Netzwerks weiter—ein „Kontrollsystem“, das dann das Fahrzeug lenkt.

Beide Subsysteme sind hintereinander geschalten und werden gleichzeitig trainiert. Es wurden viele Stunden Verkehrsvideos von menschlichen Fahrten im Großraum Boston gesammelt, die zusammen mit Informationen darüber, wie das Fahrzeug in einer bestimmten Situation zu lenken ist, in das Netzwerk eingespeist werden. Das geschieht, bis das System gelernt hat, Bilder automatisch mit der entsprechenden Lenkrichtung zu verknüpfen und selbständig mit neuen Situationen umgehen kann.

Der Steuerungsteil des Systems (genannt Neural Circuit Policy oder NCP), der die Daten aus dem Wahrnehmungsmodul in einen Lenkbefehl übersetzt, besteht aus nur 19 Neuronen. Mathias Lechner erklärt, dass die NCPs um bis zu 3 Größenordnungen kleiner sind als das, was mit den bisherigen hochmodernen Modellen möglich gewesen wäre.

Kausalität und Interpretierbarkeit

Das neue Deep Learning Modell wurde an einem realen autonomen Fahrzeug getestet. „Mit unserem Modell können wir untersuchen, worauf das Netzwerk seine Aufmerksamkeit während der Fahrt konzentriert. Unsere Netzwerke fokussiert sich auf ganz bestimmte Teile des Kamerabildes: Die Bordsteinkante und den Horizont. Dieses Verhalten ist höchst wünschenswert, und es ist einzigartig unter den Systemen der künstlichen Intelligenz“, sagt Ramin Hasani. „Darüber hinaus haben wir gesehen, dass die Rolle jeder einzelnen Zelle bei jeder Fahrentscheidung identifiziert werden kann. Wir können die Funktion der einzelnen Zellen und ihr Verhalten verstehen. Dieses Maß an Interpretierbarkeit zu erreichen, ist für größere Modelle des Deep Learnings unmöglich“.

Robustheit

„Um zu testen, wie robust NCPs im Vergleich zu früheren Deep Learning Modellen sind, haben wir die Eingangsbilder gestört und bewertet, wie gut die KI-Agenten mit dem Rauschen umgehen können“, erklärt Mathias Lechner. „Während dies für andere tiefe neuronale Netze zu einem unüberwindbaren Problem wurde, zeigten unsere NCPs eine starke Resistenz gegen Eingabeartefakte. Diese Eigenschaft ist eine direkte Folge des neuartigen neuronalen Modells und der Architektur.“

„Interpretierbarkeit und Robustheit sind die beiden Hauptvorteile unseres neuen Modells“, sagt Ramin Hasani. „Aber es gibt noch mehr: Mit unseren neuen Methoden können wir auch die Schulungszeit reduzieren und eröffnen die Möglichkeit, KI in relativ einfachen Systemen zu implementieren. Unsere NCPs ermöglichen Imitationslernen in einem breiten Spektrum möglicher Anwendungen, von der automatisierten Arbeit im Lager bis hin zur Fortbewegung von Robotern.

Die neuen Erkenntnisse eröffnen der KI-Gemeinschaft wichtige neue Perspektiven. Die Prinzipien der Berechnung in biologischen Nervensystemen können zu einer großartigen Ressource für die Schaffung hochleistungsfähiger und interpretierbarer KI werden—als Alternative zu den bisher von uns verwendeten Black-Box-Systemen für maschinelles Lernen“.

Video: https://youtu.be/8KBOf7NJh4Y
Code Repository: https://github.com/mlech26l/keras-ncp

Originalpublikation:

https://www.nature.com/articles/s42256-020-00237-3

https://ist.ac.at/de/