In die Tiefen des Netzwerks geblickt

Göttinger Forschungsteam ergründet Informationsverarbeitung in Deep Neural Networks.

Künstliche neuronale Netze sind in Forschung und Technik ebenso wie in Technologien des Alltags heute allgegenwärtig, zum Beispiel bei der Spracherkennung. Trotzdem ist bislang unklar, was genau in den tieferen Bereichen dieser Netzwerke passiert. Um dies zu ergründen, haben Forschende des Göttingen Campus Instituts für Dynamik biologischer Netzwerke (CIDBN) der Universität Göttingen und des Max-Planck-Instituts für Dynamik und Selbstorganisation (MPI-DS) eine informationstheoretische Analyse des Deep Learning, einer speziellen Form des maschinellen Lernens, vorgenommen.

Sie erkannten, dass die Information weniger komplex dargestellt wird, je weiter sie verarbeitet wird. Darüber hinaus beobachteten sie Trainingseffekte: Je öfter ein Netzwerk mit Daten „trainiert“ wird, desto weniger künstliche Neuronen müssen gleichzeitig die Information verarbeiten. Die Ergebnisse sind in der Fachzeitschrift Transactions on Machine Learning Research erschienen.

Künstliche neuronale Netze des Typs Deep Neural Network setzen sich aus zahlreichen Schichten zusammen, die jeweils aus künstlichen Neuronen bestehen. Die Netzwerke sind von der Funktionsweise der Großhirnrinde inspiriert. Sie müssen zunächst lernen, um Muster zu erkennen und zu verallgemeinern. Dazu werden sie mit Daten trainiert. Für ihre Studie nutzten die Forschenden Bilder von handgeschriebenen Zahlen, die das Netzwerk korrekt erkennen sollte. Das Prinzip ist einfach: Ein Bild wird in die Eingabeschicht eingelesen. Dann nehmen die Zwischenschichten den Inhalt des Bildes nacheinander auf, wobei die Information auf die künstlichen Neuronen verteilt wird. Am Ende gibt die Ausgabeschicht im Idealfall das korrekte Ergebnis aus.

Mithilfe der partiellen Informationszerlegung (Partial Information Decomposition) ermittelten die Forschenden, wie die Eingabewerte in den Zwischenschichten umgeformt werden. Bei dieser Methode wird die Information in ihre Einzelteile zerlegt. So wird erkennbar, wie die künstlichen Neuronen die Verarbeitung aufteilen: Spezialisiert sich jedes Neuron auf individuelle Aspekte der Information? Oder gibt es viel Redundanz oder mehr Synergie?

„Je weiter wir uns in Richtung der Ausgabeschicht im Netzwerk bewegen, auf desto weniger Neuronen liegt die Information verteilt. Die Neuronen spezialisieren sich. Die Repräsentation der Information wird mit der Verarbeitung weniger komplex und dadurch einfacher auslesbar,“ erklärt David Ehrlich vom CIDBN. Auch mit fortschreitendem Training sinkt die Anzahl an Neuronen, die an der Entschlüsselung der Information beteiligt sind. Folglich trägt das Training dazu bei, dass die Komplexität während der Verarbeitung abnimmt.

„Neu ist vor allem, dass wir nun Einblick in die Informationsstruktur und Funktionsweise jeder einzelnen Zwischenschicht haben. Wir können also der Informationsverarbeitung in künstlichen neuronalen Netzen Schicht für Schicht zusehen – und das sogar während des Lernvorgangs“, so Andreas Schneider vom MPI-DS. „Das bietet einen neuen Ausgangspunkt, um Deep Neural Networks zu verbessern. Sie werden in kritischen Bereichen wie dem autonomen Fahren und der Gesichtserkennung eingesetzt. Es gilt daher, Fehler zu vermeiden. Dafür ist es wichtig, das Innenleben der Netzwerke genau zu kennen“, sind sich die Forschenden einig.

Wissenschaftliche Ansprechpartner:

Dr. Britta Korkowsky
Georg-August-Universität Göttingen
Göttingen Campus Institut für Dynamik biologischer Netzwerke (CIDBN)
Geschäftsstelle
Heinrich-Düker-Weg 12, 37073 Göttingen
Telefon: 0551 39-26675
E-Mail: cidbn@uni-goettingen.de

Dr. Manuel Maidorn
Pressereferent
Max-Planck-Instituts für Dynamik und Selbstorganisation (MPI-DS)
Am Faßberg 17, 37077 Göttingen
Telefon: 0551 5176-668
E-Mail: presse@ds.mpg.de

Originalpublikation:

Originalveröffentlichung: Ehrlich, D. A. et al: A Measure of the Complexity of Neural Representations based on Partial Information Decomposition. Transactions on Machine Learning Research (2023). https://openreview.net/pdf?id=R8TU3pfzFr

Weitere Informationen:

https://www.uni-goettingen.de/de/3240.html?id=7165 (mit Bildern zum Download)