Künstliche neuronale Netze lernen wie der Mensch im Schlaf

Forscher der Technischen Universität Ilmenau haben wegweisende Fortschritte im Bereich des maschinellen Lernens erzielt. In einer umfangreichen Studie untersuchten die Wissenschaftler, wie die Wirkmechanismen, die es Menschen ermöglichen, Erlerntes im Schlaf zu vertiefen, auf künstliche neuronale Netze übertragen werden können. Die Forschungsergebnisse werden dazu beitragen, die Leistungsfähigkeit selbst lernender Maschinen drastisch zu erhöhen.

Forscher der Technischen Universität Ilmenau haben wegweisende Fortschritte im Bereich des maschinellen Lernens erzielt. In einer umfangreichen Studie untersuchten die Wissenschaftler, wie die Wirkmechanismen, die es Menschen ermöglichen, Erlerntes im Schlaf zu vertiefen, auf künstliche neuronale Netze übertragen werden können. Die Forschungsergebnisse werden dazu beitragen, die Leistungsfähigkeit selbst lernender Maschinen drastisch zu erhöhen.

Erst vor wenigen Jahren konnten Schlafforscher in Experimenten nachweisen, dass der Mensch in der Tiefschlafphase lernt. Die Wissenschaftler bauten auf einer Beobachtung auf, die sie während der Wachphase von Menschen machten: Die Verbindungen zwischen den Nervenzellen, die sogenannten Synapsen, lernen nicht nur aktiv, sondern verstärken oder reduzieren auch chemische oder elektrische Signale der Neuronen, der Nervenzellen. Die Synapsen leiten also Signale nicht nur von Nervenzelle zu Nervenzelle weiter, sondern verstärken auch deren Intensität oder schwächen sie ab. Auf diese Weise versetzen die Synapsen die Neuronen in die Lage, die sich ändernden Einflüsse der Umgebung aufzunehmen und sich ihnen anzupassen. Im Schlaf normalisiert sich dieser Erregungszustand wieder und das Nervensystem kann die in der aktiven Wachphase aufgenommenen neuen Informationen im Gedächtnis verarbeiten und durch Vergessen zufälliger oder unwichtiger Informationen das Gelernte verfestigen und gleichzeitig für die Aufnahme neuer Informationen empfindlicher werden.

Auf diesen Vorgang, den Fachleute als synaptische Plastizität bezeichnen, baute Professor Patrick Mäder, Leiter des Fachgebiets Softwaretechnik für sicherheitskritische Systeme der TU Ilmenau, auf: „Die synaptische Plastizität ist für die Funktion und Leistungsfähigkeit unseres Gehirns verantwortlich und damit die Grundlage des Lernens. Würden die Synapsen immer in einem aktivierten Zustand bleiben, würde dies, wie wir aus Tierversuchen wissen, letztlich das Lernen erschweren. Erst die Erholungsphase während des Schlafs macht es möglich, dass wir das, was wir gelernt haben, im Gedächtnis behalten.“

Die Fähigkeit des synaptischen Systems, dynamisch auf unterschiedlichste Reize reagieren zu können und das Nervensystem stabil und im Gleichgewicht zu halten, ahmen die Forscher der TU Ilmenau in künstlichen neuronalen Netzwerken nach. Mithilfe der so genannten synaptischen Skalierung übertragen sie die Mechanismen, die das dynamische System Gehirn regulieren, auf Verfahren des maschinellen Lernens – mit dem Ergebnis, dass sich die künstlichen neuronalen Modelle ähnlich wirkungsvoll verhalten wie ihr natürliches Vorbild.

Anwendungen für solche hocheffizient arbeitenden selbst lernenden Maschinen finden sich etwa in der Medizin, wenn mit Hilfe zum Beispiel von EEG- oder Tomographieuntersuchungen Krankheiten auf der Basis biologischer Daten erkannt werden. Weitere Anwendungsgebiete sind etwa die Smart-grid-Regelung elektrischer Netze oder die automatisierte Laser-Fertigung.

Die in der Studie der TU Ilmenau entwickelten Methoden, die Selbstregulierungsmechanismen des Gehirns auf künstliche neuronale Netzwerke zu übertragen, wurden im hochrangigen Fachjournal „IEEE Transactions on Neural Networks and Learning Systems“ veröffentlicht und haben in der Wissenschaft internationale Beachtung gefunden. Martin Hofmann, Doktorand von Prof. Mäder und Co-Autor der Veröffentlichung, erkennt bei Methoden, die für Anwendungen der künstlichen Intelligenz von der Natur entlehnt wurden, ein großes Problem: die so genannte Überanpassung: „Als Überanpassung bezeichnen wir, wenn ein Modell sich bestimmte Muster in den Trainingsdaten gemerkt hat, aber nicht flexibel genug ist, um damit korrekte Vorhersagen zu unbekannten Testdaten zu treffen. Wir suchen daher nach Wegen, wie sich der Überanpassung entgegenwirken lässt und wie wir stattdessen den Mechanismen der Selbstregulierung des Gehirns näherkommen können.“

Zahlreiche Wirkmechanismen der Biologie haben, angefangen mit den ersten Nachbildungen neuronaler Netzwerke, in die Entwicklung lernender Maschinen Einzug gehalten. Die neuen Erkenntnisse der TU Ilmenau eröffnen Deep Learning, also dem hocheffizienten maschinellen Lernen, zusätzliche faszinierende Möglichkeiten.

IEEE-Veröffentlichung: https://ieeexplore.ieee.org/document/9337198

Grafik:

Vereinfachtes Modell lernender biologischer Nervenzellen. Am Ende einer wachen Periode (linke Abbildung) sind synaptische Verbindungen zu Neuronen verstärkt oder abgeschwächt entsprechend dem kurzfristig Erlernten. Gelernte Reize werden in der Schlafperiode (mittlere Abbildung) bewertet und angepasst, dabei werden die entsprechenden synaptischen Verbindungen auf ein mittleres Niveau skaliert. Die letzte Phase (rechte Abbildung) zeigt die angeglichenen Verbindungen zu Beginn der nächsten wachen Periode. Dieser Prozess wurde jetzt auf künstliche neuronale Netze übertragen und steigert deren Leistungsfähigkeit deutlich.

Wissenschaftliche Ansprechpartner:

Prof. Patrick Mäder
TU Ilmenau, Leiter Fachgebiet Software Technik für sicherheitskritische Systeme
Tel.:+49 3677 69-4839
E-Mail: patrick.maeder@tu-ilmenau.de

Originalpublikation:

https://ieeexplore.ieee.org/document/9337198

http://www.tu-ilmenau.de/