Dressierter Computerwurm lernt, einen Stab zu balancieren

Eigentlich sieht er ziemlich unspektakulär aus, der Fadenwurm C. elegans. Er ist etwa einen Millimeter lang und sehr einfach gebaut. Doch für die Wissenschaft ist er extrem interessant: C. elegans ist das einzige Lebewesen, dessen Nervensystem so einfach ist, dass man es vollständig analysieren konnte. Es kann als Schaltplan aufgezeichnet oder in einem Computerprogramm nachgebildet werden. Die Nervenaktivität des Tieres lässt sich somit eins zu eins auf den Computer übertragen.

Einen solchen künstlichen C. elegans hat man nun an der TU Wien gezielt trainiert um ihm ein Kunststück beizubringen: Der Computer-Wurm lernte, einen Stab auf seiner Schwanzspitze zu balancieren.

Die Reflex-Systeme des Wurms als Computercode

Mit knapp über 300 Nervenzellen muss der Fadenwurm auskommen – das genügt ihm, um sich in seiner Umwelt zurechtzufinden, Bakterien zu fressen und auf gewisse äußere Impulse zu reagieren. So spürt C. elegans etwa, wenn er auf ein Hindernis stößt, und schlängelt sich reflexartig in eine andere Richtung davon.

Warum er das tut, lässt sich genau erklären: Sein Verhalten wird durch seine Nervenzellen und die Stärke der Verbindungen zwischen ihnen festgelegt. Wenn man dieses einfache Reflex-Netzwerk des Wurms am Computer nachbildet, dann reagiert der computersimulierte Wurm genauso auf den Zusammenstoß mit einem virtuellen Hindernis. Nicht, weil man es ihm einprogrammiert hätte, sondern weil dieses Verhalten von vornherein fest in sein neuronales Netz eingebaut ist.

„Die Aufgabe, die der Wurm mit diesem einfachen Schaltkreis löst, hat eine starke Ähnlichkeit mit einem klassischen Problem aus der Technik – dem Balancieren eines Stabs“, sagt Ramin Hasani vom Institut für Technische Informatik der TU Wien. Dabei handelt es sich um eine ganz typische Aufgabe, die ein computergesteuerter Controller normalerweise gut bewältigen kann:

Ein Stab wird am unteren Ende festgehalten, und je nachdem, in welche Richtung er zu kippen droht, führt man eine Gegenbewegung aus, um den Stab zu stabilisieren. Genau wie sich der Wurm beim Zusammenstoß mit einer Wand reflexartig in die Gegenrichtung bewegt, muss auch der Aufhängepunkt des Stabes beim drohenden Kippen rasch bewegt werden.

Mathias Lechner, Radu Grosu und Ramin Hasani von der TU Wien wollten wissen, ob auch das Nervensystem von C. elegans, übertragen auf einen Computer, diese Aufgabe lösen kann – und zwar ohne zusätzliche Nervenzellen hinzuzufügen, nur durch ein Modifizieren der Synapsenverbindungen zwischen den Nervenzellen. Genau dieses Verändern der Synapsenstärken charakterisiert auch natürliche Lernprozesse.

Das Programm, das niemand programmiert hat

„Mit Hilfe von „bestärkendem Lernen“ (reinforcement learning), einer speziellen Methode aus dem Bereich des maschinellen Lernens, wurde das künstliche Reflex-Netzwerk am Computer trainiert und optimiert“, erklärt Radu Grosu. Und tatsächlich gelang es auf diese Weise, dem extrem einfachen virtuellen Nervensystem die Fähigkeit zu verleihen, einen Stab zu balancieren.

„Das Ergebnis ist ein Controller, der ein reales technisches Problem lösen kann – nämlich das Stabilisieren eines balancierten Stabs. Doch kein Mensch hat je eine Zeile Code dieses Controllers programmiert, er entstand einfach durch Trainieren eines biologisch entstandenen Nervensystems“, sagt Mathias Lechner.

Die Fähigkeiten solcher Controller-Schaltkreise will das Team in Zukunft noch weiter erforschen. Jedenfalls werfen solche Projekte die Frage auf, ob zwischen Computercode und lebendigen Nervensystemen überhaupt ein fundamentaler Unterschied besteht. Ist maschinelles Lernen und das, was in unserem Gehirn passiert, auf fundamentaler Ebene dasselbe? Zumindest dem unscheinbaren Fadenwurm C. elegans dürfte es herzlich egal sein, ob er mit seinem simplen Nervensystem im Boden oder als virtueller Wurm auf unserer Computerfestplatte wohnt.

Kontakt:
Dott.mag. Ramin Hasani
Institut für Computer Engineering
Technische Universität Wien
Treitlstraße 3
T: +43-1-58801-18228
ramin.hasani@tuwien.ac.at