Wenn Maschinen selbstständig lernen
![](https://www.innovations-report.de/wp-content/uploads/2023/03/Professor_Carlo_-Eramo-750x541.jpg)
Professor Carlo D’Eramo ist Fachmann für Reinforcement Learning. Professor Carlo D’Eramo ist Fachmann für Reinforcement Learning.
Foto: Robert Emmerich / Universität Würzburg
Carlo d’Eramo ist neu an der Universität Würzburg. Der Informatikprofessor arbeitet auf dem Gebiet der Künstlichen Intelligenz. Er ist Experte für eine spezielle Form des maschinellen Lernens, das Reinforcement Learning.
Ein intelligentes Kameraüberwachungssystem soll auf einem Bahnhof selbstständig herrenlose Gepäckstücke oder andere verdächtige Objekte aufspüren. Dazu muss es wissen, wie Koffer und Taschen aussehen. Um das zu erreichen, muss der Mensch das System mit Trainingsdaten füttern – in diesem Fall mit möglichst vielen Bildern von unterschiedlichen Gepäckstücken.
Ganz anders funktioniert eine Form des maschinellen Lernens, die Reinforcement Learning („Verstärkendes Lernen“) heißt. „Dateninput von Menschen ist dabei nicht nötig“, sagt Informatikprofessor Carlo D‘Eramo. Stattdessen sammeln die Algorithmen ihre eigenen Erfahrungen, indem sie in vielen Simulationsdurchläufen Aufgaben nach dem Prinzip „Versuch und Irrtum“ lösen. Richtige Entscheidungen werden belohnt, etwa mit Punkten, die den Algorithmen gutgeschrieben werden. Diese positive Verstärkung bewirkt, dass bevorzugt gewünschte Aktionen ausgeführt werden – das System lernt.
„Man kann sich diese Art des Maschinenlernens vorstellen wie ein Baby, das nach und nach seine Umgebung erkundet. Es macht dabei gute und schlechte Erfahrungen, und die merkt es sich“, erklärt der Professor. „Schlechte“ Handlungen wird das Baby künftig vermeiden, „gute“ wird es wiederholen.
Multitasking und Transferlernen als Ziele
Carlo D’Eramos Gruppe arbeitet daran, die Methoden des Reinforcement Learning weiter zu verbessern. Unter anderem geht es darum, den selbstlernenden Systemen Multitasking und Transferlernen beizubringen.
Beim Thema Transferlernen zieht der Forscher wieder einen Vergleich zum Menschen: Fußballspieler wissen, dass sie zu einem Team gehören, das in einem genau definierten Umfeld gegen ein anderes Team spielt. Sie können die Laufwege der anderen einschätzen und verfügen über Ballgefühl. Diese und andere Erfahrungen sind nützlich, wenn Fußballer andere Ballsportarten lernen: Sie übertragen ihr Wissen aus dem Fußball auf den anderen Bereich. Genau diese Art von Wissenstransfer möchte Carlo D’Eramo für das Maschinenlernen nutzbar machen.
BMBF-Projekt in der Robotik
Seiner Arbeitsgruppe hat der Informatiker den Namen LiteRL gegeben. RL ist die Abkürzung für Reinforcement Learning, Lite steht für „light“ (leicht) – damit will D’Eramo ausdrücken, dass er auf möglichst einfache lernende Modelle setzt, die aber komplexe Aufgaben bewältigen können.
„Wir forschen in Theorie und Praxis. Ob unsere theoretisch erarbeiteten Methoden effektiv sind, überprüfen wir in Simulationen und realen Anwendungen, zum Beispiel in den Bereichen Finanzen, Spiele und Robotik“, erklärt der Professor.
Im Bereich Robotik zum Beispiel erhält Carlo D’Eramo rund 750.000 Euro vom Bundesministerium für Bildung und Forschung (BMBF) für ein Projekt, das vor kurzem erst gestartet ist. Ziel ist es, einem vierbeinigen Roboter mittels RL das unfallfreie Laufen auf verschiedenen Oberflächen beizubringen.
„Einen Roboter mit vier Beinen auf ebenem, festem Untergrund laufen zu lassen, ist einfach“, sagt der Forscher. Schwerer werde es, wenn der Boden rutschig oder uneben ist oder wenn Hindernisse im Weg sind. Genau dieses Problem soll im BMBF-Projekt gelöst werden. Das Fördergeld wird auch für die Finanzierung von drei Promovierenden verwendet.
Werdegang des neuen Professors
Carlo D’Eramo wurde 1989 in Pescara in Italien geboren. Er hat Informatik an der staatlichen Technischen Universität Politecnico in Mailand und an der Universität von Illinois in Chicago (USA) studiert. Er hat jeweils einen Masterabschluss aus Chicago und Mailand.
Schon als Student orientierte sich der Informatiker zur Künstlichen Intelligenz hin – weil sie genau die Fächer vereint, die ihn sehr begeistern: Informatik, Mathematik und Logik.
Nach der Promotion 2019 in Mailand ging er als Postdoc an die Technische Universität Darmstadt in die Gruppe für Intelligente Autonome Systeme. Dort leitete er ab 2022 seine eigene Forschungsgruppe, die auch am Hessischen Forschungszentrum für Künstliche Intelligenz (hessian.AI) verortet ist.
Im November 2022 folgte Carlo D’Eramo dem Ruf auf die Professur für Reinforcement Learning and Computational Decision-Making an der Universität Würzburg. Die Professor wurde neu geschaffen, und zwar im Rahmen des Centers for Artificial Intelligence and Data Science (CAIDAS). Seine Gruppe am hessian.AI wird der Professor weiterhin leiten, bis seine zwei Promovierenden dort ihren Abschluss haben.
Wissenschaftliche Ansprechpartner:
Prof. Dr. Carlo D‘Eramo, Professur für Reinforcement Learning and Computational Decision-Making, Universität Würzburg, T +49 931 31-83457, carlo.deramo@uni-wuerzburg.de
Media Contact
Alle Nachrichten aus der Kategorie: Informationstechnologie
Neuerungen und Entwicklungen auf den Gebieten der Informations- und Datenverarbeitung sowie der dafür benötigten Hardware finden Sie hier zusammengefasst.
Unter anderem erhalten Sie Informationen aus den Teilbereichen: IT-Dienstleistungen, IT-Architektur, IT-Management und Telekommunikation.
Neueste Beiträge
![](https://www.innovations-report.de/wp-content/uploads/2024/09/Recycling-360x240.jpg)
Das Potenzial alter Elektroautos nutzen
Bundesministerium für Bildung und Forschung fördert neues Graduiertenkolleg Circular E-Cars. Recycling als Chance für das Rheinische Revier. Weil in Elektroautos (E-Cars) im Vergleich zu herkömmlichen Automobilen deutlich mehr wertvolle Nichteisenmetalle…
![](https://www.innovations-report.de/wp-content/uploads/2024/09/Vewinger_Umesh-360x240.jpg)
Forscher erzeugen eindimensionales Gas aus Licht
Physiker der Universität Bonn und der Rheinland-Pfälzisch Technischen Universität Kaiserslautern-Landau (RPTU) haben ein eindimensionales Gas aus Licht erzeugt. Damit konnten sie erstmals theoretische Vorhersagen überprüfen, die für den Übergang in…
![](https://www.innovations-report.de/wp-content/uploads/2024/09/yBM-360x240.jpg)
Zwergplanet Ceres: Ursprung im Asteroidengürtel?
Hellgelbe Ablagerungen im Consus Krater zeugen von Ceres‘ kryovulkanischer Vergangenheit – und beleben die Diskussion um ihren Entstehungsort neu. Der Zwergplanet Ceres könnte seinen Ursprung im Asteroidengürtel haben – und…