Revolution in der Bildgenerierung durch KI: Wunschbild per Texteingabe

• Die Machine Vision & Learning Arbeitsgruppe an der LMU um den Informatiker Prof. Björn Ommer hat einen der leistungsfähigsten Algorithmen zur Bildsynthese entwickelt
• Das neue KI-Modell Stable Diffusion benötigt keinen Hochleistungsrechner und ist für alle Nutzer frei verfügbar
• Die Essenz aus Milliarden von Trainingsbildern wird von dem KI-Modell in wenigen Gigabyte zusammengefasst

In Sekundenschnelle aus Texten Bilder machen – und zwar mit einer herkömmlichen Grafikkarte und ohne Hochleistungsrechner. Das ermöglicht das neue KI-Modell Stable Diffusion. Den zugrundeliegenden Algorithmus hat die Machine Vision & Learning-Arbeitsgruppe um Prof. Björn Ommer (Ludwig-Maximilians-Universität München) entwickelt.

„Selbst Laien ohne künstlerische Fähigkeiten, besondere Computerkenntnisse und Computerhardware erhalten mit dem neuen Modell ein effektives Tool, mit dem ihnen die Barriere genommen wird, ihre Kreativität zu entfalten, indem der Computer Bilder auf einfaches Zurufen generiert“, sagt Ommer. Aber auch erfahrene Künstler können neue Ideen mit Stable Diffusion schnell in eine Vielzahl von grafischen Entwürfen verwandeln. Ein solches KI-basiertes Werkzeug kann nach Überzeugung der Forschenden damit zukünftig die Möglichkeiten der kreativen Bilderzeugung durch Pinsel oder Photoshop so grundsätzlich erweitern, wie die computerbasierte Textverarbeitung es mit dem Schreiben mit Stift und Schreibmaschine gemacht hat.

Bei ihrem Vorhaben wurden die LMU-Wissenschaftler vom Start-up Stability.Ai unterstützt, auf dessen Servern das KI-Modell trainiert wurde. „Dieses Mehr an Rechenpower und Trainingsbeispielen hat unser KI-Modell in einen der leistungsfähigsten Algorithmen zur Bildsynthese verwandelt“, freut sich der Informatiker.

Besonders an dem entwickelten Ansatz ist, dass das trainierte Modell gleichzeitig leistungsfähig und doch so kompakt ist, dass es auf einer herkömmlichen Grafikkarte läuft und keinen Hochleistungsrechner mehr benötigt, wie dies bislang für die Bildsynthese der Fall war. Dazu lernt die künstliche Intelligenz, die Essenz aus Milliarden von Trainingsbildern in einem nur wenige Gigabyte großen KI-Modell zusammenzufassen. „Wenn eine solche KI wirklich verstanden hat, was ein Auto ausmacht oder welche Merkmale für einen künstlerischen Stil charakteristisch sind, sollte sie genau diese wesentlichen Merkmale erfasst haben und idealerweise weitere Beispiele kreieren können, wie es ein Schüler eines alten Meisters vermag“, erklärt Ommer. Für das Ziel der LMU-Wissenschaftler, den Computer das Sehen – also das inhaltliche Verstehen von Bildern – lernen zu lassen ist dies ein weiterer wichtiger Schritt, der die Grundlagenforschung im maschinellen Lernen und der Computer Vision weiter voranbringt.

Das trainierte Modell wurde kürzlich unter der „CreativeML Open RAIL-M“ Lizenz (https://huggingface.co/spaces/CompVis/stable-diffusion-license) frei zur Verfügung gestellt, um so die weitere Erforschung und Anwendung dieser Technologie in der Breite voranzutreiben. „Wir sind gespannt, was mit unserem aktuellen Modell ,gebaut‘ wird und welche weiteren Arbeiten aus der offenen, kollaborativen Forschung hervorgehen werden“, meint Doktorand Robin Rombach.

Wissenschaftliche Ansprechpartner:

Prof. Dr. Björn Ommer
Machine Vision & Learning Group
Tel.(office): +49 (0)89/2180-73431
b.ommer@lmu.de
https://ommer-lab.com/

Originalpublikation:

Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer: High-Resolution Image Synthesis with Latent Diffusion Models, In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022
Projektwebseite: https://ommer-lab.com/research/latent-diffusion-models/