KI-Algorithmus bringt Farbe in Schwarz-Weiß-Filme

Digitale Restaurierung:

Die TU Graz entwickelte einen KI-basierten Algorithmus, der Schwarz-Weiß-Aufnahmen realitätsgetreu einfärbt. Besonders interessant ist das für die Restaurierung historischer Aufnahmen.

In den Archiven dieser Welt lagern unzählige historische Aufnahmen in schwarz-weiß. Diese Kulturgüter und Zeitdokumente werden heute durch Digitalisierung konserviert und durch digitale Restaurierung (teilweise) verbessert. Schon seit den 1970er-Jahren gibt es Bemühungen, diese Filmaufnahmen zu kolorieren. Wirkliche Fortschritte gab es dabei aber nicht, zu hoch waren der Aufwand und die damit verbundenen Kosten für manuelle oder halbautomatische Kolorierungstechniken. Es ist zwar grundsätzlich möglich, Filme vollautomatisch einzufärben. Das hat aber den Nachteil, dass die Farben zwar vielleicht schön anzusehen, aber nicht realitätsgetreu sind.

Genau da setzte das Projekt „RE:Color: Effiziente Färbung von Filmen in Kinoqualität basierend auf neuartigen Methoden des Maschinellen Lernens“ der TU Graz an: Informatiker*innen rund um Thomas Pock vom Institut für Maschinelles Sehen und Darstellen entwickelten zusammen mit der auf die Restauration von historischen Filmen spezialisierte Grazer Firma HS-ART (https://www.hs-art.com/) eine integrierte Softwareanwendung, die interaktive und automatisierte Einfärbetechniken mit Deep-Learning-Technologien kombiniert. Das Ergebnis ist ein Algorithmus für einen überwiegend automatischen, aber dennoch vollständig benutzergesteuerten Einfärbeprozess.

Realitätsgetreue Farbgebung

Laut Pock ist es wesentlich, dass der Mensch die Einfärbung beeinflussen kann: „Man braucht immer einen Menschen, der aus historischen Überlieferungen weiß, wie die Kleidung, die Fassaden, etc. damals ausgesehen haben. War die Soldatenuniform grün oder blau? Das kann kein Algorithmus entscheiden. Er kann aber daraus lernen.“ Der Algorithmus muss also mit einer ausreichend großen Sammlung an Trainingsmustern gefüttert werden, um das Einfärben von historischen Filmen dann automatisch zu übernehmen. „Es geht darum, mit möglichst wenig User-Input die Filme möglichst effizient einzufärben. Das kann so aussehen, dass der Mensch die Farbgebung für einen Filmframe vorgibt, und die Software dann die Einfärbung weiterer Frames übernimmt“, erklärt Pock. Diese zentrale Anforderung der nutzergeleiteten Steuerung wird nur dank vortrainierter selbstlernender neuronaler Netze erfüllt, die durch Benutzerinteraktion dynamisch beeinflusst werden können.

Die Forschenden haben dafür verschiedene und neuartige Ansätze im Bereich der automatisierten Kolorierung analysiert, die auf Künstlicher Intelligenz basieren. Den effizientesten Ansatz haben sie dann zusammen mit den Entwicklern von HS-Art in einer Prototypanwendung implementiert und eine ausreichend leistungsfähige Sammlung von Trainingsmustern generiert. Dann erfolgte die Implementierung der menschengeleiteten Steuerung, um authentische und geeignete Farbschemata zu erhalten.

Authentisches Filmrauschen

Mit den entwickelten Algorithmen können die Filme extrem sauber restauriert und auch eingefärbt werden – das ist aber nicht immer unbedingt erwünscht. Pock: „Bei historischen Aufnahmen und Kinofilmen im allgemeinen braucht es das gewissen Rauschen, den sogenannten „Filmgrain“, sonst wirkt das für das Publikum nicht authentisch. Deshalb kann die Software dieses Rauschen nach dem Restaurieren und Einfärben auch wieder künstlich generieren und hinzufügen.“

Der Kernalgorithmus wurde auf einer großen internationalen Fachtagung publiziert, der Quellencode ist frei zugänglich. Für den effizienten Einsatz ist aber eine darauf aufbauende Software nötig, die vom Projektpartner HS-Art entwickelt wurde und sich bereits in ihrem Produkt-Portfolio befindet: Der „Diamant-Film Colorizer“ kam beispielsweise in der ZDFzeit-Dokureihe „Hitlers Macht“ zur originalgetreuen Einfärbung historischer Aufnahmen zum Einsatz.

Wissenschaftliche Ansprechpartner:

Thomas POCK
Univ.-Prof. Dipl.-Ing. Dr.techn.
TU Graz | Institut für Maschinelles Sehen und Darstellen
Tel.: +43 316 873 5056
thomas.pock@tugraz.at

Weitere Informationen:

Showreel Diaman-Film Colorizer (YouTube)

https://www.tugraz.at/tu-graz/services/news-stories/tu-graz-news/einzelansicht/article/ki-algorithmus-bringt-farbe-in-schwarz-weiss-filme