Aus klein mach nicht so pixel-perfekt groß

Jeder kennt das Problem: die Freundin oder der Freund schickt ein niedrig aufgelöstes Foto vom gemeinsamen Ausflug aufs Smartphone, aber wenn man den hübschen Vogel im Geäst dann in ein digital erstelltes Fotoalbum einbaut, sieht das Bild pixelig aus. In Zeiten der Not wird Software angewandt, die aus dem niedrig aufgelösten Bild ein großes macht. Das Ergebnis lässt leider zu wünschen übrig: Die Fotos sehen verschwommen aus, es fehlt an Schärfe.

Die Technologie, um ein hochauflösendes aus einem niedrig aufgelösten Bild zu gewinnen, nennt man „Single image super-resolution“ oder „SISR Technologie“. Wissenschaftler forschen schon lange an dieser Technik, aber eben mit eingeschränktem Ergebnis. Sie ergänzen fehlende Pixel, indem sie einen Durchschnitt berechnen aus allen angrenzenden Pixeln.

Das Ergebnis ist ein relativ unscharfes Bild. Wissenschaftler des Max-Planck-Instituts für Intelligente Systeme in Tübingen verfolgen nun einen anderen Ansatz, um Bildern eine klare Struktur zu verleihen – sie nutzen Maschinelles Lernen. Künstliche Intelligenz kommt hier ins Spiel, nämlich indem ein Algorithmus beim Füllen der zusätzlichen Pixel aus Erfahrung lernt. Je mehr Erfahrung, desto schärfer später das Foto.

Algorithmus nimmt den Unterschied wahr und lernt aus seinem Fehler

Der Lernprozess der Software ist dabei fast genauso wie der eines Menschen: üben, üben, üben macht den Meister. „Dem Algorithmus werden Millionen geringauflösender Bilder vorgelegt, die er hochskalieren soll. Er probiert sich an der Aufgabe und anschließend wird ihm zum Vergleich das jeweils hochauflösende Originalfoto präsentiert.

Der Algorithmus nimmt den Unterschied wahr und lernt aus seinem Fehler“, sagt der Wissenschaftler Mehdi M.S. Sajjadi, der zusammen mit Dr. Michael Hirsch und Prof. Dr. Bernhard Schölkopf, Direktor der Abteilung für Empirische Inferenz am Max-Planck-Institut für Intelligente Systeme in Tübingen, die EnhanceNet-PAT Technik entwickelt hat. Sobald EnhanceNet-PAT einmal trainiert ist, braucht es keine Originalfotos mehr.

Wenn EnhanceNet-PAT seine Arbeit macht, so die Wissenschaftler, ist es effizienter als jede andere SISR Technologie aktuell am Markt. Der Unterschied liegt in dem Anspruch, pixel-genau wie das hochauflösende Originalfoto sein zu wollen. Im Gegensatz zu bisherigen Algorithmen vernachlässigt EnhanceNet-PAT die Pixel-perfekte Wiederherstellung und setzt stattdessen auf eine naturgetreue Darstellung der Texturen.

EnhanceNet-PAT denkt sich, wie das Gefieder des Vogels auszusehen hätte und addiert entsprechende Pixel zum niedrig aufgelösten Bild hinzu. Originalgetreu ist das Ergebnis nicht – es hat sich vielmehr seine eigene Realität zurechtgezimmert. Für die meisten Betrachter gibt es aber kaum einen Unterschied zum Originalbild. Und das Vogel-Foto ist scharf genug fürs Fotoalbum.

https://is.tuebingen.mpg.de/news/from-small-to-not-so-pixel-perfect-large