Neue Streaming-Methode verändert die Spielewelt

Streamingdienste wie Netflix oder Amazon Prime sind längst Normalität. Nun hält die nächste digitale Technologie Einzug in die Unterhaltungsindustrie: Cloud Gaming.

Die Technik gleicht jener von Videodiensten. Das Computerspiel läuft auf einem Server des Cloud-Anbieters. Die Spielenden greifen per Internet auf das Programm zu und bekommen Bild und Ton auf jedes beliebige Endgerät geschickt.

Voraussetzung ist dabei nicht mehr so sehr die neueste Hardware, sondern eine schnelle Internetverbindung, die die großen Datenmengen von den Rechenzentren zu den Spielgeräten transportiert – möglichst verzögerungsfrei und damit ohne nerviges Ruckeln.

Cloud Computing soll außerdem Virtual Reality-Spiele auf eine neue Stufe heben. Hier stellt der Datenaustausch eine noch größere Herausforderung dar. Die „flüssige“ Darstellung von Sequenzen auf Virtual-Reality-Brillen benötigt eine bis zu zehnmal höhere Rechenleistung als konventionelle Videospiele, da mehr Pixel und mehr Bilder pro Sekunden dargestellt werden müssen.

Die traditionelle Videoübertragung stößt hier rasch an ihre Grenzen. Dieter Schmalstieg vom Institut für Maschinelles Sehen und Darstellen hat mit seinem Team nun ein neues Verfahren entwickelt, das der kabellosen VR-Technologie zum endgültigen Durchbruch in der Spieleindustrie verhelfen kann.

Neues Verfahren verbessert die Latenz drastisch

Das sogenannte „Shading Atlas Streaming“ erlaubt es, die nötige Übertragungsrate deutlich zu senken. „Vereinfacht ausgedrückt streamen wir mit unserem System keine Videos, sondern geometrisch codierte Informationen, die von der VR-Brille decodiert und in ein Bild übersetzt werden“, erklärt Schmalstieg die Technologie.

Die Latenz – also die Verzögerungszeit, die bei der Signalübertragung, beim Zwischenspeichern von Daten oder beim Prüfen von Datenpaketen entsteht – wird mit dem System nicht vermieden, sondern quasi ausgeglichen.

„Latenz vollständig zu vermeiden ist unmöglich. Unsere Art der Codierung erlaubt es aber, innerhalb eines kleinen Zeitfensters in die Zukunft korrekte Bilder vorherzusagen. So können wir die Latenzzeit ausgleichen, die wahrgenommene Latenz ist damit nahezu Null“, so Schmalstieg.

Konkret werden mithilfe des Shading Atlas Streaming die Pixelfehler in der Darstellung auf ein paar wenige Prozent reduziert, sodass sie nicht als störend wahrgenommen werden.

Effiziente Nutzung vorhandener Hardware

Für die praktische Anwendung ist es wichtig, die neue Technik in bestehende Infrastruktur integrieren zu können. Daher verwenden die Forscher das herkömmliche MPEG-Kompressionsverfahren zum Transport der Daten. Die notwendige Leistung für das Decodieren der 3D-Information ist in VR-Brillen bereits vorhanden. Es ist also keine neue Hardware nötig, um Shading Atlas Streaming nutzen zu können.

Shading Atlas Streaming ist überall dort einsetzbar, wo 3D-Daten anfallen und VR-Brillen zum Einsatz kommen. Mit dem Chiphersteller Qualcomm als Partner wird bereits an einer kommerziellen Umsetzung der Forschungsergebnisse gearbeitet.

Dieter Schmalstieg ist ein Forschungspionier in den Bereichen Augmented Reality und Virtual Reality. Als erfolgreichster Erfinder der TU Graz erhielt er 2017 die Nikola-Tesla-Medaille. 2019 wurde er mit dem Forschungspreis des Landes Steiermark ausgezeichnet.

Dieses Forschungsprojekt ist im FoE „Information, Communication & Computing“ verankert, einem von fünf Stärkefeldern der TU Graz.

Dieter SCHMALSTIEG
Univ.-Prof. Dipl.-Ing. Dr.techn.
Institut für Maschinelles Sehen und Darstellen
Inffeldgasse 16/II
8010 Graz
schmalstieg@tugraz.at

https://www.youtube.com/watch?v=ZW8MOwpOwI8 (Erklär-Video zu Shading Atlas Streaming)

https://www.tugraz.at/institute/icg/research/team-steinberger/research-projects/… (Detailseite zum Projekt)

https://www.tugraz.at/institutes/icg/home/ (Website des Instituts für Maschinelles Sehen und Darstellen der TU Graz)

https://www.tugraz.at/tu-graz/services/news-stories/planet-research/einzelansich… (Interview mit D. Schmalstieg)