Gebärdensprache neu gedacht

Als Daniela Escobar neulich im Baumarkt unterwegs war, sah sie zwei gehörlose Menschen. Sie wäre gern zu ihnen gegangen und hätte ihnen von dem internationalen Forschungsprojekt erzählt, in dem sie zurzeit an der Universität Siegen mitarbeitet. Aber Daniela Escobar kann keine Gebärdensprache und die beiden Gehörlosen hätten sie nicht verstanden.

In dem von der EU geförderten Projekt entwickeln WissenschaftlerInnen einen Übersetzer, der in Echtzeit Gebärdensprache in Schrift und Schrift in Gebärdensprache umwandelt. Eins der Ziele ist es, eine App zu programmieren, mit der sich hörende und gehörlose Menschen in spontanen Situationen, wie im Baumarkt, ohne Dolmetscher verständigen können.

Um das zu realisieren, arbeitet eine internationale Forschergruppe aus sechs Ländern daran, Gebärden zu digitalisieren. Gebärdensprachen sind von Land zu Land unterschiedlich. Alleine in Europa gibt es etwa 50 verschiedene, die anerkannt sind. Die Uni Siegen ist im EU-Projekt verantwortlich für die deutsche Gebärdensprache. Die Forscher nutzen zur Digitalisierung Handschuhe voller Sensoren.

Wenn die Forscher im Labor die Handschuhe tragen und Gebärden mit den Händen formen, erkennen eine spezielle Kamera und eine Software die Bewegungen, die Stellungen der Hände und den Abstand der Hände zum Körper. Eine virtuelle Figur, ein sogenannter Avatar, auf einem Computer registriert die Bewegungen und stellt die Gebärden auf dem Bildschirm dar.

„Schriftsprache ist für Gehörlose wie eine Fremdsprache“

In einem ersten Schritt werden Gebärdenzeichen mit dem Avatar digitalisiert und in einer Datenbank gespeichert, zunächst 500 Wörter in der deutschen Gebärdensprache. Der Übersetzer soll ein Hilfsmittel sein, das die Kommunikation für gehörlose Menschen im Alltag und im Studium erleichtert. Im Oktober 2018 soll ein interaktiver Service-Bildschirm in einer zentralen U-Bahn-Station in Porto an den Start gehen. In sechs verschiedenen Sprachen, darunter auch in Deutsch, sollen sich Gehörlose dort informieren können: Welche Linie fährt in die Innenstadt und wieviel kostet ein Tagesticket?

Gehörlose Touristen und Einheimische können dort ihre Fragen in ein Terminal eingeben und ein Avatar antwortet ihnen in Gebärdensprache. Die Wörter setzt der Avatar je nach Frage individuell zusammen. Benötigt er für seine Antwort Wörter, die nicht zu den 500 Vorprogrammierten gehören, buchstabiert er sie im Fingeralphabet. Alles in Echtzeit. Avatare sind in anderen Ländern schon recht weit verbreitet, zum Beispiel in Geldautomaten in Brasilien. Der Unterschied: Dort zeigen die Avatare nur vorprogrammierte Phrasen und können nicht spontan auf Fragen reagieren.

Für Gehörlose hat der Avatar in der U-Bahn-Station entscheidende Vorteile: Sie sind weder mit gesprochener Sprache noch mit geschriebener Sprache konfrontiert. „Schriftsprache ist für Gehörlose wie eine Fremdsprache und deshalb sehr kompliziert. Die Grammatik und die Wort-Reihenfolge unterscheiden sich grundlegend von der Gebärdensprache. Der Avatar erleichtert das Verständnis also ganz ungemein“, erklärt Prof. Dr.-Ing. Hubert Roth. Er leitet das Projekt für die deutsche Gebärdensprache an der Universität Siegen als Geschäftsführender Direktor des Zentrums für Entwicklungsländerforschung und Wissenstransfer (ZEW).

Der Avatar in der U-Bahn-Station soll nur der Anfang sein. „Wir wissen, dass 500 Wörter nicht sehr viel ist. Wir müssen klein anfangen und stecken uns hohe Ziele“, sagt Prof. Dr.-Ing. Hubert Roth. Der Plan ist, die Datenbank mit digitalisierten Gebärden und den Avatar um Mimik zu erweitern, die in der Gebärdensprache sehr wichtig ist. Außerdem wollen die Forscher langfristig neue Anwendungsgebiete testen.

Um zu erfahren, in welchen Alltagssituationen sich Gehörlose Unterstützung wünschen, finden in jedem der sechs Projekt-Länder Diskussionsrunden mit Betroffenen statt. „Wir sind Ingenieure, die die Gebärdensprache nicht beherrschen. Wir brauchen Menschen, die uns die Lebenswelt der Gehörlosen näherbringen, um so die Technik entsprechend verbessern zu können“, erklärt Daniela Escobar.

Gehörlose wünschen sich mehr Unterstützung im Alltag und im Studium

Das Ergebnis der Diskussionsrunde an der Universität Siegen ist eindeutig. Gehörlose wünschen sich mehr Unterstützung im Alltag, wie bei Arztbesuchen, ärztlichen Untersuchungen und Krankenhausaufenthalten. Gehörlose können zum Beispiel die akustischen Ansagen bei Röntgen- oder Computer-Tomographien (CT) nicht hören. Auch bei Behördengängen, an Bahnhöfen und an Flughäfen wäre der Avatar zur Kommunikation nützlich. Wie soll ein Gehörloser sonst wissen, dass der Zug an einem anderen Gleis abfährt, oder dass er persönlich über Lautsprecher am Flughafen ausgerufen wird?

Bei allem technologischen Fortschritt ist den Forschern eins besonders wichtig: „Wir wollen und können Gebärdensprachdolmetscher nicht durch einen Avatar ersetzen. Fließende Diskussionen sind durch keinen Avatar der Welt in Echtzeit darzustellen. Dafür ist die Gebärdensprache zu komplex“, erklärt Prof. Hubert Roth.

„Allerdings sind solche Inhalte mit dem Avatar leicht abzubilden, in denen Text schon vorhanden ist.“ Schon jetzt ist es möglich, zum Beispiel Mails oder Powerpoint-Präsentationen durch Avatare zu ergänzen, um Gehörlosen das Verständnis zu erleichtern, indem sie nicht die Schriftsprache lesen müssen. „Viele Gehörlose sind im Bildungsbereich eingeschränkt, weil eine umfassende Kommunikation fehlt. Das verringert die beruflichen Aufstiegschancen. Ein Avatar könnte gerade hier gut helfen“, sagt Roth.

Gefördert wird das Projekt „International Assisted Communication for Education“ (Internationales Projekt für unterstützende Kommunikation in der Bildung) durch die Europäische Union im Rahmen des Erasmus+ Programms. Internationale Partner sind neben der Universität Siegen (Deutschland), die Universität York (England), das Technological Educational Institute in Kreta (Griechenland), das Instituto Politecnico do Porto (Portugal), das Camara Municipal do Porto (Portugal), die Universität Maribor (Slowenien) und die European Association of Career Guidance (Zypern).

Ansprechpartner:
Prof. Dr.-Ing. Hubert Roth
Telefon: +49 271 740-4439
E-Mail: hubert.roth@uni-siegen.de