Freihandgesten für ein entspanntes Arbeiten am Tablet

Neuartige Mensch-Maschine-Interaktionsformen müssen neben Gebrauchstauglichkeit und Produktivitätsgewinn auch psychologisches Wohlbefinden berücksichtigen. Diesem Credo, das die Forschung am Augsburger Lehrstuhl für Multimodale Mensch-Maschine-Interaktion (Prof. Dr. Elisabeth André) kennzeichnet, folgt auch die Entwicklung eines neuen Interaktionsraumes, der entsteht, wenn man die Stifteingabe auf dem Tablet mit der Eingabe mittels Freihandgesten kombiniert.

Tablets sind aus unserem Alltag und Berufsleben kaum noch wegzudenken. Eine der wesentlichen Neuerungen des im Herbst 2018 vorgestellten iPad Pro von Apple betrifft den iPencil, den Stift, mit dem digitale Dokumente und Zeichnungen noch besser auf dem Tablet bearbeitet werden können.

Die stiftbasierte Interaktion ist insbesondere in kreativen Berufe eine wichtige Möglichkeit für Profis, ihre Produktivität zu steigern. Folglich bemühen sich viele Unternehmen, die Interaktion mit dem Tablet mit neuen Techniken zu optimieren.

Auf das Wohlbefinden des Nutzers kommt es an

„Auch für uns ist die Steigerung der Produktivität in diesem Kontext ein wichtiges Forschungsthema“, sagt Dr. Ilhan Aslan, Mitarbeiter am Lehrstuhl für Multimodale Mensch-Maschine-Interaktion der Universität Augsburg.

Allerdings: „Uns kommt es ganz entscheidend auch darauf an, dass interaktive Produkte auf den Menschen zugeschnitten sind, dass also die über reine Produktivitätsgesichtspunkte hinausweisende Bedürfnisse des Menschen nicht in den Hintergrund geraten dürfen.“

Will heißen: Neue, alternative Interaktionsmodalitäten müssen über ein Plus an Produktivität hinaus dem Menschen mehr Nutzen schaffen und möglichst flexibel sein, um möglichst vielen und ganz unterschiedlichen Menschen Zugang zur neuen Technologie zu schaffen. Kurz: Das Wohlbefinden des Nutzers beim Gebrauch der neuen Technologie ist als Maßstab für die Neuentwicklung nicht minder wichtig als die Gebrauchstauglichkeit an sich.

Erweiterung des Interaktionsraums durch Kombination mit Freihandgesten

Dieser Leitlinie folgt die von Aslan geleitete Entwicklung eines neuen Raumes für die Interaktion des Nutzers mit seinem Tablet. Dieser tut sich auf, wenn man die Stifteingabe mit der Eingabe über Freihandgesten kombiniert. „Wir haben uns bei dieser Entwicklung speziell an den Bedürfnissen von Designern orientiert, die teils viele Stunden lang ununterbrochen an der Bearbeitung eines Projekts sitzen“, berichtet Aslan.

Die kombinierte Eingabe per Stift und Freihandgesten ermöglicht es beispielsweise, die digitale Zeichendicke während des Zeichnens mit dem Stift durch eine einfache Zwei-Finger-Geste der zweiten Hand zu vergrößern oder zu verkleinern, ohne dass das Tablet dabei berührt werden muss.

Das besondere der an von Aslan und seinem studentischen Team entwickelten Eingabegesten: Sie bedürfen, um erkannt zu werden, keiner spezifischen bzw. „idealen“ Armhaltung, sie funktionieren vielmehr auch dann, wenn der Nutzer z. B. den Ellbogen oder den Arm in Ruhehaltung neben dem Tablet abstützt. Aslan: „Dieser vergrößerte Interaktionsraum erweitert auch den Raum für körperlichen Ausdruck, was gerade bei kreativem Arbeiten Vorteile bringt.“

Erfolg bestätigt forschungs- und projektorientiertes Lehrkonzept

Ihre Entwicklung hat den Augsburger Mensch-Maschine-Interaktionsforschern bei der ICMI'18, einer der international wichtigsten Konferenzen im Bereich der Human-Centered Multimedia, eine Nominierung für den Best Paper Award eingebracht. Darüber freuen können sich auch Tabea Schmidt, Jens Wöhrle und Lukas Vogel.

Gemeinsam mit Aslan haben die drei Absolventen des Augsburger Elitestudiengangs „Software Engineering“ diesen Erfolg erarbeitet. Lehrstuhlinhaberin Prof. Dr. Elisabeth André meint: „Wir sehen darin auch eine erneute Bestätigung des forschungs- und projektorientierten Lehrkonzepts unseres Studiengangs: Die Studentinnen und Studenten werden frühzeitig in den praktischen Forschungsalltag eingebunden und sie arbeiten eng mit etablierten Forscherinnen und Forscher zusammen, um so ihre Ergebnisse regelmäßig und erfolgreich bei internationalen Konferenz präsentieren zu können.“

Prof. Dr. Elisabeth André
Lehrstuhl für Multimodale Mensch-Technik-Interaktion
Universität Augsburg
D-86135 Augsburg
Telefon -49(0)821-598-2341
andre@informatik.uni-augsburg.de

Pen + Mid-Air Gestures: Eliciting Contextual Gestures, in: ICMI'18 Proceedings of the 20th ACM International Conference on Multimodal Interaction, Pages 135-144, http://dl.acm.org/citation.cfm?id=3242979