Bidirektionale Steuerung von Handprothesen mit Ultraschallsensoren

Für Menschen, die eine Hand verloren haben, ist eine funktionierende Handprothese eine enorme Erleichterung im Alltag: Fraunhofer-Forschende arbeiten daher im Rahmen eines EU-Forschungsprojekts daran, die Steuerung der Prothese bis hin zu einzelnen Fingern zu verbessern. Statt herkömmlicher Elektroden, die Nervenimpulse im Muskelgewebe des Arms detektieren, setzen sie auf Ultraschallsensoren. Damit lassen sich Befehle viel genauer und feinfühliger umsetzen. Im nächsten Schritt wollen die Forschenden das Konzept bidirektional gestalten, das Gehirn empfängt dann auch sensorische Reize aus der Prothese.

Fraunhofer-Forschende haben gemeinsam mit Projektpartnern gezeigt, dass die Steuerung von Handprothesen mit Hilfe von Ultraschallsensoren deutlich verbessert werden kann. Menschen, die beispielsweise infolge eines Unfalls eine Hand verloren haben, könnten damit einzelne Finger der Prothese noch besser ansteuern und noch präziser bewegen als dies bisher in der myoelektrischen Prothetik – so der Fachausdruck – möglich war. Die myoelektrische Prothetik arbeitet meist mit Elektroden auf der Haut, die die elektrischen Signale von Muskelkontraktionen aufnehmen und an ein Elektronikmodul weiterleiten, das wiederum die Prothese ansteuert.

Die Wissenschaftlerinnen und Wissenschaftler des Fraunhofer-Instituts für Biomedizinische Technik IBMT, im saarländischen Sulzbach setzen im Projekt »SOMA« (Ultrasound peripheral interface and in-vitro model of human somatosensory system and muscles for motor decoding and restoration of somatic sensations in amputees) auf einen neuen Ansatz. Sie nutzen Ultraschallsensoren, die laufend Schallimpulse ins Muskelgewebe des Unterarms schicken. Anders als elektrische Impulse werden Schallwellen vom Gewebe reflektiert. Die Laufzeiten der reflektierten Signale liefern Informationen über die räumliche Tiefe des Muskelstrangs, der die jeweilige Schallwelle zurückspielt.

Paralleler Fertigungsprozess für die Sensoren (links) sowie finaler Ultraschallwandler nach der Integration ins Gehäuse (rechts). © Fraunhofer IBMT

Auf diese Weise lassen sich die durch Nervenstimuli des Gehirns ausgelösten Kontraktionen im Muskelgewebe sehr detailliert beobachten. Dies wiederum ermöglicht die Erkennung typischer Aktivierungsmuster im Muskel, die für eine bestimmte Bewegung der Hand oder eines Fingers stehen. Das Projektziel ist, dass eine KI-gesteuerte Software in einer kompakten Elektronikbox, die der Patient oder die Patientin am Körper trägt, diese Erkennung übernimmt. Die Elektronik könnte die decodierten Signale als Befehl an die Aktoren in der Handprothese senden und damit die Bewegung der Prothesen-Finger auslösen. Das Detektieren, Auswerten und Aussenden von Steuerbefehlen geschieht dabei in Echtzeit.

Das grundlagenorientierte EU-Projekt ist derzeit noch in der Laborphase. Ultraschallwandler und Elektronik erzeugen die Signale und lesen die zurückgespielten Schallwellen aus. Diese Daten werden dann an einen PC weitergegeben, in dem die KI die Analyse startet. Anschließend schickt die Elektronik die decodierten Signale als Befehl an die Aktoren in der Prothesenhand und löst damit die Fingerbewegungen aus. Die Vorteile der Technologie sind aber schon deutlich sichtbar. »Die Ultraschall-basierte Steuerung agiert wesentlich feinfühliger und präziser als dies mit Elektroden möglich wäre. Die Sensoren sind in der Lage, verschiedene Freiheitsgrade wie Beugen, Strecken oder Drehen zu erkennen«, sagt Dr. Marc Fournelle, am Fraunhofer IBMT zuständig für die Leitung der Gruppe »Sensoren & Aktoren« und im Projekt für die Entwicklung der SOMA-Ultraschallsensorik.

Laufzeitunterschiede zeigen Tiefe und Ortsinformationen an

Um die hohe Präzision und Zuverlässigkeit zu erreichen, schicken die piezoelektrischen Schallwandler Dutzende Male pro Sekunde ihre Impulse mit einer Frequenz zwischen 1 und 4 MHz in das Muskelgewebe. Zudem sind mindestens 20 Sensoren zusammengeschaltet. Jeder Sensor liefert neben den Tiefeninformationen auch Daten über die Position des Muskelstrangs, der gerade eine Welle zurückgespielt hat. Bevor die KI ans Werk geht, werden die gesammelten Daten zu Ort und Tiefe der Signale vorsortiert. »Die KI muss sich dann um die Analyse der Ultraschallsignale kümmern, die Aktivierungsmuster identifizieren, in einen Steuerbefehl umwandeln und an den entsprechenden Finger der Prothese schicken. Technisch gesehen wertet die KI dabei Amplitude und Zeitverlauf der elektrischen Spannungen aus, die jedes Sensormodul liefert«, erklärt Fournelle.

Die Sensoren sind in ein Armband integriert, das später im Schaft der Handprothese sitzen könnte. Für die korrekte Verknüpfung der Muskelsignale mit dem entsprechenden Finger und der gewünschten Bewegung muss der Mensch ein kurzes Training absolvieren, bei dem er versucht, Teile der Hand und Finger zu bewegen. Die daraus generierten Aktivitätsmuster werden als Referenz im System hinterlegt. Daraus lässt sich die Verknüpfung mit dem Finger oder Teil der Hand und der gewünschten Bewegung herstellen. Das Training dauert nur wenige Minuten.

Andreas Schneider-Ickert, Projektleiter Aktive Implantate und Innovationsmanager am Fraunhofer IBMT, sagt: »Versuche mit Probanden haben gezeigt, dass die Technologie funktioniert. Sie ist sehr bedienfreundlich und nicht invasiv. Wir arbeiten jetzt daran, dass System noch unauffälliger zu machen.«

Projektpartner aus 5 Ländern

Realisiert wurde die Technologie gemeinsam mit Projektpartnern. Im SOMA-Konsortium arbeiten insgesamt 7 Partner aus 5 Ländern zusammen. Die IBMT-Expertinnen und -Experten bringen ihre jahrzehntelange Erfahrung in der Entwicklung von Sensoren und in Bereichen wie Neuroprothetik und Implantaten ein. Das Team hat die speziell angepassten Ultraschallwandler und die Elektronikbox entwickelt. Das Imperial College of Science Technology and Medicine in London hat in Zusammenarbeit mit den Fraunhofer-Forschenden die KI-Verfahren zur Erkennung von Bewegungsmustern entwickelt und erste Versuche an Probanden durchgeführt. »Außerdem kooperieren wir seit mehreren Jahren sehr eng mit der Università Campus Bio-Medico di Roma (UCBM), die das Gesamtprojekt SOMA koordiniert und mit der Idee für die Sensorik auf uns zugekommen ist«, erklärt Schneider-Ickert.

Die Arbeit an SOMA geht nach dem Proof-of-Concept und den positiven Rückmeldungen der Probanden weiter. Im nächsten Schritt wollen die Forschenden die zeitliche Auflösung der Sensorik noch weiter steigern und die Elektronik verkleinern, um eine noch komfortablere und noch präzisere Steuerung der Prothese zu realisieren. Das Sensorarmband wird unsichtbar in der Manschette der Handprothese verschwinden. Im Sinne der verbesserten Alltagstauglichkeit ist es auch denkbar, dass die KI und die Steuersoftware in Zukunft in ein Smartphone integriert sind. Die Signale würden beispielsweise nach dem Auslesen durch die Elektronikbox via Bluetooth zum Smartphone und zurück übertragen werden.

Sensorische Rückmeldung aus der Handprothese

Außerdem arbeitet das Konsortium daran, das System bidirektional zu machen. Die Handprothese soll nicht nur Befehle ausführen, sondern auch Rückmeldung geben, die der Träger der Prothese als sensorischen Reiz spürt und darauf reagieren kann. »Wenn ein Mensch mit einer gesunden Hand ein Glas Wasser festhält und zum Mund hebt, erhält er von den Fingern laufend Rückmeldung, wie fest er das Glas halten muss, so dass es einerseits nicht aus der Hand rutscht, andererseits aber auch nicht durch zu festes Drücken zerbricht. »Eine solche Funktionalität wird auch in SOMA untersucht und soll in künftige Handprothesen integriert werden«, erklärt Schneider-Ickert.

Die Rückmeldung könnte aber statt über Ultraschallsensoren über Elektroden erfolgen, die in bzw. an Nerven implantiert werden. Dort leiten sie die Signale, die von der Prothese geschickt wurden, mittels gezielter Nervenstimulation ans Gehirn als sensorischen Reiz weiter. Auf diesem Weg bekommt das menschliche Gehirn Rückmeldung von der künstlichen Hand und kann Befehle zurücksenden, die beispielsweise den Druck der Finger verstärken oder senken. Die ins Nervengewebe implantierte Elektrode aus biologisch verträglichem Material spürt der Mensch nicht. »Auf diese Weise entsteht ein geschlossener Regelkreis, in dem die Handprothese und das Gehirn laufend und in Echtzeit miteinander kommunizieren«, erklärt Fournelle. Das Fraunhofer IBMT hat die entsprechende Technologie und die Elektroden bereits entwickelt und erprobt.

Akzeptanz und Usability

In allen Projektphasen sind Usability und Akzeptanz der Nutzerinnen und Nutzer der entscheidende Faktor. Das SOMA-Team hat in jeder Phase des Projekts Rückmeldung von Versuchspersonen eingeholt. In der aktuellen Projektphase sind dies noch Probanden ohne Amputation. »Das Feedback der Versuchspersonen hilft uns, die innovative Handprothese weiter zu optimieren. Menschen, die eine Hand verloren haben, haben oftmals eine lange Leidenszeit hinter sich. Eine funktionierende Handprothese ist eine enorme Erleichterung im Alltag und gibt ihnen auch ein Stück Lebensqualität wieder zurück«, erklärt Schneider-Ickert.

Durch die Entwicklung der innovativen Handprothese erhält auch der Markt für myoelektrische Prothesen einen spürbaren Schub. Weltweit leiden schätzungsweise 3 Millionen Menschen unter einer Arm- oder Handamputation, wobei die Anzahl weiter zunimmt. Diese Menschen sollen von der Verbesserung der myoelektrischen Prothese im Hinblick auf Funktionalität und Komfort profitieren.

Weitere Informationen:

https://www.fraunhofer.de/de/presse/presseinformationen/2023/oktober-2023/bidire…