Design and Control of Anthropomorphic Hands with Multimodal Sensing and Semi-Autonomous Grasping Abilities

Menschen verfügen über außergewöhnliche Greif- und Manipulationsfähigkeiten, welche durch ein komplexes Zusammenspiel von Kinematik, Muskeln, Sensorsignalen, reflexbasierten Reglern und Kognition auf semantischer Ebene ermöglicht werden.
Die menschliche Hand verfügt über 21 Freiheitsgrade die über 38 Muskelstränge aktuiert werden und erlaubt durch ca. 18.000 Sensoren die Wahrnehmung diverser Stimuli wie statische und dynamische Deformation der Haut, Vibration, Temperatur, Schmerz Gelenkkonfigurationen und aufgebrachte Muskelkraft.
Es ist daher nicht verwunderlich, dass ein überproportional großer Teil des Motor- und somatosensorischen Cortex des Gehirns der Steuerung und Sensorik der Hand zugeordnet ist.
Um die Steuerung dieses komplexen Systems zu ermöglichen unterteilen Menschen den Greifvorgang unterbewusst in mehrere Aktions-Phasen welche Sensorstimuli mit kontext-spezifischen Regelzielen verbinden.
Der Greifvorgang wird darüber hinaus stark durch erlerntes Vorwissen über die Aufgabe und die involvierten Objekte beeinflusst.

Myoelektrischen Handprothesen und humanoiden Robotern fehlen viele dieser Fähigkeiten des Menschen.
... mehr
Das Greifen bei humanoiden Robotern und Prothesen basiert primär auf der visuellen Wahrnehmung der Szene durch den Roboter oder Prothesenträger.
Zwar kann ein Prothesenträger basierend auf visueller Wahrnehmung und Vorwissen detailliert planen wie das Objekt zu greifen ist, allerdings ist bei Prothesen die Bandbreite der Schnittstelle zur Steuerung zwischen Mensch und Prothese stark limitiert.
Jede einzelne Bewegung der Finger und des Handgelenks muss durch eine Sequenz an Kontrollsignalen manuell gesteuert werden.
Auch Aspekte des Greifens wie die richtige Griffkraft, das Rutschen von Objekten aus dem Griff und und Deformation der gegriffenen Objekte muss über visuelle Information gesteuert werden.
Die hohe kognitive Last, die durch die manuelle Steuerung aller Aspekte des Greifens erzeugt wird, ist einer der Gründe aus dem fast die Hälfte der Prothesenträger nach ein bis zwei Jahren ihre Prothese gar nicht mehr oder nur passiv nutzen.
Bei Humanoiden Robotern ist die Abhängigkeit von visuellen Informationen ebenfalls eine gravierende Einschränkung, da das semantische Verständnis der Szene, der Aufgabe und der involvierten Objekte ebenso fehlt wie die jahrelange Erfahrung im Greifen von Objekten.

Ziel dieser Arbeit ist es, in anthropomorphe Hände integrierte haptische Sensoren und Sensoren Wahrnehmung der Umgebung zu nutzen um semi-autonome und autonome Steuerungen zu entwickeln, die das Greifen mit Prothesen und Roboterhänden vereinfachen.
Um diese Steuerungen zu ermöglichen werden multi-modale Sensoren und ein leistungsstarkes eingebettetes System in Hände und frei skalierbare Finger integriert.
Speziell für Prothesenhände stellt diese Arbeit ein semi-autonomes Kontrollschema vor, welches basierend auf nur zwei Nutzereingaben die Auswahl und Regelung des richtigen Griffs sowie der Drehung des Handgelenks steuert.
Für das Greifen, Anheben, Halten und Abstellen von Objekten stellt diese Arbeit einen voll-autonomen Ansatz basierend auf der Erkennung von Kontakten, Interaktionskräften und Ereignissen vor.
Der Ansatz ist durch Erkenntnisse über die Steuerung des Greifens bei Menschen inspiriert.
Im Folgenden werden die drei zentralen Beiträge der Arbeit vorgestellt:

Anthropomorphe Hände mit Integriertem Multimodalem Sensorsystem:
Der erste Beitrag der Arbeit ist die Entwicklung und Integration eines multimodalen Sensorsystems sowie eines eingebetteten Systems in anthropomorphe Hände.
Das Sensorsystem besteht aus Druck- und Scherkraftsensoren, Gelenkwinkelencodern, Beschleunigungssensoren und Temperatursensoren zur haptischen Wahrnehmung sowie Distanzsensoren, inertialen Messeinheiten und einer Kamera zur Wahrnehmung der Umgebung.
Das Sensorsystem erweitert den Stand der Technik im Hinblick auf die Menge an verschiedemen integrierten Sensormodalitäten und dem Grad der Integration.
Im Gegensatz zu vorhergehenden Arbeiten ist das mechanische Modell der Finger inklusive aller haptischen Sensoren ist mechanisch frei skalierbar in Abhängigkeit von nur sieben Parametern.
Um diese Skalierbarkeit auf elektrischer Ebene zu ermöglichen ist das Sensorsystem in einzelne Module aufgeteilt die frei kombiniert werden können um die gesamte verfügbare Oberfläche des skalierten Fingers auszunutzen.
Zur Verarbeitung, der Sensordaten und Steuerung der Hand werden eingebettete Systeme entwickelt welche die Ausführung rechenintensiver Aufgaben wie neuronaler Netze erlauben und direkt in der Hand verbaut sind.
Darüber hinaus leistet diese Arbeit einen Beitrag zum mechanischen Design anthropomorpher Hände, unter anderem durch die Konzeption eines miniaturisierten und Reibungsarmen unteraktuierten Mechanismus.

Semi-Autonomes Greifen:
Mithilfe des Sensorsystems und des eingebetteten Systems wird eine neuartige semi-autonome Steuerung für Prothesenhände entwickelt, welche einige Aspekte des Greifens autonom steuert.
Die Steuerung nutzt visuelle Information des zu greifenden Objekts, um dem Nutzer automatisch einen passenden Griff vorzuschlagen.
Ebenso wird mithilfe der inertialen Messeinheit die Handorientierung erfasst und basierend darauf ein Griff von der Seite oder von Oben vorgeschlagen.
Nach Bestätigung der Vorschläge durch den Nutzer wird das Handgelenk automatisch orientiert und die Finger formen den, für das Objekt passenden, Griff.
Die Hand schließt automatisch sobald sich das Objekt in Reichweite befindet.
Im Gegensatz zu verwandten Arbeiten erfolgt die Ausfürhrung der semi-autonomen Steuerung vollständig auf dem eingebetteten System der Prothese und nutzt ausschließlich Sensoren welche in der Hand selbst verbaut sind.
Über den Stand der Technik hinausgehend werden alle Freiheitsgrade der Prothese simultan gesteuert.
Die Steuerung wurde in einer Nutzerstudie evaluiert um die Reduktion der kognitiven und körperlichen Belastung des Prothesennutzers im Vergleich zur Nutzung einer klassischen, manuellen Prothesensteuerung zu ermitteln.

Vom Menschen Inspirierte Greifphasensteuerung:
Der dritte Beitrag der Arbeit ist die Entwicklung einer, vom Menschen inspirierten, Greifphasensteuerung für fünffingrige anthropomorphe Hände.
wie neurowissenschaftliche Studien zeigen, unterteilt der Mensch den Greifprozess unterbewusst in einzelne Aktionsphasen, jede gestartet durch ein bestimmtes Ereignis in den haptischen Sensordaten und jede mit einen eigenen Steuerungsziel.
Die Greifphasensteuerung in dieser Arbeit adaptiert diese Strategie um automatisch die Finger der Hand mit dem Objekt in Kontakt zu bringen, Normalkräfte auszuüben, das Objekt zu heben, abzustellen und loszulassen.
Jede Phase dieser Steuerung nutzt einen eigenen Regler mit einem korrespondierenden Regelziel, welches für diese Phase spezifisch ist.
Übergänge zwischen Phasen werden durch charakteristische Ereignisse in den haptischen Sensordaten ausgelöst.
Jeder Motor in der multiartikulierten Hand führt seine eigene Reglerinstanz aus, basierend auf den Sensordaten aus den Fingern die von diesem Motor angetrieben werden.
Wärend verwandte Arbeiten Greifphasensteuerungen entweder auf einem Backengreifer demonstrieren oder die Finger teilweise manuell gesteuert werden müssen, werden in dieser Arbeit alle Finger einer fünf-fingrigen hand in allen Phasen autonom gesteuert.
Für Fälle in denen die Hand das Object an nicht mit Sensoren ausgestatteten Flächen berührt, ist die GreifphasenSteuerung explizit in der Lage anhand von unvollständigen Sensordaten zu regeln, wärend die Kontakflächen in Verwandten Arbeiten üblicherweise auf sensorisierte Flächen der Hand beschränkt werden.
Die Greifphasensteuerung wurde in Greifversuchen mit diversen Haushaltsgegenständen und Lebensmitteln getestet.