Toward Highly Immersive Telepresence: A Novel Very-Large-Scale Kinesthetic Haptic Interface

Das Konzept der immersiven Telepräsenz sorgt bereits seit Jahrzehnten für Faszination in verschiedenen Bereichen, darunter Wissenschaft, Ingenieurwesen und Kunst. Dank jüngster Entwicklungen im Bereich der sogenannten Head-Mounted Displays ist es inzwischen möglich, täuschend echt aussehende virtuelle Umgebungen zu schaffen. Allerdings stellt die Erzeugung von haptischem Feedback nach wie vor eine Herausforderung dar. Insbesondere kinästhetisch-haptisches Feedback, welches Kräfte und Drehmomente auf den Körper der benutzenden Person ausübt, ist durch die Fähigkeiten existierender haptischer Schnittstellen im Hinblick auf die Größe des Arbeitsraumes, die Anzahl und Ausnutzung der Freiheitsgrade sowie die Erzeugung von Kräften und Drehmomenten beschränkt. ... mehr

Eine ideale kinästhetisch-haptische Schnittstelle, die dem Konzept der sogenannten Encountered-Type Haptic Displays folgt, ermöglicht es der nutzenden Person frei zu entscheiden, wann haptisches Feedback durch Berühren des Endeffektors der Schnittstelle erwünscht ist. Dadurch entfällt die Notwendigkeit einer dauerhaften mechanischen Verbindung, was zu einer Steigerung des erreichbaren Immersionsgrades führt. Darüber hinaus sollte die Menge der möglichen Interaktionen im Idealfall ausschließlich durch das dargestellte Objekt und nicht durch die Schnittstelle selbst beeinflusst werden. In Anlehnung an diese Vision präsentiert diese Dissertation HapticGiant als neuartige, bodengebundene kinästhetisch-haptische Schnittstelle, welche die Darstellung von digitalen Zwillingen mit einer sehr hohen haptischen Wirklichkeitstreue in einem sehr großen Arbeitsraum ermöglicht.

Im Hinblick darauf präsentiert der erste Teil der vorliegenden Arbeit ein neues, optimierungsbasiertes Designverfahren, das die kinematischen und dynamischen Eigenschaften des durchschnittlichen menschlichen Arms berücksichtigt, um das erreichbare Niveau der haptischen Transparenz eines Manipulators mit sechs aktuierten Freiheitsgraden und einem griffförmigen Endeffektor zu maximieren. Durch Kombination mit einer zweidimensionalen Vorpositioniereinheit resultiert ein Konzept, welches einen raumgroßen Arbeitsbereich sowie die natürliche Fortbewegung der nutzenden Person ermöglicht. Basierend darauf wird die Konstruktion eines voll funktionsfähigen Prototyps inklusive Sensorik, Aktorik und Einrichtungen der funktionalen Sicherheit beschrieben. Die resultierende Hardware-Plattform wird ergänzt durch das speziell für HapticGiant entwickelte Real-Time Control Framework (RTCF). Darüber hinaus wird eine eigens entwickelte, echtzeitfähige Simulation vorgestellt, die Effekte wie die Coulomb-Reibung und die endliche Steifigkeit der Gelenke inkludiert.

Aufbauend auf dieser Plattform beschäftigt sich der zweite Teil der Arbeit mit der haptischen Darstellung von digitalen Zwillingen. In diesem Zusammenhang wird eine neuartige Kraftregelung basierend auf hierarchischer Optimierung präsentiert. Diese ermöglicht das dynamisch konsistente Rendering von seriellen kinematischen Ketten bei intrischer Berücksichtigung von HapticGiants Hardwaregrenzen und der Gelenkgrenzen des digitalen Zwillings. Die Leistungsfähigkeit der Regelung wird mit einer Reihe von Experimenten belegt, welche die Bestimmung von Metriken des Haptify-Benchmarks umfassen. Die zugrundeliegenden Folgeregler auf Gelenkebene profitieren von möglichst genauer Kenntnis der Gelenkpositionen, -geschwindigkeiten und -beschleunigungen. Daher wird eine neue Methode zur Fusion der Daten von Gelenkencodern und Inertialsensoren präsentiert, die weder auf Kalibrierung noch auf spezielle Sensorkonfigurationen angewiesen ist. Experimente bestätigen die Wirksamkeit der vorgeschlagenen Methode, solange die Messwerte von Gelenkencodern und Inertialsensoren konsistent sind. Die daraus entstehende Frage nach der optimalen Sensorkonfiguration wird durch eine neuartige, experimentell validierte Methode zur Bestimmung der optimalen Sensorkonfiguration beantwortet, welche auf dem Prinzip der Beobachtbarkeit in Verbindung mit der Berechnung des erwarteten Messbereichs von Inertialsensoren beruht.

Der dritte und letzte Teil der Arbeit erforscht wie eine dynamische Repositionierung des Endeffektors von HapticGiant bewerkstelligt werden kann, um eine unterbrechungsfreie Darstellung von mehreren digitalen Zwillingen zu realisieren. Hierfür wird der durch die nutzende Person anvisierte digitale Zwilling mithilfe einer neuartigen Intentionsschätzung auf Basis rekurrenter neuronaler Netze vorhergesagt. Die resultierende Genauigkeit ist vergleichbar mit dem Stand der Technik, ohne jedoch abhängig von vordefinierten Szenarien oder manuell ausgewählten Merkmalen zu sein. Für die Verarbeitung der geschätzten Intention wird eine neuartige Strategie zur Pfadplanung vorgeschlagen, welche als Erweiterung von roadmap-basierter Pfadplanung betrachtet werden kann und deutlich reduzierte Rechenzeiten bei ähnlicher Pfadqualität aufweist. In Kombination mit einer eigens entwickelten Methode zur Umwandlung von Pfaden in Trajektorien werden gleichmäßige und dennoch reaktive Bewegungen erzielt, die Hindernisse und wechselnden Intentionen mit einbeziehen.

Insgesamt ermöglichen die vorgestellten Technologien und Methoden die Errichtung von vielseitig einsetzbaren kinästhetisch-haptischen Schnittstellen, die Zugang zu einem bisher unerreichten Grad an Immersion in Telepräsenzanwendungen bieten. Darüber hinaus können die in dieser Arbeit gewonnenen Erkenntnisse zur Lösung von verschiedenen Herausforderungen in der Robotik herangezogen werden, darunter Design, Regelung und Zustandsschätzung von Manipulatoren.

The concept of immersive telepresence has fascinated researchers, engineers, and artists for decades. With recent developments in head-mounted display technology, it is now possible to create deceptively real-looking virtual environments. However, generating realistic haptic feedback remains a challenge. In particular, kinesthetic haptic feedback, which exerts forces and torques on the user's body, is limited by the capabilities of existing haptic interfaces in terms of workspace size, dexterity, and force-torque output.

Following the concept of encountered-type haptic displays, the ideal kinesthetic haptic interface allows the user to initiate and release contact with the end effector of the interface whenever desired, eliminating the need for a permanent, and thus immersion-limiting, physical connection. ... mehrIn addition, the set of feasible user interactions should, in an ideal case, be constrained solely by the object being rendered and not by the interface itself. Guided by this vision, this thesis presents HapticGiant, a novel very-large-scale grounded kinesthetic haptic interface that enables the creation of digital twins with a very high degree of haptic realism.

The first part of this thesis proposes an optimization-driven design method that considers the kinematic and dynamic properties of the average human arm to maximize the achievable level of haptic transparency for a manipulator with six actuated degrees of freedom and a handle-shaped end effector. In combination with a two-dimensional prepositioning unit, the resulting design enables a room-sized workspace and natural user locomotion. Based on this concept, the construction of a fully functional prototype with details about instrumentation, actuation, and functional safety is presented. The resulting hardware platform is complemented with the introduction of Real-Time Control Framework (RTCF), which was specifically developed for HapticGiant. Moreover, a custom, real-time-capable simulation environment, featuring effects such as Coulomb friction and finite joint stiffness, is introduced.

With this infrastructure in place, the second part of this thesis deals with the haptic representation of digital twins. In this context, a novel closed-loop force controller based on hierarchical quadratic programming is proposed. This controller enables the rendering of serial kinematic chains in a dynamically consistent manner by intrinsically considering HapticGiant's hardware limitations as well as the joint limits of the digital twin. The effectiveness of the proposed control scheme is successfully demonstrated in a series of experiments that include the evaluation of metrics from the Haptify benchmarking method. The underlying low-level joint tracking controllers benefit from accurate joint position, velocity, and acceleration estimates. Therefore, this thesis proposes a novel method for fusing joint encoder measurements with data from inertial sensors without relying on calibration or specific sensor configurations. Experiments confirm that the proposed method is effective, provided that the readings from the encoders and inertial sensors are consistent. The emerging question of the optimal inertial sensor configuration is answered using a novel, experimentally validated sensor placement procedure that is based on the concept of observability and the computation of the expected measurement range of inertial sensors.

The third and final part of this thesis explores how HapticGiant's end effector can be dynamically repositioned to render multiple digital twins without disrupting the user experience. To achieve this goal, the user's targeted digital twin is predicted using a novel intention estimation method based on recurrent neural networks. Results show that this approach achieves prediction accuracies comparable to state-of-the-art methods, without relying on predefined scenarios or hand-crafted features. To process the intention estimation output, a novel path planning method based on an extension to roadmap-based path planning is proposed, facilitating superior planning times without sacrificing path quality. Combined with a custom path-to-trajectory conversion, this results in smooth and reactive motions that incorporate obstacles and changing user intentions.

Overall, the presented technologies and methods enable the creation of highly versatile kinesthetic haptic displays, paving the way for an unprecedented level of immersion in telepresence applications. Beyond the scope of HapticGiant, the insights gained in this thesis also provide valuable solutions to a number of challenges in robotics, including manipulator design, control, and state estimation.