Adaptive Shared Autonomy between Human and Robot to Assist Mobile Robot Teleoperation

Die Teleoperation vom mobilen Roboter wird in großem Umfang eingesetzt, wenn es für Mensch unpraktisch oder undurchführbar ist, anwesend zu sein, aber die Entscheidung von Mensch wird dennoch verlangt. Es ist für Mensch stressig und fehleranfällig wegen Zeitverzögerung und Abwesenheit des Situationsbewusstseins, ohne Unterstützung den Roboter zu steuern einerseits, andererseits kann der völlig autonome Roboter, trotz jüngsten Errungenschaften, noch keine Aufgabe basiert auf die aktuellen Modelle der Wahrnehmung und Steuerung unabhängig ausführen. Deswegen müssen beide der Mensch und der Roboter in der Regelschleife bleiben, um gleichzeitig Intelligenz zur Durchführung von Aufgaben beizutragen. ... mehrDas bedeut, dass der Mensch die Autonomie mit dem Roboter während des Betriebes zusammenhaben sollte. Allerdings besteht die Herausforderung darin, die beiden Quellen der Intelligenz vom Mensch und dem Roboter am besten zu koordinieren, um eine sichere und effiziente Aufgabenausführung in der Fernbedienung zu gewährleisten.

Daher wird in dieser Arbeit eine neuartige Strategie vorgeschlagen. Sie modelliert die Benutzerabsicht als eine kontextuelle Aufgabe, um eine Aktionsprimitive zu vervollständigen, und stellt dem Bediener eine angemessene Bewegungshilfe bei der Erkennung der Aufgabe zur Verfügung. Auf diese Weise bewältigt der Roboter intelligent mit den laufenden Aufgaben auf der Grundlage der kontextuellen Informationen, entlastet die Arbeitsbelastung des Bedieners und verbessert die Aufgabenleistung. Um diese Strategie umzusetzen und die Unsicherheiten bei der Erfassung und Verarbeitung von Umgebungsinformationen und Benutzereingaben (i.e. der Kontextinformationen) zu berücksichtigen, wird ein probabilistischer Rahmen von Shared Autonomy eingeführt, um die kontextuelle Aufgabe mit Unsicherheitsmessungen zu erkennen, die der Bediener mit dem Roboter durchführt, und dem Bediener die angemesse Unterstützung der Aufgabenausführung nach diesen Messungen anzubieten. Da die Weise, wie der Bediener eine Aufgabe ausführt, implizit ist, ist es nicht trivial, das Bewegungsmuster der Aufgabenausführung manuell zu modellieren, so dass eine Reihe von der datengesteuerten Ansätzen verwendet wird, um das Muster der verschiedenen Aufgabenausführungen von menschlichen Demonstrationen abzuleiten, sich an die Bedürfnisse des Bedieners in einer intuitiven Weise über lange Zeit anzupassen. Die Praxistauglichkeit und Skalierbarkeit der vorgeschlagenen Ansätze wird durch umfangreiche Experimente sowohl in der Simulation als auch auf dem realen Roboter demonstriert. Mit den vorgeschlagenen Ansätzen kann der Bediener aktiv und angemessen unterstützt werden, indem die Kognitionsfähigkeit und Autonomieflexibilität des Roboters zu erhöhen.

Mobile robot teleoperation has been widely employed when it is impractical or infeasible for humans to be present, yet still requires human judgment and decision-making skills. However, it is frustrating and stressful for human beings to merely simply teleoperate a robot without assistance due to time delay and absence of situational awareness. On the other hand, fully autonomous robots, despite recent achievements, cannot yet execute tasks alone based on the current perception and control models. Consequently, both the human and the robot have to remain in the control loop, simultaneously contributing intelligence to the task executions, i.e. ... mehrthe human has to share autonomy with the robot during operation. But the challenge is how to best coordinate the two sources of intelligence from the human and the robot, to guarantee a safe and efficient task execution in remote.

Therefore, a novel strategy is proposed in this thesis. It models the user intention as a contextual task to complete an action primitive, and provides appropriate motion assistance to the human operator upon the task recognition. In this way, the robot copes intelligently with the on-going tasks based on the contextual information, relieves the workload of the human operator and improves the task performance. To implement this strategy and account for the uncertainties in acquiring and processing environment information and user input, i.e. the contextual information, a probabilistic shared autonomy framework is presented to infer the contextual task the human operator performs with uncertainty measurements, and appropriately assist the human operator with the task execution according to these measurements. Since the way the human operator performs a task is implicit, it is non-trivial to model the motion pattern of the task process manually, thus a set of data-driven approaches are adopted to derive the policies of various task executions from human demonstrations, to adapt to the needs of the human operator in an intuitive way over long time. The feasibility and scalability of the proposed framework and techniques have been extensively evaluated in a variety of experiments both in simulation and on real mobile robot. With the proposed approaches, the teleoperator can be actively and appropriately assisted by increasing the cognition capability and the autonomy flexibility of the robot.