Graph Neural Networks zur Vorhersage menschlicher Aktionen und Bewegungen in der Mensch-Roboter-Kollaboration bei industriellen Montageaufgaben

Die Kollaboration zwischen Mensch und Roboter ermöglicht das gemeinsame Lösen von Aufgaben, bei denen ein Mensch alleine an dessen Grenzen gelangt (zum Beispiel Anreichen eines benötigten Werkstücks bei Montageaufgaben). Grundvoraussetzung für eine intelligente Mensch-Roboter-Kollaboration ist die Befähigung des Roboters, den Menschen zu verstehen und folglich Entscheidungen aufgrund der momentanen und zukünftigen Aktion und der Bewegung des Menschen zu treffen.

In dieser Arbeit wird die Entwicklung einer Lernmethode für eine intelligente Kollaboration zwischen Mensch und Roboter im Kontext von Montageaufgaben in der Industrie untersucht. ... mehrKonkret wird zunächst aus zeitlicher und räumlicher Szeneninformation ein Graph erzeugt, der die Zusammenhänge zwischen den Szenenobjekten und der Bewegung des Menschen und des Roboters enthält. Dieser Graph wird dann von einem Modell, das auf Graph Neural Networks basiert, zur Aktionserkennung und zur Vorhersage der Aktion und Bewegung des Menschen genutzt.

Es konnte gezeigt werden, dass durch die Verwendung von Graph Neural Networks eine Aktions- und Bewegungsvorhersage möglich ist. Auch die Kombination mehrerer Vorhersagen (im Sinne des Multi-Task-Learnings) kann dabei effizient ohne eine Abnahme der Modellgüte bereitgestellt werden. Die Methode wird dabei anhand von Baseline-Methoden und relevanten Datensätzen evaluiert, wobei durch das Collaborative Action Dataset auch ein reales Anwendungsbeispiel für die Mensch-Roboter-Kollaboration im industriellen Kontext hinzugezogen wird. Für die Bewegungsvorhersage ergibt sich dabei ein Final Displacement Error von weniger als 10cm für einen Vorhersagezeitpunkt von einer Sekunde. Bei der Aktionserkennung liefert die entwickelte Methode eine Verbesserung der Modellgüte im Vergleich zu anderen Ansätzen um bis zu 20%.

The collaboration between a human and a robot enables jointly solving tasks, for which a human alone would reach its limits (e.g. passing a workpiece when performing assembly tasks). To enable intelligent human-robot collaboration and make suitable decisions, the robot must recognize and predict human actions and motion.

In this thesis learning methods for an intelligent human-robot collaboration in the context of industrial assembly tasks are examined. Initially, a graph is constructed given spatial and temporal scene information, which includes relations between scene objects and the human. ... mehrThis graph is then used by a graph neural network to predict the human's current and future action, as well as its motion trajectory.

It is shown, that action and motion prediction is possible using graph neural networks. In addition, the combination of multiple predictions (in the sense of multi-task learning) can be provided efficiently without a decrease in the accuracy of the model. The method is evaluated against baseline methods and with relevant datasets for the application at hand, including the Collaborative Action Dataset. The conducted experiments show that the developed method yields a final displacement error of less than 10cm for a prediction time of one second for motion forecasting. For action recognition, the results show an improvement in the accuracy of the model of up to 20% compared to other approaches.