Adapting the Human: Human-Robot Interaction Mediated by Wearable Technology and Augmented Reality

Um die Akzeptanz von Industrieroboterarmen über große, fest installierte Produktionslinien hinaus zu erhöhen, werden schnelle und intuitive Möglichkeiten zur Programmierung und Interaktion mit ihnen benötigt. Obwohl seit Jahren daran geforscht wird, sind intuitive Interaktions- und Programmiersysteme meist komplex, teuer und unflexibel. Vor allem bei Anwendungen mit einer wachsenden Anzahl von Robotern werden solche Lösungen äußerst teuer und nicht mehr praktikabel. Diese Arbeit schlägt einen Paradigmenwechsel in der Mensch-Roboter-Interaktion (MRI) vor, bei dem der Großteil des intuitiven Interaktionssystems vom Menschen getragen wird und sich auf ein Head Mounted Display (HMD) konzentriert. ... mehrModerne HMDs verfügen über eine umfangreiche Sensorik, die in der Lage ist, die Umgebung zu kartieren, zu lokalisieren, die Hand zu verfolgen, die Stimme zu erkennen und vor allem Erweiterte Realität (eng. Augmented Reality - AR) "Hologramme" anzuzeigen. Der konkrete Anwendungsfall ist die Programmierung und Interaktion von Industrieroboterarmen, die von leichten, kollaborativen bis hin zu großen, schweren Armen reichen. Ein solches getragenes System würde die Menge an Sensoren und allgemeiner Hardware, die für HRI benötigt wird, auf Null reduzieren. Da alle Sensoren vom Menschen getragen werden, wird die Interaktion zwischen einem einzelnen Menschen und mehreren Robotern in einer unzugänglichen Umgebung plötzlich kostengünstig und machbar. Diese Arbeit zeigt die Entwicklung verschiedener Komponenten, die ein solches tragbares System benötigt, sowie das endgültige integrierte System. In dieser Arbeit werden die neuesten Entwicklungen in den Bereichen Kartierung, Einrichtung von Roboterzellen, intuitive Programmierung, Personenverfolgung und MRI vorgestellt, die in die Konstruktion des Systems eingeflossen sind. Obwohl das System auf dem Microsoft HoloLoens HMD implementiert wurde, wurde darauf geachtet, die Komponenten so flexibel wie möglich in Bezug auf den HMD-Typ und die verwendeten Sensoren zu gestalten. Dies beinhaltete oft die Entwicklung mehrerer Versionen derselben Komponente, die mit verschiedenen Sensoren oder Dateneingaben arbeiten.

To increase the adoption of industrial robot arms beyond large, fixed production lines, fast and intuitive ways to program and interact with them is needed. Although related research has been ongoing for years, intuitive interaction and programming systems tend to be complex, expensive and inflexible. Especially when it comes to applications with increasing number of robots, such solutions become exceedingly expensive and unfeasible. This thesis proposes a paradigm shift in \gls{HRI} systems, where the majority of the intuitive interaction system is worn by the human, centered around a \gls{HMD}. ... mehrModern \glspl{HMD} provide a vast sensor suite capable of mapping the environment, localisation, hand tracking, voice recognition and most importantly display of \gls{AR} "holograms". The specific use case is the programming and interaction of industrial robotic arms, ranging from collaborative lightweight ones to large, heavy-duty arms. Such a worn system would reduce the amount of sensors and general hardware needed for HRI to zero. As all the sensors are worn by the human, interaction between a single human and multiple robots in a fenceless environment suddenly becomes cost-effective and feasible. This thesis will show the development of several components that such a wearable system requires as well as the final integrated system. The thesis will present state of the art developments in mapping, robot cell setup, intuitive programming, person tracking and \gls{HRI} that went into the construction of the system. Although the system was implemented on the Microsoft HoloLoens \gls{HMD}, effort has been put to make components flexible in regards to the \gls{HMD} type and the sensors it carries as much as possible. This often included developing multiple versions of the same component working with different sensor or data inputs.