Hazard Analysis of Collaborative Human-Robot Systems: A Simulation- and Agent-based Approach

Mit dem Trend zur Mensch-Roboter-Kollaboration werden Robotersysteme sowohl komplexer als auch sicherheitskritischer. Um die Sicherheit von Menschen zu gewährleisten und normative und gesetzliche Anforderungen zu erfüllen, müssen sicherheitskritische Robotersysteme vor der Inbetriebnahme gr\"undlich auf mögliche Gefahren hin analysiert werden. In der aktuellen Praxis basiert diese Gefahrenanalyse weitgehend auf menschlichem Verstand, Erfahrung, Expertenwissen und einfachen Werkzeugen wie Checklisten. Mit zunehmender Systemkomplexität werden zusäzliche Werkzeuge für die Gefahrenanalyse benötigt.
... mehr

In dieser Arbeit wird ein simulationsbasierter Ansatz für die Gefahrenanalyse von kollaborativen Robotersystemen vorgeschlagen. Der vorgeschlagene Ansatz stützt sich auf das Konzept des agentenbasierten Testens.
Beim agentenbasierten Testen wird das zu analysierende System, auch (SUT) genannt, in eine Simulationsumgebung eingebettet, in der sogenannte Testagenten vorhanden sind.
Bei den Testagenten handelt es sich um Entitäten im Simulationsmodell, die mit dem SUT interagieren. Die Testagenten regen das SUT zur Reaktion an, wobei beobachtet werden kann, ob sich SUT in einer sicheren Weise verhält.
Im Kontext der Mensch-Roboter-Kollaboration erlaubt der agentenbasierte Ansatz die Simulation von Mensch-Roboter-Interaktionen. So kann virtuell getestet werden, ob der Roboter auf sichere Weise mit Menschen interagiert.

Eine entscheidende Frage beim agentenbasierten Testen lautet, wie man ein Verhalten der Testagenten erzeugt, welches hinreichend sicherheitskritisch ist, um bestehende Gefahren aufzudecken. In dieser Arbeit wird diese Herausforderung als {Suchproblem} formalisiert. Ausgehend von einem Simulationsmodell des SUT und des Agenten, einer Sicherheitsspezifikation und einem Suchraum möglicher Verhaltensweisen des Agenten besteht das Ziel des Suchproblems darin, Verhalten zu finden, auf die das SUT in einer unsicheren Weise reagiert. Zur Lösung dieses Suchproblems wird das Konzept der risikogeleiteten Suche vorgeschlagen. Hierbei werden domänenspezifische Risikometriken in Verbindung mit Such- und Reinforcement-Learning Algorithmen verwendet. Durch die Maximierung der Risikometrik lernen diese Algorithmen, unsichere Zustände zu provozieren und decken somit Gefährdungen auf.

Das Konzept der risikogeleiteten Suche wird in Experimenten aus dem Bereich der industriellen Mensch-Roboter-Kollaboration demonstriert und validiert. In diesen Experimenten werden Simulationsmodelle von kollaborativen Robotersystemen betrachtet. In diese Modelle werden gezielt sicherheitskritische Fehler eingebracht, um potentielle Ge-fahren zu erzeugen. Anhand dieser gefahrenbehafteten Systeme wird getestet, ob die risikogeleitete Suche zielgerichtet Gefahren identifizieren kann.

Auch wenn die Ergebnisse der Experimente vielversprechend ausfallen, hat der Ansatz der risikogeleiteten Suche gewisse Grenzen. Insbesondere gibt es eine grundlegende Limitation im Hinblick auf die Genauigkeit der Simulation und die Vollständigkeit der Suche: Ein steigender Detailgrad führt zu einer Explosion des Suchraums, sodass eine vollständige Exploration im Allgemeinen nicht mehr durchführbar ist. Um dieser Einschränkung zu begegnen, schlägt die Arbeit einen zweiten Ansatz vor. Hierbei handelt es sich um eine zweischichtige Analyse, die das System sowohl auf einer höheren Abstraktionsebene analysiert, auf der eine erschöpfende Suche möglich ist, als auch auf einem weniger abstrakten Ebene mit einem detaillierteren Simulationsmodell. Die Performanz der risikogeleiteten Suche wird mit der des zweistufigen Ansatzes verglichen. Obwohl die Performanz des zweistufigen Ansatzes die der risikogeleiteten Suche übertrifft, zeigen die Experimente auch Fälle, in denen die risikogeleitete Suche gewisse Vorteile hat, sodass beide Ansätze ihre Berechtigung haben.

Im Hinblick auf die Anwendung in sicherheitskritischen Anwendungsfällen ist zu betonen, dass die in dieser Arbeit entwickelten Methoden als Ergänzung des bestehenden Spektrums von Gefahrenanalyseverfahren zu sehen sind und nicht als Ersatz für bestehende Verfahren.

With the trend towards human-robot collaboration, robot systems are getting both more complex and more safety-critical. To ensure safety of humans, and to meet normative and legal requirements, safety-critical robot systems need to be analyzed thoroughly for potential safety flaws and hazards before going into operation. In current practice, this hazard analysis is largely based on human reasoning, experience, expert knowledge, and simple tools such as checklists. With increasing system complexity, additional tools for hazard analyses are required.

This thesis proposes a simulation-based approach for hazard analysis of collaborative robot systems. ... mehrThe proposed approach draws on the concept of agent-based testing. In agent-based testing, the analyzed system, also known as the system under test (SUT), is embedded into a simulation environment where one or multiple \textit{testing agents} are present. The testing agents are entities in the simulation model which interact with the SUT, thereby stimulating the SUT and allowing analysts to test whether the SUT responds in a safe manner. In the context of human-robot collaboration, the agent-based approach allows it to simulate human robot interactions and observe whether the robot interacts with humans in a safe manner. A crucial question in agent-based testing is how to create agent behaviors which are suitably critical to expose safety flaws and hazards in the SUT. To address this question, the thesis frames hazard analysis as a {search problem}. Given a simulation model of SUT and Agent, a safety specification, and a search space of possible agent behaviors, the goal of the search problem is to find agent behaviors to which the SUT responds in an unsafe manner. For solving this search problem, the thesis proposes the concept of \textit{risk-guided search}, which uses domain-specific risk metrics in conjunction with search- and reinforcement learning algorithms. By attempting to maximize the risk metric, these algorithms learn to create high-risk agent behaviors which lead to unsafe states and thereby expose hazards.

The risk-guided search concept is demonstrated and validated in experiments from the domain of industrial human-robot collaboration. In these experiments, simulation models of the test scenarios are created which contain certain safety-critical design flaws that are deliberately introduced into the models in order to create hazards. The risk-guided search is then deployed to identify these hazards.

While the results are promising, there are certain limitations to the risk-guided search approach. In particular, there is a fundamental trade-off between accuracy of the simulation and exhaustiveness of the search: A high level of detail and complexity leads to a search-space explosion, so that an exhaustive search generally becomes infeasible. To address this limitation, the thesis proposes a second approach, namely a two-layer analysis which analyzes the system both on a higher abstraction level where an exhaustive exploration is possible, and on a less abstract simulation model which provides a higher level of detail. The performance of risk-guided search and two-level approach, as well as their respective strength and weaknesses, are compared. Although the two-layer approach outperforms the risk-guided search, the experiments also indicate cases where the risk-guided search has certain advantages, indicating that both approaches are merited.

With respect to application in safety-critical use cases, it should be emphasized that the techniques developed in this thesis should be seen as an addition to augment the existing spectrum of hazard analysis methods, and not as a replacement for existing methods.