Inverse Dynamic Game Methods for Identification of Cooperative System Behavior

Die dynamische Spieltheorie hat sich als ein effektiver Ansatz zur Modellierung und Analyse der Interaktion zwischen mehreren Akteuren oder Spielern in dynamischen Prozessen erwiesen. Um diese Theorie in realen Anwendungen umzusetzen, ist jedoch die Möglichkeit einer schnellen Identifikation der Ziele jedes Spielers entscheidend. Dieses Identifikationsproblem wird als inverses dynamisches Spiel bezeichnet. Hierfür präsentiert diese Dissertation Lösungen, die auf Beobachtungen der Spieleraktionen und der resultierenden Zustandstrajektorie basieren, welche die Entwicklung des Spiels über die Zeit beschreibt. ... mehr

Es werden zwei Arten von Methoden zur Lösung von inversen dynamischen Spielen entwickelt. Die erste besteht in der Anwendung von regelungstechnischen Methoden. Für die weitverbreitete Klasse der linear-quadratischen dynamischen Spiele werden zusätzlich explizite Mengen formuliert, die alle möglichen Lösungen des inversen Problems beschreiben. Der zweiten Methode liegen Verfahren des Inverse Reinforcement Learnings aus der Informatik zugrunde. Für beide Arten von Methoden werden mathematische Bedingungen formuliert, unter denen eine erfolgreiche Schätzung der Ziele aller Spieler garantiert ist.

Ein simulativer Vergleich mit einem Verfahren aus dem Stand der Technik zeigt die höhere Effizienz der vorgestellten neuen Ansätze. Darüber hinaus werden die Methoden für die Identifikation von kooperativem menschlichen Verhalten in einem Lenkmanöver angewendet. Die entwickelten Ansätze für inverse dynamische Spiele ermöglichen die effiziente Identifikation von Spielerzielen und können in zahlreichen Anwendungsfeldern wie beispielsweise der Mensch-Maschine-Interaktion und der Verhaltensbeschreibung biologischer Systeme eingesetzt werden.

The theory of dynamic games has been demonstrated to be an effective approach for modeling and analyzing interactions between decision makers or players in dynamic processes. However, in order to use this theory in real applications, the possibility of quick identification of the objectives each player or decision maker optimized is crucial. This identification problem is called inverse dynamic game. This thesis gives solutions for this problem which are based on the observed actions of the players and the resulting state trajectory describing the evolution of the game. ... mehr

Two method classes are developed to solve inverse dynamic games. The first is based on the application of control-theoretical techniques. For the widespread class of linear-quadratic dynamic games, explicit solution sets characterizing all possible inverse dynamic game solutions are additionally stated. The second class of methods is based on the use of inverse reinforcement learning techniques from computer science. For all methods, mathematical conditions are presented under which a successful player objective estimation is guaranteed.

A simulative comparison with a state-of-the-art approach shows that the proposed novel methods are computationally more efficient. Furthermore, the techniques are applied for the identification of cooperative human behavior in a steering task. The developed inverse dynamic game methods allow for an efficient player objective estimation and can be employed in various applications fields including human-machine interaction and the description of cooperative biological system behavior.