Probabilistic World and Behavior Models for Embodied Agents

Embodied Agents müssen in komplexen, dynamischen und unstrukturierten Umgebungen sicher und effizient agieren.
Dort sie sind mit der inhärenten Unsicherheit, Unvorhersehbarkeit und Mehrdeutigkeit der Welt sowie anderer Agenten, insbesondere Menschen, konfrontiert.
Ihre eingeschränkte Wahrnehmung verstärkt diese Herausforderungen zusätzlich, da sie zu verrauschten und unvollständigen Beobachtungen führt, die auch ablenkende Elemente enthalten können.
Einfache deterministische Modelle bieten daher keine ausreichende Grundlage für die Entscheidungsfindung und können ineffizientes oder sogar gefährliches Verhalten zur Folge haben.
... mehr

Probabilistische Modelle bilden ein fundiertes und leistungsstarkes Framework, um Wissen zu repräsentieren, Mehrdeutigkeiten zu berücksichtigen und Unsicherheiten zu quantifizieren.
In Verbindung mit modernen Deep-Learning-Techniken ermöglichen sie es, probabilistische Welt- und Verhaltensmodelle direkt aus komplexen Daten zu erlernen.
Mithilfe latenter Variablen und grafischer Modelle lassen sich diese Modelle zudem so strukturieren, dass sie sinnvolle Repräsentationen entwickeln, die eine fundierte Entscheidungsfindung unterstützen.
Das Erlernen solcher strukturierter, unsicherheitsbewusster Modelle bringt jedoch erhebliche Herausforderungen mit sich, insbesondere im Kontext des Erlernens von Verhalten mittels Imitation- oder Reinforcement Learning (RL).

Diese Arbeit adressiert drei dieser Herausforderungen durch die Entwicklung neuartiger probabilistischer Modelle, Trainingsansätze und Inferenzverfahren.
Zunächst stellen wir einen auf Information Projection basierenden Lernansatz vor, um aus multimodalen menschlichen Demonstrationen zu lernen.
Im Gegensatz zu Standardmethoden, die über verschiedene Verhaltensweisen mitteln und dadurch unsicheres Handeln riskieren, erlaubt unser Ansatz das Erlernen von Mixture Models, die multimodales menschliches Verhalten präzise abbilden.
Anschließend befassen wir uns mit dem Problem, dass Weltmodelle für model-based RL, welche als Deep State Space Models realisiert werden, häufig verschiedene Quellen der Unsicherheit nicht angemessen darstellen können.
Nach einer Analyse der Schwächen bestehender Ansätze schlagen wir eine Alternative vor, die die Inferenz auf den Grundlagen des Kalman Filters aufbaut.
Dadurch kann unser Modell explizit zwischen Umweltunsicherheit und Modellunsicherheit unterscheiden und unterstützt eine robustere Entscheidungsfindung bei partieller Beobachtbarkeit.
Schließlich kombinieren wir beim Erlernen von Multisensorrepräsentationen rekonstruktionsbasiertes und kontrastives Lernen in einem einheitlichen Framework.
So kann das Lernverfahren an die jeweiligen Sensoreigenschaften angepasst werden, um prägnante und aufgabenrelevante Repräsentationen für RL zu erlernen.

Diese Beiträge liefern neue Werkzeuge und tiefere Einsichten für die Entwicklung zuverlässiger und leistungsfähiger Embodied Agents.
Die Arbeit leistet damit einen Beitrag zur Weiterentwicklung der Theorie und Praxis probabilistischer Welt- und Verhaltensmodelle und zur Schaffung intelligenter Systeme, die besser mit den Unwägbarkeiten und der Komplexität der Welt umgehen können.

Embodied agents must operate safely and efficiently in complex, dynamic, and unstructured environments.
In these settings, they face the inherent uncertainty, unpredictability, and ambiguity of the world and other agents within it, particularly humans.
The agents' limited perception further amplifies these challenges, resulting in noisy and partial observations that may contain distractions.
Consequently, simple deterministic models are an insufficient basis for decision-making and can lead to inefficient or even dangerous behavior.

Probabilistic models provide a principled and powerful framework for representing knowledge, accounting for ambiguities, and quantifying uncertainties.
... mehr
Combined with modern deep learning techniques, they facilitate learning probabilistic world and behavior models directly from highly complex data.
Additionally, imposing structure through latent variables and graphical models can guide these models to learn meaningful representations that support informed decision-making.
However, learning such structured, uncertainty-aware models presents its own set of challenges, especially within the context of learning behavior through Imitation or Reinforcement Learning (RL).

This thesis addresses three such challenges by developing novel probabilistic models, training approaches, and inference schemes.
We first tackle the problem of learning from diverse human demonstrations by introducing a learning approach based on the Information Projection.
Unlike standard methods that can average over distinct behaviors, which can lead to unsafe actions, our approach enables learning mixture models that represent multimodal human behavior more faithfully.
Next, we address the challenge of learning world models for model-based RL with deep State Space Models, which often fail to represent different sources of uncertainty appropriately.
After analyzing the shortcomings of prior approaches, we propose a more principled alternative that leverages the foundations of Kalman smoothing for inference.
This enables our model to explicitly distinguish between environmental uncertainty and model uncertainty, resulting in more robust decision-making under partial observability.
Finally, we employ similar state space approaches to learn multi-sensor representations by developing a unified framework that combines reconstruction-based and contrastive learning.
Our framework allows tailoring the loss to the properties of the respective sensors and learning concise, task-relevant representations for RL.

Together, these contributions provide new tools and deeper insights for creating capable and reliable embodied agents.
By advancing the theory and practice of probabilistic world and behavior models, this thesis contributes to the development of intelligent systems that can better navigate the uncertainties and complexities of the world.