Versatile Manipulation with Generative Imitation Learning from Robot Play Data

Universell einsetzbare Roboter, die diverse Manipulationsaufgaben in unstrukturierten Umgebungen ausführen können, bleiben ein langjähriges Ziel der Robotik. Während traditionelles Imitationslernen in kontrollierten Umgebungen erfolgreich war, erfordert die Skalierung dieser Methoden für die offene Welt das Lernen aus großen, unkuratierten und heterogenen Datensätzen von „Play-Daten“. Effektives Lernen aus solchen Daten stellt jedoch drei fundamentale Herausforderungen: die Notwendigkeit, hochgradig multimodale Verhaltensverteilungen zu modellieren, die Schwierigkeit, aus wenigen Sprachannotationen zu lernen, und die hohen Rechenkosten bei der Skalierung aktueller Robotik-Policies hin zu Foundation-Modellen für generelles Roboterverhalten.
... mehr
Diese Arbeit schlägt neuartige datengetriebene Methoden vor, um diese Herausforderungen zu bewältigen, indem sie expressive generative Modellierung mit parametereffizienten Architekturen und selbstüberwachtem Lernen kombiniert. Erstens führen wir BESO ein, eine neuartige Policy-Repräsentation basierend auf score-basierten Diffusionsmodellen, welche die Multimodalität von Play-Daten erfasst. Wir zeigen, dass BESO frühere Policy-Repräsentationen hinsichtlich Expressivität und dem Erlernen multimodalen Verhaltens übertrifft. Zweitens präsentieren wir MDT, eine Transformer-basierte Diffusions-Policy, die das Problem fehlender Sprachannotationen adressiert. Durch die Nutzung zweier selbstüberwachter Lernziele, der Ausrichtung latenter, zielkonditionierter Modellrepräsentationen und einer maskierten visuellen Zukunftsvorhersage (Masked Visual Foresight), erlernt MDT robuste sprachgesteuerte Verhaltensweisen trotz nur teilweise vorhandener sprachlicher Annotationen.
Aufbauend auf diesen expressiven Repräsentationen adressieren wir die rechnerischen Limitierungen bei der Skalierung von Diffusions-Policies. Wir führen MoDE ein, eine Mixture-of-Experts-Diffusions-Policy, die einen neuartigen rauschkonditionierten Routing-Mechanismus nutzt, um die Modellkapazität zu skalieren, ohne die Inferenzlatenz zu erhöhen. Schließlich vereinen wir alle diese Beiträge in FLOWER, einem kompakten Vision-Language-Action-Modell (VLA). Durch den Einsatz von Intermediate-Modality-Fusion und globaler Aktionsraum-Konditionierung erzielt FLOWER State-of-the-Art-Leistung in 190 Aufgaben über 10 Benchmarks hinweg. Es erreicht die Leistung von 7B-Parameter-Modellen mit weniger als einer Milliarde Parametern und benötigt lediglich 1 % des Rechenaufwands für das Pretraining. Zusammenfassend zeigen diese Beiträge, dass die Kombination aus generativer Expressivität und architektonischer Effizienz der Schlüssel zur Demokratisierung generalistischer Roboter-Policies ist.

General-purpose robots capable of performing diverse manipulation tasks in unstructured environments remain a long-standing goal in robotics. While traditional imitation learning has succeeded in controlled settings, scaling these methods to the open world requires learning from large, uncurated, and heterogeneous datasets of "play" data. However, effective learning from such data presents three fundamental challenges: the need to model highly multimodal behavior distributions, the difficulty of learning from sparse language annotations, and the computationally prohibitive cost of scaling current policies towards foundation behavior models.
... mehr
This thesis proposes novel data-driven methods to address these challenges by combining expressive generative modeling with parameter-efficient architectures and self-supervised learning. First, we introduce BESO, a novel policy representation using score-based diffusion policy that captures the multimodality of play data. We show that BESO outperforms prior policy representations in expressivity and learning multimodal behavior. Second, to address data with sparse language labels, we present MDT, a transformer-based diffusion policy that leverages two self-supervised objectives to learn from partially labeled datasets. By aligning latent goal-conditioned embeddings and introducing masked visual foresight, MDT enables robust language-following behaviors despite sparse supervision.
Building on these expressive representations, we address the computational bottleneck of scaling diffusion policies. We introduce MoDE, a Mixture-of-Experts diffusion policy that utilizes a novel noise-conditioned routing mechanism to scale model capacity without increasing inference latency. Finally, we unify these contributions in FLOWER, a compact Vision-Language-Action (VLA) model. By employing intermediate-modality fusion and global action-space conditioning, FLOWER achieves state-of-the-art performance across 190 tasks in 10 benchmarks. It matches the performance of 7B-parameter models with less than 1B parameters and requires only 1% of the pretraining compute. Together, these contributions demonstrate that combining generative expressivity with architectural efficiency is key to democratizing generalist robot policies.