Learning Versatile Skills using Reinforcement Learning

Sehr früh im Leben lernen Menschen, eine Aufgabe auf verschiedene Arten zu lösen.
Beispielsweise sind wir nicht darauf beschränkt, eine Tasse nur mit der rechten Hand am Griff zu greifen, sondern können dies auch mit der linken Hand tun und ihn an der Unterseite oder Oberseite greifen.
Diese intuitive Fähigkeit, eine Aufgabe auf vielseitige Weise zu lösen, ist ein entscheidendes Merkmal dafür, warum Menschen sich so gut an neue Situationen und Umgebungen anpassen können.
Selbst wenn der Griff des Bechers abbricht, können wir ihn an einer anderen Stelle greifen und weiter benutzen.
... mehr

Ausgehend davon, wie Menschen Aufgaben lösen, liegt es nahe, Roboter mit solchen vielseitigen Fähigkeiten auszustatten, um eine höhere Flexibilität und Anpassungsfähigkeit in der realen Welt zu ermöglichen, in der sich die Umgebung ständig verändert.
Gerade im Kontext des Reinforcement Learning (RL) ist die Entdeckung solcher vielseitiger Fähigkeiten besonders interessant, da kein menschlicher Experte benötigt wird.
Die meisten bekannten RL-Methoden basieren jedoch auf gaußförmig parametrierten Policies, die keine multimodalen Verteilungen darstellen können – ein zentrales Merkmal zum Erlernen vielseitiger Fähigkeiten.
Daher schlägt diese Arbeit Methoden vor, um Roboter mit vielseitigen Fähigkeiten auszustatten, wobei Reinforcement Learning mit Mixture of Experts (MoE) und diffusionsbasierte Policies zum Einsatz kommt.
Beide Repräsentationen können multimodale Verteilungen abbilden.

Zunächst schlagen wir eine Methode zum Erlernen von MoE-Policies im episodenbasierten Maximum Entropy RL (ERL) Fall vor, bei der jeder Experte eine kontextualisierte Motion Primitive darstellt.
Das vorgeschlagene Optimierungsziel erlaubt es jedem Experten, sein eigenes Curriculum zu gestalten, indem eine kontextspezifische Verteilung pro Experte gelernt wird, sodass jeder Experte auf den für ihn zuständigen Kontextbereich spezialisiert wird.
Anschließend erweitern wir diese MoEs um hochgradig nichtlineare Experten und Energy Based Modelle pro Experte, um komplexere Repräsentationen zu ermöglichen und somit die Anzahl der für die erfolgreiche Lösung einer Aufgabe benötigten Experten zu reduzieren.
Abschließend stellen wir einen schrittbasierten Maximum Entropy RL Algorithmus (SRL) vor, mit dem eine diffusionsbasierte Policy trainiert werden kann, um hochdimensionale Regelungsaufgaben zu lösen.
Diffusionsbasierte Policies sind eine natürliche Alternative zu MoEs, da sie sich als sehr effektiv in der Darstellung multimodaler Verteilungen bei gleichzeitig stabilem Training erwiesen haben.
Allerdings sind sie im SRL Fall nicht einfach anwendbar, da sie keine berechenbare marginale Entropie besitzen.

Very early in life, humans learn how to complete a task in various ways.
For instance, we are not restricted to only using our right hand to grasp a mug at its handle, but can also do so with our left hand and grasp it at the mug's bottom or top part.
This intuitive ability to solve a task in versatile ways is a key feature of why humans are highly adaptive to new situations and environments.
Once the mug's handle is broken, we can still grasp it at a different place and continue using it.

Based on the way humans solve a task, a natural motivation is to equip robots with such versatile skills to enable higher flexibility and adaptability in the real world, in which the environment constantly changes. ... mehr
Especially in the context of reinforcement learning (RL), this versatile skill discovery is interesting as there is no human expert required.
Yet, most known RL methods are based on Gaussian parameterized policies that can not represent multimodal distributions, a key feature for learning versatile skills.
Therefore, this thesis proposes methods for equipping robots with versatile skills using reinforcement learning for Mixture of Experts (MoE) and diffusion policies.
Both policy representations can represent multimodal distributions.

First, we propose a method for learning MoE policies in the episode-based maximum entropy RL (ERL) setting, where each expert is a contextualized motion primitive.
The proposed objective allows each expert to shape its own curriculum by learning a per-expert context distribution such that the experts become an expert in their respective responsible context region.
We then extend these MoEs to highly non-linear experts and energy-based per-expert models to enable more complex representations, thereby reducing the number of experts required to successfully solve a task.
Finally, we propose a step-based maximum entropy reinforcement learning (SRL) algorithm that can train a diffusion-based policy to solve high-dimensional control tasks.
Training diffusion policies are a natural alternative to MoEs as they have proven to be very effective in representing multimodal distributions while stable training.
Yet, they are not straightforward to apply in the SRL setting because they do not have a tractable marginal entropy.