On Representations and Exploration in Policy Search Methods for Multi-Agent Robotics

Künstliche intelligente Agenten wie Roboter haben in den letzten Jahren bemerkenswerte Fortschritte gemacht und sich dabei langsam aus den begrenzten industriellen Produktionsumgebungen befreit. Eine treibende Kraft für diesen Fortschritt ist das Verstärkungslernen, ein Teilbereich des maschinellen Lernens, der es Agenten ermöglicht aus Versuch und Irrtum zu lernen. Dies ermöglicht hervorragende Lösungen in Bereichen wie der Manipulation von Objekten, dem Sortieren oder der Navigation. Obwohl viele der jüngsten Verbesserungen auf immer leistungsfähigere Berechnungen zurückzuführen sind, gibt es noch viele Aspekte des Lernprozesses, die verbessert werden können. ... mehrZwei davon werden wir in dieser Arbeit untersuchen. Im Bereich des Multi-Agenten-Lernens, bei dem mehrere Agenten interagieren und aus ihren Erfahrungen lernen, stellt die Datenrepräsentation eine Reihe bedeutender Herausforderungen. Desweiteren ist eine zentrale Frage, wie Daten bei der Suche nach Strategien für die robotische Manipulation effizienter genutzt werden können, da die Interaktion mit der Umwelt kostspielig sein kann.

In Kapitel 3 untersuchen wir das Problem der Interaktion mehrerer Agenten zur Erreichung eines kollaboratives Ziels. Eine zentrale Herausforderung besteht darin, eine gute Darstellung des Zustandsraums der Agenten zu finden, welche sowohl kompakt als auch unabhängig von der Anzahl der beobachteten Agenten sein muss. Wir präsentieren eine agenten-zentrierte Darstellung der lokalen Nachbarschaft, die auf Histogrammeinbettungen von geometrischen Merkmalen wie relativen Distanzen und Geschwindigkeiten benachbarten Agenten basieren. Wir kombinieren diese Merkmale mit einer angepassten Version von Trust-Region Policy Search, einem Algorithmus für das Lernen von einzelnen Agenten, um kollaborative Navigations- und Koordinationsaufgaben zu lösen. Durch die Möglichkeit, kommunizierte Merkmale benachbarter Agenten einzubetten, können die Aufgaben auch bei begrenzter Beobachtbarkeit gelöst werden.

Einer der Schwachpunkte der in Kapitel 3 vorgestellten Methode ist der exponentiell wachsende Repräsentationsraum mit jedem hinzugefügten Merkmal. Daher werden in Kapitel 4 die agenten-zentrierte Repräsentationen durch gelernte Einbettungen von Merkmalen erweitert. Diese Einbettungen basieren auf der Idee der Mittelwert-Einbettung, bei der die zugrunde liegende Datenverteilung in einen einen höherdimensionalen latenten Raum eingebettet wird. Diese Wahl ermöglicht die Berücksichtigung einer größeren Anzahl von Merkmalen. Die Methode wird an neuen kollaborativen Aufgaben mit einer höheren Anzahl von Agenten im Vergleich zu Kapitel 3 getestet.

In Kapitel 5 befassen wir uns mit dem Problem der sicheren und effizienten Exploration. Wir untersuchen die Exploration bei niedrigdimensionalen Robotermanipulationsproblemen, bei denen die Trajektorien des Roboters mit Hilfe von Bewegungsprimitiven kodiert werden. Die Optimierung der Parameter der Bewegungsprimitive erfordert sorgfältige Aktualisierungen, da die einzelnen Parameter stark korreliert sind. Ausgehend von einer bestehenden Version des Model-Based Relative Entropy Stochastic Search Algorithmus präsentieren wir einen neuen Algorithmus mit mehreren Verbesserungen. Wir stabilisieren den Optimierungsprozess, indem wir separate Updates für den Mittelwert und die Kovarianz der Policy einführen, verbessern die Schätzung des Surrogatmodells und führen eins adaptives Entropieskalierungsverfahren ein. Wir zeigen die Effektivität des neuen Algorithmus an komplexen Robotermanipulations Aufgaben. Außerdem skizzieren wir, wie dieser Ansatz auf Multi-Agenten Probleme erweitert werden kann wo mehrere Roboter eine Aufgabe gemeinsam lösen müssen.

Zusammenfassend konzentriert sich diese Dissertation auf zwei Kernprobleme des Reinforcement Learning: (1) Zustandsrepräsentation in Anwesenheit mehrerer Agenten und (2) effiziente Exploration des Parameterraums beim episodenbasierten Policy-Lernen unter Verwendung von Bewegungsprimitiven.

Artificial intelligent agents such as robots have made remarkable progress in recent years, slowly escaping from confined industrial manufacturing settings. A key enabler to this transition is reinforcement learning, a machine learning sub-domain that allows agents to learn from trial and error and excel in domains such as manipulation of objects, sorting, or navigation. While many of the recent improvements stem from more and more powerful computation, there are still many aspects of the learning process that can be improved, two of which we investigate in this thesis. ... mehrIn the domain of multi-agent learning where multiple autonomous agents interact and learn from their experiences, data representation presents several significant challenges, while in policy search for robotic manipulation, a central question is how to make more efficient use of data as interaction with the environment can be costly.

In Chapter 3, we investigate the problem of multiple agents interacting to achieve a collaborative goal. A key challenge is to find a good representation of the agents' state space, which needs to be compact and independent of the number of observed agents. We present an agent-centric representation of the local neighborhood, based on histogram embeddings of geometric features such as relative distances and velocities of neighboring agents. We combine these features with an adaptation of Trust-Region Policy Search, a deep reinforcement learning algorithm for single-agent learning, to solve collaborative navigation and coordination tasks. With the ability to embed communicated features of adjacent agents, the tasks can be solved even in the case of limited observability.


One of the shortcomings of the method presented in Chapter 3 is the exponentially growing representation space with each added feature. Thus, Chapter 4 extends the agent-centric representations using learned embeddings of features. These embeddings are based on the idea of mean embeddings where the underlying data distribution is embedded into a higher dimensional latent space. This choice allows for a greater number of features to be taken into account. The method is evaluated on new collaborative tasks with a higher number of agents compated to Chapter 3.

In Chapter 5, we attend to the problem of safe and efficient exploration. We investigate exploration in low dimensional robotic manipulation problems where the robot's trajectories are encoded using movement primitives. The optimization of movement primitive parameters requires careful updates, as the individual parameters are highly correlated. Starting with an existing version of the Model-based Relative Entropy Stochastic Search algorithm, we present a new algorithm with several improvements. We stabilize the optimization process by running separate updates for the mean and covariance of the policy, improve the surrogate model estimation, and introduce an adaptive entropy scaling method. We show the effectiveness of the new algorithm on complex robotic manipulation tasks. Additionally, we sketch how this approach can be extended to multi-agent settings where multiple robots need to solve a task in collaboration.

In summary, this thesis focuses on two core problems in reinforcement learning: (1) state representation in the presence of multiple agents, and (2) efficient exploration of the parameter space in episode-based policy learning using movement primitives.