Implicit Cooperative Decision-Making for Automated Vehicles

Die Fähigkeiten von automatisierten Fahrzeugen entwickeln sich zwar rasch weiter, doch fehlt ihnen noch immer eine wesentliche Komponente, die sie von ihren menschlichen Gegenstücken unterscheidet: die Fähigkeit zur impliziten Kooperation mit anderen. Die Interaktionen zwischen automatisierten Fahrzeugen und Menschen stellen nach wie vor eine Herausforderung im Bereich des automatisierten Fahrens dar. Um diese zu überwinden, ist es erforderlich, künftige automatisierte Fahrzeuge mit der Fähigkeit auszustatten, implizit Kooperation einzufordern und anbieten zu können, um eine reibungslose Integration in den heutigen heterogenen Verkehr zu ermöglichen.
... mehr
Diese Form des Vorausschauens kann erreicht werden, indem alle möglichen Aktionen der Verkehrsteilnehmer berücksichtigt werden. Diese Betrachtung schafft jedoch eine Interdependenz zwischen den Aktionen der Verkehrsteilnehmer, die eine Kombination der Prädiktion und der Planung in einem Multiagenten-Markov-Entscheidungsprozess erfordert.

In dieser Arbeit wird ein System vorgeschlagen, das Prädiktion und Planung kombiniert, indem das Problem als ein Multiagenten-Markov-Entscheidungsprozess modelliert wird, der alle möglichen Aktionen der Verkehrsteilnehmer berücksichtigt. Monte Carlo Tree Search wird in Verbindung mit Decoupled Upper Confidence Bound for Trees eingesetzt, um nahezu optimale Trajektorien für alle Verkehrsteilnehmer zu identifizieren, was zu einem Trajektorienplaner führt, welcher implizite Kooperation zwischen Verkehrsteilnehmern ermöglicht.

Verschiedene Verbesserungen des Basisalgorithmus, wie Parallelisierung und Hyperparameter-Optimierung, wurden entwickelt, um die Leistung zu steigern und bessere Lösungen in kürzerer Zeit zu erzeugen.
Darüber hinaus wurde der Planer mit gelernten Belohnungsmodellen auf der Grundlage von Expertentrajektorien erweitert, basierend auf inversem Reinforcement Learning, die es ihm ermöglichen, sich an den gewünschten menschlichen Fahrstil anzupassen, um eine reibungslose Integration in menschenzentrierten Verkehr zu ermöglichen.

Die Wirksamkeit des vorgeschlagenen Ansatzes wurde in 15 anspruchsvollen Multiagentenszenarien demonstriert, wobei sich die Erfolgsquote im Vergleich zu einer Basislösung deutlich verbesserte.

While the capabilities of Automated Vehicles (AVs) are evolving rapidly, they still lack an essential component that distinguishes them from their human counterparts: the ability to cooperate implicitly with others. The interactions between AVs and humans continue to pose challenges in the field of Automated Driving (AD). To overcome this, it is required to equip future AVs with the ability to implicitly demand and provide cooperation where necessary to integrate smoothly into today’s heterogeneous traffic.

This form of anticipation can be achieved by considering all possible actions of traffic participants. ... mehrHowever, this consideration creates an interdependency between traffic participants’ actions that requires combining the prediction and the planning into a Multi-agent Markov Decision Process (MMDP).

In this work, a system is proposed that combines prediction and planning by modeling the problem as an MMDP, which considers all possible actions of traffic participants. Monte Carlo Tree Search (MCTS), in conjunction with Decoupled Upper Confidence Bound for Trees (DUCT), is employed to identify near-optimal trajectories for all traffic participants, yielding a trajectory planner that enables implicit cooperation among traffic participants.

Various improvements to the base algorithm, such as parallelization and hyperparameter optimization, were developed to enhance its performance and generate better solutions in a shorter time. In addition, the planner was augmented with learned reward models based on expert trajectories, using Inverse Reinforcement Learning (IRL), enabling it to adapt to a desired human driving style for smooth integration into human-centered traffic.

The effectiveness of the proposed approach was demonstrated in 15 challenging multi-agent scenarios, showing significant improvements in the success rate compared to a baseline.