Interpretable Representation Learning for Motion Forecasting

Diese Arbeit befasst sich mit Methoden des maschinellen Lernens zur Bewegungsvorhersage von Verkehrsteilnehmern. Der Fokus liegt dabei auf der Analyse und Interpretation der Mechanismen, die Transformer-Modelle lernen.

Zunächst werden zwei interpretierbare Trainingsmethoden beschrieben, die ge-lernte Vektor-Repräsentationen von verschiedenen Modalitäten aneinander angleichen. Diese verbessern die Vorhersagegenauigkeit und beschleunigen das Training, indem sie die Repräsentationen für ähnliche Straßenszenen angleichen und Bewegungen mit dem Szenenkontext abstimmen.

... mehr
Darüber hinaus werden die gelernten Vektor-Repräsentationen von Vorhersagemodellen auf interpretierbare Merkmale (d.h., Features) untersucht. Diese Arbeit zeigt dabei die gelernten Repräsentationen für Bewegungs-Features wie Geschwindigkeit oder Richtung. Dadurch können gelernte Mechanismen interpretiert und Vorhersagen an z.B. langsamere Fahrstile in einer neuen Umgebung angepasst werden.

Außerdem deckt diese Arbeit retrokausale Mechanismen in Vorhersagemodellen auf, die spätere Teile von Trajektorien mit früheren Teilen verbinden. Diese Mechanismen können genutzt werden, um zielbasierte und richtungsweisende Instruktionen zu geben. Bemerkenswert ist, dass das Training ohne Instruktionen dazu führt, dass solche Instruktionen dennoch befolgt und an den Szenenkontext angepasst werden.

Die empirische Evaluation anhand moderner Datensätze, darunter Waymo Open Motion und Argoverse 2 Forecasting, bestätigt, dass die vorgestellten Methoden sowohl die Genauigkeit als auch die Interpretierbarkeit verbessern. Damit trägt diese Arbeit zur Entwicklung von performanten Vorhersagemodellen bei, deren zugrunde liegende Mechanismen interpretiert und beeinflusst werden können.

We address the challenge of interpretable representation learning for motion forecasting in self-driving vehicles. Instead of treating transformer models as opaque black boxes, we develop methods to interpret and modify learned representations. Our work builds upon ideas from self-supervised learning, mechanistic interpretability methods, and mixture density networks.

We introduce two interpretable pre-training methods, which leverage redundancy reduction and multimodal similarity learning. Specifically, we improve prediction accuracy and accelerate training by maximizing the similarity of embeddings from augmented environments and aligning motion with scene context.
... mehr

Moving beyond pre-training, we probe the latent space of motion forecasting models and reveal human-interpretable features such as speed or agent type. We find the learned vector representation of these features, enabling us to modify model outputs through targeted interventions. This allows us to compensate for domain shifts like slower driving styles and to interpret model behavior.

We further find retrocausal mechanisms in forecasting models, which connect later parts of trajectories to earlier parts. We leverage these mechanisms to issue goal-based and directional instructions. Remarkably, regular training for motion forecasting without instructions leads to the ability to follow and adapt such instructions to the scene context.

Our empirical evaluations on state-of-the-art benchmarks, including Waymo Open Motion and Argoverse 2 Forecasting, confirm that our methods advance both accuracy and interpretability, bridging the gap between high-performing models and those whose underlying mechanisms can be interpreted and influenced.