Learning from Maps: Scalable Ground Truth Generation in Autonomous Driving

Eine zuverlässige Kartenwahrnehmung ist eine zentrale Voraussetzung für die Skalierbarkeit des autonomen Fahrens. Sie unterstützt hierbei eine Vielzahl von Aufgaben: Die Erkennung von Kartenelementen durch bordeigene Sensoren ermöglicht die Lokalisierung innerhalb hochauflösender (HD-)Karten, die Überprüfung ihrer Aktualität sowie die Online-Wahrnehmung von Kartenmerkmalen für das kartenlose Fahren. Herkömmliche Methoden zum Trainieren von Wahrnehmungssystemen stützen sich stark auf den kostspieligen, zeitaufwändigen und oft sensorspezifischen Prozess der manuellen Annotation von Sensordaten. ... mehrIm Gegensatz dazu präsentiert diese Arbeit einen skalierbaren Ansatz zur Generierung von Trainingsdaten für das maschinelle Lernen, indem HD-Karten als Annotationsgrundlage für verschiedene Sensormodalitäten und Wahrnehmungsaufgaben genutzt werden.

Der erste Teil der Arbeit beschreibt die Spezifikation, Aufzeichnung und Verarbeitung eines Datensatzes mit Mehrfachbefahrungen, der als Grundlage für das Lernen von Wahrnehmungsmodellen aus HD-Karten dient. Dabei werden durch verschiedene Kartierungsansätze Kartenelemente erzeugt, die sich grundlegend in ihrem Erstellungsprozess und den enthaltenen Informationen unterscheiden. Die Kartenelemente variieren hinsichtlich ihrer geometrischen Darstellung, ihres Abstraktionsgrades und ihrer funktionalen Rolle für das autonome Fahren. Dadurch bieten sie eine vielseitige Grundlage für das Training unterschiedlicher Wahrnehmungsmodelle.

Im zweiten Teil der Arbeit wird dieser Datensatz genutzt, um mehrere Wahrnehmungsmodelle über verschiedene Sensormodalitäten und Lernrepräsentationen hinweg zu trainieren und zu evaluieren. Zunächst wird ausgehend von den Sensordaten eines Multi-Kamerasystems ein Wahrnehmungsmodell trainiert, welches Kartenelemente in der Vogelperspektive schätzt. Ergänzend hierzu werden perspektivische Wahrnehmungsmodelle für unterschiedliche Sensormodalitäten und Aufgaben trainiert. Ein Beispiel hierfür ist die Erzeugung von pixelgenauen Annotationen für Frontkameras, sodass es den trainierten Modellen gelingt, Kartenelemente verschiedener Kategorien robust zu klassifizieren. Darunter zählen auch feingranulare Kartenelemente wie gestrichelte Straßenmarkierungen, Ampeln und Schilder. Die Wirksamkeit des vorgeschlagenen Ansatzes wird zudem in einem vollständig selbstüberwachten Domain-Adaptation-Setting demonstriert, bei dem Wissen aus einem umfangreich annotierten Bilddatensatz über automatisch generierte HD-Karten in die LiDAR-Domäne und damit einer anderen unterrepräsentierten Sensormodalität übertragen wird.

Insgesamt präsentiert diese Arbeit HD-Karten als vielseitige Informationsquelle für die automatisierte, skalierbare und kosteneffiziente Generierung von Trainingsdaten im Kontext des autonomen Fahrens.

A reliable and robust map perception is a key enabler for scalable autonomous driving by supporting multiple essential functions:Detecting map elements from on-board sensors enables localization within a high-definition (HD) map, verification that a map is up-to-date, and on-the-fly perception of map information towards map-less driving paradigms. Traditional methods for training perception systems rely heavily on the costly, time-consuming, and often sensor-specific process of manually annotating sensor data. In contrast, this work presents a scalable approach for the generation of training data for machine learning models by leveraging HD maps as a supervision source across different sensor modalities and perception tasks.
... mehr

The first part of the thesis details the specification, recording and processing of a multi-drive dataset that serves as a foundation for learning perception models directly from HD maps. Complementary mapping approaches are applied to create a comprehensive set of map layers. The contained map elements differ in geometric representation, abstraction level, and functional role and offer a diverse set of training targets for various perception tasks.

Based on this foundation, the second part of the thesis trains and evaluates multiple perception models across different sensor modalities and learning representations. Towards this goal, a bird's-eye view (BEV) perception model for online HD map construction from surround-view cameras is trained, while analyzing and optimizing the training regime across multiple dimensions. Complementary to the BEV representation, multiple perspective view map perception models are trained for different sensor modalities and tasks. One line of experiments generates pixel-accurate annotations for front-view cameras, where trained models robustly predict diverse map element classes, including fine-grained map elements such as dashed road markings, traffic lights, and traffic signs. The effectiveness of the proposed approach is also demonstrated in a fully self-supervised cross-modal domain adaptation setting, transferring knowledge from a richly annotated image dataset to the \ac{lidar} domain via automatically generated HD maps.

Overall, this work positions HD maps as a versatile source of supervision for training perception models, enabling automatic, scalable, and cost-efficient training data generation in autonomous driving.