LiDAR Domain Adaptation - Automotive 3D Scene Understanding

Umgebungswahrnehmung und Szeneverständnis spielen bei autonomen Fahrzeugen eine wesentliche Rolle. Ein Fahrzeug muss sich der Geometrie und Semantik seiner Umgebung bewusst sein, um das Verhalten anderer Verkehrsteilnehmer:innen vorherzusagen und sich selbst im fahrbaren Raum zu lokalisieren, um somit richtig zu navigieren. Heutzutage verwenden praktisch alle modernen Wahrnehmungssysteme für das automatisierte Fahren tiefe neuronale Netze. Um diese zu trainieren, werden enorme Datenmengen mit passenden Annotationen benötigt. Die Beschaffung der Daten ist relativ unaufwendig, da nur ein mit den richtigen Sensoren ausgestattetes Fahrzeug herumfahren muss. ... mehrDie Erstellung von Annotationen ist jedoch ein sehr zeitaufwändiger und teurer Prozess. Erschwerend kommt hinzu, dass autonome Fahrzeuge praktisch überall (z.B. Europa und Asien, auf dem Land und in der Stadt) und zu jeder Zeit (z.B. Tag und Nacht, Sommer und Winter, Regen und Nebel) eingesetzt werden müssen. Dies erfordert, dass die Daten eine noch größere Anzahl unterschiedlicher Szenarien und Domänen abdecken.

Es ist nicht praktikabel, Daten für eine solche Vielzahl von Domänen zu sammeln und zu annotieren. Wenn jedoch nur mit Daten aus einer Domäne trainiert wird, führt dies aufgrund von Unterschieden in den Daten zu einer schlechten Leistung in einer anderen Zieldomäne. Für eine sicherheitskritische Anwendung ist dies nicht akzeptabel. Das Gebiet der sogenannten Domänenanpassung führt Methoden ein, die helfen, diese Domänenlücken ohne die Verwendung von Annotationen aus der Zieldomäne zu schließen und somit auf die Entwicklung skalierbarer Wahrnehmungssysteme hinzuarbeiten. Die Mehrzahl der Arbeiten zur Domänenanpassung konzentriert sich auf die zweidimensionale Kamerawahrnehmung. In autonomen Fahrzeugen ist jedoch das dreidimensionale Verständnis der Szene essentiell, wofür heutzutage häufig LiDAR-Sensoren verwendet werden.

Diese Dissertation befasst sich mit der Domänenanpassung für LiDAR-Wahrnehmung unter mehreren Aspekten. Zunächst wird eine Reihe von Techniken vorgestellt, die die Leistung und die Laufzeit von semantischen Segmentierungssystemen verbessern. Die gewonnenen Erkenntnisse werden in das Wahrnehmungsmodell integriert, das in dieser Dissertation verwendet wird, um die Wirksamkeit der vorgeschlagenen Domänenanpassungsansätze zu bewerten. Zweitens werden bestehende Ansätze diskutiert und Forschungslücken durch die Formulierung von offenen Forschungsfragen aufgezeigt. Um einige dieser Fragen zu beantworten, wird in dieser Dissertation eine neuartige quantitative Metrik vorgestellt. Diese Metrik erlaubt es, den Realismus von LiDAR-Daten abzuschätzen, der für die Leistung eines Wahrnehmungssystems entscheidend ist. So wird die Metrik zur Bewertung der Qualität von LiDAR-Punktwolken verwendet, die zum Zweck des Domänenmappings erzeugt werden, bei dem Daten von einer Domäne in eine anderen übertragen werden. Dies ermöglicht die Wiederverwendung von Annotationen aus einer Quelldomäne in der Zieldomäne. In einem weiteren Feld der Domänenanpassung wird in dieser Dissertation eine neuartige Methode vorgeschlagen, die die Geometrie der Szene nutzt, um domäneninvariante Merkmale
zu lernen. Die geometrischen Informationen helfen dabei, die Domänenanpassungsfähigkeiten des Segmentierungsmodells zu verbessern und ohne zusätzlichen Mehraufwand bei der Inferenz die beste Leistung zu erzielen. Schließlich wird eine neuartige Methode zur Erzeugung semantisch sinnvoller Objektformen
aus kontinuierlichen Beschreibungen vorgeschlagen, die – mit zusätzlicher Arbeit – zur Erweiterung von Szenen verwendet werden kann, um die Erkennungsfähigkeiten der Modelle zu verbessern. Zusammenfassend stellt diese Dissertation ein umfassendes System für die Domänenanpassung und semantische Segmentierung von LiDAR-Punktwolken im Kontext des autonomen Fahrens vor.

Environment perception and scene understanding play essential roles in autonomous vehicles. A vehicle needs to be aware of the geometry and semantics of its surroundings to predict the behavior of other traffic participants and localize itself in the drivable space to navigate properly. Today, virtually all modern perception systems for automated driving are based on deep learning methods. They require tremendous amounts of data with matching annotations to be trained. Obtaining the data is relatively easy, since it only requires a vehicle equipped with the correct sensors to drive around. ... mehrHowever, generating annotations is a very time consuming and expensive process. To make this challenge even more difficult, autonomous vehicles are required to operate virtually anywhere (e.g. Europe and Asia, rural and urban) and anytime (e.g. day and night, summer and winter, rain and fog). This requires the data to cover an even larger amount of different scenarios and domains.

In practice it is not feasible to collect and annotate data for such a variety of domains. However, training only with data from one domain will result in bad performance in a different target domain, due to domain gaps in the data. For a safety-critical application this is not acceptable. The field of domain adaptation introduces methods that help to close these domain gaps without the usage of annotations from the target domain and thus work towards designing scalable perception systems. The majority of domain adaptation works focus on two-dimensional camera perception. In autonomous vehicles, however, the three-dimensional scene understanding is essential, for which Light Detection and Ranging (LiDAR) sensors are used widely nowadays.

This dissertation addresses domain adaptation for LiDAR perception from multiple perspectives. First, a number of techniques are introduced that improve the performance and run-time of semantic segmentation systems. The obtained insights are integrated into the perception model which is used throughout this dissertation to evaluate the effectiveness of the proposed domain adaptation approaches. Second, existing approaches are discussed and gaps in research are presented by a formulation of open research questions. To answer some of these questions, this dissertation presents a novel quantitative LiDAR metric. This metric allows to estimate the realism of LiDAR data, which is decisive for the performance of a perception system. Thus, the metric is used to evaluate the quality of LiDAR point clouds that are generated for the purpose of domain mapping, where data is transferred from one domain to another. This allows to re-use labels obtained from a source domain in the target domain without any additional annotations. In a different take on domain adaptation, this dissertation proposes a novel method that uses the geometry of the scene to learn domain-invariant features. The geometric information helps to improve the domain adaptation capabilities of the segmentation model and obtains state-of-the-art performance without any additional overhead in the inference. In the end, a novel method to generate semantically meaningful object shapes from continuous descriptions is proposed, which can – with additional work – be used to augment scenes to improve the detection capabilities of the models. To summarize, this dissertation presents a comprehensive framework for domain adaptation and semantic segmentation of LiDAR point clouds in the context of autonomous driving.