LiDAR-based Semantic Labeling : Automotive 3D Scene Understanding

Mobile Roboter und autonome Fahrzeuge verwenden verschiedene Sensormodalitäten zur Erkennung und Interpretation ihrer Umgebung. Neben Kameras und RaDAR Sensoren repräsentieren LiDAR Sensoren eine zentrale Komponente für moderne Methoden der Umgebungswahrnehmung. Zusätzlich zu einer präzisen Distanzmessung dieser Sensoren, ist ein umfangreiches semantisches Szeneverständnis notwendig, um ein effizientes und sicheres Agieren autonomer Systeme zu ermöglichen.

In dieser Arbeit wird das neu entwickelte LiLaNet, eine echtzeitfähige, neuronale Netzarchitektur zur semantischen, punktweisen Klassifikation von LiDAR Punktwolken, vorgestellt. ... mehrHierfür finden die Ansätze der 2D Bildverarbeitung Verwendung, indem die 3D LiDAR Punktwolke als 2D zylindrisches Bild dargestellt wird. Dadurch werden Ergebnisse moderner Ansätze zur LiDAR-basierten, punktweisen Klassifikation übertroffen, was an unterschiedlichen Datensätzen demonstriert wird.

Zur Entwicklung von Ansätzen des maschinellen Lernens, wie sie in dieser Arbeit verwendet werden, spielen umfangreiche Datensätze eine elementare Rolle. Aus diesem Grund werden zwei Datensätze auf Basis von modernen LiDAR Sensoren erzeugt. Durch das in dieser Arbeit entwickelte automatische Verfahren zur Datensatzgenerierung auf Basis von mehreren Sensormodalitäten, speziell der Kamera und des LiDAR Sensors, werden Kosten und Zeit der typischerweise manuellen Datensatzgenerierung reduziert.

Zusätzlich wird eine multimodale Datenkompression vorgestellt, welche ein Kompressionsverfahren der Stereokamera auf den LiDAR Sensor überträgt. Dies führt zu einer Reduktion der LiDAR Daten bei gleichzeitigem Erhalt der zugrundeliegenden semantischen und geometrischen Information. Daraus resultiert eine erhöhte Echtzeitfähigkeit nachgelagerter Algorithmen autonomer Systeme.

Außerdem werden zwei Erweiterungen zum vorgestellten Verfahren der semantischen Klassifikation umrissen. Zum einen wird die Sensorabhängigkeit durch Einführung des PiLaNets, einer neuen 3D Netzarchitektur, reduziert indem die LiDAR Punktwolke im 3D kartesischen Raum belassen wird, um die eher sensorabhängige 2D zylindrische Projektion zu ersetzen. Zum anderen wird die Unsicherheit neuronaler Netze implizit modelliert, indem eine Klassenhierarchie in den Trainingsprozess integriert wird.

Insgesamt stellt diese Arbeit neuartige, performante Ansätze des 3D LiDAR-basierten, semantischen Szeneverstehens vor, welche zu einer Verbesserung der Leistung, Zuverlässigkeit und Sicherheit zukünftiger mobile Roboter und autonomer Fahrzeuge beitragen.

Mobile robots and autonomous vehicles rely on multi-modal sensor setups to perceive and understand their surroundings. Aside from cameras and RaDAR sensors, LiDAR sensors represent a key component of state-of-the-art perception systems. In addition to accurate spatial perception, a comprehensive semantic understanding of the environment is essential for efficient, safe operation.

In this thesis, the LiLaNet - a novel real-time capable neural network architecture for high-quality LiDAR-based point-wise classification known as semantic labeling - is developed. Considering the well-known domain of image-based processing, the 3D LiDAR point cloud is represented as a 2D cylindrical image. ... mehrAs a result, published state-of-the-art methods for LiDAR-based semantic labeling are outperformed on different benchmarks.

For developing deep learning approaches, large-scale datasets are of paramount importance. Therefore, datasets are created based on two state-of-the-art mobile LiDAR sensors. Reducing the cost and time consumption of cumbersome manual annotation work, an automated cross-modal training data generation process for largescale datasets is introduced by combining state-of-the-art camera-based semantic labeling approaches with precise calibration of a multi-modal sensor system. The resulting semantic information can be transferred from the camera domain to the LiDAR domain.

In addition, an efficient multi-modal data compression technique is proposed by transferring a stereoscopic camera compression approach known as Stixel-World to the LiDAR domain. This leads to a reduction in the large quantity of LiDAR measurements by retaining the underlying semantic and geometric information, increasing the real-time capability of downstream algorithms of autonomous driving or mobile robotic platforms.

Furthermore, two different extensions of the proposed LiDAR-based semantic labeling approach are outlined. First, a reduction in sensor dependence is presented by introducing the PiLaNet, a novel 3D neural network architecture for point-wise semantic labeling leveraging the strength of 3D representation compared to the rather sensor specific cylindrical projection of the LiDAR point cloud. Second, the uncertainty of deep learning approaches is implicitly modeled by introducing a label hierarchy into the training process of semantic labeling approaches.

In conclusion, this thesis significantly advances the state-of-the-art in real-time 3D scene understanding for LiDAR sensors, yielding a gain in performance, robustness, and redundancy for future mobile robots and autonomous vehicles.