Semantic Environment Perception for Automated Driving with Deep Neural Networks

Um eine zuverlässige Umweltwahrnehmung zu erlangen, sind automatisierte Fahrzeuge normalerweise mit einer Reihe von komplementären Sensoren, wie Kameras und LiDAR, ausgestattet. Nur durch eine akkurate Kombination der Sensordaten kann ein umfassendes Modell der Umgebung erstellt werden, das dann als einheitliche Abstraktionsschicht für nachfolgende Module im automatisierten Fahrsystem dient. Ein solches Umgebungsmodell muss sowohl Informationen über die statische Umgebung als auch über die dynamischen Verkehrsteilnehmer enthalten.

Diese Arbeit stellt ein hybrides Umgebungsmodell vor, das sich aus zwei Aufgaben ableitet: der semantischen Rasterkartengenerierung für die statische Umgebung und der 3D-Objekterkennung für die dynamischen Verkehrsteilnehmer. ... mehrDiese Aufgaben werden erfolgreich mittels maschineller Lernverfahren bewältigt, die tiefe neuronale Netze einsetzen und umfangreiche, annotierte Datensätze nutzen.

Die vorliegende Dissertation beschäftigt sich zum einen mit der Bestimmung einer dichten semantischen Rasterkarte und stellt mit PillarSegNet dafür ein neuartiges End-to-End-Verfahren vor. Im Gegensatz zu bestehenden Methoden, die eine dünn besetzte LiDAR-Punktwolke zunächst in eine mehrschichtige, zweidimensionale Merkmalsdarstellung transformieren, bevor die semantische Segmentierung angewendet wird, lernt PillarSegNet die Merkmale direkt aus der LiDAR-Punktwolke. Das vorgeschlagene Verfahren wird mit dem SemanticKITTI-Datensatz trainiert und evaluiert. Dabei wird die Effektivität und die Überlegenheit der gelernten Darstellung gegenüber handgefertigten mehrschichtigen Merkmalsdarstellungen demonstriert. Darüber hinauswerden durch Ray-Casting gewonnene Belegungsinformationen integriert, wodurch die Leistung zusätzlich verbessert wird.

Weiterhin wird in der Arbeit mit SemanticVoxels ein effektiver Fusionsansatz für die 3D-Objekterkennung präsentiert. Dabei werden räumliche Informationen aus der LiDAR-Punktwolke mit semantischen Informationen aus Kamerabildern sequenziell fusioniert. Die vorgeschlagene Methode wird sowohl mit dem KITTI- als auch mit dem nuScenes-Datensatz trainiert und evaluiert. Deutliche Leistungsverbesserungen an beiden Datensätzen im Vergleich zu Verfahren, die ausschließlich LiDAR-Daten verwenden, bestätigen die Wirksamkeit des vorgeschlagenen Fusionsansatzes. Insbesondere können so weit entfernte oder teilweise verdeckte Verkehrsteilnehmer in herausfordernden Szenarien zuverlässig erkannt und die falsch-positiven Detektionen insgesamt reduziert werden. Außerdem wird SemanticVoxels erfolgreich auf einem eingebetteten Edge-AI-Gerät eingesetzt, wobei mit der durchgeführten Laufzeitoptimierung eine Prozessierung in Echtzeit erreicht werden kann. Weiterhin kann eine zuverlässige Erkennungsleistung in unbekannten realen Daten mit einem vergleichbaren LiDAR-Sensor beobachtet werden, was die herausragende Generalisierungsfähigkeit demonstriert.

To achieve reliable scene understanding, automated vehicles are usually equipped with a series of complementary sensors, such as cameras and LiDARs. Their data needs to be accurately combined to create a comprehensive environment model that serves as a unified abstraction layer for subsequent modules in the automated driving system. Such an environment model must contain information about both the static environment and the dynamic traffic participants.

This thesis presents a hybrid environment model derived from two tasks: semantic grid map estimation for the static environment and 3D object detection for the dynamic traffic participants. ... mehrThese tasks are effectively addressed using machine learning methods that employ deep neural networks and leverage large-scale annotated datasets.

To approach dense semantic grid map estimation, the thesis proposes a novel end-to-end method named PillarSegNet. While existing methods first transform a sparse LiDAR point cloud into a 2D multi-layer grid map representation before applying semantic segmentation, PillarSegNet directly learns features from the input point cloud and forms a top-view representation. The proposed method is trained and evaluated on the SemanticKITTI dataset, demonstrating its effectiveness and the superiority of the learned representation over hand-crafted grid map representations. The thesis also incorporates occupancy information obtained via ray-casting into PillarSegNet for further performance enhancement.

For 3D object detection, the thesis presents an effective fusion approach termed SemanticVoxels, which fuses spatial information from LiDAR point clouds and semantic information from camera images in a sequential fashion. The proposed method is trained and evaluated on the KITTI and nuScenes datasets. Significant performance improvements on both datasets verify its effectiveness. Especially, when compared to 3D object detection using only LiDAR data, it is shown that incorporating semantic information from camera images helps to detect challenging distant or occluded traffic participants and reduce false positive detections. Additionally, SemanticVoxels is successfully deployed on an embedded edge AI device with runtime optimization, achieving real-time performance. It shows reliable detection performance on unseen real-world data, despite only being trained on a dataset with a similar LiDAR, thereby demonstrating the outstanding generalization ability of SemanticVoxels.