Pre-Trained Driving in Localized Surroundings with Semantic Radar Information and Machine Learning

Entlang der Signalverarbeitungskette von Radar Detektionen bis zur Fahrzeugansteuerung, diskutiert diese Arbeit eine semantischen Radar Segmentierung, einen darauf aufbauenden Radar SLAM, sowie eine im Verbund realisierte autonome Parkfunktion. Die Radarsegmentierung der (statischen) Umgebung wird durch ein Radar-spezifisches neuronales Netzwerk RadarNet erreicht. Diese Segmentierung ermöglicht die Entwicklung des semantischen Radar Graph-SLAM SERALOC. Auf der Grundlage der semantischen Radar SLAM Karte wird eine beispielhafte autonome Parkfunktionalität in einem realen Versuchsträger umgesetzt.
... mehr
Entlang eines aufgezeichneten Referenzfades parkt die Funktion ausschließlich auf Basis der Radar Wahrnehmung mit bisher unerreichter Positioniergenauigkeit.

Im ersten Schritt wird ein Datensatz von 8.2 · 10^6 punktweise semantisch gelabelten Radarpunktwolken über eine Strecke von 2507.35m generiert. Es sind keine vergleichbaren Datensätze dieser Annotationsebene und Radarspezifikation öffentlich verfügbar. Das überwachte
Training der semantischen Segmentierung RadarNet erreicht 28.97% mIoU auf sechs Klassen.
Außerdem wird ein automatisiertes Radar-Labeling-Framework SeRaLF vorgestellt, welches das Radarlabeling multimodal mittels Referenzkameras und LiDAR unterstützt.

Für die kohärente Kartierung wird ein Radarsignal-Vorfilter auf der Grundlage einer Aktivierungskarte entworfen, welcher Rauschen und andere dynamische Mehrwegreflektionen unterdrückt. Ein speziell für Radar angepasstes Graph-SLAM-Frontend mit Radar-Odometrie
Kanten zwischen Teil-Karten und semantisch separater NDT Registrierung setzt die vorgefilterten semantischen Radarscans zu einer konsistenten metrischen Karte zusammen. Die Kartierungsgenauigkeit und die Datenassoziation werden somit erhöht und der erste semantische Radar Graph-SLAM für beliebige statische Umgebungen realisiert.

Integriert in ein reales Testfahrzeug, wird das Zusammenspiel der live RadarNet Segmentierung und des semantischen Radar Graph-SLAM anhand einer rein Radar-basierten autonomen Parkfunktionalität evaluiert. Im Durchschnitt über 42 autonome Parkmanöver
(∅3.73 km/h) bei durchschnittlicher Manöverlänge von ∅172.75m wird ein Median absoluter Posenfehler von 0.235m und End-Posenfehler von 0.2443m erreicht, der vergleichbare
Radar-Lokalisierungsergebnisse um ≈ 50% übertrifft. Die Kartengenauigkeit von veränderlichen, neukartierten Orten über eine Kartierungsdistanz von ∅165m ergibt eine ≈ 56%-ige Kartenkonsistenz bei einer Abweichung von ∅0.163m. Für das autonome Parken wurde ein gegebener Trajektorienplaner und Regleransatz verwendet.

This thesis covers the complete signal processing from raw radar perception to full autonomous vehicle control with special focus on radar segmentation, SLAM and autonomous parking. The semantic radar segmentation capability of the real-world (static) environment
is addressed by a radar specific neural network RadarNet. Achieving real-time semantic radar segmentation, the output of RadarNet is applied to enrich a semantic radar graph-SLAM SERALOC. The exemplary autonomous parking functionality parks a real-world vehicle along a recorded reference path with unprecedented robust absolute pose accuracy, solely based on radar data. ... mehrThis work achieves a novelty of semantic radar segmentation and localization
benchmark.

In the first step, a point cloud data set of 8.2·10^6 point-wise semantically labeled radar detections covering a length of 2507.35m is generated. There are no comparable publicly available data set with this annotation-level and radar specifications. The supervised training of a semantic segmentation approach RadarNet achieves 28.97%mIoU on six classes. An automated radar labeling framework SeRaLF is presented, involving multi-modal label generation
via reference cameras and LiDAR, to support the radar labeling.

For the coherent mapping, a radar signal pre-filter is designed on the basis of an activation map to suppresses noise and other dynamic multi-path reflections. A specially radar-adapted Graph-SLAM front-end with radar odometry edges between sub-maps and the semantically seperated NDT registration assembles the pre-filtered semantic radar sensor measurements to a consistent metric map. The mapping accuracy and data association are boosted by the separated registration of semantic-radar sub-sets. Overall, the first real-time capable semantic radar graph-SLAM is realized for arbitrary static environments.

Integrated into a real-world test vehicle, the interaction of the live RadarNet segmentation and semantic radar graph-SLAM is evaluated, applied for a solely radar-based autonomous parking functionality. Averaging 42 autonomous parkings (∅3.73 km/h) over an average maneuver length of 172.75m, an absolute pose error median of 0.235m and end position error 0.2443m is achieved, outperforming comparable radar-localization results by ≈ 50%. The map accuracy of changing re-visited places along ∅165m yields ≈ 56% map consistency at a deviation of ∅0.163m. For the autonomous parking approach, a given trajectory planner and controller approach is combined with the presented radar localization.