Perception of Unstructured Environments for Autonomous Off-Road Vehicles

Autonome Fahrzeuge benötigen die Fähigkeit zur Perzeption als eine notwendige Voraussetzung für eine kontrollierbare und sichere Interaktion, um ihre Umgebung wahrzunehmen und zu verstehen.
Perzeption für strukturierte Innen- und Außenumgebungen deckt wirtschaftlich lukrative Bereiche, wie den autonomen Personentransport oder die Industrierobotik ab, während die Perzeption unstrukturierter Umgebungen im Forschungsfeld der Umgebungswahrnehmung stark unterrepräsentiert ist.
Die analysierten unstrukturierten Umgebungen stellen eine besondere Herausforderung dar, da die vorhandenen, natürlichen und gewachsenen Geometrien meist keine homogene Struktur aufweisen und ähnliche Texturen sowie schwer zu trennende Objekte dominieren.
... mehr
Dies erschwert die Erfassung dieser Umgebungen und deren Interpretation, sodass Perzeptionsmethoden speziell für diesen Anwendungsbereich konzipiert und optimiert werden müssen.

In dieser Dissertation werden neuartige und optimierte Perzeptionsmethoden für unstrukturierte Umgebungen vorgeschlagen und in einer ganzheitlichen, dreistufigen Pipeline für autonome Geländefahrzeuge kombiniert: Low-Level-, Mid-Level- und High-Level-Perzeption.
Die vorgeschlagenen klassischen Methoden und maschinellen Lernmethoden (ML) zur Perzeption bzw.~Wahrnehmung ergänzen sich gegenseitig. Darüber hinaus ermöglicht die Kombination von Perzeptions- und Validierungsmethoden für jede Ebene eine zuverlässige Wahrnehmung der möglicherweise unbekannten Umgebung, wobei lose und eng gekoppelte Validierungsmethoden kombiniert werden, um eine ausreichende, aber flexible Bewertung der vorgeschlagenen Perzeptionsmethoden zu gewährleisten.
Alle Methoden wurden als einzelne Module innerhalb der in dieser Arbeit vorgeschlagenen Perzeptions- und Validierungspipeline entwickelt, und ihre flexible Kombination ermöglicht verschiedene Pipelinedesigns für eine Vielzahl von Geländefahrzeugen und Anwendungsfällen je nach Bedarf.

Low-Level-Perzeption gewährleistet eine eng gekoppelte Konfidenzbewertung für rohe 2D- und 3D-Sensordaten, um Sensorausfälle zu erkennen und eine ausreichende Genauigkeit der Sensordaten zu gewährleisten.
Darüber hinaus werden neuartige Kalibrierungs- und Registrierungsansätze für Multisensorsysteme in der Perzeption vorgestellt, welche lediglich die Struktur der Umgebung nutzen, um die erfassten Sensordaten zu registrieren: ein halbautomatischer Registrierungsansatz zur Registrierung mehrerer 3D~Light Detection and Ranging (LiDAR) Sensoren und ein vertrauensbasiertes Framework, welches verschiedene Registrierungsmethoden kombiniert und die Registrierung verschiedener Sensoren mit unterschiedlichen Messprinzipien ermöglicht. Dabei validiert die Kombination mehrerer Registrierungsmethoden die Registrierungsergebnisse in einer eng gekoppelten Weise.

Mid-Level-Perzeption ermöglicht die 3D-Rekonstruktion unstrukturierter Umgebungen mit zwei Verfahren zur Schätzung der Disparität von Stereobildern: ein klassisches, korrelationsbasiertes Verfahren für Hyperspektralbilder, welches eine begrenzte Menge an Test- und Validierungsdaten erfordert, und ein zweites Verfahren, welches die Disparität aus Graustufenbildern mit neuronalen Faltungsnetzen (CNNs) schätzt. Neuartige Disparitätsfehlermetriken und eine Evaluierungs-Toolbox für die 3D-Rekonstruktion von Stereobildern ergänzen die vorgeschlagenen Methoden zur Disparitätsschätzung aus Stereobildern und ermöglichen deren lose gekoppelte Validierung.

High-Level-Perzeption konzentriert sich auf die Interpretation von einzelnen 3D-Punktwolken zur Befahrbarkeitsanalyse, Objekterkennung und Hindernisvermeidung. Eine Domänentransferanalyse für State-of-the-art-Methoden zur semantischen 3D-Segmentierung liefert Empfehlungen für eine möglichst exakte Segmentierung in neuen Zieldomänen ohne eine Generierung neuer Trainingsdaten. Der vorgestellte Trainingsansatz für 3D-Segmentierungsverfahren mit CNNs kann die benötigte Menge an Trainingsdaten weiter reduzieren. Methoden zur Erklärbarkeit künstlicher Intelligenz vor und nach der Modellierung ermöglichen eine lose gekoppelte Validierung der vorgeschlagenen High-Level-Methoden mit Datensatzbewertung und modellunabhängigen Erklärungen für CNN-Vorhersagen.

Altlastensanierung und Militärlogistik sind die beiden Hauptanwendungsfälle in unstrukturierten Umgebungen, welche in dieser Arbeit behandelt werden.
Diese Anwendungsszenarien zeigen auch, wie die Lücke zwischen der Entwicklung einzelner Methoden und ihrer Integration in die Verarbeitungskette für autonome Geländefahrzeuge mit Lokalisierung, Kartierung, Planung und Steuerung geschlossen werden kann.

Zusammenfassend lässt sich sagen, dass die vorgeschlagene Pipeline flexible Perzeptionslösungen für autonome Geländefahrzeuge bietet und die begleitende Validierung eine exakte und vertrauenswürdige Perzeption unstrukturierter Umgebungen gewährleistet.

Autonomous vehicles require perception capabilities to understand their environment as a necessary prerequisite for controllable and safe interaction.
Perception for structured indoor and outdoor environments targets economically lucrative areas such as autonomous passenger transport or industrial robotics, while research on perception for unstructured environments is greatly under-represented in the research field of environment perception.
The analyzed unstructured environments pose a particular challenge as the existing, natural and grown geometries mostly do not have a homogeneous structure, and similar textures and difficult-to-separate objects dominate them.
... mehr
This makes capturing these environments and their interpretation difficult, and perception methods must specifically be designed and optimized for this application domain.

This doctoral thesis proposes novel and customized perception methods for unstructured environments and combines them within a holistic, three-level pipeline for autonomous off-road vehicles: low-level, mid-level, and high-level perception.
The proposed classic and machine learning (ML) perception methods complement each other. Furthermore, the combination of perception and validation methods for each level facilitates a reliable perception of the possibly unknown environment with loosely coupled and tightly coupled validation methods being combined to ensure a detailed but flexible assessment of the perception methods proposed.
All methods were designed as individual modules within the perception and validation pipeline proposed in this thesis, and their flexible combination permits different pipeline designs for a variety of off-road vehicles and use cases according to demand.

Low-level perception contributes a tightly coupled confidence assessment for raw 2D~and 3D~sensor data to detect sensor failures and ensure sufficient accuracy of the perception sensor data.
Furthermore, novel calibration and registration approaches for multi-sensor systems in perception are presented that only use the structure of the surroundings to register the captured sensor data: a semi-automatic registration approach for multiple 3D~Light Detection and Ranging (LiDAR) sensors, and a confidence-based framework combining different registration methods and facilitating the registration of various sensors with differing measurement principles. Hereby, the combination of multiple registration methods validates the registration results in a tightly coupled manner.

Mid-level perception facilitates the 3D~reconstruction of unstructured environments with two stereo image disparity estimation methods: a classic, correlation-based method for hyperspectral images, which requires a limited volume of testing and validation data, and a second method that estimates the disparity from grayscale images with convolutional neural networks (CNNs). Novel disparity error metrics and an evaluation toolbox for stereo image 3D~reconstruction complement the proposed stereo vision methods and provide loosely coupled validation.

High-level perception focuses on interpreting \enquote{single-shot} 3D~point clouds for navigability analysis, object detection, and obstacle avoidance. A domain transfer analysis for state-of-the-art semantic 3D~segmentation methods provides recommendations for the segmentation performance to be as accurate as possible in new target domains without the generation of new training data. The presented, customized training approach for 3D~segmentation methods with CNNs can further reduce the required volume of training data. Pre-modeling and post-modeling explainable artificial intelligence methods provide a loosely coupled validation of the proposed high-level methods with dataset assessment and model-agnostic explanations for CNN predictions.

The decontamination of landfill sites and military logistics constitute the two main use cases in unstructured environments targeted within this thesis.
These application scenarios also demonstrate how to bridge the gap between the development of individual methods and their integration in the processing chain for autonomous off-road vehicles with localization, mapping, planning, and control.

Concluding, the proposed perception--validation pipeline provides flexible perception solutions for autonomous off-road vehicles and the accompanying validation ensures accurate and trustworthy perception of unstructured environments.