Multi-Sensor Environment Perception for Automated Vehicles with Semantic Evidential Grid Maps

Die automatische Navigation von Fahrzeugen hat das Potenzial, Leben zu retten und den Verkehr effizienter zu gestalten. Ein zentraler Bestandteil algorithmischer Lösungen ist die Wahrnehmung der relevanten Umgebung des automatisierten Fahrzeugs. Die gewünschte Repräsentation enthält Informationen über Verkehrsteilnehmer, deren semantischen Zustand und deren Bewegungszustand. Zusätzlich müssen Beobachtbarkeit, Freiraum und Fahrbarkeit bekannt sein, um das Fahrzeug sicher zu navigieren. Um Messungen zu sammeln, aus denen diese Informationen abgeleitet werden können, sind automatisierte Fahrzeuge mit heterogenen Sensoren wie LiDARe, Kameras und RaDARe ausgestattet.
... mehr

In dieser Arbeit wird eine Methode zur Umgebungswahrnehmung vorgestellt, die zur Lösung dieser Aufgaben entwickelt wurde. Die erzeugte Repräsentation ist eine mehrschichtige Top-View Grid Map, bei der die Unsicherheit mittels Evidenztheorie modelliert wird. Im Vergleich zur bisherigen Forschung auf diesem Gebiet führt diese Arbeit die folgenden Neuerungen ein: Der Belegungszustandsraum, der traditionell aus den Hypothesen belegt und frei besteht, wird durch ein hybrides Evidenzmodell ersetzt, das den semantischen und den dynamischen Zustand der Belegung enthält. Außerdem wird der semantische Zustand des Bodens separat modelliert. Im ersten Verarbeitungsschritt wird die Grid Map-Darstellung für jeden Sensor separat geschätzt. Wir verarbeiten LiDAR - und Kamera-Messungen, die als Bilder vorliegen, und leiten daraus Belegungsdaten ab, indem wir die Oberflächenorientierung für jede Sensorreflexion analysieren. Dies macht die Schätzung eines parametrischen Bodenmodells, das für konkurrierende Methoden notwendig ist, überflüssig. Für die Sensordatenfusion wird eine gewichtete Kombination der sensorspezifischen Evidenzen vorgeschlagen, welche nachweislich zu einer besseren Auflösung von Konflikten führt als die in anderen Veröffentlichungen verwendeten Kombinationsregeln. Schließlich werden die fusionierten Gitterkarten in ein temporäres Fusionsmodul eingespeist, das rekursiv evidenzbasierte Grid Maps aktualisiert und dabei Informationen über die Bodensemantik, sowie den semantischen und dynamischen Zustand der Zellbelegungen akkumuliert. Hier werden Evidential Networks für die Aktualisierung der Evidenzverteilungen auf den Hypothesenmengen genutzt. Dies ermöglicht es, Abhängigkeiten zwischen semantischen und dynamischen Zuständen explizit zu modellieren.

Die Vorteile der vorgeschlagenen Methodik werden in realen Verkehrsszenarien anhand von Messungen von einem LiDAR und einer Stereo Kamera demonstriert.

The automatic navigation of vehicles has the potential to save lives and make traffic more efficient. A central component of algorithmic solutions is the perception of the environment in the relevant surroundings of the automated vehicle. The desired representation contains information about road users, their semantic state and their state of motion. In addition, observability, free space and drivability must be known in order to safely navigate the vehicle. To collect measurements from which this information can be derived, automated vehicles are equipped with heterogeneous sensors such as LiDARs , Cameras and RaDARs.
... mehr

In this thesis, we present an environment perception method developed to solve these tasks. The representation generated is a multi-layer top-view grid map where uncertainty is modeled using evidence theory. Compared to previous research in this area, this work introduces the following innovations: The occupancy state space, which traditionally consists of the hypotheses occupied and free, is replaced by a hybrid evidential model that includes the semantic and dynamic states of cell occupancy. Furthermore, the semantic state of the ground is modeled separately. In the first processing step, the grid map representation is estimated for each sensor separately. We process LiDAR and camera measurements, available as images, and derive occupancy evidence by analyzing the surface orientation for each sensor reflection. This eliminates the need to estimate a parametric ground model, which is necessary for competing methods. For sensor data fusion, weighted evidential reasoning is proposed, which is shown to resolve conflicts better than the combination rules used in other publications. Finally, the fused grid maps are fed into a temporal fusion module that recursively updates evidential grid maps accumulating information about occupancy semantics, ground semantics and the dynamics of occupied grid cells. Here, evidential networks are exploited for updating belief mass distributions on the hypotheses sets. This allows dependencies between semantic and dynamic states to be explicitly modeled.

The advantages of the proposed methodology are demonstrated in real traffic scenarios using LiDAR and stereo camera measurements.