Automatische Erzeugung langzeitverfügbarer Punktmerkmalskarten zur robusten Lokalisierung mit Multi-Kamera-Systemen für automatisierte Fahrzeuge

Gemäß des aktuellen Stands der Technik benötigen automatisierte Fahrzeuge eine präzise kartenrelative Eigenlokalisierung, um sich zuverlässig, sicher und effizient im dynamischen Straßenverkehr zu bewegen. Karten können frühzeitig Informationen aus der Umgebung bereitstellen, die mit der Bordsensorik aufgrund von Verdeckungen oder begrenzter Wahrnehmungsdistanz nicht erfasst werden können.

Diese Aufgabe kann im vor- und innerstädtischen Umfeld aufgrund von Signalabschattung nicht zuverlässig durch globale Satellitennavigationssysteme gelöst werden. Bildbasierte Lokalisierungsmethoden stellen eine robuste und kostengünstige Alternative dar. ... mehrJedoch hat eine Karte nur eine begrenzte Gültigkeitsspanne, da sich die kartierte, als statisch angenommene Umwelt aufgrund einer Vielzahl äußerer Einflüsse stetig verändert. Ein weiteres Problem aktueller Lokalisierungsansätze ergibt sich durch den begrenzten Wahrnehmungsbereich eines monoskopischen Kamerasystems. Ist die Sicht auf die kartierte Umwelt gestört, führt dies häufig zu einem Ausfall der Lokalisierung. Die vorliegende Arbeit setzt sich mit diesen beiden Problemfällen auseinander. Dem Problem der Kartenalterung wird durch eine kontinuierliche Aktualisierung der bestehenden Karte durch Integration weiterer Merkmale aus neuen Befahrungen des kartierten Gebiets entgegengewirkt. Der Fokus liegt dabei auf einer robusten, effizienten und skalierbaren Methode, die eine fortlaufende Kartenaktualisierung unabhängig von der Länge der Aufnahmefahrten und unabhängig von der Anzahl der Kartierungsiterationen ermöglicht. Den zweiten Schwerpunkt der Arbeit stellt die Verwendung eines Multi-Kamera-Systems zur Kartengenerierung und zur Lokalisierung dar, wodurch die Genauigkeit, Verfügbarkeit und Flexibilität im Vergleich zu monoskopischen Systemen gesteigert werden kann.

Grundbaustein der Methode sind Merkmalspunkte, die in den aufgezeichneten Kamerabildern detektiert und zu in der Karte gespeicherten Merkmalspunkten assoziiert werden. Dafür wird eine universelle Assoziationsmethode vorgestellt, die Information über die geometrische Anordnung der Kameras nutzt um den Suchraum effizient einzuschränken. So ist auch bei starken perspektivischen Veränderungen eine robuste Merkmalsassoziation möglich.

Ein fundamentales Problem der Kartenaktualisierung ist die stetig wachsende Anzahl der Kartenparameter und -merkmale. Aus theoretischer Sicht können die Kartenparameter am besten gemeinsam durch Lösen eines einzelnen, umfassenden Bündelblockausgleichsproblems bestimmt werden. Aufgrund begrenzter Hardwareressourcen ist dies praktisch jedoch nicht möglich. Daher wird das kartierte Gebiet in kleine Bereiche unterteilt und für jeden Bereich unabhängig ein separates Bündelblockausgleichsproblem gelöst. Die Teillösungen werden schlussendlich durch Lösen eines Posendifferenzenausgleichsproblems zu einer konsistenten Kartenrepräsentation zusammengeführt. Die so erstellte Kartenbasis stellt die Grundlage für eine Merkmalsselektion dar, wodurch für die Lokalisierung geeignete Merkmale auf Basis einer Wiedererkennungsbewertung identifiziert werden. Auf diese Weise bleibt die zu speichernde Informationsmenge der Lokalisierungskarte gebietsweise begrenzt und es wird eine zuverlässige Lokalisierung über lange Zeiträume ermöglicht.

Die entwickelte Multi-Kamera-Lokalisierung umfasst zwei Teilsysteme. Das erste Teilsystem basiert auf dem Prinzip der merkmalsbasiertern Ortswiedererkennung und bestimmt fortlaufend den Aufenthaltsort des Egofahrzeugs in der Karte. Das zweite Teilsystem schätzt eine hochgenaue kartenrelative Fahrzeugpose in sechs Freiheitsgraden. Dafür wird eine Kartenstruktur vorgestellt, welche die kartierten Merkmale effizient bereitstellt. Die Verwendung eines Multi-Kamera-Systems steigert bei beiden Teilsystemen die Genauigkeit und Robustheit der Lokalisierung gegenüber der Verwendung einer einzelnen Kamera. Außerdem ermöglicht die entwickelte Methode eine präzise Lokalisierung bei Befahrung des kartierten Gebiets in beliebiger Orientierung.

Die vorgestellte Kartengenerierungs- und Lokalisierungsmethode wurde in mehreren Projekten zum automatisierten Fahren erfolgreich eingesetzt und ist seit mehreren Jahren das Fundament eines Projekts zur Erprobung des kartenbasierten vollautomatischen Fahrens in innerstädtischen Gebieten in Karlsruhe.

Automated vehicles heavily rely on accurate self-localization to operate safely and efficiently in dynamic road traffic scenarios. Using maps enables to provide information of the surrounding structure prematurely which cannot be measured with on-board sensors due to occlusions or limited sensor ranges.

Global navigation satellite systems are not reliable in urban environments due to multipath and shadowing effects. Vision-based localization upon a previously created map offers a promising alternative. However, environmental changes lead to obsolescence of a once created map. ... mehrA further problem of current vision-based localization approaches arises from the bounded field of view of a monoscopic camera system which is subject to failure in case of poor visibility conditions. The present work proposes solutions to overcome these two drawbacks. The problem of the obsolescence of a static map is tackled by updating the map iteratively after passing the mapped area again. In this work, an iterative and robust approach to create highly accurate maps comprising any number of drives of arbitrary length with constant computation complexity is proposed. Furthermore, a high-precision self-localization method using multiple cameras covering the surrounding environment is presented.

The basic element of the proposed method are feature points which are detected in the recorded images and matched to features stored in the map. A universal matching approach which efficiently shrinks the search space based on knowledge of the geometric configuration of the cameras is proposed in this work. By this, robust feature matching can be achieved under large perspective variations.

Bundling more and more passes of partly overlapping areas into a single map leads to an unbounded growing number of poses, landmarks and features. Theoretically, solving a single joint bundle adjustment problem achieves the best possible estimate of these map parameters. However, this is unfeasible in practice due to limited hardware resources. Therefore, the map is divided into disjoint clusters. The poses and landmarks of each cluster are estimated independently by solving bundle adjustment problems of constant complexity for each cluster. To achieve a consistent map representation, all clusters are interconnected afterwards by solving a pose-graph adjustment problem. This enables to select features in order to create a localization map which has locally a bounded size and preserves reliable localization estimates in different environmental conditions over long periods of time.

The proposed surround view localization system consists of two subsystems. The first one is a feature-based multi view place recognition approach which continuously estimates a rough position of the ego-vehicle in the map. The other subsystem estimates a high-precision six degrees of freedom pose estimate. For that, a novel map structure which efficiently provides the mapped features with respect to a surround view camera system is proposed. For both systems, it is shown that using multiple cameras leads to superior results in terms of accuracy, availability and robustness compared to a monoscopic system. Furthermore, it is demonstrated that the proposed method enables precise localization while passing the mapped area at any vehicle orientation.

The methods for localization and mapping proposed in this work were successfully applied in several automated driving projects and are the basis of a project to test algorithms for map-based automated driving in inner-city areas in Karlsruhe for several years.