Multi-environment Georeferencing of RGB-D Panoramic Images from Portable Mobile Mapping – a Perspective for Infrastructure Management

Hochaufgelöste, genau georeferenzierte RGB-D-Bilder sind die Grundlage für 3D-Bildräume bzw. 3D Street-View-Webdienste, welche bereits kommerziell für das Infrastrukturmanagement eingesetzt werden. MMS ermöglichen eine schnelle und effiziente Datenerfassung von Infrastrukturen. Die meisten im Aussenraum eingesetzten MMS beruhen auf direkter Georeferenzierung. Diese ermöglicht in offenen Bereichen absolute Genauigkeiten im Zentimeterbereich. Bei GNSS-Abschattung fällt die Genauigkeit der direkten Georeferenzierung jedoch schnell in den Dezimeter- oder sogar in den Meterbereich. ... mehrIn Innenräumen eingesetzte MMS basieren hingegen meist auf SLAM. Die meisten SLAM-Algorithmen wurden jedoch für niedrige Latenzzeiten und für Echtzeitleistung optimiert und nehmen daher Abstriche bei der Genauigkeit, der Kartenqualität und der maximalen Ausdehnung in Kauf.
Das Ziel dieser Arbeit ist, hochaufgelöste RGB-D-Bilder in verschiedenen Umgebungen zu erfassen und diese genau und zuverlässig zu georeferenzieren.
Für die Datenerfassung wurde ein leistungsstarkes, bildfokussiertes und rucksackgetragenes MMS entwickelt. Dieses besteht aus einer Mehrkopf-Panoramakamera, zwei Multi-Beam LiDAR-Scannern und einer GNSS- und IMU-kombinierten Navigationseinheit der taktischen Leistungsklasse. Alle Sensoren sind präzise synchronisiert und ermöglichen Zugriff auf die Rohdaten. Das Gesamtsystem wurde in Testfeldern mit bündelblockbasierten sowie merkmalsbasierten Methoden kalibriert, was eine Voraussetzung für die Integration kinematischer Sensordaten darstellt.
Für eine genaue und zuverlässige Georeferenzierung in verschiedenen Umgebungen wurde ein mehrstufiger Georeferenzierungsansatz entwickelt, welcher verschiedene Sensordaten und Georeferenzierungsmethoden vereint. Direkte und LiDAR SLAM-basierte Georeferenzierung liefern Initialposen für die nachträgliche bildbasierte Georeferenzierung mittels erweiterter SfM-Pipeline. Die bildbasierte Georeferenzierung führt zu einer präzisen aber spärlichen Trajektorie, welche sich für die Georeferenzierung von Bildern eignet. Um eine dichte Trajektorie zu erhalten, die sich auch für die Georeferenzierung von LiDAR-Daten eignet, wurde die direkte Georeferenzierung mit Posen der bildbasierten Georeferenzierung gestützt.
Umfassende Leistungsuntersuchungen in drei weiträumigen anspruchsvollen Testgebieten zeigen die Möglichkeiten und Grenzen unseres Georeferenzierungsansatzes. Die drei Testgebiete im Stadtzentrum, im Wald und im Gebäude repräsentieren reale Bedingungen mit eingeschränktem GNSS-Empfang, schlechter Beleuchtung, sich bewegenden Objekten und sich wiederholenden geometrischen Mustern.
Die bildbasierte Georeferenzierung erzielte die besten Genauigkeiten, wobei die mittlere Präzision im Bereich von 5 mm bis 7 mm lag. Die absolute Genauigkeit betrug 85 mm bis 131 mm, was einer Verbesserung um Faktor 2 bis 7 gegenüber der direkten und LiDAR SLAM-basierten Georeferenzierung entspricht. Die direkte Georeferenzierung mit CUPT-Stützung von Bildposen der bildbasierten Georeferenzierung, führte zu einer leicht verschlechterten mittleren Präzision im Bereich von 13 mm bis 16 mm, wobei sich die mittlere absolute Genauigkeit nicht signifikant von der bildbasierten Georeferenzierung unterschied.
Die in herausfordernden Umgebungen erzielten Genauigkeiten bestätigen frühere Untersuchungen unter optimalen Bedingungen und liegen in derselben Grössenordnung wie die Resultate anderer Forschungsgruppen. Sie können für die Erstellung von Street-View-Services in herausfordernden Umgebungen für das Infrastrukturmanagement verwendet werden. Genau und zuverlässig georeferenzierte RGB-D-Bilder haben ein grosses Potenzial für zukünftige visuelle Lokalisierungs- und AR-Anwendungen.

Accurately georeferenced Red, Green, Blue and Depth (RGB-D) imagery with high resolution form the basis for 3D street view web-services, which are already widely used for infrastructure management. Mobile Mapping (MM) and 3D reality capturing techniques enable fast and efficient data acquisition of infrastructures. Most outdoor Mobile Mapping Systems (MMSs) rely on direct georeferencing, enabling absolute accuracies in the cm range in open areas. However, under poor Global Navigation Satellite System (GNSS) reception, the accuracy of direct georeferencing degrades rapidly to the dm- or even to the m-range. ... mehrBy contrast indoor MMS predominately rely on Simultaneous Localization and Mapping (SLAM). As, most SLAM algorithms focus on low-latency and real-time performance they accept trade-offs in accuracy, map quality and maximum extension.
This thesis aims to capture and accurately and reliably georeference high-resolution RGB-D imagery in different environments.
For data acquisition, we developed a high-performance image-focused backpack MMS, featuring a multi-head panoramic camera, two multi-beam Light Detection and Ranging (LiDAR) scanners and a navigation unit combining GNSS with an Inertial Measurement Unit (IMU) with tactical grade performance. All sensors are precisely synchronized and provide access to the raw data. Furthermore, we conducted an overall system calibration in test fields, using bundle-adjustment-based as well as feature-based calibration methods as a prerequisite for kinematic sensor data integration. For accurate and reliable georeferencing in various environments, we propose a multi-stage georeferencing approach that incorporates various sensor data and georeferencing methods. Direct and LiDAR SLAM-based georeferencing provide initial poses for subsequent imagebased georeferencing, using an extended Structure-from-Motion (SfM) pipeline. Image-based georeferencing results in a precise and sparse trajectory, which is suitable for the georeferencing of images. To obtain a dense trajectory, which is suitable for the georeferencing of both panoramic images and LiDAR points, we propose direct georeferencing with pose support from image-based georeferencing. Comprehensive performance investigations in three demanding large-scale test sites demonstrate the performance and the limitations of our georeferencing approach with the different georeferencing methods. The three test sites in a city center, in a forest and in a public building represent real-world conditions with restricted GNSS reception, poor illumination, moving objects and repetitive geometric patterns.
Image-based georeferencing showed a superior performance, whereby the mean precision ranged from 5 mm to 7 mm between the different test fields and the absolute accuracy ranged from 85 mm to 131 mm. This is an improvement by factor 2–7 compared to direct and LiDAR SLAM-based georeferencing. Direct georeferencing, supported by Coordinate Updates (CUPTs) from image-based georeferencing, resulted in slightly degraded mean precision compared to image-based georeferencing in the range from 13 mm to 16 mm, whereby the mean absolute as well as the relative accuracy did not significantly differ from image-based georeferencing.
Our results within challenging environments confirm previous investigations under optimal conditions as well as work from other groups. They can be used for creating RGB-D imagebased 3D geospatial web-services of infrastructures within challenging environments. Moreover, accurately georeferenced RGB-D imagery has great potential for future visual localization and Augmented Reality (AR) applications.