Large-Scale Textured 3D Scene Reconstruction

Die Erstellung dreidimensionaler Umgebungsmodelle ist eine fundamentale Aufgabe im Bereich des maschinellen Sehens. Rekonstruktionen sind für eine Reihe von Anwendungen von Nutzen, wie bei der Vermessung, dem Erhalt von Kulturgütern oder der Erstellung virtueller Welten in der Unterhaltungsindustrie. Im Bereich des automatischen Fahrens helfen sie bei der Bewältigung einer Vielzahl an Herausforderungen. Dazu gehören Lokalisierung, das Annotieren großer Datensätze oder die vollautomatische Erstellung von Simulationsszenarien.

Die Herausforderung bei der 3D Rekonstruktion ist die gemeinsame Schätzung von Sensorposen und einem Umgebunsmodell. ... mehrRedundante und potenziell fehlerbehaftete Messungen verschiedener Sensoren müssen in eine gemeinsame Repräsentation der Welt integriert werden, um ein metrisch und photometrisch korrektes Modell zu erhalten. Gleichzeitig muss die Methode effizient Ressourcen nutzen, um Laufzeiten zu erreichen, welche die praktische Nutzung ermöglichen.

In dieser Arbeit stellen wir ein Verfahren zur Rekonstruktion vor, das fähig ist, photorealistische 3D Rekonstruktionen großer Areale zu erstellen, die sich über mehrere Kilometer erstrecken. Entfernungsmessungen aus Laserscannern und Stereokamerasystemen werden zusammen mit Hilfe eines volumetrischen Rekonstruktionsverfahrens fusioniert. Ringschlüsse werden erkannt und als zusätzliche Bedingungen eingebracht, um eine global konsistente Karte zu erhalten. Das resultierende Gitternetz wird aus Kamerabildern texturiert, wobei die einzelnen Beobachtungen mit ihrer Güte gewichtet werden. Für eine nahtlose Erscheinung werden die unbekannten Belichtungszeiten und Parameter des optischen Systems mitgeschätzt und die Bilder entsprechend korrigiert.

Wir evaluieren unsere Methode auf synthetischen Daten, realen Sensordaten unseres Versuchsfahrzeugs und öffentlich verfügbaren Datensätzen. Wir zeigen qualitative Ergebnisse großer innerstädtischer Bereiche, sowie quantitative Auswertungen der Fahrzeugtrajektorie und der Rekonstruktionsqualität.

Zuletzt präsentieren wir mehrere Anwendungen und zeigen somit den Nutzen unserer Methode für Anwendungen im Bereich des automatischen Fahrens.

The creation of three-dimensional models of the environment is a fundamental task in computer vision. They help to solve a variety of tasks ranging from mapping for surveying over documentation of cultural heritage to the creation of virtual worlds for entertainment. In the field of automated driving, they promise to help solving multiple challenges, such as localization, labeling of large datasets or the fully automatic creation of simulation environments.

The challenge of 3D reconstruction is the joint estimation of sensor poses and environment model. Redundant and potentially erroneous data of multiple sensors has to be integrated into a common representation of the world to create a metrically accurate and photometrically correct model. ... mehrAt the same time, the method has to make full use of limited hardware resources and has to have run times which allow for practical use.

In this thesis, we present a reconstruction framework which is capable of creating textured photo-realistic 3D reconstructions of large environments spanning multiple kilometers in length. Range measurements from laser scanners and stereo camera systems are jointly fused using a volumetric reconstruction approach. Loop closures are detected and added as additional constraints to obtain a globally consistent map. The resulting mesh is textured from multiple camera images and using a weighting scheme which weights observations according to their quality. For seamless appearance, the unknown exposure times and parameters of the optical system are estimated to correct each image accordingly.

We evaluate our method on synthetic data as well as on real sensor data from our own experimental vehicle and from publicly available datasets. Qualitative results of large inner city areas are shown and quantitative evaluations of the vehicle trajectory and mesh quality are presented.

Lastly, we show multiple applications and prove the applicability of our framework for automated driving.