Camera Re-Localization with Data Augmentation by Image Rendering and Image-to-Image Translation

Die Selbstlokalisierung von Automobilen, Robotern oder unbemannten Luftfahrzeugen sowie die Selbstlokalisierung von Fußgängern ist und wird für eine Vielzahl an Anwendungen von hohem Interesse sein.
Eine Hauptaufgabe ist die autonome Navigation von solchen Fahrzeugen, wobei die Lokalisierung in der umgebenden Szene eine Schlüsselkomponente darstellt.
Da Kameras etablierte fest verbaute Sensoren in Automobilen, Robotern und unbemannten Luftfahrzeugen sind, ist der Mehraufwand diese auch für Aufgaben der Lokalisierung zu verwenden gering bis gar nicht vorhanden.
Das gleiche gilt für die Selbstlokalisierung von Fußgängern, bei der Smartphones als mobile Plattformen für Kameras zum Einsatz kommen.
... mehr
Kamera-Relokalisierung, bei der die Pose einer Kamera bezüglich einer festen Umgebung bestimmt wird, ist ein wertvoller Prozess um eine Lösung oder Unterstützung der Lokalisierung für Fahrzeuge oder Fußgänger darzustellen.
Kameras sind zudem kostengünstige Sensoren welche im Alltag von Menschen und Maschinen etabliert sind.
Die Unterstützung von Kamera-Relokalisierung ist nicht auf Anwendungen bezüglich der Navigation begrenzt, sondern kann allgemein zur Unterstützung von Bildanalyse oder Bildverarbeitung wie Szenenrekonstruktion, Detektion, Klassifizierung oder ähnlichen Anwendungen genutzt werden.
Für diese Zwecke, befasst sich diese Arbeit mit der Verbesserung des Prozesses der Kamera-Relokalisierung.
Da Convolutional Neural Networks (CNNs) und hybride Lösungen um die Posen von Kameras zu bestimmen in den letzten Jahren mit etablierten manuell entworfenen Methoden konkurrieren, ist der Fokus in dieser Thesis auf erstere Methoden gesetzt.
Die Hauptbeiträge dieser Arbeit beinhalten den Entwurf eines CNN zur Schätzung von Kameraposen, wobei der Schwerpunkt auf einer flachen Architektur liegt, die den Anforderungen an mobile Plattformen genügt.
Dieses Netzwerk erreicht Genauigkeiten in gleichem Grad wie tiefere CNNs mit umfangreicheren Modelgrößen.
Desweiteren ist die Performanz von CNNs stark von der Quantität und Qualität der zugrundeliegenden Trainingsdaten, die für die Optimierung genutzt werden, abhängig.
Daher, befassen sich die weiteren Beiträge dieser Thesis mit dem Rendern von Bildern und Bild-zu-Bild Umwandlungen zur Erweiterung solcher Trainingsdaten. Das generelle Erweitern solcher Trainingsdaten wird Data Augmentation (DA) genannt.
Für das Rendern von Bildern zur nützlichen Erweiterung von Trainingsdaten werden 3D Modelle genutzt.
Generative Adversarial Networks (GANs) dienen zur Bild-zu-Bild Umwandlung. Während das Rendern von Bildern die Quantität in einem Bilddatensatz erhöht, verbessert die Bild-zu-Bild Umwandlung die Qualität dieser gerenderten Daten.
Experimente werden sowohl mit erweiterten Datensätzen aus gerenderten Bildern als auch mit umgewandelten Bildern durchgeführt.
Beide Ansätze der DA tragen zur Verbesserung der Genauigkeit der Lokalisierung bei.
Somit werden in dieser Arbeit Kamera-Relokalisierung mit modernsten Methoden durch DA verbessert.

Self-localization of cars, robots or Unmanned Aerial Vehicles (UAVs) as well as self-localization of pedestrians is and will be of high interest for a wide range of applications.
A major task is autonomous navigation of vehicles, whereas the localization in the surrounding scene is a key component.
Since cameras are well-established built-in sensors in cars, robots and UAVs, there is little to no extra cost in utilizing them for subsequent localization.
The same applies for pedestrian localization, where smartphones serve as mobile platforms for cameras.
Camera re-localization, where the pose of a camera is determined with respect to a certain scene, is therefore a valuable process to solve or support localization solutions of such vehicles or pedestrians.
... mehr
Cameras are low-cost sensors that are established commonly in the everyday life of humans and machines.
The support of camera re-localization is not limited to applications related to navigation but can in general be applied to support image analysis or image processing tasks as scene reconstruction, detection, classification or alike.
For these purposes, this thesis concerns the improvement of the camera re-localization task.
As Convolutional Neural Networks (CNNs) and hybrid pipelines to regress camera poses are recently competing against established hand-crafted designed pipelines reaching similar or superior accuracies, the focus is set on the former in this thesis.
The main contributions of this thesis include the design of a CNN to regress camera poses, with focus on a lightweight architecture fitting the requirements to be applicable on mobile platforms.
This network achieves accuracies in the same order as CNNs with larger model sizes.
Furthermore, the performance of CNNs is highly depending on the quantity and quality of training data utilized for their optimization.
Hence, further contributions are considering image rendering and image-to-image translation to extend such training data in terms of Data Augmentation (DA).
3D models are utilized for image rendering to valuable extend training datasets.
Generative Adversarial Networks (GANs) serve for DA by image-to-image translation. Whereas image rendering is increasing the quantity of images in datasets, image-to-image translation on the other hand aims to enhance the quality of such data.
Experiments are carried out on datasets augmented by image rendering and image-to-image translation. It is shown, that both approaches valuable enhance the localization concerning accuracy.
Therefore, state-of-the-art localization is improved by DA in this thesis.