Advanced Calibration of Automotive Augmented Reality Head-Up Displays = Erweiterte Kalibrierung von Automotiven Augmented Reality-Head-Up-Displays

In dieser Arbeit werden fortschrittliche Kalibrierungsmethoden für Augmented-Reality-Head-up-Displays (AR-HUDs) in Kraftfahrzeugen vorgestellt, die auf parametrischen perspektivischen Projektionen und nichtparametrischen Verzerrungsmodellen basieren. Die AR-HUD-Kalibrierung ist wichtig, um virtuelle Objekte in relevanten Anwendungen wie z.B. Navigationssystemen oder Parkvorgängen korrekt zu platzieren. Obwohl es im Stand der Technik einige nützliche Ansätze für dieses Problem gibt, verfolgt diese Dissertation das Ziel, fortschrittlichere und dennoch weniger komplizierte Ansätze zu entwickeln. ... mehrAls Voraussetzung für die Kalibrierung haben wir mehrere relevante Koordinatensysteme definiert, darunter die dreidimensionale (3D) Welt, den Ansichtspunkt-Raum, den HUD-Sichtfeld-Raum (HUD-FOV) und den zweidimensionalen (2D) virtuellen Bildraum. Wir beschreiben die Projektion der Bilder von einem AR-HUD-Projektor in Richtung der Augen des Fahrers als ein ansichtsabhängiges Lochkameramodell, das aus intrinsischen und extrinsischen Matrizen besteht. Unter dieser Annahme schätzen wir zunächst die intrinsische Matrix unter Verwendung der Grenzen des HUD-Sichtbereichs. Als nächstes kalibrieren wir die extrinsischen Matrizen an verschiedenen Blickpunkten innerhalb einer ausgewählten "Eyebox" unter Berücksichtigung der sich ändernden Augenpositionen des Fahrers. Die 3D-Positionen dieser Blickpunkte werden von einer Fahrerkamera verfolgt. Für jeden einzelnen Blickpunkt erhalten wir eine Gruppe von 2D-3D-Korrespondenzen zwischen einer Menge Punkten im virtuellen Bildraum und ihren übereinstimmenden Kontrollpunkten vor der Windschutzscheibe. Sobald diese Korrespondenzen verfügbar sind, berechnen wir die extrinsische Matrix am entsprechenden Betrachtungspunkt. Durch Vergleichen der neu projizierten und realen Pixelpositionen dieser virtuellen Punkte erhalten wir eine 2D-Verteilung von Bias-Vektoren, mit denen wir Warping-Karten rekonstruieren, welche die Informationen über die Bildverzerrung enthalten. Für die Vollständigkeit wiederholen wir die obigen extrinsischen Kalibrierungsverfahren an allen ausgewählten Betrachtungspunkten. Mit den kalibrierten extrinsischen Parametern stellen wir die Betrachtungspunkte wieder her im Weltkoordinatensystem. Da wir diese Punkte gleichzeitig im Raum der Fahrerkamera verfolgen, kalibrieren wir weiter die Transformation von der Fahrerkamera in den Weltraum unter Verwendung dieser 3D-3D-Korrespondenzen. Um mit nicht teilnehmenden Betrachtungspunkten innerhalb der Eyebox umzugehen, erhalten wir ihre extrinsischen Parameter und Warping-Karten durch nichtparametrische Interpolationen. Unsere Kombination aus parametrischen und nichtparametrischen Modellen übertrifft den Stand der Technik hinsichtlich der Zielkomplexität sowie Zeiteffizienz, während wir eine vergleichbare Kalibrierungsgenauigkeit beibehalten. Bei allen unseren Kalibrierungsschemen liegen die Projektionsfehler in der Auswertungsphase bei einer Entfernung von 7,5 Metern innerhalb weniger Millimeter, was einer Winkelgenauigkeit von ca. 2 Bogenminuten entspricht, was nahe am Auflösungvermögen des Auges liegt.

This thesis proposes advanced calibration methods for automotive augmented reality head-up displays (AR-HUDs) based on parametric perspective projection and nonparametric distortion models. The AR-HUD calibration is essential for rendering correctly placed and rectified virtual objects in the latest relevant applications, such as navigation and parking. Though state of the art has demonstrated some useful approaches, we are motivated to develop more advanced yet uncomplicated ones. As a prerequisite for the calibration, we defined several relevant coordinate systems, including the three-dimensional (3D) world, viewpoint space, HUD field of view (HUD-FOV) space, and the two-dimensional (2D) virtual image space. ... mehrWe describe the projection of images from an AR-HUD projector to the driver's eyes as a view-dependent pinhole camera model that consists of intrinsic and extrinsic matrices. Under this assumption, we first estimate the intrinsic matrix utilizing the boundary of HUD-FOV. Next, we calibrate the extrinsic matrices at different viewpoints inside a selected "eye box", considering drivers' changing eye positions. Those viewpoints' 3D positions are tracked using a driver camera. For any single view, we obtain a group of 2D-3D correspondences between a point array in the virtual image space and their matching control points in front of the windshield. Once these correspondences are available, we compute the extrinsic matrix at the viewpoint. By comparing the reprojected and real pixel positions of those virtual points, we acquire a 2D distribution of bias vectors, with which we reconstruct warping maps that contain the distortion information. For completeness, we repeat the above extrinsic calibration procedures at all the opted viewpoints. Using the calibrated extrinsic parameters, we restore the viewpoints in the world coordinate system. Since we have tracked them in the driver camera space simultaneously, we further calibrate the transformation from the driver camera to the world space by utilizing these 3D-3D correspondences. To deal with non-participating viewpoints inside the eye box, we obtain their extrinsic parameters and warping maps via nonparametric interpolation. Our combination of parametric and nonparametric models outperform state of the art concerning target complexities and time-efficiency, while maintaining a comparable calibration accuracy. Under all of our calibration schemes, the projection errors in the evaluation phase at 7.5 m distance fall within a few millimeters, which means an angular accuracy of about 2 arcminutes, which is close to the resolution of the eye.