Camera Calibration with Non-Central Local Camera Models

Kamerakalibrierung ist eine wichtige Grundvoraussetzung für viele Computer-Vision-Algorithmen wie Stereo-Vision und visuelle Odometrie. Das Ziel der Kamerakalibrierung besteht darin, sowohl die örtliche Lage der Kameras als auch deren Abbildungsmodell zu bestimmen. Das Abbildungsmodell einer Kamera beschreibt den Zusammenhang zwischen der 3D-Welt und der Bildebene.

Aktuell werden häufig einfache globale Kamera-Modelle in einem Kalibrierprozess geschätzt, welcher mit vergleichsweise geringem Aufwand und einer großen Fehlertoleranz durchgeführt werden kann. Um das resultierende Kameramodell zu bewerten, wird in der Regel der Rückprojektionsfehler als Maß herangezogen. ... mehrJedoch können auch einfache Kameramodelle, die das Abbildungsverhalten von optischen Systemen nicht präzise beschreiben können, niedrige Rückprojektionsfehler erzielen. Dies führt dazu, dass immer wieder schlecht kalibrierte Kameramodelle nicht als solche identifiziert werden.

Um dem entgegen zu wirken, wird in dieser Arbeit ein neues kontinuierliches nicht-zentrales Kameramodell basierend auf B-Splines vorgeschlagen. Dieses Abbildungsmodell ermöglicht es, verschiedene Objektive und nicht-zentrale Verschiebungen, die zum Beispiel durch eine Platzierung der Kamera hinter einer Windschutzscheibe entstehen, akkurat abzubilden. Trotz der allgemeinen Modellierung kann dieses Kameramodell durch einen einfach zu verwendenden Schachbrett-Kalibrierprozess geschätzt werden.

Um Kalibrierergebnisse zu bewerten, wird anstelle des mittleren Rückprojektionsfehlers ein Kalibrier-Benchmark vorgeschlagen. Die Grundwahrheit des Kameramodells wird durch ein diskretes Sichtstrahlen-basiertes Modell beschrieben. Um dieses Modell zu schätzen, wird ein Kalibrierprozess vorgestellt, welches ein aktives Display als Ziel verwendet. Dabei wird eine lokale Parametrisierung für die Sichtstrahlen vorgestellt und ein Weg aufgezeigt, die Oberfläche des Displays zusammen mit den intrinsischen Kameraparametern zu schätzen. Durch die Schätzung der Oberfläche wird der mittlere Punkt-zu-Linien-Abstand um einen Faktor von mehr als 20 reduziert. Erst dadurch kann das so geschätzte Kameramodell als Grundwahrheit dienen.

Das vorgeschlagene Kameramodell und die dazugehörigen Kalibrierprozesse werden durch eine ausführliche Auswertung in Simulation und in der echten Welt mithilfe des neuen Kalibrier-Benchmarks bewertet. Es wird gezeigt, dass selbst in dem vereinfachten Fall einer ebenen Glasscheibe, die vor der Kamera platziert ist, das vorgeschlagene Modell sowohl einem zentralen als auch einem nicht-zentralen globalen Kameramodell überlegen ist. Am Ende wird die Praxistauglichkeit des vorgeschlagenen Modells bewiesen, indem ein automatisches Fahrzeug kalibriert wird, das mit sechs Kameras ausgestattet ist, welche in unterschiedliche Richtungen zeigen. Der mittlere Rückprojektionsfehler verringert sich durch das neue Modell bei allen Kameras um den Faktor zwei bis drei.

Der Kalibrier-Benchmark ermöglicht es in Zukunft, die Ergebnisse verschiedener Kalibrierverfahren miteinander zu vergleichen und die Genauigkeit des geschätzten Kameramodells mithilfe der Grundwahrheit akkurat zu bestimmen. Die Verringerung des Kalibrierfehlers durch das neue vorgeschlagene Kameramodell hilft die Genauigkeit weiterführender Algorithmen wie Stereo-Vision, visuelle Odometrie oder 3D-Rekonstruktion zu erhöhen.

Camera calibration is a crucial prerequisite for most computer vision tasks such as stereo vision and visual odometry. The goal of camera calibration is to find the transformation between multiple cameras as well as the parameters of a camera model which describes how the 3D world is projected onto the 2D image sensor.

Today's choice of calibration processes often focuses on ease of use, thus, using simple camera models. Generally after calibration, the performance of these models is assessed using the RMS reprojection error. However, even simple camera models which cannot accurately describe the optical system may achieve small RMS reprojection errors, hiding the insufficiency of the estimated model.
... mehr

To overcome these issues, a novel continuous non-central camera model is proposed. This camera model is able to cope with various lenses and non-central distortions induced by additional optical components, such as windshields, placed in front of the lens. The camera model is based on uniform B-splines which makes it efficient to compute and very flexible. While being more powerful than simpler camera models, its parameters can still be estimated using a fully automated, easy-to-use and robust checkerboard calibration process.

Instead of using the RMS reprojection error metric for performance assessment, a calibration benchmark is presented. The ground truth camera model, based on discrete viewing rays, is generated by an active display calibration process. We propose a local parametrization of these viewing rays and a way to jointly estimate the surface of the active display and the camera model parameters. Estimating the display surface reduces the mean ray-point distance by a factor of more than 20, enabling the generation of true ground truth camera models.

The proposed camera model and its calibration processes are extensively evaluated in simulation and, leveraging the calibration benchmark, the proposed camera model is evaluated in the real world. The evaluation shows that the novel camera model outperforms both a global central and a non-central camera model even in the simple case of a glass pane placed in front of the lens. Finally, the practicability of this model is shown by calibrating an experimental vehicle with a surround-view setup consisting of six cameras, reducing the RMS reprojection error by a factor of two to three for all cameras.

The calibration benchmark enables researchers to compare calibration algorithms and to assess the quality of camera models accurately using a verified ground truth. The lowered calibration error of the proposed camera model helps downstream algorithms such as stereo vision, visual odometry and 3D-reconstruction to improve the overall system performance.