Intrinsic camera calibration for 3D machine vision – accuracy estimation and learned self-calibration

Um Kamerabilder für Techniken wie visuelle Lokalisierung, 3D-Rekonstruktion oder visuelle Odometrie nutzen zu können, ist ein genaues Projektionsmodell der Kamera erforderlich. Ein solches Projektionsmodell ist eine Grundvoraussetzung für visuelle Umfeldwahrnehmung, z.B. in der Robotik und beim automatisierten Fahren.

Projektionsmodelle werden im Rahmen der Kalibrierung bestimmt, wobei die bisherige Forschung verschiedene Modelle und Techniken entwickelt hat. Diese sind jedoch durch zwei Faktoren limitiert: (i) Abweichungen des geschätzten Modells von der realen Kamera sind nicht trivial zu erkennen, da sie häufig durch Messrauschen überlagert sind, oder aufgrund geometrischer Mehrdeutigkeiten in den Daten nicht beobachtet werden können. ... mehr(ii) Kalibrierung basiert meist auf Bildern von bekannten Kalibriertargets, was ihre praktische Anwendbarkeit einschränkt. Diese Einschränkungen werden in der vorliegenden Arbeit adressiert. Im ersten Teil werden Methoden entwickelt, welche eine Schätzung der systematischen Abweichungen und der Unsicherheit eines Projektionsmodells ermöglichen.

Dabei wird zur Erkennung systematischer Abweichungen eine Methode entwickelt, welche Rückprojektionsfehler in Messrauschen und systematischen Fehleranteil zerlegt. Zur Schätzung der Unsicherheit wird ein nichtparametrisches approximiertes Bootstrap Verfahren vorgeschlagen, welches robust gegen Abweichungen von idealen, normalverteilten Daten ist. Im zweiten Teil wird ein neuer Ansatz zur targetlosen Selbstkalibrierung entwickelt, welcher die Schätzung des Projektionsmodells einer Kamera basierend auf Bildsequenzen einer unbekannten Umgebung ermöglicht. Dabei wird ein tiefes neuronales Netz zur Merkmalsextraktion und Korrespondenzsuche mit einer klassischen nicht-linearen Least-Squares-Optimierung der Kameraparameter kombiniert.

Experimentelle Ergebnisse zeigen, dass die vorgestellten Techniken eine verlässliche Genauigkeitsschätzung ermöglichen, und dass der entwickelte Ansatz zur Selbstkalibrierung eine höhere Genauigkeit als existierende klassische und auf Deep Learning basierende Verfahren erzielt. Dadurch kann diese Arbeit zur Genauigkeit und Sicherheit von kamerabasierter Umfeldwahrnehmung beitragen.

An accurate model of a camera’s projection is essential for computer vision tasks ranging from visual SLAM to stereo vision and neural radiance fields. It builds the foundation for visual perception in automated driving and robotics, and it turns a camera into a measurement instrument.

Projection models are inferred during calibration, where prior research has proposed a variety of model formulations and calibration techniques. Yet, two aspects limit existing techniques: (i) inaccuracies in the inferred model are challenging to identify, as they are often superimposed by measurement noise, or unobservable because of geometric ambiguities in the data, and (ii) existing techniques typically require images of a known target, limiting their practical applicability.
... mehr

To address these challenges, this thesis introduces two building blocks: First, an accuracy-aware approach to target-based calibration is proposed, which infers bias and uncertainty along with the projection model. Subsequently, a deep learning based approach to intrinsic camera self-calibration is introduced, which enables estimating a camera’s projection model without targets,
based on image sequences of an unknown environment. To detect bias, residual calibration errors are decomposed into measurement noise and bias. This enables detecting false model assumptions and selecting adequate models. To estimate uncertainty, an approximated bootstrap approach is introduced, giving a non-parametric alternative to the existing parametric covariance estimator. Thereby, uncertainty can be estimated for real-world calibrations, without ideal assumptions on the distribution of measurement noise.

Finally, to infer a camera’s projection model based on images of an unknown environment, a learned self-calibration approach is proposed. By integrating classical self-calibrating bundle adjustment into a deep learning model, the capabilities of deep neural networks for feature extraction and matching are leveraged, while multi-view constraints are explicitly imposed.

Experiments show that the presented techniques enable reliable accuracy estimation and more accurate self-calibration than existing approaches. Thereby, they can contribute to the accuracy and safety of camera-based 3D perception.