Self-Calibration of Multi-Camera Systems for Vehicle Surround Sensing

Multikamerasysteme werden heute bereits in einer Vielzahl von Fahrzeugen und mobilen Robotern eingesetzt. Die Anwendungen reichen dabei von einfachen Assistenzfunktionen wie der Erzeugung einer virtuellen Rundumsicht bis hin zur Umfelderfassung, wie sie für teil- und vollautomatisches Fahren benötigt wird. Damit aus den Kamerabildern metrische Größen wie Distanzen und Winkel abgeleitet werden können und ein konsistentes Umfeldmodell aufgebaut werden kann, muss das Abbildungsverhalten der einzelnen Kameras sowie deren relative Lage zueinander bekannt sein.
Insbesondere die Bestimmung der relativen Lage der Kameras zueinander, die durch die extrinsische Kalibrierung beschrieben wird, ist aufwendig, da sie nur im Gesamtverbund erfolgen kann. ... mehrDarüber hinaus ist zu erwarten, dass es über die Lebensdauer des Fahrzeugs hinweg zu nicht vernachlässigbaren Veränderungen durch äußere Einflüsse kommt. Um den hohen Zeit- und Kostenaufwand einer regelmäßigen Wartung zu vermeiden, ist ein Selbstkalibrierungsverfahren erforderlich, das die extrinsischen Kalibrierparameter fortlaufend nachschätzt.
Für die Selbstkalibrierung wird typischerweise das Vorhandensein überlappender Sichtbereiche ausgenutzt, um die extrinsische Kalibrierung auf der Basis von Bildkorrespondenzen zu schätzen. Falls die Sichtbereiche mehrerer Kameras jedoch nicht überlappen, lassen sich die Kalibrierparameter auch aus den relativen Bewegungen ableiten, die die einzelnen Kameras beobachten. Die Bewegung typischer Straßenfahrzeuge lässt dabei jedoch nicht die Bestimmung aller Kalibrierparameter zu. Um die vollständige Schätzung der Parameter zu ermöglichen, lassen sich weitere Bedingungsgleichungen, die sich z.B. aus der Beobachtung der Bodenebene ergeben, einbinden. In dieser Arbeit wird dazu in einer theoretischen Analyse gezeigt, welche Parameter sich aus der Kombination verschiedener Bedingungsgleichungen eindeutig bestimmen lassen.
Um das Umfeld eines Fahrzeugs vollständig erfassen zu können, werden typischerweise Objektive, wie zum Beispiel Fischaugenobjektive, eingesetzt, die einen sehr großen Bildwinkel ermöglichen. In dieser Arbeit wird ein Verfahren zur Bestimmung von Bildkorrespondenzen vorgeschlagen, das die geometrischen Verzerrungen, die sich durch die Verwendung von Fischaugenobjektiven und sich stark ändernden Ansichten ergeben, berücksichtigt. Darauf aufbauend stellen wir ein robustes Verfahren zur Nachführung der Parameter der Bodenebene vor.
Basierend auf der theoretischen Analyse der Beobachtbarkeit und den vorgestellten Verfahren stellen wir ein robustes, rekursives Kalibrierverfahren vor, das auf einem erweiterten Kalman-Filter aufbaut. Das vorgestellte Kalibrierverfahren zeichnet sich insbesondere durch die geringe Anzahl von internen Parametern, sowie durch die hohe Flexibilität hinsichtlich der einbezogenen Bedingungsgleichungen aus und basiert einzig auf den Bilddaten des Multikamerasystems.
In einer umfangreichen experimentellen Auswertung mit realen Daten vergleichen wir die Ergebnisse der auf unterschiedlichen Bedingungsgleichungen und Bewegungsmodellen basierenden Verfahren mit den aus einer Referenzkalibrierung bestimmten Parametern. Die besten Ergebnisse wurden dabei durch die Kombination aller vorgestellten Bedingungsgleichungen erzielt. Anhand mehrerer Beispiele zeigen wir, dass die erreichte Genauigkeit ausreichend für eine Vielzahl von Anwendungen ist.

Multi-camera systems are being deployed in a variety of vehicles and mobile robots today. Applications of such systems range from driver assistance functions such as rendering a virtual panoramic view to surround sensing, which is a prerequisite for partially and fully automated driving. In order to derive metric quantities such as angles and distances from camera images and to establish a consistent representation of the vehicle environment, both, the geometric imaging characteristics of the individual cameras and the relative positions and orientations have to be known. ... mehr
In particular the estimation of the relative positions and orientations, which are described by the extrinsic calibration, is troublesome since it can only be performed with the system being fully set up and since non-negligible changes of the parameters have to be expected over the life cycle of the vehicle due environmental influences. To eliminate the need for cost and labor intensive maintenance, continuous self-calibration is highly desirable.
Self-calibration typically builds upon overlapping field of views of cameras, which enables estimating the extrinsic calibration parameters using image correspondences. Motion-based calibration on the other hand does not impose constraints on the fields of view. However, the almost planar motion of typical road vehicles constitutes a special case in which only a subset of the calibration parameters can be inferred. To circumvent this problem additional constraints can be imposed, e.g. by using the ground plane as a natural reference object. In a theoretical analysis we determine the sets of parameters that can be inferred from different vehicle motion classes and camera configurations.
For visual surround sensing typically cameras with ultra-wide angle lenses, such as fisheye lenses, are employed. In order to establish image correspondences in the presence of strong geometrical distortions introduced by the lens and large viewpoint variations we propose an image warping method that exploits the knowledge about the geometric imaging process and performs a coarse scene approximation. In addition, we present a method for tracking the ground plane in the presence of structural outliers such as other planes in the scene.
Building upon the observability analysis and proposed methods we present an extended Kalman filter-based algorithm for continuous extrinsic camera self-calibration. The filter exhibits high flexibility with regard to incorporating different measurement constraints, has a particularly low number of internal parameters, and relies solely on image data.
In an extensive evaluation we assess our algorithm quantitatively using real-world data. We compare results based on different motion models and combinations of measurement constraints against a reference calibration. It is found that the best results are obtained by combining all of the proposed measurement constraints. Using several examples we demonstrate that the achieved accuracy is sufficient for most applications.