Light Field Imaging for Deflectometry

Optische Messverfahren werden für die hochpräzise Fertigung von Bauteilen und für die Qualitätssicherung immer wichtiger. Der steigende Bedarf kann durch moderne bildgebende Systeme mit fortschrittlichen Optiken gedeckt werden. Insbesondere Lichtfeldkameras erfahren ein immer größeres Interesse in Forschung und Industrie, da sie trotz ihres kompakten und monokularen Designs eine Vielzahl von neuen Messprinzipien ermöglichen. Sie werden jedoch hauptsächlich für die Vermessung diffus reflektierender Szenen verwendet. Für die Analyse spiegelnd reflektierender Oberflächen haben sich die deflektometrischen Messverfahren durchgesetzt. ... mehrSie ermöglichen es, hochpräzise Neigungsinformationen der Messprobe zu erhalten, indem sie die durch die spiegelnde Oberfläche verzerrten Bilder eines Referenzmustergenerators auswerten. Da die spiegelnde Oberfläche für den Beobachter quasi unsichtbar ist, kann die absolute Höhe mit einer herkömmlichen Kamera ohne Zusatzwissen nicht rekonstruiert werden und stattdessen erhält man eine unendliche Vielzahl möglicher Oberflächen. Um das Mehrdeutigkeitsproblem der Deflektometrie zu lösen, zielt diese Arbeit darauf ab, die Vorteile und Möglichkeiten der Lichtfeldkamera für die Rekonstruktion von spiegelnden Oberflächen nutzbar zu machen. Auf dem Weg zu diesem Ziel werden in dieser Arbeit verschiedene Aspekte der Deflektometrie untersucht und Möglichkeiten für Verbesserungen vorgestellt.

Im Rahmen der Deflektometrie ist es notwendig, eine optische Positionskodierung durchzuführen, um die Oberfläche mittels Triangulation rekonstruieren zu können. Die Abbildung von Punkten in der Ebene eines Referenzmonitors auf Kamerapixel wird in dieser Arbeit mittels Phasenschub-Codierung durchgeführt. Multifrequenz-Verfahren mit temporal codierten Sinusmustersequenzen werden häufig eingesetzt, um Phasenrauschen zu reduzieren und damit die Messergebnisse zu verbessern. Sie führen aber zu Mehrdeutigkeiten, die erst mit Methoden der Phasenentfaltung aufgelöst werden können. Die klassischen Entfaltungsmethoden nutzen jedoch im Allgemeinen nicht die gesamte Information, um alle Messungen gleichzeitig zu entfalten und berücksichtigen nicht die Periodizität der Phase, was zu Fehlern führen kann. In dieser Arbeit wird deshalb ein neuer Ansatz vorgestellt, der die Phase mit Hilfe einer probabilistischen Modellierung optimal rekonstruiert. Die einzelnen Phasenmessungen werden durch zirkuläre Wahrscheinlichkeitsdichten modelliert und die Maximierung der Verbunddichte aller Messungen ergibt die optimale Dekodierung. Da die gesamte Information aller Phasenmessungen gleichzeitig genutzt wird und die Faltung der Phase implizit kompensiert wird, kann die Zuverlässigkeit stark erhöht werden. Zusätzlich wird das Verfahren durch eine probabilistische Modellierung der lokalen Pixel-Nachbarschaften erweitert, wodurch eine spatio-temporale Phasenentfaltung ermöglicht wird.

Im Vergleich zu Standardkameras haben Lichtfeldkameras einen komplexeren optischen Aufbau. Weil die Deflektometrie eine hochgenaue Kalibrierung benötigt, ist es deshalb schwierig, die Lichtfeldkamera ausreichend genau mit nur einem niedrigdimensionalen Kameramodell zu beschreiben. Die Kalibrierung der Lichtfeldkamera erfolgt daher in dieser Arbeit mittels eines generischen Kameramodells, bei dem die zu jedem Pixel gehörigen Sichtstrahlen individuell geschätzt werden, wodurch eine hochgenaue Kalibrierung erreicht werden kann. Hierfür wird ein Ansatz präsentiert, der die generische Kalibrierung über eine alternierende Optimierung der Sichtstrahlen und Schätzung der unbekannten Posen eines Referenzmonitors durchführt, wobei die Positionsunsicherheit der Referenzkoordinaten, welche aus der Phasenschub-Codierung erhalten wird, in der Optimierung berücksichtigt wird. Weiter wird gezeigt, dass eine zusätzliche Modellierung des Referenzmonitors die Ergebnisse verbessert, da mögliche Deformationen des Displays beachtet werden und die Brechung am Frontglass kompensiert werden kann.

Weil Lichtfeldkameras üblicherweise für Tiefenschätzung oder digitale Refokussierung verwendet werden, muss im allgemeinen das 4D-Lichtfeld aus den 2D-Sensorrohdaten decodiert werden. Dies ist jedoch üblicherweise stark abhängig vom jeweiligen Typ der Lichtfeldkamera. Um dieses Problem zu umgehen, wird in dieser Arbeit ein Algorithmus vorgestellt, welcher die generische Kamerakalibrierung nutzt, um ein Lichtfeld aus dem unbeschränkten Strahlenbündel zu rekonstruieren. Hiermit wird eine generische Lichtfeldrekonstruktion ermöglicht, mit der Lichtfelder aus beliebigen Lichtfeld-Aufnahmesystemen rekonstruiert werden können, vollkommen unabhängig davon, ob die Lichtfeldkamera auf Mikrolinsen, Spiegeln oder codierten Blenden basiert oder mittels eines Kameraarrays realisiert wird.

Nachdem alle Grundlagen für die Deflektometrie gegeben sind, wird im weiteren Verlauf der Arbeit schließlich mithilfe des rekonstruierten Lichtfeldes eine deflektometrische Messung spiegelnder Oberflächen ermöglicht. Hierzu wird ein lichtfeldbasierter Multi-Stereo-Deflektometrie-Ansatz realisiert, der es erlaubt, die Tiefe der spiegelnden Oberfläche zu schätzen und gleichzeitig die Mehrdeutigkeit der deflektometrischen Messung aufzulösen, womit eine eindeutige Rekonstruktion der Oberfläche gefunden werden kann. Weil die deflektometrische Normalenmessung um Größenordnungen präziser als die Tiefenschätzung ist und weil die Lichtfeldkamera für jede Multi-Stereo-Ansicht eine Lösung liefert, ist es sinnvoll, alle Informationsquellen zu fusionieren. Die Multi-Stereo-Tiefen- und Normalenschätzungen werden daher im Weiteren zu einer einzigen Oberfläche fusioniert, wodurch eine hochpräzise Rekonstruktion erhalten werden kann.

Alle vorgestellten Ansätze werden mittels ausführlichen Simulationen und Experimenten ausgewertet und es kann gezeigt werden, dass die exakte geometrische Kalibrierung des Messsystems von wesentlicher Bedeutung ist und dass Lichtfeldkameras trotz ihres kompakten und monokularen Aufbaus hohe Rekonstruktionsgenauigkeiten für die Deflektometrie erzielen können.

Optical measurement methods are becoming increasingly important for the high-precision production of components and for quality assurance. The increasing demand can be met by modern imaging systems with advanced optics. In particular, light-field cameras are experiencing an increasing interest in research and industry, as they enable a variety of new measurement principles despite their compact and monocular design. However, they are mainly used for surveying diffusely reflecting scenes. For the analysis of specular reflecting surfaces, deflectometric measurement methods have become widely accepted. ... mehrThey make it possible to obtain highly accurate slope information of the measurement sample by evaluating the images of a reference pattern generator distorted by the specular surface. Since the specular surface is virtually invisible to the observer, the absolute height cannot be reconstructed with a conventional camera without additional information, and instead an infinite variety of possible surfaces is obtained. In order to solve the ambiguity problem of deflectometry, this work aims to exploit the advantages and possibilities of the light field camera for the reconstruction of specular surfaces. Towards this goal, this thesis examines various aspects of deflectometry and presents possibilities for improvement.

In the context of deflectometry, it is necessary to perform optical position coding in order to reconstruct the surface using triangulation. The mapping of points in the plane of a reference monitor to camera pixels is performed in this work using phase shift coding. Multi-frequency methods using temporally encoded sinusoidal pattern sequences are often used to reduce phase noise and thus improve measurement results. However, they lead to ambiguities that can only be resolved by phase unwrapping methods. However, classical unwrapping methods generally do not use all the information to unwrap all measurements simultaneously and do not take into account the periodicity of the phase, which can lead to errors. In this paper, a new approach is presented, which optimally reconstructs the phase using probabilistic modeling. The individual phase measurements are modeled by circular probability densities, and maximizing the compound density of all measurements yields the optimal decoding. Since the entire information of all phase measurements is used simultaneously and the wrapping the phase is implicitly compensated, the reliability can be greatly increased. In addition, the method is extended by probabilistic modeling of the local pixel neighborhoods, allowing spatio-temporal phase unwrapping.

Compared to standard cameras, light field cameras have a more complex optical setup. Because deflectometry requires high-precision calibration, it is therefore difficult to describe the light field camera with sufficient accuracy using only a low-dimensional camera model. Therefore, in this work, the calibration of the light field camera is performed by means of a generic camera model in which the view rays associated with each pixel are estimated individually, allowing a highly accurate calibration to be achieved. For this purpose, an approach is presented that performs the generic calibration via an alternating optimization of the view rays and estimation of the unknown poses of a reference monitor, where the position uncertainty of the reference coordinates, which is obtained from the phase shift coding, is taken into account in the optimization. Further, it is shown that additional modeling of the reference monitor improves the results, since deformations of the display are taken into account and the refraction at the front glass can be compensated.

Because light field cameras are usually used for depth estimation or digital refocusing, in general the 4D light field must be decoded from the raw 2D sensor data. However, this is usually highly dependent on the particular type of light field camera. To overcome this problem, this work presents an algorithm that uses generic camera calibration to reconstruct a light field from the unconstrained ray bundle. This enables generic light field reconstruction, which can be used to reconstruct light fields from arbitrary light field imaging systems, completely independent of whether the light field camera is based on microlenses, mirrors, or coded apertures, or is implemented using a camera array.

After all prerequisites for deflectometry are provided, the reconstructed light field is used to perform deflectometric measurements of specular surfaces. For this purpose, a light field-based multi-stereo deflectometry approach is realized, which allows to estimate the depth of the specular surface while resolving the ambiguity of the deflectometric measurement, thus an unambiguous reconstruction of the surface can be found. Because the deflectometric normal measurement is orders of magnitude more precise than the depth estimation, and because the light field camera provides a solution for each multi-stereo view, it makes sense to fuse all sources of information. The multi-stereo depth and normal estimates are therefore fused into a single surface hereafter, allowing a high-precision reconstruction to be obtained.
All presented approaches are evaluated by means of detailed simulations and experiments and it can be shown that the accurate geometric calibration of the measurement system is essential and that light field cameras can achieve high reconstruction accuracies for deflectometry despite their compact and monocular design.