Methodische Evaluation von Verfahren zur Korrektur atmosphärischer Turbulenz in Bildsequenzen

Bei langen horizontalen Ausbreitungswegen in Bodennähe ist die Atmosphäre und nicht die Qualität moderner bildgebender Systeme ausschlaggebend für die Qualität aufgenommener Bilddaten. Besonders wird die Bildqualität durch atmosphärische Turbulenz beeinträchtigt, die je nach Schweregrad zeitlich und räumlich variierende Unschärfe, (scheinbare) Bildbewegungen und geometrische Deformationen, sowie Intensitätsfluktuationen (Szintillation), verringerten (Farb-)Kontrast und Rauschen verursacht. Korrekturverfahren haben entsprechend die Aufgabe, einen, mehrere oder ggfs. alle dieser Turbulenzeffekte in Bilddaten zu reduzieren und diese bestmöglich zu rekonstruieren. ... mehrIm Idealfall wäre eine solche Rekonstruktion identisch mit einer Aufnahme am Diffraktionslimit ohne Turbulenz.

Diverse Anwendungsgebiete, die mit der Akquisition von Bilddaten über ausgedehnte (horizontale) Wegstrecken unter potenziell turbulenten Bedingungen befasst sind, können von einer effizienten Turbulenzkorrektur deutlich profitieren. Neben speziellen Formen optischer Kommunikation betrifft dies insbesondere klassische Fernerkundungsaufgaben, wie z.B. militärische Aufklärung oder (Grenz-)Überwachung. Während für Beobachtungen punktförmiger, (annähernd) statischer Objekte über vertikalen Ausbreitungswegen bereits etablierte Korrekturmethoden existieren (z.B. Adaptive Optik für astronomische Anwendungen oder optische Freiraumkommunikation), handelt es sich bei der Turbulenzkorrektur für horizontale Bilderfassung ausgedehnter und u.U. bewegter Objekte hingegen nach wie vor um ein aktives Forschungsfeld. Hierfür bieten sich vor allem softwarebasierte Verfahren an, deren Hauptvorteile gegenüber Hardware-Lösungen nicht nur in den vergleichsweise geringen Materialkosten liegen, die zur Herstellung und Nutzung erforderlich sind, sondern hauptsächlich in ihrer Flexibilität (inkl. Mobilität) und Vielzahl von Anwendungsmöglichkeiten, wie insbesondere für den Fall ausgedehnter und ggfs. bewegter Objekte.

Diese Arbeit beschäftigt sich vor allem mit den praktischen Aspekten der Frage, wie genau (d.h. mit welchen Methoden) man solche Turbulenzbeeinträchtigungen am besten (oder ggfs. am schnellsten) abmildern und die Qualität der Bilddaten mit Hilfe von problemspezifisch selektierten Rekonstruktionsverfahren gezielt verbessern kann. Ein besonderer Fokus liegt dabei auf Bildsequenzen, die insbesondere auch (gerichtete) Objektbewegung enthalten, sowie auf einer potenziellen Echtzeitfähigkeit der einzelnen Methoden.

In dieser Arbeit werden verschiedene Verfahren zur Korrektur der am stärksten ausgeprägten Turbulenzeffekte untersucht. Dies umfasst die Auswahl und Implementierung geeigneter Algorithmen, sowie eine bewertende Diskussion ihrer Leistungsfähigkeit im Vergleich. Neben Entfaltungsmethoden zur Rekonstruktion hoher Frequenzanteile und Verbesserung der Bildschärfe ist dabei die Kompensation globaler und speziell lokaler Bildbewegungen mithilfe von "Block Matching"-Algorithmen und Schätzverfahren für den Optischen Fluss ein zentrales Thema.
Insbesondere wird eine gerichtete lokale Bildstapelung zur Kompensation von Objektbewegungen und Reduktion von Bewegungsunschärfe konzipiert und umgesetzt, wobei es sich um eine innovative Kombination aus Bewegungsschätzung und modifizierter Bildstapelung handelt. Ein grundlegender Aspekt ist dabei die Differenzierung von eigenständiger Objektbewegung und Bewegung, die durch Turbulenz verursacht wird.
Des Weiteren wird eine modifizierte mehrstufige Form der iterativen blinden Entfaltung nach Ayers und Dainty mit spezieller Gewichtung der Kanten im Bild vorgestellt, womit sich "Ringing"-Effekte in homogenen Bildregionen reduzieren lassen.

Einen weiteren Kernpunkt der Arbeit bildet zudem die Entwicklung einer Methodik zum Vergleich derartiger Rekonstruktionsverfahren unter Berücksichtigung anwendungsspezifischer Prioritäten bei der Bewertung. Zwar existiert eine Vielzahl an Qualitätsmetriken, die zu Vergleichen herangezogen werden können, jedoch ist eine objektive Ergebnisevaluation ohne verfügbare "Ground Truth"-Daten eine nicht-triviale Aufgabe. Es wird daher ein tabellarischer Lösungsansatz vorgeschlagen, anhand dessen sich ähnliche Voraussetzungen zusammenfassen lassen, um Algorithmen für typische Anwendungsszenarien besser miteinander vergleichbar zu machen.

In the case of long horizontal propagation paths near the ground, the atmosphere and not the quality of modern imaging systems is the determining factor for the quality of acquired image data. Image quality is particularly affected by atmospheric turbulence, which, depending on its severity, causes temporally and spatially varying blurring, (apparent) image motion and geometric deformations, as well as intensity fluctuations (scintillation), reduced (colour) contrast and noise. Accordingly, correction methods are tasked with reducing one, several or possibly all of these turbulence effects in image data and reconstructing them in the best possible way. ... mehrIdeally, such a reconstruction would be identical to an image at the diffraction limit without turbulence.

Various application areas that are concerned with the acquisition of image data over extended (horizontal) distances under potentially turbulent conditions can benefit significantly from efficient turbulence correction methods. In addition to special forms of optical communication, this applies in particular to classic remote sensing tasks, such as military reconnaissance or (border) surveillance. While established correction methods exist for observations of point-like, (approximately) static objects over (near) vertical propagation paths (e.g. adaptive optics for astronomical applications or optical free-space communication), turbulence correction for horizontal imaging of extended and possibly moving targets is still an area of active research. For this purpose, software-based methods are particularly well suited, since their main advantages over hardware solutions include not only the comparatively low costs of materials required for their production as well as their utilisation, but also their flexibility (incl. mobility) and the large number of possible applications, especially in the case of extended and potentially moving objects.

This thesis is primarily concerned with the practical aspects of the question of how exactly (i.e. with which methods) such turbulence impairments can be mitigated most effectively (or most rapidly, as the case may be) and how the quality of the image data can be specifically improved by employing problem-specific reconstruction methods. A special focus is placed on image sequences that also contain (directional) object motion in particular, as well as on a potential real-time capability of the individual methods. In this work, different methods for the correction of the most pronounced turbulence effects are investigated. This includes the selection and implementation of suitable algorithms, as well as an evaluative discussion of their performance by comparison.

A central topic here, in addition to deconvolution methods for reconstructing high frequency components and improving image sharpness, is the compensation of global and especially local image movements with the aid of block matching algorithms and estimation methods for the optical flow. More specifically, directional local image stacking is proposed and implemented to compensate for object motion and reduce motion blur, involving an innovative combination of motion estimation and modified image stacking. A fundamental aspect is the differentiation of independent object motion and motion caused by turbulence. Furthermore, a modified multi-stage form of iterative blind deconvolution according to Ayers and Dainty with special weighting of the edges in the image is presented, with which ringing effects in homogeneous image regions can be substantially reduced.

Another key point of the work is the development of a methodology for comparing such reconstruction methods, taking into account priorities in the evaluation that are specific to the application. Although there is a wide range of quality metrics that can be used for such comparisons, an objective evaluation of results is a non-trivial task without available ground truth data. Therefore, a tabular solution approach is proposed, which can be used to summarise similar prerequisites in order to make algorithms for typical application scenarios easier to compare with each other.