Visualization and Learning-based Classification Methods for the Analysis of Multi-frequency Polarimetric Interferometric Synthetic Aperture Radar Image Data

Polarimetrische Synthetic Aperture Radar (PolSAR) Systeme haben sich aufgrund ihrer Fähigkeit, informationsreiche Bilddaten unabhängig von Wetter- und Beleuchtungs-
bedingungen aufnehmen zu können, als wichtige Technologie in der Erdbeobachtung etabliert. Die Analyse polarimetrischer SAR (PolSAR) Daten ermöglicht die Unterscheidung verschiedener Landbedeckungen und die Schätzung geophysikalischer Parameter wie beispielsweise Oberflächenrauhigkeit und Bodenfeuchte. Durch den zusätzlichen Einsatz der SAR Interferometrie können darüber hinaus komplementäre Informationen aus der Phasendifferenz eines Bildpaares gewonnen werden. ... mehrDie Kombination aus SAR Polarimetrie und Interferometrie (PolInSAR) erlaubt eine umfassende Charakterisierung beobachteter Szenen. Aufgrund der variierenden Eindringtiefe elektromagnetischer Wellen in Abhängigkeit von ihrer Wellenlänge bieten multifrequente PolInSAR-Daten Potenzial für eine noch detailliertere Analyse. Das Ziel dieser Dissertation ist es, den reichhaltigen Informationsgehalt multifrequenter PolInSAR Daten sowohl im Rahmen der manuellen, anwendergesteuerten Analyse als auch der automatischen Analyse vollständig auszuschöpfen. Um dies zu erreichen, werden neue Methoden für die Datenvisualisierung und die lernbasierte Klassifikation entwickelt und evaluiert.

Um die Information multifrequenter PolInSAR Daten durch einfach interpretierbare Visualisierung darzustellen, ist die Transformation der multidimensionalen komplexwertigen Signale in dreidimensionale, reellwertige Darstellungen erforderlich, die den Informationsgehalt optimal erhalten. In dieser Arbeit wird dazu das Dimensionsreduktionsverfahren Uniform Manifold Approximation and Projection (UMAP) auf PolInSAR Daten zugeschnitten und angewendet. Dazu werden zwei Ansätze vorgeschlagen: Feature-UMAP (F-UMAP), bei welchem eine Menge polarimetrischer und interferometrischer Merkmale extrahiert und mittels UMAP kondensiert wird und Wishart-UMAP (W-UMAP), bei welchem ein statistisches Verteilungsmodell für PolInSAR Daten genutzt wird, indem eine Wishart-basierte Distanzmetrik in den UMAP-Algorithmus integriert wird. Die Ergebnisse zeigen, dass der Einsatz von UMAP eine gute Erhaltung der Datenstruktur und der Trennbarkeit von Landbedeckungsklassen gewährleistet und in dieser hinsicht vergleichbare Dimensionsreduktionsmethoden übertrifft. Die UMAP-basierte Visualisierung erweist sich als geeignetes Werkzeug für die Generierung intuitiv interpretierbarer Darstellungen. Die Visualisierung der Datenstruktur durch Streudiagramme erleichtert die Erkennung von Mustern und Clustern in den komplexen Daten. Darüber hinaus können einfach interpretierbare Farbbilder erzeugt werden, die eine visuelle Szenenanalyse ermöglichen, und somit Analysten erlauben, Kontextwissen in die Datenanalyse einzubringen und Anwendungspotenziale zu identifizieren. Das so erlangte verbesserte Datenverständnis unterstützt folgend die gezielte Entwicklung automatischer Analysemethoden.

Ein zentraler Anwendungsbereich der automatischen Datenanalyse in der Fernerkundung ist die Klassifikation der Landbedeckung. Inspiriert durch den Erfolg von Convolutional
Neural Networks (CNNs), welche zu bemerkenswerten Fortschritten in der automatischen Interpretation optischer Bilddaten geführt haben, wird in dieser Arbeit die CNN-basierte
Klassifikation auf multifrequente PolInSAR Daten übertragen. Um den Einsatz etablierte CNN Modelle zu ermöglichen, werden verschiedene Ansätze vorgestellt und verglichen,
welche zunächst die vielschichtige Information der Daten in eine reellwertige Darstellung transformieren. Die getesteten Darstellungen basieren entweder auf der direkten Verwendung der PolInSAR Kohärenzmatrix oder der Kombination vielfältiger zuvor extrahierter polarimetrischer und interferometrischer Merkmale. Um die Darstellung zu identifizieren, die sich am besten als Input für die CNN-basierte Landbedeckungsklassifikation eignet, werden Experimente mit verschiedenen U-Net basierten CNN Modellen auf dem eigenserstellten offenen Pol-InSAR-Island Benchmark Datensatz durchgeführt. Die beste Klassifikationsleistung wird erzielt, indem polarimetrische und interferometrische Merkmale in die CNN-basierte Klassifikation integriert werden. Die auf diese Weise erzielten Klassifikationsergebnisse übertreffen dabei auch die Ergebnisse, die mittels traditioneller lernbasierter Verfahren wie dem Wishart Klassifikator und dem Random Forest erreicht werden. Um Rechen- und Speicherbedarf des vorgeschlagenen Ansatzes zu reduzieren, werden verschiedene Dimensionsreduktionsmethoden, die vor oder innerhalb der CNN Klassifikation angewendet werden, evaluiert. Die Ergebnisse zeigen, dass die Anwendung einer vorherigen Merkmalstransformation mit der Hauptkomponentenanalyse (PCA) oder einer Merkmalsauswahl durch die minimum Redundancy Maximum Relevance (mRMR) Methode die Dimension der CNN Eingangsdaten effektiv reduziert, während der Verlust der Klassifikationsleistung minimal bleibt. Dadurch verkürzt sich die Trainingszeit der CNNs erheblich. Die Erkenntnisse darüber, wie man die vielschichtige Information multifrequenter PolInSAR Daten mit den Fähigkeiten von CNNs komplexe Bildmuster zu erkennen und zu klassifizieren, kombiniert, legen die Basis für die zukünftige Weiterentwicklung lernbasierter Modelle für die automatische PolInSAR Bildinterpretation.

Polarimetric Synthetic Aperture Radar (PolSAR) systems have established themselves as essential instruments in Earth observation because they can capture information-rich image data independent of weather and illumination conditions. Analyzing PolSAR data allows for distinguishing different land cover and estimating geophysical parameters such as surface roughness and soil moisture. By additionally using SAR interferometry, complementary information is obtained from the phase difference of an image pair. Thus, the combination of SAR polarimetry and interferometry (PolInSAR) allows a comprehensive characterization of observed scenes. ... mehrDue to the varying penetration depth of electromagnetic waves depending on their wavelength, multi-frequency PolInSAR data offer the potential for an even more detailed analysis. This dissertation aims to fully exploit the rich information content of multi-frequency PolInSAR data in the context of both manual, human-driven analysis and automatic analysis. For this purpose, new methods for data visualization and learning-based data classification are developed and evaluated.

To display the information of multi-frequency PolInSAR data through user-friendly visualizations, it is necessary to transform the multi-dimensional, complex-valued signals into three-dimensional, real-valued representations that optimally preserve the information content. In this work, the dimension reduction method Uniform Manifold Approximation and Projection (UMAP) is tailored and applied to PolInSAR data. Two approaches are proposed: Feature-UMAP (F-UMAP), in which a set of polarimetric and interferometric features is extracted and condensed using UMAP, and Wishart-UMAP (W-UMAP), which utilizes a statistical distribution model for PolInSAR data by integrating a Wishart-based distance metric into the UMAP algorithm. The results show that employing UMAP ensures good preservation of the data structure and the separability of land cover classes, outperforming comparable dimension reduction methods in this respect. The UMAP-based visualization proves to be a suitable tool for generating intuitively interpretable data representations. Visualizing the data structure using scatter plots facilitates the detection of patterns and clusters in complex data. In addition, easily interpretable color images can be generated to enable visual scene analysis, allowing analysts to incorporate contextual knowledge into the data analysis and identify potential applications. The resulting improved understanding of the data subsequently supports the targeted development of automatic analysis methods.

An essential application of automatic data analysis in remote sensing is land cover classification. Inspired by the success of Convolutional Neural Networks (CNNs) which has led to remarkable advances in the automatic interpretation of optical image data, this thesis transfers CNN-based classification to multi-frequency PolInSAR data. To enable the use of established CNN models, different approaches are developed and compared, which transform the multi-layered information of the data into a real-valued representation that serves as model input. The tested representations are either based on directly using the PolInSAR coherency matrix or combining a wide range of previously extracted polarimetric and interferometric features. To identify the representation that is best suited as input for the CNN-based land cover classification, experiments with different U-Net-based CNN models are performed on the custom-built open Pol-InSAR-Island benchmark dataset. The best classification performance is achieved by integrating polarimetric and interferometric features into the CNN-based classification. The classification results obtained in this way also outperform those obtained using traditional learning-based methods such as the Wishart classifier and the Random Forest. In order to reduce the computational and memory requirements of the proposed approach, different dimension reduction methods applied before or within the CNN classification are evaluated. The results show that applying a prior feature transformation with Principal Component Analysis (PCA) or feature selection via the minimum Redundancy Maximum Relevance (mRMR) method effectively reduces the dimension of the CNN input data with only minimal loss of classification performance. This reduction significantly shortens the training time of the CNN. The findings regarding how to combine the multi-layered information of multi-frequency PolInSAR data with the ability of CNNs to recognize and classify complex image patterns lay the foundation for the future advancements of learning-based models for automatic PolInSAR image interpretation.