Development and Applications of Machine Learning Methods for Hyperspectral Data

Die hyperspektrale Fernerkundung der Erde stützt sich auf Daten passiver optischer Sensoren, die auf Plattformen wie Satelliten und unbemannten Luftfahrzeugen montiert sind. Hyperspektrale Daten umfassen Informationen zur Identifizierung von Materialien und zur Überwachung von Umweltvariablen wie Bodentextur, Bodenfeuchte, Chlorophyll a und Landbedeckung. Methoden zur Datenanalyse sind erforderlich, um Informationen aus hyperspektralen Daten zu erhalten. Ein leistungsstarkes Werkzeug bei der Analyse von Hyperspektraldaten ist das Maschinelle Lernen, eine Untergruppe von Künstlicher Intelligenz. ... mehrMaschinelle Lernverfahren können nichtlineare Korrelationen lösen und sind bei steigenden Datenmengen skalierbar. Jeder Datensatz und jedes maschinelle Lernverfahren bringt neue Herausforderungen mit sich, die innovative Lösungen erfordern. Das Ziel dieser Arbeit ist die Entwicklung und Anwendung von maschinellen Lernverfahren auf hyperspektrale Fernerkundungsdaten. Im Rahmen dieser Arbeit werden Studien vorgestellt, die sich mit drei wesentlichen Herausforderungen befassen: (I) Datensätze, welche nur wenige Datenpunkte mit dazugehörigen Ausgabedaten enthalten, (II) das begrenzte Potential von nicht-tiefen maschinellen Lernverfahren auf hyperspektralen Daten und (III) Unterschiede zwischen den Verteilungen der Trainings- und Testdatensätzen.

Die Studien zur Herausforderung (I) führen zur Entwicklung und Veröffentlichung eines Frameworks von Selbstorganisierten Karten (SOMs) für unüberwachtes, überwachtes und teilüberwachtes Lernen. Die SOM wird auf einen hyperspektralen Datensatz in der (teil-)überwachten Regression der Bodenfeuchte angewendet und übertrifft ein Standardverfahren des maschinellen Lernens. Das SOM-Framework zeigt eine angemessene Leistung in der (teil-)überwachten Klassifikation der Landbedeckung. Es bietet zusätzliche Visualisierungsmöglichkeiten, um das Verständnis des zugrunde liegenden Datensatzes zu verbessern. In den Studien, die sich mit Herausforderung (II) befassen, werden drei innovative eindimensionale Convolutional Neural Network (CNN) Architekturen entwickelt. Die CNNs werden für eine Bodentexturklassifikation auf einen frei verfügbaren hyperspektralen Datensatz angewendet. Ihre Leistung wird mit zwei bestehenden CNN-Ansätzen und einem Random Forest verglichen. Die beiden wichtigsten Erkenntnisse lassen sich wie folgt zusammenfassen: Erstens zeigen die CNN-Ansätze eine deutlich bessere Leistung als der angewandte nicht-tiefe Random Forest-Ansatz. Zweitens verbessert das Hinzufügen von Informationen über hyperspektrale Bandnummern zur Eingabeschicht eines CNNs die Leistung im Bezug auf die einzelnen Klassen. Die Studien über die Herausforderung (III) basieren auf einem Datensatz, der auf fünf verschiedenen Messgebieten in Peru im Jahr 2019 erfasst wurde. Die Unterschiede zwischen den Messgebieten werden mit qualitativen Methoden und mit unüberwachten maschinellen Lernverfahren, wie zum Beispiel Principal Component Analysis und Autoencoder, analysiert. Basierend auf den Ergebnissen wird eine überwachte Regression der Bodenfeuchte bei verschiedenen Kombinationen von Messgebieten durchgeführt. Zusätzlich wird der Datensatz mit Monte-Carlo-Methoden ergänzt, um die Auswirkungen der Verschiebung der Verteilungen des Datensatzes auf die Regression zu untersuchen. Der angewandte SOM-Regressor ist relativ robust gegenüber dem Rauschen des Bodenfeuchtesensors und zeigt eine gute Leistung bei kleinen Datensätzen, während der angewandte Random Forest auf dem gesamten Datensatz am besten funktioniert. Die Verschiebung der Verteilungen macht diese Regressionsaufgabe schwierig; einige Kombinationen von Messgebieten bilden einen deutlich sinnvolleren Trainingsdatensatz als andere. Insgesamt zeigen die vorgestellten Studien, die sich mit den drei größten Herausforderungen befassen, vielversprechende Ergebnisse. Die Arbeit gibt schließlich Hinweise darauf, wie die entwickelten maschinellen Lernverfahren in der zukünftigen Forschung weiter verbessert werden können.

Hyperspectral remote sensing of the Earth relies on data from passive optical sensors that are mounted on platforms such as satellites and Unmanned Aerial Vehicles (UAVs). Hyperspectral data includes information to identify materials and to monitor environmental variables, such as soil texture, soil moisture, chlorophyll a, and land cover. Data analysis methods are necessary to retrieve information from hyperspectral data. One powerful tool in the analysis of hyperspectral data is Machine Learning (ML), a subset of Artificial Intelligence. ML models can solve nonlinear correlations and are scalable on increasing dataset sizes. ... mehrEvery dataset and every ML estimation task brings new challenges that require innovative solutions. The aim of the studies presented in this thesis is the development and applications of ML methods on hyperspectral remote sensing data. These studies address the following three main challenges: (I) datasets with only a few labeled datapoints, (II) the limited potential of shallow ML approaches on hyperspectral data, and (III) the challenge of dataset shift between training and test dataset.

The studies on the challenge (I) result in the development and publication of a Self-Organizing Map (SOM) framework for unsupervised, supervised, and semi-supervised learning. The SOM is applied to a hyperspectral dataset in the (semi-)supervised regression of soil moisture, outperforming a Random Forest (RF) regressor. The SOM framework shows adequate performance in the (semi-)supervised classification of land cover. It provides additional visualization capabilities to improve the understanding of the underlying dataset. In the studies addressing the challenge (II), three innovative 1-dimensional Convolutional Neural Network (CNN) architectures are developed. The CNNs are applied in the context of a soil texture classification to a freely available hyperspectral dataset. Their performance is compared with two existing CNN approaches and a RF classifier. Two main findings can be summarized. Firstly, the CNN approaches show significantly better performance than the applied shallow approach RF. Secondly, adding the information about hyperspectral band numbers to the input layer of a CNN improves the performance on the individual classes. The studies on the challenge (III) are based on a UAV dataset, acquired on five different measurement areas in Peru in 2019. Dataset shift is detected with qualitative methods and with unsupervised ML approaches, such as Principal Component Analysis and Autoencoder. Based on the results, a supervised regression of soil moisture is performed on different combinations of measurement areas. Additionally, to study the effects of dataset shift on the regression, the dataset is augmented with Monte Carlo methods. The applied SOM regressor is relatively robust against soil moisture sensor noise and performs well on small datasets, while the applied RF performs best on the full dataset. Dataset shift makes this regression task difficult; some combinations of measurement areas form a significantly better training dataset than others. To conclude, the presented studies tackling the three main challenges show promising results. The developed ML methods can be further enhanced in future research.