Konzeption und Parametrierung von Algorithmen zur Abbildung von Veränderungen in unstrukturierten Bilddaten

Mit der Verfügbarkeit von mobilen Kameras ist es möglich, große Mengen von Bilddaten über die Zeit zu erheben. Bilder von Smartphones, Satelliten, Auto- und Überwachungskameras enthalten eine Vielzahl an Informationen, die manuell nicht mehr ausgewertet werden können. Bei in großem Umfang aufgezeichneten Bilddaten sind die Aufnahmebedingungen häufig unbekannt und erschweren die Auswertung und insbesondere die Vergleichbarkeit von Ergebnissen über die Zeit.

Die vorliegende Dissertation befasst sich mit der Konzeption und Parametrierung von Algorithmen zur Abbildung von Veränderungen in unstrukturierten Bilddaten. ... mehrHierfür wird ein allgemeines Konzept entwickelt. Anstatt Pixelvergleiche anzustellen, werden Objekte anhand von Zustandsvektoren verglichen. So können Störfaktoren, wie unterschiedliche Perspektiven und Umwelteinflüsse, kompensiert und komplexe Zustände erfasst werden. Das Konzept umfasst einen Algorithmus, der aus den drei Teilen Assoziation, Interpretation und Aggregation besteht. Die Assoziation wählt relevante Bilder oder Bildausschnitte aus und ordnet diese einzelnen Objekten zu, die Interpretation extrahiert Merkmale aus den zugeordneten Bildern, und die Aggregation fasst diese Informationen zu einem Gesamtzustand zusammen.

Um das Konzept für einen Anwendungsfall zu parametrieren, wird eine Bewertungsmethodik eingeführt, die ohne zusätzlichen Annotationsaufwand auskommt und die Robustheit und Deskriptivität eines Algorithmus bewertet. Die Bewertungsmethodik wird anhand eines Beispiels für die Erstellung eines Algorithmus zur Abbildung des Straßenzustands demonstriert. Unterschiedliche Algorithmen-Varianten werden parametrisiert und bewertet. Zusätzlich wird die Methodik auf einen Datensatz aus dem Bereich Remote Sensing übertragen. In diesem Fall werden sowohl überwachte als auch unüberwachte Modelle konfiguriert und bewertet.

Es werden zwei Optionen für die Interpretation von Bilddaten vorgestellt: unüberwachte Methoden, wie Bag of Visual Word-Modelle und vortrainierte Deep Convolutional Neural Networks, die abstrakte Repräsentationen ohne annotierte Daten berechnen, und überwachte Modelle zur semantischen Segmentierung, wie Conventional Image Processing Pipelines, Structured Encoder-Decoder oder U-Net. Diese Arbeit vergleicht diese Methoden auf drei repräsentativen Datensätzen und bestimmt ihre Anwendbarkeit bei ungleichen Klassenverteilungen und in den Domänen Fahrzeugbilddaten und Remote Sensing.

Letztlich steht dem Anwender ein allgemeines Konzept für die Erstellung von Algorithmen zur Verfügung sowie eine Bewertungsmethodik, die deren effiziente Optimierung ermöglicht. Unterschiedliche Algorithmen wurden auf ihre Dateneffizienz untersucht, sodass basierend auf dieser Arbeit Algorithmen zur Abbildung von Veränderungen unter verschiedenen Bedingungen entwickelt werden können.

With the availability of mobile cameras, it has become possible to collect large amounts of image data over time. Images captured by smartphones, satellites, vehicle-mounted, and surveillance cameras contain a wealth of information that can no longer be evaluated manually. When image data is recorded on a large scale, the recording conditions are often unknown, which complicates analysis and, in particular, the comparability of results over time.

This dissertation deals with the design and parameterization of algorithms for mapping changes in unstructured image data. ... mehrA general concept is developed for this purpose. Instead of comparing pixels directly, objects are compared using state vectors. This allows for the compensation of disturbances such as varying perspectives and environmental influences and enables the capture of complex states. The concept encompasses an algorithm composed of three parts: association, interpretation, and aggregation. Association selects relevant images or image sections and assigns them to individual objects; interpretation extracts features from the associated images; and aggregation combines this information into an overall state.

To parameterize the concept for a specific application, an evaluation methodology is introduced that does not require additional annotation effort and assesses the robustness and descriptiveness of an algorithm. This methodology is demonstrated using the example of developing an algorithm for mapping road conditions. Various algorithm variants are parameterized and evaluated. Additionally, the methodology is applied to a dataset from the remote sensing domain. In this case, both supervised and unsupervised models are configured and evaluated.

Two options for interpreting image data are presented: unsupervised methods, such as Bag-of-Visual-Words models and pre-trained deep convolutional neural networks, which compute abstract representations without annotated data; and supervised models for semantic segmentation, including conventional image processing pipelines, structured encoder-decoders, and U-Net architectures. This work compares these methods across three representative datasets and assesses their applicability in scenarios with imbalanced class distributions and in the domains of vehicle image data and remote sensing.

Ultimately, users are provided with a general concept for creating algorithms, as well as an evaluation methodology that enables efficient optimization. Different algorithms have been examined with regard to their data efficiency, allowing for the development of change-mapping algorithms under varying conditions based on this work.