Geometric Features for Supervised Classification in Airborne Laser Scanning Data

In dieser Arbeit werden die charakteristischen maßstabsgetreuen 3D-Abtasteigenschaften von Airborne-Laserscanning als aktive Fernerkundungstechnologie für ein automatisiertes Szenen- und Datenverständnis genutzt, indem Merkmale aus dem geometrischen Zusammenhang der Daten extrahiert werden. Eine besondere Herausforderung ist dabei die mittlere Pulsdichte von 5-20$\,\frac{\text{Pulsen}}{\text{m}^2}$. Trotz jüngster Fortschritte in der Anwendung von Deep-Learning-Technologien auf unstrukturierten Punktwolkendaten konzentriert sich der praktische Teil dieser Arbeit, wie er zwischen 2013 und 2018 durchgeführt wurde, auf traditionelles Machine-Learning unter Verwendung manuell erstellter Merkmale. ... mehrDies ist als Grundlage für den Vergleich und die Bewertung verschiedener Deep-Learning-Strategien nach wie vor von großer Bedeutung. Für die bearbeiteten Anwendungsbereiche erfolgt hierzu jeweils ein detaillierter Überblick und Vergleich zu aktuellen Studien.

Geometrische Merkmale wurden einerseits im universelleren Kontext der semantischen Einzelpunktklassifikation, andererseits im anwendungsspezifischen Kontext der Einzelbaum-basierten Baumartenklassifikation untersucht. Für beide Anwendungsbereiche wurde jeweils ein neuer Merkmalstyp, inspiriert durch Punktdeskriptoren aus der Objekterkennung, implementiert. In der semantischen Einzelpunktklassifikation zweier öffentlich zugänglicher Benchmarkdatensätze konnten Verbesserungen durch eine angepasste Implementierung von Shape Distributions zur Beschreibung lokaler Nachbarschaften, sowie durch die Kombination von Nachbarschaften unterschiedlicher Größe und Form als Basis der Merkmalsextraktion erzielt werden. Zur Baumartenklassifikation (basierend auf 3630 Einzelbaumsegmenten der Arten Kiefer (Pinus sylvestris L.), Fichte (Picea abies (L.) Karst.) und Birke (betula pendula Roth. sowie Betula pubescens Ehrh.)) konnten Verbesserungen durch die Beschreibung der geometrischen Verteilung von Waveform-Attributen innerhalb der Baumkrone, basierend auf einer angepassten Implementierung von Spin Images, erzielt werden. Diese konnten sich im Vergleich zu anderen geometrischen Merkmalen behaupten und verbesserten das Klassifikationsergebnis in Kombination mit statistischen Verteilungsmerkmalen von Waveform Attributen ohne die Berücksichtigung ihrer geometrischen Verteilung. Auf beiden Anwendungsgebieten stellt diese Arbeit einen signifikanten wissenschaftlichen Beitrag dar.

In der Einzelpunktklassifikation stellte sich unter Betrachtung aktueller Literatur die besondere Bedeutung von Kontextinformation heraus. Im Bereich des traditionellen Machine-Learnings kann diese durch kontextbasierte Klassifikation, wie z.B. durch Conditional Random Fields integriert werden. Darüber hinaus wird Kontextinformation aber auch von einigen Deep-Learning-Ansätzen wie z.B. Convolutional Neural Networks oder Transformerarchitekturen modelliert. In der Baumartenklassifikation konnten in aktueller Literatur keine Hinweise auf klare Fortschritte auf Basis des gegebenen Datentyps festgestellt werden. Dies erklärt sich durch die begrenzte Anzahl zu unterscheidender Klassen, durch die begrenzte Menge praktisch erhebbarer Trainingsdaten und durch die hervorragende Integration von Expertenwissen in anwendungsspezifischen, manuell erstellten Merkmalen. Fortschritte in diesem Anwendungsbereich können heutzutage durch besonders hochauflösende Punktdichten, ermöglicht durch Weiterentwicklungen in der Sensorik und der Dronen-gestützten Aufzeichnung, verzeichnet werden, sowie durch multispektrale Laserscanning-Aufnahmen oder die Kombination mit anderen Datenquellen. Diese Herangehensweisen erlauben überdies einen gewinnbringenderen Einsatz von Deep-Learning in der Datenverarbeitung. Besonders zukunftsweisend sind hierbei aktuelle Bemühungen, z.B. in der Baumartenklassifikation, sehr große Datenbanken in kollaborativer Anstrengung zusammenzutragen.

This work is about utilizing the unique true-to-scale 3D sampling properties of airborne laser scanning as an active remote sensing technology for automated scene and data understanding by features extracted from the geometric relations among the data. This is particularly challenging given the medium pulse density of 5-20$\,\frac{\text{pulses}}{\text{m}^2}$.
Despite recent advances in the application of deep learning technology on unstructured point cloud data, the practical part of this research focuses on the traditional domain of machine learning using hand-crafted features, as it was conducted between 2013 and 2018. ... mehrThis is still highly relevant as a baseline for comparing and evaluating the use of different deep learning strategies. To this end, we provide a detailed review and comparison regarding the addressed tasks.

We analysed geometric features both on the more universal level of point-wise semantic labelling and on a more application-specific level of single tree species classification. For both of these applications, we implemented a new type of geometric features, each inspired by surface point descriptors from object recognition. In point-wise semantic labelling (performed on two publicly available benchmark data sets), we found it beneficial to use an adapted version of shape distributions to describe local neighbourhoods, and to use multi-scale, multi-type neighbourhoods as the basis for feature extraction. In single tree species classification (based on 3630 individual tree segments attributed to Scots pine (Pinus sylvestris L.), Norway spruce (Picea abies (L.) Karst.), and Birch (Betula pendula Roth. and Betula pubescens Ehrh.)), we found it beneficial to capture the geometric distribution of waveform attributes throughout the tree crown by an adapted version of spin images. This performed well compared to other geometric features and improved classification results when combined with statistical incidence metrics of waveform attributes that do not describe their geometric distribution. In both application cases, our work marked a significant contribution to the field.

In the case of point-wise semantic labelling, we concluded our review of current literature by noting the importance of context. Contextual classification can be achieved by structured prediction, such as conditional random fields in the domain of traditional machine learning. But context is also modelled by deep learning strategies such as convolutional neural networks or transformers. In the case of tree species classification, we could not find evidence in the field for clear advances on the task given the type of data we used. This is likely due to the limited number of classes, the limited amount of training data that can be collected, and the excellent integration of expert knowledge via application-specific hand-crafted features. In this field, modern advances come rather from high-resolution point densities enabled by refined sensor technology and unmanned-aerial-vehicle recording, from multi-spectral laser scanning, or from the combination with other data sources. All of these are more likely to profit from deep learning data analysis. Future research is likely going to profit from the collaborative collection of very large databases, as they are currently being initiated for tree species classification.