Deep Learning and Remote Sensing for Detecting Tree Mortality Patterns

Vegetation spielt eine wichtige Rolle für Leben auf der Erde und bietet eine Vielzahl an Ökosystemdienstleistungen. Dabei ist insbesondere Wald wichtig, da dieser knapp ein Drittel der globalen Landoberfläche bedeckt und eine zentrale Rolle bei der Speicherung von Kohlenstoff und damit bei der Regulierung des Klimas hat. Der globale Klimawandel und die damit verbundene Verschiebung der klimatischen Standortbedingungen, die Zunahme von Wetterextremen (wie Dürre, Hitze, Spätfrost und Starkniederschlag), sowie die dadurch begünstigte Ausbreitung von Schädlingen und Krankheiten stellen den Wald vor große Herausforderungen. ... mehrIn der Konsequenz konnte Baumsterblichkeit in den vergangenen Jahren auf globaler Ebene vermehrt beobachtet werden. Um die zugrundeliegenden Ursachen des Baumsterbens besser zu verstehen, muss das Phänomen zunächst in seiner Art und Ausbreitung erfasst werden. Dabei hat sich die Fernerkundung als geeignetes Mittel erwiesen, großflächig Vegetation zu charakterisieren, und die Menge an Fernerkundungsdaten nimmt stetig zu. Insbesondere die Forschungssatelliten von ESA’s Sentinel Flotte bieten eine hohe zeitliche Auflösung, um die Dynamik der Vegetationsveränderung abzubilden. Die räumliche Auflösung dieser Satellitendaten (10 m) liegt oberhalb der Auflösungsgrenze von Einzelbäumen, was, neben weiteren Faktoren (z.B., Geopositionierung, Geometrie, Aufnahmezeitpunkt, Datenmenge, Perspektive), die Verknüpfung mit Bodenreferenzdaten erschwert. Der resultierende Mangel an Referenzdaten ist die Hauptlimitierung für satellitenbasierte Fernerkundungsmethoden bei der Erfassung von Totholz und unser Verständnis der Prozesse, die zu Baumsterben führen, ist dadurch unvollständig.
Die Brücke von Bodenreferenzdaten zu Satellitendaten können Drohnen (uncrewed aerial vehicle, UAV) schlagen, da sie räumlich hochaufgelöste Bilddaten liefern, die gut zur Erkennung von Einzelbäumen geeignet sind. Bei der großen Menge und Vielfalt an Fernerkundungsdaten sowie den hohen räumlichen (Drohnendaten) und zeitlichen (Satellitendatenzeitreihen) Auflösungen, stoßen traditionelle Fernerkundungsmethoden an ihre Grenzen, und es bedarf angepasster Methoden. Deep Learning Verfahren haben sich dabei in anderen Fachdisziplinen bereits als geeignet herausgestellt, etwa convolutional neural networks (CNN) bei der Interpretation von Bilddaten (z. B. Klassifikation, Objekterkennung) oder long short-term memory (LSTM) Modelle für die Verarbeitung sequenzieller Informationen (z. B. Spracherkennung). Ziel der vorliegenden Arbeit ist es, die Voraussetzung und Eignung von Deep Learning Methoden bei der fernerkundlichen Erfassung von Totholz und von Vegetation im Allgemeinen wissenschaftlich zu untersuchen. Von zentraler Bedeutung ist dabei der Upscaling-Ansatz. Dazu wird zunächst stehendes Totholz aus drohnenbasierten Orthomosaiken mithilfe von CNNs automatisiert klassifiziert und segmentiert. Das erkannte Totholz dient anschließend als Referenzdaten für LSTMs, die auf Satellitendatenzeitreihen (Sentinel-1 und Sentinel-2) basieren, und die großflächige Erfassung von stehendem Totholz auf Landschaftsebene ermöglichen. In drei Teilstudien, mit geographischem Fokus auf Mischwäldern in Deutschland, wird untersucht: (1) inwiefern Deep Learning Methoden zur Auswertung sehr hochaufgelöster, drohnenbasierter Fernerkundungsdaten geeignet sind; (2) inwiefern Drohen und Deep Learning die Referenzdatenlücke zur Baumsterblichkeit schließen können; (3) inwiefern Deep Learning Methoden geeignet sind, Informationen aus Satellitendatenzeitreihen zu extrahieren; und (4) was die räumlich-zeitlichen Muster von Baumsterben in Deutschland und dessen Ursachen sind.
In der ersten Studie wird das Potenzial von CNNs zur Auswertung von drohnenbasierten, hochaufgelösten (<2 cm), RGB-Orthomosaiken erörtert. Dazu werden zwölf Baumarten, stehendes Totholz und Waldboden in 51 Untersuchungsflächen á 1 ha in gemischten Waldbeständen kartiert. Mit einer U-net CNN-Architektur wird der Einfluss der Kachelgrößen, der räumlichen Auflösung und von zusätzlicher Baumhöheninformation getestet. Die Genauigkeit der CNNs lag bei F1-score = 0,73. Eine kleinere Kachelgröße berücksichtigt im Datensatz unterrepräsentierte Arten, erhöht jedoch die Inferenzzeit und produziert Randeffekte. Baumhöheninformation verbesserte die Modelle kaum, während eine hohe räumliche Auflösung essenziell war zur Erkennung von Baumarten.
Der Fokus in der zweiten Studie liegt auf dem Upscaling von Totholz von der lokalen Ebene auf die Landschaftsebene. Dazu wird stehendes Totholz in 176 Drohnenszenen aus den Jahren 2017–2021 über 727 ha Wald automatisiert mittels CNN segmentiert. Die resultierenden Polygone gehen als Referenzdaten in LSTMs ein, die aus Sentinel Zeitreihen den Anteil an stehendem Totholz je Pixel für ganz Deutschland schätzen. Die CNN-basierte Segmentierung von stehendem Totholz war sehr genau (F1-score = 0,82, Median aller Flächen). Bei den LSTMs führten alle verfügbaren Kanäle von Sentinel-1 und Sentinel-2 und zwei Vegetationsindizes (kNDVI, NDWI) zu den besten Modellen (Pearson’s Korrelationskoeffizient = 0,66). Eine Validierung mit Orthophotos offenbarte eine räumlich und zeitlich akkurate Erfassung von stehendem Totholz.
Die deutschlandweiten Karten an stehendem Totholz werden in der dritten Studie analysiert, um räumlich-zeitliche Muster von Baumsterblichkeit und dessen Ursachen zu erforschen. Über die Jahre 2018–2021 starben insgesamt 978 ± 529 kha an Wald, was etwa dem Doppelten des erfassten Totholz in der Waldzustandserhebung und anderen Fernerkundungsstudien entspricht. Bei den Regionen waren Harz (47,2 kha, 30,2% der bewaldeten Fläche) und Sauerland (74,2 kha, 17,1%) am stärksten betroffen, bei den Arten Picea abies und Pinus sylvestris. Mit einer random forest Regression und einer modellagnostischen Interpretationsmethode (accumulated local effects, ALE) werden die wichtigsten Umweltfaktoren sowie deren Auswirkungen identifiziert. Atmosphärischen Bedingungen (d. h., Spätfröste, klimatischer Wasserhaushalt, heiße Tage und Dampfdruckdefizit) waren die wichtigsten Prädiktoren für die Baumsterblichkeit. Kleinere und jüngere Bestände wiesen auf Landschaftsebene eine erhöhte Baumsterblichkeit auf, was die Ergebnisse von lokalen Studien kontrastiert. Monokulturen waren generell weniger von Mortalität betroffen, es sei denn, Schadinsekten waren vorhanden.
In der vorliegenden Arbeit zeigte sich, dass bei der Auswertung der vielfältigen und großen Mengen (big data) an Fernerkundungsdaten Deep Learning eine Schlüsselrolle zukommt, da es, ohne spezielle Vorprozessierung der Eingangsdaten, die räumliche und zeitliche Information ideal auswerten kann. Durch die flexible Gestaltung der Deep Learning Architekturen können die verschiedenen Dimensionen (räumlich, zeitlich, spektral) und Typen (optisch, radar, lidar) von Fernerkundungsdaten integriert analysiert werden. Deep Learnign ermöglicht die detaillierte fernerkundliche Erfassung von Totholz auf Landschaftsebene und verbessert dadurch unser Verständnis der Muster und Prozesse von Baumsterblichkeit. Ein konzertierter Einsatz von Drohnen und CNNs ist in der Lage, die Referenzdatenlücke für satellitendatenbasierte Methoden auf Landschaftsebene zu schließen. Aufgrund des Datenhungers von Deep Learning, bedarf es einer gemeinschaftlichen Anstrengung der wissenschaftlichen Gemeinschaft Forschungsdaten zu teilen und zusammenzutragen, um die Herausforderungen des Klimawandels für die Vegetation auch auf globaler Ebene zu adressieren.

Vegetation plays a vital role for life on Earth and provides a range of essential ecosystem service. Forests, in particular, are crucial as they cover nearly one-third of the global land surface and play a central role in carbon storage and, hence, climate regulation. Global climate change and the associated shifts in climatic conditions, the increase in weather extremes (such as drought, heat, frost, and heavy precipitation), as well as the spread of pests and diseases, pose significant challenges to forests. Consequently, increased tree mortality has been observed globally in recent years. ... mehrTo better understand the underlying causes of tree mortality, the phenomenon must first be recorded in its nature and extent. Remote sensing has proven to be a suitable method for characterizing vegetation on large scales, and the amount of remote sensing data is steadily increasing. Specifically, the research satellites of ESA’s Sentinel fleet offer a high temporal resolution to best capture the dynamics of vegetation. The spatial resolution of these satellite data (10 m) is above the size of individual trees, which, among other factors (e.g., geopositioning, geometry, timing, viewing perspective), hampers the link with ground reference data. The resulting lack of reference data is the main limitation for satellite-based remote sensing methods in detecting deadwood, and our understanding of the processes leading to tree mortality is therefore incomplete.
Uncrewed aerial vehicles (UAV) can bridge the gap between ground reference data and satellite data, as they provide high-resolution imagery suitable for detecting individual trees. Given the large quantity and diversity of remote sensing data, as well as the high spatial (UAV-data) and temporal (satellite image time series) resolutions, traditional remote sensing methods reach their limits, necessitating adapted methods. Deep learning techniques have already proven to be suitable in other disciplines, such as convolutional neural networks (CNN) for the interpretation of image data (e.g., classification, object detection) or long short-term memory (LSTM) models for processing sequential information (e.g., speech recognition).
This thesis aims to investigate the prerequisites and suitability of deep learning methods for remote sensing of deadwood—and vegetation in general. Central to this is the upscaling approach: first, standing deadwood is automatically segmented from UAV-based orthomosaics using CNNs. The identified deadwood then serves as reference data for LSTMs, which are based on satellite image time series (i.e., Sentinel-1 and Sentinel-2) and enable the large-scale detection of standing deadwood at the landscape level. In three studies, with a geographical focus on mixed forests in Germany, the following research questions are addressed: (1) to which extent is deep learning suitable for the analysis of very high-resolution, UAV-based remote sensing data? (2) in what way is the concerted use of UAVs and deep learning capable to close the reference data gap on tree mortality? (3) to what extent is deep learning suitable for extracting temporal information from satellite image time series? and (4) what are the spatio-temporal patterns and environmental drivers of tree mortality in Germany?
The first study explores the potential of CNNs for the analysis of UAV-based, high-resolution (<2 cm), RGB orthomosaics. For this purpose, twelve tree species, standing deadwood, and forest floor were mapped in 51 study plots, each 1 ha in mixed forest stands. Using a U-net CNN-architecture, the influence of tile sizes, spatial resolution, and additional tree height information was tested. The accuracy of the CNN achieved an F1-score of 0.73. Smaller tile sizes accounted for underrepresented species in the dataset but increased inference time and resulted in edge effects. Tree height information barely improved the models, while a high spatial resolution was decisive for the identification of tree species. The second study focuses on upscaling deadwood from the local level to the landscape level. Therefore, standing deadwood in 176 UAV-scenes from 2017–2021, covering 727 ha of forest, was automatically classified and segmented using a U-net. The resulting polygons were used as reference data for LSTMs, which predicted the proportion of standing deadwood per pixel across Germany from Sentinel time series. The CNN-based segmentation of standing deadwood was highly accurate (F1-score = 0.82, median of all study sites). The LSTMs achieved the best results when using all available bands from Sentinel-1 and Sentinel-2 and two vegetation indices (i.e., kNDVI, NDWI) (Pearson’s correlation coefficient = 0.66). Validation with orthophotos revealed a spatially and temporally accurate detection of standing deadwood.
In the third study, the nationwide maps of standing deadwood are analysed to investigate the spatio-temporal patterns of tree mortality and its causes. From 2018–2021, a total of 978 ± 529 (kilohectares) kha of forest died, which is about double the amount of deadwood recorded in the forest condition survey and other remote sensing studies. The Harz region (47.2 kha, 30.2% of forested area) and Sueder Uplands (74.2 kha, 17.1%) were the most affected, with Picea abies and Pinus sylvestris being the most impacted species. Using random forest regression and a model-agnostic interpretation method (accumulated local effects, ALE), the key environmental drivers and their effects were identified and analysed. Atmospheric conditions (i.e., late frosts, climatic water balance, hot days, and vapour pressure deficit) were the most important predictors of tree mortality. Smaller and younger stands showed increased tree mortality at the landscape level, contrasting results from local studies. Monocultures were generally less affected by mortality unless pest insects were present.
The present thesis demonstrates that deep learning plays a key role in analysing the diverse and large amounts of remote sensing data (big data), as it can ideally evaluate spatial and temporal information without special preprocessing of input data. The flexible design of deep learning architectures allows for integrated analysis of different dimensions (i.e., spatial, temporal, spectral) and types (i.e., optical, radar, lidar) of remote sensing data. Deep learning enables detailed remote sensing detection of standing deadwood at the landscape level, thereby improving our understanding of the patterns and processes leading to tree mortality. The concerted use of UAVs and CNNs can bridge the reference data gap for satellite-based methods at the landscape level. Due to the data-intensive nature of deep learning, a collaborative effort by the scientific community is required to share and compile research data to address the challenges of climate change on vegetation globally.