Methods for Robust and Efficient Deep Learning and Improved Data Utilization in Large-Scale Data Generation Settings

Die bahnbrechenden Fortschritte im Deep Learning Bereich haben viele Fachgebiete revolutioniert und die Arbeitsweisen grundlegend verändert. Auch im Maschinenbau gewinnt Deep Learning zunehmend an Bedeutung, zum Beispiel in der biomedizinischen und materialwissenschaftlichen Bildgebung. Diese Anwendungen erfordern spezielles Fachwissen bei der Entwicklung moderner Geräte, Technologien und Analysemethoden. Diese Arbeit widmet sich den zentralen Herausforderungen, die Robustheit und Effizienz von Deep Learning-Verfahren zu steigern. Dabei stehen drei Kernaspekte im Mittelpunkt: die Verbesserung von Annotationsprozessen, die effektive Nutzung nicht annotierter Daten und die Anpassung neuronaler Netze an die Komplexität realer Anwendungen. ... mehrDer hier vorgestellte ganzheitliche Ansatz umfasst die gesamte Deep Learning Pipeline. Zunächst werden neuartige Methoden zur automatischen Erstellung von Segmentierungsmasken aus Rohdaten entwickelt, wodurch der manuelle Annotationsaufwand erheblich sinkt. Zudem werden innovative Trainingsansätze eingeführt, die es ermöglichen, mit Daten zu arbeiten, bei denen unterschiedliche Proben jeweils verschiedene oder nur teilweise vorhandene Annotationen besitzen, einschließlich einer neuen Zielfunktion und mehrerer Bewertungsmetriken. Ein weiterer Schwerpunkt liegt auf der Extraktion von Wissen aus nicht annotierten Daten, insbesondere für anspruchsvolle Aufgaben wie die semantische Segmentierung. Umfassende Frameworks zur strukturierten Evaluierung neuartiger Methoden werden entwickelt und in umfangreichen Untersuchungen mit unterschiedlichen Datenmengen und in verschiedenen Anwendungsgebieten getestet. Weiter werden neuronale Netzwerkarchitekturen optimiert, um reale Herausforderungen, wie überlappende Objekte und Unsicherheiten bei der Annotation, zu bewältigen. Hierfür werden Verfahren zur Quantifizierung und Einbeziehung von Unsicherheiten in den Trainingsprozess entwickelt, was die Zuverlässigkeit der Modelle in komplexen Szenarien steigert. Die Funktionsweise der entwickelten Ansätze wird anhand einer breiten Palette etablierter und neu erstellter Datensätze aus verschiedenen Fachgebieten ausgiebig nachgewiesen. Diese Arbeit leistet einen bedeutenden Beitrag zur Erweiterung der Einsatzmöglichkeiten von Deep Learning in Bereichen mit begrenzter Verfügbarkeit von annotierten Daten. Sie ermöglicht eine deutlich effizientere Nutzung vorhandener Daten und verbessert die Robustheit von Machine-Learning-Modellen in anspruchsvollen Szenarien erheblich. Die entwickelten Methoden und gewonnenen Erkenntnisse tragen dazu bei, wissenschaftliche Entdeckungen zu beschleunigen und die Anwendbarkeit von Deep Learning maßgeblich zu verbessern.

Deep learning has revolutionized numerous fields, including mechanical engineering, where it is increasingly important for applications such as biomedical and materials science imaging that rely on expertise in developing advanced devices, technologies, and analytical methods. This work addresses critical challenges in enhancing the robustness and efficiency of deep learning methods by focusing on three key areas: optimizing annotation processes, leveraging unannotated data, and refining neural networks for real-world complexities. To tackle these challenges, this work presents a comprehensive approach that spans the entire deep learning pipeline. ... mehrFirst, novel methods are developed for generating segmentation masks from raw data, drastically reducing manual annotation efforts. Innovative approaches are introduced that enable training with data where different samples have varying or only partial annotations, including a new objective function and multiple evaluation metrics. These advancements enable more efficient use of available data and improve annotation processes. Second, the work explores techniques for extracting knowledge from unannotated data, with a focus on challenging tasks such as semantic segmentation. Multiple comprehensive frameworks for the structured evaluation of novel methods for extracting knowledge from raw data are developed and thoroughly tested in extensive studies across diverse application domains and data volumes. Finally, neural network architectures are evaluated and refined to address real-world challenges, including overlapping instances and annotator uncertainties. Methods for quantifying and incorporating uncertainties into the training process are developed, enhancing model robustness in complex scenarios. The effectiveness of the developed approaches is extensively demonstrated using a wide variety of established and novel datasets across different domains, including both commonly used and a diverse number of newly created ones, featuring unique annotations such as uncertainty estimations to simulate challenging real-world applications. This work makes a substantial contribution to enhancing the applicability of deep learning in fields where annotated data is limited. It enables a more efficient use of existing data and greatly improves the robustness of machine learning models in challenging scenarios. The developed methods and findings have extensive implications for accelerating scientific discovery and increasing the practical applicability of deep learning.