Neues Konzept zur Entwicklung robuster Multisensorsysteme gegen Störungen der Sensordaten

In der vorliegenden Dissertation wird ein neues Konzept vorgestellt, welches dazu dient die Robustheit eines Multisensorsystem gegenüber Störungen in den Sensordaten zu steigern. Angesichts der unvermeidbaren Sensorstörungen in realen Anwendungsszenarien konzentriert sich diese Arbeit darauf, wie Sensorfusionssysteme zur Objektdetektion durch die Integration von Störungen während des Trainingsprozesses robuster gemacht werden können. Für die Steigerung der Robustheit werden zwei Hauptschritte formuliert. Im ersten wird die Platzierung der Sensoren betrachtet. Dafür werden zwei neue Methoden vorgestellt: Genetische Algorithmus-Optimierung für Sensorplatzierung (GAOS) und Deep Learning-Optimierung für Sensorplatzierung (DLOS). ... mehrBeide Methoden optimieren die Platzierung von Sensoren auf einem Fahrzeug, um das Wahrnehmungsfeld der kombinierten Sensoren zu maximieren. Gleichzeitig wird die Redundanz der Sensoren gegenüber Sensorausfall betrachtet. Im nächsten Schritt wird ein neues Konzept zur Robustheitssteigerung von Sensorfusionsmethoden vorgestellt. Dieses besteht aus einem neuen Trainingskonzept: Konzept zur Integration von Störungs-Adaptivität (KISA) und Evaluationsmethodiken, die die Steigerung der Robustheit durch Multifaktorielle Performanz-Evaluation und Sensitivitätsanalyse darstellen. Diese Konzepte behandeln die zentrale Hypothese dieser Arbeit. Die Hypothese lautet, dass die Integration von Störungen während des Trainingsprozesses die Robustheit von Fusionsnetzwerken gegenüber Sensorstörungen verbessert. Um diese Hypothese zu überprüfen, werden spezifische Forschungsfragen adressiert, die sich auf die Auswirkungen von gestörten Trainingsdaten auf die Robustheit von Fusionsnetzwerken, den Einfluss verschiedener Störungsarten auf das Trainingsergebnis, den Vergleich von Low Level und High Level Fusionstechniken und die Tiefe der Netzwerkarchitekturen konzentrieren. Im neu entwickelten Trainingskonzept KISA werden gezielt Störungen während des Trainingsprozesses von Sensorfusionssystemen einbezogen. KISA ermöglicht es, die Robustheit der Systeme systematisch zu steigern, indem es die Systeme auf realistische und herausfordernde Bedingungen vorbereitet. Zur Bewertung der Robustheit eines Systems wird die Multifaktorielle Performanz-Evaluation und Sensitivitätsanalyse eingeführt, die speziell darauf ausgelegt sind, die Reaktion der Netzwerke auf verschiedene Störungsarten detailliert zu analysieren. Die Analyse in dieser Arbeit wird durch den Einsatz von Fusionsobjektdetektoren auf unterschiedlichen Datentypen durchgeführt. Diese breite Datengrundlage demonstriert die vielseitige Anwendbarkeit und Relevanz des entwickelten Trainings- und Evaluationskonzepts für verschiedene sensorbasierte Technologien. Speziell für die Analyse von Punktwolkedaten wird der Complex-YOLO Algorithmus verwendet, der hier erstmalig sowohl für Low Level als auch High Level Fusion adaptiert und angewendet wird. Diese Erweiterung ermöglicht die Fusion von Daten aus LiDAR- und RADAR-Sensoren mit Complex-YOLO. Die Ergebnisse dieser Arbeit bestätigen die anfängliche Hypothese und heben die Bedeutung einer sorgfältigen Abwägung des Störungsanteils im Trainingsdatensatz hervor. Es wird empfohlen, in zukünftigen Implementierungen von Fusionsnetzwerken Störungen als integralen Bestandteil des Trainingsprozesses zu betrachten, um die adaptive Kapazität der Netzwerke zu fördern und dauerhafte Robustheit zu gewährleisten. Die Dissertation zeigt auch, dass verschiedene Störungsarten unterschiedliche Herausforderungen darstellen und dass die Robustheit signifikant von der Art der Datenfusion beeinflusst wird. So zeigt sich, dass Low Level Fusion eine bessere Robustheit gegenüber Sensorstörung erreicht als High Level Fusion. Diese Forschungsarbeit liefert wertvolle Einsichten in die Dynamik und die Mechanismen, die die Robustheit von Sensorfusionssystemen gegenüber Sensorstörung beeinflussen. Die systematische Integration von Störungen in den Trainingsprozess mit KISA stellt einen effektiven Ansatz dar, um die Robustheit gegen sensorische Störungen zu erhöhen. Die Dissertation bietet somit nicht nur einen theoretischen Beitrag zur Forschung in der Sensorfusion, sondern auch ein Konzept für die Entwicklung robusterer Systeme in Sensorauswertungs Anwendungen.

In this dissertation, a new concept is presented that serves to increase the robustness of a multi-sensor system against disturbances in the sensor data. Given the unavoidable sensor disturbances in real-world application scenarios, this thesis focuses on how sensor fusion systems for object detection can be made more robust by integrating disturbances during the training process. Two main steps are formulated for this purpose. In the first, the placement of the sensors is considered. Two new methods are presented for this purpose: Genetic Algorithm Optimisation for Sensor Placement (Genetische Algorithmus-Optimierung für Sensorplatzierung, GAOS) and Deep Learning Optimisation for Sensor Placement (Deep Learning-Optimierung für Sensorplatzierung, DLOS). ... mehrBoth methods optimise the placement of sensors on a vehicle to maximise the sensing field of the combined sensors, but at the same time the redundancy of the sensors against sensor failure is considered. In the next step, a new concept for increasing the robustness of sensor fusion methods is presented. This consists of a new training concept: concept for the integration of disturbance adaptivity (Konzept zur Integration von Störungs-Adaptivität, KISA) and evaluation methods that represent the increase in robustness: Multifactorial Performance Evaluation and Sensitivity Analysis. These concepts address the central hypothesis of this thesis. The hypothesis is that the integration of perturbations during the training process improves the robustness of fusion networks against sensor perturbations. To test this hypothesis, specific research questions are addressed that focus on the impact of perturbed training data on the robustness of fusion networks, the influence of different perturbation types on the training outcome, the comparison of low level and high level fusion techniques, and the depth of network architectures. The newly developed KISA training concept specifically incorporates disturbances during the training process of sensor fusion systems. KISA makes it possible to systematically increase the robustness of the systems by preparing them for realistic and challenging conditions. To evaluate the robustness of a system, the multifactorial performance analysis and sensitivity analyses are newly introduced, which are specifically designed to analyse the reaction of the networks to different types of disturbances in detail. The analysis in this thesis is carried out by using fusion object detectors on different data types. This broad data basis demonstrates the versatile applicability and relevance of the developed training and evaluation concept for various sensor-based technologies. The Complex-YOLO algorithm is used specifically for analysing the point cloud data, which is adapted and applied here for the first time for both low-level and high-level fusion. This extension enables the fusion of data from LiDAR and RADAR sensors with Complex-YOLO. The results of this work confirm the initial hypothesis and emphasise the importance of carefully considering the amount of disturbance in the training dataset. It is recommended that in future implementations of fusion networks, perturbation should be considered as an integral part of the training process to promote the adaptive capacity of the networks and ensure lasting robustness. The dissertation also shows that different types of perturbations pose different challenges and that robustness is significantly influenced by the type of data fusion. For example, it shows that low level In der vorliegenden Dissertation wird ein neues Konzept vorgestellt, welches dazu dient die Robustheit eines Multisensorsystem gegenüber Störungen in den Sensordaten zu steigern. Angesichts der unvermeidbaren Sensorstörungen in realen Anwendungsszenarien konzentriert sich diese Arbeit darauf, wie Sensorfusionssysteme zur Objektdetektion durch die Integration von Störungen während des Trainingsprozesses robuster gemacht werden können. Für die Steigerung der Robustheit werden zwei Hauptschritte formuliert. Im ersten wird die Platzierung der Sensoren betrachtet. Dafür werden zwei neue Methoden vorgestellt: Genetische Algorithmus-Optimierung für Sensorplatzierung (GAOS) und Deep Learning-Optimierung für Sensorplatzierung (DLOS). Beide Methoden optimieren die Platzierung von Sensoren auf einem Fahrzeug, um das Wahrnehmungsfeld der kombinierten Sensoren zu maximieren. Gleichzeitig wird die Redundanz der Sensoren gegenüber Sensorausfall betrachtet. Im nächsten Schritt wird ein neues Konzept zur Robustheitssteigerung von Sensorfusionsmethoden vorgestellt. Dieses besteht aus einem neuen Trainingskonzept: Konzept zur Integration von Störungs-Adaptivität (KISA) und Evaluationsmethodiken, die die Steigerung der Robustheit durch Multifaktorielle Performanz-Evaluation und Sensitivitätsanalyse darstellen. Diese Konzepte behandeln die zentrale Hypothese dieser Arbeit. Die Hypothese lautet, dass die Integration von Störungen während des Trainingsprozesses die Robustheit von Fusionsnetzwerken gegenüber Sensorstörungen verbessert. Um diese Hypothese zu überprüfen, werden spezifische Forschungsfragen adressiert, die sich auf die Auswirkungen von gestörten Trainingsdaten auf die Robustheit von Fusionsnetzwerken, den Einfluss verschiedener Störungsarten auf das Trainingsergebnis, den Vergleich von Low Level und High Level Fusionstechniken und die Tiefe der Netzwerkarchitekturen konzentrieren. Im neu entwickelten Trainingskonzept KISA werden gezielt Störungen während des Trainingsprozesses von Sensorfusionssystemen einbezogen. KISA ermöglicht es, die Robustheit der Systeme systematisch zu steigern, indem es die Systeme auf realistische und herausfordernde Bedingungen vorbereitet. Zur Bewertung der Robustheit eines Systems wird die Multifaktorielle Performanz-Evaluation und Sensitivitätsanalyse eingeführt, die speziell darauf ausgelegt sind, die Reaktion der Netzwerke auf verschiedene Störungsarten detailliert zu analysieren. Die Analyse in dieser Arbeit wird durch den Einsatz von Fusionsobjektdetektoren auf unterschiedlichen Datentypen durchgeführt. Diese breite Datengrundlage demonstriert die vielseitige Anwendbarkeit und Relevanz des entwickelten Trainings- und Evaluationskonzepts für verschiedene sensorbasierte Technologien. Speziell für die Analyse von Punktwolkedaten wird der Complex-YOLO Algorithmus verwendet, der hier erstmalig sowohl für Low Level als auch High Level Fusion adaptiert und angewendet wird. Diese Erweiterung ermöglicht die Fusion von Daten aus LiDAR- und RADAR-Sensoren mit Complex-YOLO. Die Ergebnisse dieser Arbeit bestätigen die anfängliche Hypothese und heben die Bedeutung einer sorgfältigen Abwägung des Störungsanteils im Trainingsdatensatz hervor. Es wird empfohlen, in zukünftigen Implementierungen von Fusionsnetzwerken Störungen als integralen Bestandteil des Trainingsprozesses zu betrachten, um die adaptive Kapazität der Netzwerke zu fördern und dauerhafte Robustheit zu gewährleisten. Die Dissertation zeigt auch, dass verschiedene Störungsarten unterschiedliche Herausforderungen darstellen und dass die Robustheit signifikant von der Art der Datenfusion beeinflusst wird. So zeigt sich, dass Low Level Fusion eine bessere Robustheit gegenüber Sensorstörung erreicht als High Level Fusion. Diese Forschungsarbeit liefert wertvolle Einsichten in die Dynamik und die Mechanismen, die die Robustheit von Sensorfusionssystemen gegenüber Sensorstörung beeinflussen. Die systematische Integration von Störungen in den Trainingsprozess mit KISA stellt einen effektiven Ansatz dar, um die Robustheit gegen sensorische Störungen zu erhöhen. Die Dissertation bietet somit nicht nur einen theoretischen Beitrag zur Forschung in der Sensorfusion, sondern auch ein Konzept für die Entwicklung robusterer Systeme in Sensorauswertungs Anwendungen. robustness against sensor interference than high level fusion. This research provides valuable insights into the dynamics and mechanisms that influence the robustness of sensor fusion systems to sensor perturbation. The systematic integration of disturbances into the training process with KISA represents an effective approach to increase robustness against sensory disturbances. The dissertation thus offers not only a theoretical contribution to research in sensor fusion, but also a concept for the development of more robust systems in sensor evaluation applications.