Adaptive scenario selection for simulative testing of perception functions in automated driving

Die Integration von Low-Level-Fahrsystemen zur Fahrzeugsteuerung, wie z.B. Notbremsassistenten oder Adaptive Cruise Control, haben das Potenzial, die Sicherheit im Straßenverkehr signifikant zu verbessern. Allerding wird die Einführung von vollautomatisierten Fahrsystemen aufgrund derzeit unbeantwortbarer Fragen im Bereich der automatisierten Umfeldperzeption gehemmt. Innerhalb der letzten Dekade konnten jedoch Fortschritte in den Forschungsbereichen Machine Learning, High-Performance Computing, Robotik und Automobiltechnik erzielt werden. Durch die Nutzung künstlicher neuronaler Netze konnten Ergebnisse generiert werden, die mit der Leistung des menschlichen Auges vergleichbar sind.
... mehr

Obwohl die nicht-lineare Entscheidungsfindung ein zentraler Vorteil von KNNs während des automatisierten Erlernens von Datenstrukturen ist, birgt sie auch Schwierigkeiten. Diese betreffen sowohl die Interpretation des Outputs als auch die Behebung eines eventuellen Fehlverhaltens. Dabei spielen die Qualität und Diversität eine zentrale Rolle innerhalb des Lernprozesses eines Neuronalen Netzes. Daher ist die Zusammenstellung eines umfassenden Datensatzes eine zentrale Aufgabe, insbesondere für das Testen eines Models. Die Aussagekraft von Testprozessen sowie berechneter Key Performance Indicators hängen stark vom Umfang und der Diversität des zusammengestellten Testdatensatzes ab. Das Sammeln von Entwicklungsdaten im realen Verkehr hat jedoch mehrere Nachteile. Zu diesen zählen die hohen Kosten für die Durchführung der Datenaufzeichnung, die gegebenenfalls mangelhafte Qualität von Daten Labels und eine eingeschränkte Skalierbarkeit. Des Weiteren können die aufgezeichneten Daten bei zunehmender Datenmenge repetitiv werden und gefährliche Verkehrsszenarien oder extreme Wetterereignisse unterrepräsentieren.

Diese Dissertation befasst sich mit der Nutzung von synthetischen Bilddaten, mit dem Ziel die Schwächen eines KNNs systematisch aufzudecken. Hierfür wird eine Pipeline zur Testung von KNNs eingeführt. Die Pipeline nutzt die Aspekte des Szenario-basierten Testens und kombiniert diese mit Simulationssoftware zu Generierung von Bilddaten. Durch den Einsatz von adaptiven Samplingstrategien werden iterativ Testfälle generiert, die bei einem zu testenden KNN ein Systemversagen auslösen. Dabei können Bestandteile von Verkehrsszenarien identifiziert werden, die für das KNN besonders herausfordernd sind.

Im Rahmen dieser Arbeit wurde eine umfangreiche Implementierung der vorgestellten Pipeline durchgeführt und die Validität des Ansatzes nachgewiesen. Mit Hilfe der Pipeline können kritische Szenarien für das KNN effizient generiert werden. Durch die Verwendung der Bilddaten kritischer Szenarien im Trainingsprozess kann die Leistung des Modells signifikant verbessert werden. Dadurch wurde die Robustheit des Modells gegenüber kritischen Szenarien erhöht.

Diese Dissertation trägt dazu bei, den Test- und Entwicklungsprozess von neuronalen Netzen in der Umfeldperzeption von automatisierten Fahrsystemen zu verbessern. Dennoch können im Bereich des simulativen Testens aufgrund noch fehlender Forschung einige Fragestellungen noch nicht abschließend beantwortet werden.

Integrating low-level driving systems for vehicle control, such as emergency brake assist or cruise control, has shown the potential to significant safety improvements in traffic. The prospect of fully automated driving systems has been questioned, among other things, due to limits in automated environmental perception and scene understanding. Recently, advances have been made in machine learning, high-performance computing, robotics, and automotive engineering research areas. The accuracy of machine learning systems has reached performances comparable to human capabilities. ... mehrWhile machine learning-driven perception can significantly outperform traditional perception approaches, it is no silver bullet for solving all challenges in computer vision simultaneously.

A key feature of neural networks, wildly dominating this area of machine learning systems, is their non-linearity for decision-making, being boon and bane alike. While being able to encode information from development data into the network structure autonomously, this restricts the ability to debug and interpret behavior. The quality and diversity of development data plays a main role when training neural networks. Hence, assembling a comprehensive data set is a key task, especially for model testing. Generally, the validity of traditional tests and performance metrics in perception depends on the volume and variety of the assembled test data set. However, collecting image data from real traffic has many drawbacks, including high labeling and data recording costs, deficiencies in labeling quality, and poor scalability. Furthermore, recorded data may get repetitive over time, with dangerous traffic scenarios or extreme weather events being rare.

This thesis discusses the simulative generation of synthetic image data to reveal the weaknesses of a (perception) system-under-test. This thesis introduces a testing pipeline for perception function by utilizing and expanding on existing test frameworks. The proposed pipeline leverages scenario-based testing and synthetic data generation combined with adaptive testing strategies to iteratively test the perception system for scenarios where the performance does not comply with the required behavior. In this context, adaptive strategies assume that a perception function performance depends highly on the scenario's semantic features, such as early failure detection.

Extensive testing of the proposed pipeline demonstrates the validity of the approach and sets it in the context of alternative approaches for testing neural networks. Using the pipeline, neural network failures can be detected efficiently, and neural network deficiencies can be identified.
When using the generated insights and failure data, the performance of the trained model can be improved to be more robust and less prone to challenging driving scenarios.

While there are remaining questions that have to be the subject of further research, this thesis contributes to improving the test and development process of neural networks in the perception of automated driving systems.