Exploration and Cluster-Based Analysis of Simulated Logical Scenarios for Testing Automated Driving Systems

Mobilitätssysteme der Zukunft werden aufgrund der zunehmenden Verstädterung mit immer zahlreicheren Herausforderungen konfrontiert werden, die Verkehrssysteme an ihre Grenzen bringen können.
Infolgedessen besteht die Gefahr, dass Staus und Unfälle im Verkehr in Zukunft zunehmen.
Assistierte und automatisierte Fahrsysteme haben das Potenzial, die Mobilität und die Effizienz zu steigern, die Umweltfreundlichkeit zu erhöhen und die Sicherheit zu verbessern.
Die Einführung solcher Systeme führt jedoch zu einem höheren Maß an Komplexität und Vernetzung der Funktionen im Fahrzeug. ... mehr
Vor allem die Gewährleistung der Sicherheit wird zu einem entscheidenden Faktor für die erfolgreiche Integration und Akzeptanz dieser Systeme in der Gesellschaft.

Um die Sicherheitsanforderungen zu erfüllen, die erforderlichen Fähigkeiten für verschiedene Anwendungsfälle nachzuweisen und Risiken zu minimieren, sind gründliche Tests auf verschiedenen Ebenen unabdingbar.
Während gegenwärtig Testfahrten unter realen Bedingungen durchgeführt werden, um das sichere Verhalten von Fahrzeugen mit Fahrassistenzsystemen zu validieren, werden ab einem höheren Automatisierungsgrad abstandsbasierte Testansätze (Testfahrten) zunehmend unpraktikabel.
In diesem Kontext gewinnt der szenario-basierte Testansatz an Bedeutung, da er effizient das Verhalten der Fahrzeuge in vielfältigen Situationen untersuchen und bewerten kann.
Die Identifizierung und Zusammenstellung geeigneter und relevanter Szenarien für das Testen ist dabei von entscheidender Bedeutung.

Die vorliegende Arbeit untersucht zwei logische Szenarien mittels Szenarienexploration und analysiert die Ergebnisse.
Dabei werden zunächst die Einflussfaktoren untersucht, die die Qualität und Kritikalität eines Szenarios bestimmen.
Es wird eine Kritikalitätsmetrik eingeführt, um Szenen entsprechend ihrer Kritikalität zu bewerten.
Bayes Optimierung wird verwendet, um logische Szenarien effektiv nach kritischen Bereichen zu durchsuchen, ohne eine gitter-basierte Simulation durchführen zu müssen.
Die Ergebnisse können daraufhin aufgrund der Ähnlichkeit verschiedener Metriken geclustert und inhaltlich zu einer reduzierten Anzahl von proto- und archetypischen Szenarien zusammengefasst werden.
Schließlich kann das während der Explorationsphase trainierte Vorhersagemodell genutzt werden, um Aussagen über die Konfidenz und Sicherheit der Ergebnisse bezüglich der Kritikalität zu treffen.
Diese Methodik zielt darauf ab, das Verständnis für Vorgänge in logische Szenarien durch Exploration und Auswertung zu verbessern und Szenarienkataloge für umfassende Test erstellen zu können.
Weiterhin stellt die Auswertung der Ergebnisse eines logischen Szenarios einen wichtigen Schritt für die Coverageaussage eines solchen Szenarios dar.

The future of mobility systems will face many challenges as urbanization and the number of registered vehicles increase, potentially pushing transportation systems to their limits.
Assisted and automated driving systems have the potential to provide greater mobility for all, driving more efficiently, environmentally friendly, and safely.
However, the introduction of such systems leads to increased complexity and interconnectivity of vehicle functions.
Safety is a critical factor for the successful integration and acceptance of these systems in society. Thorough testing of vehicles at different stages of development is essential to meet requirements, demonstrate the necessary capabilities for different use cases, and minimize risks. ... mehr
Currently, test drives under real-world conditions are used to validate the safe behavior of vehicles with driver assistance systems.
However, at higher levels of automation (e.g. SAE Level 4 and Level 5), the distance-based testing approach becomes less feasible due to the excessive number of test kilometers required to ensure safety.
Scenario-based testing is gaining recognition as an efficient way to investigate and evaluate vehicle behavior in different situations.
It is necessary to identify and group suitable and relevant scenarios for testing.
Scenarios can be obtained in a variety of ways: from real data, for example, or created by experts.
However, especially with data-driven approaches, there is a risk that many scenarios are very similar and show little difference, especially if they are assigned to the same logical scenario.
This thesis investigates the results of scenario exploration of a logical scenario in the context of scenario-based testing.

This thesis examines two logical scenarios using scenario exploration and analyzes the results.
To achieve this, the first step is to clarify what defines quality and criticality in logical or concrete scenarios.
Then, a criticality metric is introduced that allows a comprehensive evaluation of scenes, inspired by the traffic quality assessment used for highways.
Bayesian optimization is used to effectively search the example scenarios for critical areas without having to run a grid-based simulation.
The results can then be clustered based on the similarity of different metrics and summarized into a reduced number of proto- and archetypal scenarios.
Finally, the predictive model trained during the exploration phase can be used to make statements about the confidence and certainty of the results with respect to criticality.
This methodology aims to improve the understanding of processes in logical scenarios through exploration and evaluation, and to be able to create scenario catalogs for comprehensive testing.
In addition, evaluating the results of a logical scenario is an important step in determining the coverage of such a scenario.