Measurable Safety of Automated Driving Functions in Commercial Motor Vehicles - Technological and Methodical Approaches

Fahrerassistenzsysteme sowie automatisiertes Fahren leisten einen wesentlichen Beitrag zur Verbesserung der Verkehrssicherheit von Kraftfahrzeugen, insbesondere von Nutzfahrzeugen. Mit der Weiterentwicklung des automatisierten Fahrens steigt hierbei die funktionale Leistungsfähigkeit, woraus Anforderungen an neue, gesamtheitliche Erprobungskonzepte entstehen. Um die Absicherung höherer Stufen von automatisierten Fahrfunktionen zu garantieren, sind neuartige Verifikations- und Validierungsmethoden erforderlich.

Ziel dieser Arbeit ist es, durch die Aggregation von Testergebnissen aus wissensbasierten und datengetriebenen Testplattformen den Übergang von einer quantitativen Kilometerzahl zu einer qualitativen Testabdeckung zu ermöglichen. ... mehrDie adaptive Testabdeckung zielt somit auf einen Kompromiss zwischen Effizienz- und Effektivitätskriterien für die Absicherung von automatisierten Fahrfunktionen in der Produktentstehung von Nutzfahrzeugen ab.

Diese Arbeit umfasst die Konzeption und Implementierung eines modularen Frameworks zur kundenorientierten Absicherung automatisierter Fahrfunktionen mit vertretbarem Aufwand. Ausgehend vom Konfliktmanagement für die Anforderungen der Teststrategie werden hochautomatisierte Testansätze entwickelt. Dementsprechend wird jeder Testansatz mit seinen jeweiligen Testzielen integriert, um die Basis eines kontextgesteuerten Testkonzepts zu realisieren. Die wesentlichen Beiträge dieser Arbeit befassen sich mit vier Schwerpunkten:

* Zunächst wird ein Co-Simulationsansatz präsentiert, mit dem sich die Sensoreingänge in einem Hardware-in-the-Loop-Prüfstand mithilfe synthetischer Fahrszenarien simulieren und/ oder stimulieren lassen. Der vorgestellte Aufbau bietet einen phänomenologischen Modellierungsansatz, um einen Kompromiss zwischen der Modellgranularität und dem
Rechenaufwand der Echtzeitsimulation zu erreichen. Diese Methode wird für eine modulare Integration von Simulationskomponenten, wie Verkehrssimulation und Fahrdynamik, verwendet, um relevante Phänomene in kritischen Fahrszenarien zu modellieren.

* Danach wird ein Messtechnik- und Datenanalysekonzept für die weltweite Absicherung von automatisierten Fahrfunktionen vorgestellt, welches eine Skalierbarkeit zur Aufzeichnung von Fahrzeugsensor- und/ oder Umfeldsensordaten von spezifischen Fahrereignissen einerseits und permanenten Daten zur statistischen Absicherung und Softwareentwicklung andererseits erlaubt. Messdaten aus länderspezifischen Feldversuchen werden aufgezeichnet und zentral in einer Cloud-Datenbank gespeichert.

* Anschließend wird ein ontologiebasierter Ansatz zur Integration einer komplementären Wissensquelle aus Feldbeobachtungen in ein Wissensmanagementsystem beschrieben. Die Gruppierung von Aufzeichnungen wird mittels einer ereignisbasierten Zeitreihenanalyse mit hierarchischer Clusterbildung und normalisierter Kreuzkorrelation realisiert. Aus dem extrahierten Cluster und seinem Parameterraum lassen sich die Eintrittswahrscheinlichkeit jedes logischen Szenarios und die Wahrscheinlichkeitsverteilungen der zugehörigen Parameter ableiten. Durch die Korrelationsanalyse von synthetischen und naturalistischen Fahrszenarien wird die anforderungsbasierte Testabdeckung adaptiv und systematisch durch ausführbare Szenario-Spezifikationen erweitert.

* Schließlich wird eine prospektive Risikobewertung als invertiertes Konfidenzniveau der messbaren Sicherheit mithilfe von Sensitivitäts- und Zuverlässigkeitsanalysen durchgeführt. Der Versagensbereich kann im Parameterraum identifiziert werden, um die Versagenswahrscheinlichkeit für jedes extrahierte logische Szenario durch verschiedene Stichprobenverfahren, wie beispielsweise die Monte-Carlo-Simulation und Adaptive-Importance-Sampling, vorherzusagen. Dabei führt die geschätzte Wahrscheinlichkeit einer Sicherheitsverletzung für jedes gruppierte logische Szenario zu einer messbaren Sicherheitsvorhersage.

Das vorgestellte Framework erlaubt es, die Lücke zwischen wissensbasierten und datengetriebenen Testplattformen zu schließen, um die Wissensbasis für die Abdeckung der Operational Design Domains konsequent zu erweitern.

Zusammenfassend zeigen die Ergebnisse den Nutzen und die Herausforderungen des entwickelten Frameworks für messbare Sicherheit durch ein Vertrauensmaß der Risikobewertung. Dies ermöglicht eine kosteneffiziente Erweiterung der Validität der Testdomäne im gesamten Softwareentwicklungsprozess, um die erforderlichen Testabbruchkriterien zu erreichen.

Driver assistance systems and automated driving make a significant contribution in improving the road safety for vehicles, particularly the commercial motor vehicles. With the further development of automated driving, the functional performance increases resulting in the need for new and comprehensive testing concepts. New verification and validation methods are therefore required to cope up with the testing of higher levels of the automated driving functions.

This doctoral thesis aims to enable the transition from quantitative mileage to qualitative test coverage by aggregating the results of both knowledge-based and data-driven test platforms. ... mehrThe adaptive test coverage thus seeks to achieve a compromise between efficiency and effectiveness criteria of the assessment of automated driving functions in the product development of commercial motor vehicles. The systematic approach of this work includes the conception and implementation of a modular framework for the customer-oriented testing of the automated driving functions with reasonable efforts. Based on conflict management for the requirements of the test strategy, highly automated test
approaches are developed. Accordingly, each test approach is integrated with its respective test objectives to realize the basis of a context-driven test concept. The main contributions of this thesis are fourfold:

* First, a co-simulation approach is presented which allows the perception sensor inputs to be simulated and/or stimulated in a Hardware-in-the-Loop test bench using synthetic driving scenarios. The presented setup offers a phenomenological modeling approach to achieve a compromise between the model granularity and the computational effort of the realtime simulation. This approach is used in a modular integration of simulation components such as traffic simulation and vehicle dynamics to model the relevant phenomena in critical driving scenarios.

* Next, a data-logging and analysis approach for the worldwide validation of the automated driving functions is presented. This approach provides scalability for the acquisition of vehicle sensor and/or environment perception-sensor data of specific driving events on one hand and permanent data for statistical coverage and software development on the other hand. A cloud database centrally stores the acquired measurement data from the country-specific field tests.

* Subsequently, an ontology-based approach is described for integrating a complementary knowledge source from field observations into a knowledge management system. The clustering of recordings is realized by the means of an event-based time-series analysis with hierarchical clustering and normalized cross-correlation. The extracted clusters and their parameter space define the probability of occurrence of each logical scenario and the probability distributions of the associated parameters. Thereby, the correlation analysis of synthetic and naturalistic driving scenarios enlarges the requirements-based test coverage adaptively and systematically by executable scenario specifications.

* Eventually, a prospective risk assessment is carried out as an inverted confidence level of measurable safety using sensitivity and reliability analyses. The failure region is identified in the parameter space to predict the failure probability for each extracted logical scenario using sampling methods such as Monte-Carlo simulation and Adaptive Importance Sampling. The estimated probability of a safety violation for each clustered logical scenario results in a measurable safety prediction.

The presented framework allows a patching of the gap between knowledge-based and data-driven test platforms, thus consistently expanding the knowledge database of the Operational Design Domain coverage. In summary, the results show the benefits and challenges of the developed framework for measurable safety through a risk assessment confidence level. As a result, the validity of the test domain can be extended cost-effectively throughout the software development process to achieve meaningful test termination criteria.