Safeguarding AI-based autonomous driving against distribution shifts induced by wavefront aberrations of the windshield

Die autonome Mobilität von morgen soll den Verkehrsfluss effizienter gestalten und damit Ressourcen einsparen und die Verkehrssicherheit erhöhen. Durch die Reduktion der Treibhausgasemissionen kann das autonome Fahren einen Beitrag zur Erfüllung der Pariser Klimaziele leisten, sofern die Potentiale der operativen Effekte - wie zum Beispiel des eco-driving, platooning, und die intersection connectivity - vollumfänglich genutzt werden. Um autonomes Fahren zu ermöglichen, werden Kamerasysteme eingesetzt, welche hinter der Fahrzeugverglasung angebracht sind. Die Leistungsfähigkeit KI-basierter Erkennungsmodule wird durch die optischen Eigenschaften der Verglasung beeinflusst. ... mehrDie zwei Hauptkomponenten sind dabei die Verzeichnung und die Unschärfe.

Den Auswirkungen dieser optischen Effekte auf die Prädiktionsgenauigkeit KI-basierter Erkennungsmodule soll durch zwei unterschiedliche Strategien begegnet werden. Zum einen soll die Verzeichnung über hochaufgelöste Deflektionsmessungen aktiv korrigiert werden und zum anderen soll die Unschärfe durch erhöhte Qualitätsanforderungen an die Verglasung unterdrückt werden, sodass diese Aberrationskomponente vernachlässigbar wird. Um dieses Vorhaben zu realisieren, sind zunächst die Korrelationen zwischen Glasqualität und KI-System-Performance zu untersuchen, damit die Sicherheits-anforderungen aus der KI-Welt auf optische Kenngrößen abgebildet werden können.

Viele KI-Systeme weisen eine Opazität auf, was den Zusammenhang zwischen Bild-Eingabedaten und KI-Ausgabe für den Nutzer nur schwer greifbar macht. Dies stellt insbesondere bei sicherheitsrelevanten Anwendungen ein großes Problem dar. Beispielsweise ist die Bestimmung von Leistungsgrenzen innerhalb eines erforderlichen Vertrauensniveaus für solche KI-Systeme nicht oder nur schwer möglich. Erkenntnisse aus dieser Dissertation können helfen, die Zuverlässigkeit von KI-Systemen für das autonome Fahren zu erhöhen und bieten eine Entscheidungsgrundlage zur internationalen Standardisierung im Rahmen der ISO6041.

Zudem leistet diese Arbeit einen Beitrag zur Steigerung der Robustheit KI-basierter Systeme gegenüber optischen Aberrationen der Windschutzscheibe auf Basis der Fourier Optik, der optischen Messtechnik und dem maschinellen Lernen. Die dadurch erzielte Vertrauenswürdigkeit des Systems ist essentiell, um die notwendige gesellschaftliche Akzeptanz zu etablieren, um den Mehrwert des autonomen Fahrens großskalig zu realisieren und damit die Sicherheit sowie die Ressourceneffizienz in der Mobilität nachhaltig zu erhöhen.

The autonomous mobility of tomorrow should make the traffic flow more efficient, thereby saving resources and increasing road safety. By reducing greenhouse gas emissions, autonomous driving can contribute to fulfill the Paris climate goals if and only if the potential of operational effects (e.g., eco-driving, platooning, and intersection connectivity) are unlocked. To enable autonomous driving, camera systems are used which are installed behind the vehicle windshield. The performance of AI-based perception modules is influenced by the optical properties of the glazing. ... mehrThe two main components are distortion and blurring.

The impact of these optical effects on the prediction accuracy of AI-based perception modules is tackled by two different strategies. On the one hand, the distortion will be actively corrected using high-resolution deflection measurements and, on the other hand, the blurring is suppressed to negligibleness by adequate quality requirements for the windshield. In order to realize this strategy, the correlations between glass quality and AI system performance must first be investigated so that the safety requirements from the AI world can be mapped to optical characteristics of the windshield.

Many AI systems are opaque, which makes the relationship between image-based input data and AI prediction difficult for the user to grasp. This poses a major problem, especially for security-relevant applications. For example, determining performance limits for an AI system within a required confidence level is extremely difficult or even impossible. Findings from this dissertation can help to increase the reliability of AI systems for autonomous driving and provide a scientific baseline for decision makers at international standardization institutes (e.g. ISO6041).

In addition, this work contributes to increasing the robustness of AI-based systems against optical aberrations of the windshield based on Fourier optical principles, novel optical measurement technologies and state-of-the-art machine learning methods. The resulting trustworthiness of the system is essential in order to establish the necessary social acceptance to realize the added value of autonomous driving on a large scale and thus sustainably increase safety and resource efficiency in mobility.