Constrained Neural Networks for Safety-Critical Environments – In the Context of Automated Driving and Driver Assistance

Neuronale Netzwerke sind zu einer Schlüsseltechnologie für das automatisierte und assistierte Fahren geworden und stellen den Stand der Technik in vielen relevanten Lernaufgaben dar. Leider verändert und erschwert der Black Box Charakter neuronaler Netzwerke die Absicherung erheblich und verlangsamt die Zulassung von Systemen mit höheren Automatisierungsstufen. In sicherheitskritischen Systemen sind Einschränkungen ein etabliertes Konzept um unbeabsichtigtes und gefährliches Verhalten zu vermeiden. Allerdings ist das Integrieren von Einschränkungen in neuronale Netzwerke nicht trivial und die Forschung befindet sich noch in einem frühen Stadium.
... mehr

In dieser Arbeit wird die neuartige neuronale Netzwerkarchitektur ConstraintNet vorgestellt um eingabespezifische Einschränkungen der Ausgabe per Konstruktion sicherzustellen. Dadurch können aus Daten impliziert gelerntes Verhalten und a priori bekannte explizite Zusammenhänge flexibel kombiniert werden. ConstraintNet wendet eine eingabeabhängige Parametrisierung des eingeschränkten Ausgaberaumes als finale Schicht an. Zudem ist die Eingabe erweitert um die Einschränkung zu spezifizieren. Dadurch wird eine große Klasse von parametrisierbaren Geometrien unterstützt und der zusätzliche Rechenaufwand ist minimal. Für Einschränkungen in Form von konvexen Polytopen wird eine kompakte Parametrisierung basierend auf der Vertex-Beschreibung vorgestellt. Die Erfüllung der Einschränkungen, der geringe Rechenaufwand und eine hohe Performance werden anhand von Experimenten zur Detektion von Markierungspunkten im Gesicht gezeigt. Darüber hinaus wird eine präzise mathematische Formalisierung entwickelt mit dem Ziel Anwender aus möglichst vielen Gebieten zu erreichen. Im anwendungsbezogenen Teil der Arbeit werden neuronale Netzwerke mit Einschränkungen, inklusive ConstraintNet, bezüglich zwei sicherheitsrelevanter Aufgaben für das automatisierte und assistierte Fahren evaluiert: 1) Das Lernen eines Folgereglers mithilfe von Deep Reinforcement Learning um sichere Abstände zu vorausfahrenden Fahrzeugen einzuhalten. 2) Das Lernen einer Prädiktion von Fahrzeugtrajektorien und Einscher-Manövern um sichere und prädiktive Planer und Regler zu ermöglichen. Für die Folgeregelung werden Einschränkungen der Stellgröße durch Erweiterung des Responsibility-Sensitive Safety-Modells hergeleitet. Die Einschränkungen garantieren die Vermeidung von Auffahrunfällen und werden dem Regler als harte Ausgabeeinschränkungen auferlegt. Der Nutzen von neuronalen Netzwerken mit Einschränkungen wird in Hinblick auf Kollisionsvermeidung gezeigt. Die zweite Anwendung unterstützt Sicherheit durch eine frühe, zuverlässige und interpretierbare Verhaltensprädiktion für umgebende Fahrzeuge. Die Ausgabe ist als eine bimodale Wahrscheinlichkeitsverteilung über Trajektorien modelliert und die Moden sind mit einem Einscher- und einem Vorbeifahrmanöver assoziiert. Weiche und harte Ausgabeeinschränkungen werden für eine verbesserte laterale Trennung der Einscher- und Vorbeifahrtrajektorie angewendet. In beiden betrachteten Anwendungen vermeiden die Einschränkungen unbeabsichtigtes Verhalten und ConstraintNet erreicht eine hohe Performance.

Insgesamt leistet diese Arbeit wichtige Beiträge zum Stand der Technik von neuronalen Netzwerken mit integrierten Einschränkungen. Zudem wird das große Potential von neuronalen Netzwerken mit integrierten Einschränkungen für die Sicherheit von künstlicher Intelligenz und für den Einsatz im automatisierten und assistierten Fahren aufgezeigt.

Neural networks have been becoming a main driving factor for automated driving and driver assistance and achieve state-of-the-art performance in highly relevant learning tasks. Unfortunately, the black box character of neural networks impedes safety assurance fundamentally and slows down the approval of systems towards higher levels of automation. For safety-critical environments, constraints are an established concept to prevent unintended and hazardous behavior. However, embedding constraints in neural networks is challenging and research is in an early stage.

In this thesis, the novel neural network architecture ConstraintNet is proposed, which enforces sample-specific output constraints by construction. ... mehrThe constraints allow a flexible balancing between learning behavior implicitly from data and imposing explicit relationships based on prior knowledge. ConstraintNet applies an input-dependent parametrization of the constrained output space as the final layer, the so-called constraint guard layer. Furthermore, the input is extended for specifying the constraint. Thereby, a broad class of parametrizable geometries is supported as constraints and almost no computational overhead is required. For constraints in the form of convex polytopes, a compact parametrization based on the vertex representation is proposed. Constraint satisfaction, the low computational costs, and a high performance are demonstrated on facial landmark detection experiments. Furthermore, a general mathematical formalization is developed and aims to reach researchers of different domains. In the experimental part of this thesis, constrained neural networks including ConstraintNet are evaluated on two safety-relevant tasks of automated driving and driver assistance: 1) Learning a vehicle following controller to keep safe distances to vehicles ahead with deep reinforcement learning. 2) Learning a joint vehicle trajectory and cut-in prediction for safe and predictive planning and control. For the vehicle following controller, constraints on the control input, the safe sets, are derived by extending the responsibility-sensitive safety model. The safe sets ensure the avoidance of rear-end collisions formally and are imposed as hard output constraints on the policy. Finally, the effectiveness of constrained neural networks is demonstrated with regard to collision avoidance. The second task addresses safety by proposing an early, reliable, and interpretable behavior prediction for surrounding vehicles. The model’s output is a bimodal distribution over trajectories and the modes are associated with a cut-in and a passing maneuver. Soft and hard output constraints are leveraged to improve the lateral separation between the cut-in and passing trajectory. In both tasks, the constraints prevent unintended behavior and the design choices of ConstraintNet result in a high performance.

In conclusion, this thesis makes important contributions to the state-of-the-art of embedding constraints in neural networks. In addition, the great potential of constrained neural networks towards safe artificial intelligence for advanced driver assistance, automated driving, and the dream of self-driving vehicles is demonstrated.