Dynamic Multi-Mode Scheduling and Deployment with Early Exit Neural Network Integration

Vier zentrale Trends prägen die Architektur moderner Kraftfahrzeuge. Diese Trends sind die Zentralisierung der Fahrzeugarchitektur, der verstärkte Einsatz von Software-defined Vehicles, der steigende Einsatz von Hardware-Abstraction-Layern sowie die Nutzung von Machine-Learning-Methoden. Die Entwicklung des Trends zur Hardwarezentralisierung verläuft von einer verteilten Architektur über eine domänenzentrierte Architektur hin zu einer Fahrzeug-zentrierten Architektur. In der domänenzentralisierten Architektur werden Domain Controller eingesetzt, um Subsysteme wie den Antriebsstrang, das Infotainmentsystem oder die Karosserie zentralisiert zu steuern. ... mehrDieser Trend bilded das Umfeld dieser Dissertation. Leistungsfähigere und komplexere Hardwareplattformen fördern diesen Trend, was wiederum komplexere Software-Stacks erfordert und den Einsatz von Machine-Learning-Methoden ermöglicht. Um die Mehrkerneigenschaften der eingesetzten Plattformen auszunutzen und gleichzeitig die Anforderungen des Automotive-Bereichs zu erfüllen, wird ein Schedulingverfahren benötigt, welche funktionale Anforderungen berücksichtigt und dem Entwickler die Safety of the Intended Functionality gewährleistet. Ein solcher Algorithmus muss in der Lage sein, Task Sets zu schedulen, die sowohl Machine-Learning-Methoden als auch periodische Tasks für Steuerungsfunktionen zentralisierter Architekturen umfassen. Weiterhin muss das Modell Plattformen mit Peripherie, mehreren Kernen sowie Hardwarebeschleunigern unterstützen. Domain Controller weisen zudem dynamische Betriebsmodi auf, zwischen welchen bei Fehlern oder Anomalien oder bei Aktivieren von Komponenten umgeschaltet wird.

Bestehende Arbeiten betrachten jeweils nur einen Teil der genannten Anforderungen, etwa die Unterstützung von Machine-Learning-basierten Tasks, ein aussagekräftiges Task-Modell oder die dynamische Ausführung von Tasks. Diese Dissertation verfolgt das Ziel, diese Anforderungen in einem holistischen Ansatz zu vereinen. Zur Argumentation für eine sichere Ausführung wird innerhalb eines Time-Triggered-Scheduling-Ansatzes ein Correct-by-Construction-Argument verwendet. Der Algorithmus modelliert die Ausführungszeit unter der Annahme, dass keine Verzögerungen durch zeitgleiche Zugriffe auf Speicher oder Peripherie auftreten. Ist diese Annahme erfüllt, werden die Tasks innerhalb ihrer vorhergesagten Ausführungszeit ausgeführt. Die Einbindung von Machine-Learning-Methoden in diesen Schedulingansatz erfolgt durch das Hinzufügen von Early Exits und einen Scheduling-Algorithmus, der diese Early Exits ausführt, sobald Constraint-Verletzungen vorhergesagt werden. Die resultierenden Neuronalen Netze werden dann als Anytime Neural Networks bezeichnet und können sowohl innerhalb des Time-Triggered-Verfahrens als auch eigenständig eingesetzt werden. Der dynamische Aspekt des eigentlich statischen Time-Triggered Schedulings wird durch einen Mode-Change-Mechanismus unterstützt, der die Ausführung verschiedener Task Sets zur Laufzeit über entsprechende Modi und zusätzlich generierte Übergangs-Schedules erlaubt. Da die Komplexität des resultierenden Schedule-Graphen mit der Anzahl der Modiübergänge exponentiell steigt, wird ein Verfahren zur Reduktion der Scheduleanzahl mittels Varianten bereits generierter Schedules eingeführt. Neben benutzerdefinierten Modiübergängen kann der Mode-Change-Mechanismus auch durch einen Anomaly-Detection-Mechanismus ausgelöst werden, der dem System automatisch zur Designzeit hinzugefügt wird.

Die Evaluierung erfolgt durch zwei Use Cases. Der erste enthält zwei neuronale Netze, die auf einem dedizierten Hardwarebeschleuniger in einem Mehrkernprozessor ausgeführt werden. Der zweite Use Case basiert auf einer RoboRacer-Plattform und schedult ein Task Set für autonomes Fahren sowohl auf einem Jetson Nano als auch auf einem AMD KR260. Die Evaluation der Generalisierbarkeit erfolgt komponentenweise. Synthetische Task Sets mit variierenden Parametern werden gescheduled und der Algorithmus hinsichtlich der Erfolgsrate sowie der Laufzeit evaluiert. Die höchste Laufzeit liegt bei \SI{100}{\minute} für 100 Tasks, eine Auslastung von 100 %, einen Deadline-Slack von 0,0 sowie acht Execution Units. Dieses komplexeste Task Set wurde innerhalb einer angemessenen Zeit gescheduled und zeigt, dass der Ansatz für reale Anwendungsszenarien geeignet ist. Zusätzlich wird der Anytime-Neural-Network-Ansatz hinsichtlich seiner eigenständigen Einsetzbarkeit evaluiert. Die Ergebnisse zeigen, dass der vorgestellte Scheduler einen temporären Anstieg der Utilization auf 250 % bei einer Absenkung der Accuracy auf das Niveau des frühesten Early Exits bewältigen kann.

Diese Dissertation präsentiert einen holistischen Schedulingansatz, der Machine-Learning-Methoden, periodische Tasks und dynamische Betriebsmodi vereint sowie einen Correct-by-Construction-Ansatz für die sichere Ausführung von Tasks mittels Time-Triggered Scheduling mit Mode-Change-Mechanismus unterstützt.

Four trends can be observed in the architecture of modern automotive vehicles. These trends are the centralization of system architectures, the increasing software-centricity of the automotive domain, the growing use of hardware-abstraction layers to facilitate this shift, and the increasing deployment of machine learning-based methods. The evolution of hardware centralization is projected to progress from a distributed architecture through a domain-centralized architecture toward a vehicle-centralized architecture. In such architectures, domain controllers are used to manage automotive subsystems such as the drivetrain, the infotainment system, and body-control functions with increasing complexity. ... mehrThis architectural trend is the primary focus of this thesis. It is accompanied by increasingly powerful and complex hardware platforms, which require sophisticated software stacks to fully utilize their capabilities. These powerful hardware platforms also enable the deployment of machine learning-based methods. To exploit the multicore nature of the employed hardware platforms while simultaneously fulfilling the real-time requirements of the automotive domain, a safe scheduling method is required, which also satisfies functional requirements and provides Safety of the Intended Functionality guarantees to the system designer. Such a scheduling algorithm must be capable of scheduling task sets that include both machine learning-based methods and periodic tasks for the control functionality of domain-centric architectures. The underlying task model must support the modeling of complex execution platforms with peripherals, multiple cores, and hardware accelerators. Domain-centric architectures also require dynamic task execution when subsystems experience faults or anomalies or when functional components are activated or deactivated.

Existing work addresses subsets of these requirements, such as supporting machine learning-based tasks, providing a descriptive task model, or enabling dynamic execution. This thesis aims to combine these features in a holistic scheduling approach. To argue for safe execution, a correct-by-construction argument is employed within a time-triggered scheduling approach. This considers periodic tasks and models execution times as estimates which remain valid, provided that no delays, caused by contention for shared resources, such as memory or peripherals, occur. Given a contention-free schedule, tasks complete within their estimated execution times. The integration of machine learning-based tasks into this scheduling framework is achieved through an approach that introduces a dedicated model, adds early exits to the used networks, and provides a scheduling algorithm capable of scheduling those early exits should constraint violations be predicted. The resulting networks are referred to as Anytime neural networks. Although this approach is designed for use within the time-triggered scheduling framework, a stand-alone version is also provided. The dynamic aspect of the otherwise static scheduling is introduced through a mode-change mechanism which enables mode changes during runtime with corresponding task sets and automatically generated transitions. Since the complexity of the resulting schedule graph grows exponentially with the number of required transitions, a method for reducing the number of schedules through the use of schedule variants is presented. In addition to user-defined mode changes, the mode-change mechanism can also be triggered by an automated anomaly-detection mechanism, which this approach automatically adds to the system.

The evaluation is conducted using two case studies that demonstrate the applicability of the proposed approaches to real-world scenarios. The first case study deploys two neural networks on a dedicated hardware accelerator. The second case study is based on the RoboRacer platform and deploys an autonomous-driving task set on both a Jetson Nano and an AMD KR260 platform. Generalizability is assessed through a component-wise evaluation of the scheduling approaches using synthetic task sets with varying parameters. These task sets are evaluated with respect to scheduling success rate and algorithm runtime. The highest runtime was observed for a task set of 100 tasks, a utilization of 100 %, a deadline slack of 0.0, and eight execution units, resulting in a runtime of approximately \SI{100}{\minute}. As expected, runtime increases with the number of tasks. An increase in utilization, in the proportion of multi-version tasks, and the proportion of tasks with precedence constraints had limited effect. Because the most complex task set can be scheduled within a reasonable amount of time, the proposed scheduling approach is applicable to real-world scenarios. In addition, the Anytime neural network approach is evaluated with respect to its stand-alone applicability. This demonstrates that the proposed scheduler handles a temporary utilization increase of up to 250 % with a moderate reduction in accuracy.

This thesis introduces a novel and holistic scheduling concept, which supports scheduling machine learning-based tasks within periodic systems and establishes a correct-by-construction argument through a time-triggered scheduling framework with mode-change capabilities.