Video-based Pedestrian Intention Recognition and Path Prediction for Advanced Driver Assistance Systems

Fortgeschrittene Fahrerassistenzsysteme (FAS) spielen eine sehr wichtige Rolle in zukünftigen Fahrzeugen um die Sicherheit für den Fahrer, der Fahrgäste und ungeschützte Verkehrsteilnehmer wie Fußgänger und Radfahrer zu erhöhen. Diese Art von Systemen versucht in begrenztem Rahmen, Zusammenstöße in gefährlichen Situationen mit einem unaufmerksamen Fahrer und Fußgänger durch das Auslösen einer automatischen Notbremsung zu vermeiden. Aufgrund der hohen Variabilität an Fußgängerbewegungsmustern werden bestehende Systeme in einer konservativen Art und Weise konzipiert, um durch eine Restriktion auf beherrschbare Umgebungen mögliche Fehlauslöseraten drastisch zu reduzieren, wie z.B. ... mehrin Szenarien in denen Fußgänger plötzlich anhalten und dadurch die Situation deeskalieren. Um dieses Problem zu überwinden, stellt eine zuverlässige Fußgängerabsichtserkennung und Pfad\-vorhersage einen großen Wert dar.
In dieser Arbeit wird die gesamte Ablaufkette eines Stereo-Video basierten Systems zur Intentionsschätzung und Pfadvorhersage von Fußgängern beschrieben, welches in einer späteren Funktionsentscheidung für eine automatische Notbremsung verwendet wird.
Im ersten von drei Hauptbestandteilen wird ein Echtzeit-Verfahren vorgeschlagen, das in niedrig aufgelösten Bildern aus komplexen und hoch dynamischen Innerstadt-Szenarien versucht, die Köpfe von Fußgängern zu lokalisieren und deren Pose zu schätzen. Einzelbild-basierte Schätzungen werden aus den Wahrscheinlichkeitsausgaben von acht angelernten Kopfposen-spezifischen Detektoren abgeleitet, die im Bildbereich eines Fußgängerkandidaten angewendet werden. Weitere Robustheit in der Kopflokalisierung wird durch Hinzunahme von Stereo-Tiefeninformation erreicht. Darüber hinaus werden die Kopfpositionen und deren Pose über die Zeit durch die Implementierung eines Partikelfilters geglättet.
Für die Intentionsschätzung von Fußgängern wird die Verwendung eines robusten und leistungsstarken Ansatzes des Maschinellen Lernens in unterschiedlichen Szenarien untersucht. Dieser Ansatz ist in der Lage, für Zeitreihen von Beobachtungen, die inneren Unterstrukturen einer bestimmten Absichtsklasse zu modellieren und zusätzlich die extrinsische Dynamik zwischen unterschiedlichen Absichtsklassen zu erfassen. Das Verfahren integriert bedeutsame extrahierte Merkmale aus der Fußgängerdynamik sowie Kontextinformationen mithilfe der menschlichen Kopfpose.
Zum Schluss wird ein Verfahren zur Pfadvorhersage vorgestellt, welches die Prädiktionsschritte eines Filters für multiple Bewegungsmodelle für einen Zeithorizont von ungefähr einer Sekunde durch Einbeziehung der geschätzten Fußgängerabsichten steuert. Durch Hilfestellungen für den Filter das geeignete Bewegungsmodell zu wählen, kann der resultierende Pfadprädiktionsfehler um ein signifikantes Maß reduziert werden. Eine Vielzahl von Szenarien wird behandelt, einschließlich seitlich querender oder anhaltender Fußgänger oder Personen, die zunächst entlang des Bürgersteigs gehen aber dann plötzlich in Richtung der Fahrbahn einbiegen.

Advanced driver assistance systems (ADAS) play a very important role in manufacturing future vehicles to enhance safety for human drivers, passengers and vulnerable road users like pedestrians and cyclists. These systems try to avoid collisions in dangerous situations involving an inattentive driver and pedestrian by triggering an autonomous emergency braking. Due to the high variability in pedestrian movement behavior, existing systems are designed in a conservative way by decreasing benefit in order to reduce false activation rates in scenarios where pedestrians are suddenly stopping and deescalating the situation. ... mehrTo overcome this problem, a reliable pedestrian intention recognition and path prediction are of great value.
This work presents the overall processing chain of a stereo-video based system for pedestrian intention recognition and path prediction in daily traffic scenarios to be integrated into a function for automatic emergency braking.
As one of three major parts, first, a real-time method is proposed that tries to localize pedestrian heads and to estimate their poses in low resolution gray value images including complex highly dynamic inner-city scenarios. Single frame based estimates are derived using confidence outputs of eight trained head pose classifiers applied at the image region of a pedestrian candidate. Further robustness in head localization is achieved by incorporating stereo depth information. Furthermore, head positions and head poses are tracked over time by implementing a particle filter.
For the task of intention recognition, the use of a robust and highly performing machine learning approach is investigated in different scenarios. This approach is able to model the intrinsic sub-structure of a specific intention class while additionally capturing extrinsic dynamics between different intention classes in time-series. Powerful features are integrated namely pedestrian dynamics by means of estimated lateral and longitudinal velocity components resulting from a pedestrian detection and tracking system as well as the pedestrian's awareness of an oncoming vehicle indicated by the human head pose.
Finally, a method for path prediction is developed that controls the prediction steps of a multiple motion-model filter for a time horizon of approximately one second by incorporating the estimated pedestrian intentions. By helping the filter to choose the appropriate motion model, the resulting path prediction error can be reduced by a significant amount. A wide range of scenarios is addressed including lateral crossing or stopping pedestrians or pedestrians that initially are walking along the sidewalks but then suddenly bend in towards the road.