Video-Based Environment Perception for Automated Driving using Deep Neural Networks

Automatisierte Fahrzeuge benötigen eine hochgenaue Umfeldwahrnehmung, um sicher und komfortabel zu fahren.
Gleichzeitig müssen die Perzeptionsalgorithmen mit der verfügbaren Rechenleistung die Echtzeitanforderungen der Anwendung erfüllen.
Kamerabilder stellen eine sehr wichtige Informationsquelle für automatisierte Fahrzeuge dar.
Sie beinhalten mehr Details als Daten von anderen Sensoren wie Lidar oder Radar und sind oft vergleichsweise günstig.
Damit ist es möglich, ein automatisiertes Fahrzeug mit einem Surround-View Sensor-Setup auszustatten, ohne die Gesamtkosten zu stark zu erhöhen.
... mehr

In dieser Arbeit präsentieren wir einen effizienten und genauen Ansatz zur videobasierten Umfeldwahrnehmung für automatisierte Fahrzeuge.
Er basiert auf Deep Learning und löst die Probleme der Objekterkennung, Objektverfolgung und der semantischen Segmentierung von Kamerabildern.
Wir schlagen zunächst eine schnelle CNN-Architektur zur gleichzeitigen Objekterkennung und semantischen Segmentierung vor.
Diese Architektur ist skalierbar, so dass Genauigkeit leicht gegen Rechenzeit eingetauscht werden kann, indem ein einziger Skalierungsfaktor geändert wird.
Wir modifizieren diese Architektur daraufhin, um Embedding-Vektoren für jedes erkannte Objekt vorherzusagen.
Diese Embedding-Vektoren werden als Assoziationsmetrik bei der Objektverfolgung eingesetzt.
Sie werden auch für einen neuartigen Algorithmus zur Non-Maximum Suppression eingesetzt, den wir FeatureNMS nennen.
FeatureNMS kann in belebten Szenen, in denen die Annahmen des klassischen NMS-Algorithmus nicht zutreffen, einen höheren Recall erzielen.

Wir erweitern anschlie{\ss}end unsere CNN-Architektur für Einzelbilder zu einer Mehrbild-Architektur, welche zwei aufeinanderfolgende Videobilder als Eingabe entgegen nimmt.
Die Mehrbild-Architektur schätzt den optischen Fluss zwischen beiden Videobildern innerhalb des künstlichen neuronalen Netzwerks.
Dies ermöglicht es, einen Verschiebungsvektor zwischen den Videobildern für jedes detektierte Objekt zu schätzen.
Diese Verschiebungsvektoren werden ebenfalls als Assoziationsmetrik bei der Objektverfolgung eingesetzt.

Zuletzt präsentieren wir einen einfachen Tracking-by-Detection-Ansatz, der wenig Rechenleistung erfordert.
Er benötigt einen starken Objektdetektor und stützt sich auf die Embedding- und Verschiebungsvektoren, die von unserer CNN-Architektur geschätzt werden.
Der hohe Recall des Objektdetektors führt zu einer häufigen Detektion der verfolgten Objekte.
Unsere diskriminativen Assoziationsmetriken, die auf den Embedding- und Verschiebungsvektoren basieren, ermöglichen eine zuverlässige Zuordnung von neuen Detektionen zu bestehenden Tracks.
Diese beiden Bestandteile erlauben es, ein einfaches Bewegungsmodell mit Annahme einer konstanten Geschwindigkeit und einem Kalman-Filter zu verwenden.

Die von uns vorgestellten Methoden zur videobasierten Umfeldwahrnehmung erreichen gute Resultate auf den herausfordernden Cityscapes- und BDD100K-Datensätzen.
Gleichzeitig sind sie recheneffizient und können die Echtzeitanforderungen der Anwendung erfüllen.
Wir verwenden die vorgeschlagene Architektur erfolgreich innerhalb des Wahrnehmungs-Moduls eines automatisierten Versuchsfahrzeugs.
Hier hat sie sich in der Praxis bewähren können.

Self-driving cars require a highly accurate environment perception to drive safely and comfortably.
At the same time, the perception algorithms must fulfill the real-time requirements of this application with limited computational resources.
Camera images provide a very important source of information for self-driving cars.
They contain more details than the data from other sensors like lidar or radar.
Camera sensors also tend to be cheap in comparison.
This allows to equip a self-driving car with a surround-view sensor setup without increasing the total cost too much.
... mehr

In this work, we present an efficient and accurate approach for video-based environment perception for self-driving cars.
It relies on deep learning and solves the problems of object detection, object tracking, and semantic segmentation of the camera images.
We first propose a fast CNN architecture for simultaneous object detection and semantic segmentation.
This architecture is scalable so that accuracy can easily be traded for computation time by changing a single scaling factor.
We then modify this architecture to predict embedding vectors for each detected object.
These embedding vectors are used as an association metric when tracking the detected objects.
They are also used for a novel Non-Maximum Suppression algorithm that we named FeatureNMS.
FeatureNMS can achieve higher recall in crowded scenes where the assumptions of classical NMS fail.

We then extend our single-frame CNN architecture to a multi-frame architecture that takes two consecutive video frames as input.
The multi-frame architecture predicts the optical flow between both frames inside the artificial neural network.
This allows estimating a displacement vector between both video frames for each detected object.
These displacement vectors are also used as an association metric when tracking the detected objects.

Finally, we present a simple and computationally cheap tracking-by-detection approach.
It requires a strong object detector and relies on the embedding and displacement vectors that are predicted by our CNN architecture.
The high recall of the object detector results in frequent detections of the tracked objects.
Our discriminative association metrics based on the embedding and displacement vectors allow for a reliable association of new object detections to existing tracks.
These two components allow using a simple constant velocity motion model with a Kalman filter inside the tracking approach.

Our proposed methods for video-based environment perception show good results on the challenging Cityscapes and BDD100K datasets.
At the same time, they are computationally efficient and can meet the real-time requirements of the application.
We successfully employ our proposed architecture in the perception stack of a self-driving research vehicle.
Here, it proved itself useful for real-world applications.