Integrierte Konzepte tiefer Neuronaler Netze zur monokularen Informationsgewinnung im Autonomen Fahrzeug

Tiefe Neuronale Netze im Allgemeinen und Convolutional Neural Networks (CNNs) im Speziellen konnten in den letzten Jahren in den Bereichen Maschinelles Sehen und Bildverarbeitung in verschiedensten Domänen große Erfolge erzielen. Herausforderungen bestehen dabei vor allem in der Anpassung der Methoden an domänenspezifische Tasks und die Reduktion des im Normalfall recht hohen Ressourcenbedarfs, insbesondere für mobile Anwendungen wie das Autonome Fahren. Dort werden CNNs zur Bildverarbeitung meist für die Gewinnung relevanter Informationen über die Umgebung aus monokularen Kameras verwendet. ... mehrHierzu werden auf einem Kamerabild verschiedene Algorithmen zur Lösung unterschiedlicher Tasks ausgeführt.

Im Rahmen dieser Arbeit wird mit dem MultiNet-Ansatz ein Konzept zur integrierten Bearbeitung verschiedener Tasks in einem gemeinsamen CNN-Modell vorgestellt. Der Ressourcenbedarf kann so im Vergleich zu einer getrennten Ausführung separater Modelle bei gleichbleibender Qualität der Ergebnisse deutlich reduziert werden. Zusätzlich wird ein Verfahren vorgestellt, welches bei ebenfalls gleichbleibender Ergebnisqualität durch eine Kombination der angepassten Methoden Pruning und Knowledge Distillation den Ressourcenverbrauch eines CNN-Modells signifikant reduzieren kann.

Für die Domäne des Autonomen Fahrens werden CNN-Architekturen zur allgemeinen Objektdetektion an die Anforderungen der domänenspezifischen Detektion von Objekten im Fahrzeugumfeld angepasst. Hierbei findet eine getrennte Betrachtung von statischen und dynamischen Verkehrsobjekten statt. Zur Lösung der Herausforderungen bei der Detektion von statischen Verkehrsobjekten wie Ampeln oder Verkehrsschildern wird ein Ansatz zur hierarchischen Detektion gleichartiger Objekte vorgestellt. Für die Detektion von dynamischen Verkehrsobjekten wie anderen Verkehrsteilnehmern wird ein Ansatz zur direkten 3D Detektion von Objekten in einem Kamerabild eingeführt.

Derartige Ansätze offenbaren durch ihre Komplexität allerdings eine Herausforderung beim Training vieler CNN-Modelle. Der Fortschritt und die Konvergenz des Trainingsprozesses werden in wesentlichen Teilen durch die Zusammensetzung der verwendeten Trainingsdaten bedingt. Um den Trainingsprozess mit den jeweils verfügbaren Trainingsdaten bestmöglich durchführen zu können, wird eine dynamische Fehlerfunktion vorgestellt, welche die einzelnen Datenpunkte angepasst an deren aktuelle Schwierigkeit im Trainingsprozess automatisch gewichtet. Eine Evaluation auf öffentlich verfügbaren Datensätzen wird für alle im Rahmen dieser Arbeit vorgestellten Konzepte durchgeführt.

Deep neural networks in general and convolutional neural networks (CNNs) in particular have achieved great success in machine vision and image processing in a wide variety of domains in recent years. Challenges are mainly the adaptation of existing methods for domain-specific tasks and the reduction of their typically quite high resource requirements, especially for mobile applications like autonomous driving. In this domain, CNNs for image processing are usually used to extract relevant information of the environment from monocular cameras. This involves executing various algorithms on a particular camera image to solve different tasks.
... mehr

In the context of this work, with the MultiNet approach, a concept for the integrated processing of different tasks in a common CNN model is presented. The resource requirements can thus be significantly reduced compared to a separate execution of independent models while the quality of the results remains unchanged. In addition, a method is presented which can significantly reduce the resource consumption of a CNN model by combining adapted methods of pruning and knowledge distillation while still maintaining the same quality of results.

For the domain of autonomous driving, CNN architectures for general object detection are adapted to the requirements of domain-specific object detection in the vehicle environment. In this context, a separate consideration of static and dynamic traffic objects is performed. To solve the challenges of detecting static traffic objects such as traffic lights or traffic signs, an approach for hierarchical detection of objects of similar types is presented and evaluated for the example of traffic light detection. For the detection of dynamic traffic objects like other road users, an approach for direct 3D object detection in a camera image is introduced.

However, such approaches due to their complexity reveal a challenge in training many CNN models. The progress and convergence of the training process are largely dependent on the composition of the training data used. In order to perform the training process in the best possible way based on the available training data, a dynamic error function is presented which automatically weights the individual data points according to their current difficulty in the training process. An evaluation on publicly available data sets is performed for all concepts presented.