A Concept for Deployment and Evaluation of Unsupervised Domain Adaptation in Cognitive Perception Systems

Jüngste Entwicklungen im Bereich des tiefen Lernens ermöglichen Perzeptionssystemen
datengetrieben Wissen über einen vordefinierten Betriebsbereich,
eine sogenannte Domäne, zu gewinnen. Diese Verfahren des überwachten
Lernens werden durch das Aufkommen groß angelegter annotierter
Datensätze und immer leistungsfähigerer Prozessoren vorangetrieben und
zeigen unübertroffene Performanz bei Perzeptionsaufgaben in einer Vielzahl
von Anwendungsbereichen.Jedoch sind überwacht-trainierte neuronale Netze
durch die Menge an verfügbaren annotierten Daten limitiert und dies wiederum
... mehr
findet in einem begrenzten Betriebsbereich Ausdruck. Dabei beruht
überwachtes Lernen stark auf manuell durchzuführender Datenannotation.
Insbesondere durch die ständig steigende Verfügbarkeit von nicht annotierten
großen Datenmengen ist der Gebrauch von unüberwachter Domänenanpassung
entscheidend. Verfahren zur unüberwachten Domänenanpassung sind
meist nicht geeignet, um eine notwendige Inbetriebnahme des neuronalen
Netzes in einer zusätzlichen Domäne zu gewährleisten. Darüber hinaus
sind vorhandene Metriken häufig unzureichend für eine auf die Anwendung
der domänenangepassten neuronalen Netzen ausgerichtete Validierung. Der
Hauptbeitrag der vorliegenden Dissertation besteht aus neuen Konzepten zur
unüberwachten Domänenanpassung. Basierend auf einer Kategorisierung
von Domänenübergängen und a priori verfügbaren Wissensrepräsentationen
durch ein überwacht-trainiertes neuronales Netz wird eine unüberwachte
Domänenanpassung auf nicht annotierten Daten ermöglicht. Um die kontinuierliche
Bereitstellung von neuronalen Netzen für die Anwendung in
der Perzeption zu adressieren, wurden neuartige Verfahren speziell für die
unüberwachte Erweiterung des Betriebsbereichs eines neuronalen Netzes
entwickelt. Beispielhafte Anwendungsfälle des Fahrzeugsehens zeigen, wie
die neuartigen Verfahren kombiniert mit neu entwickelten Metriken zur kontinuierlichen
Inbetriebnahme von neuronalen Netzen auf nicht annotierten
Daten beitragen. Außerdem werden die Implementierungen aller entwickelten
Verfahren und Algorithmen dargestellt und öffentlich zugänglich gemacht.
Insbesondere wurden die neuartigen Verfahren erfolgreich auf die unüberwachte
Domänenanpassung, ausgehend von der Tag- auf die Nachtobjekterkennung
im Bereich des Fahrzeugsehens angewendet.

Recent developments within the application of deep learning allow cognitive
perception systems to draw knowledge about the domain of operation
purely data-driven. The supervised learning approach to deep learning is
further accelerated by the emergence of large-scale labeled datasets and progressively
powerful computers. As a result, supervised learning approaches
have shown unprecedented capabilities within perception tasks, for example,
object detection in a wide range of applications, such as autonomous
driving. However, supervised trained models are limited by the available
... mehr
labeled data, finding expression in a finite domain of operation. With supervised
learning heavily relying on manual labor, and the ever-increasing
availability of unlabeled datasets, the extensive use of unsupervised domain
adaptation approaches is crucial for the advancement of model deployment.
Available unsupervised domain adaptation approaches are usually not suitable
for achieving model deployment in the adapted domain. Moreover, existing
metrics are often not sufficiently considered or inadequate for unsupervised
domain adaptation of models under deployment. The major contribution
of the present thesis is a new concept for the training and validation of
unsupervised domain adaptation methods involved in the continuous deployment
of perception models. Based on a conceptualization of domain shift
types, the a priori available knowledge representations within a supervised
trained model are capitalized to enable further unsupervised domain adaptation
on unlabeled data. To address the need for continuous deployment
of neural networks, three novel unsupervised domain adaptation approaches
are specifically developed to enable the extension of a neural network’s domain
of operation. Employing exemplary automotive perception tasks, it
is established how a combination of both the novel unsupervised domain
adaptation approaches and the newly proposed domain adaptation metrics
can contribute to handling continuous adaptation and deployment based on
unlabeled data. To compound the contribution, the implementations of all
developed approaches and algorithms are demonstrated and made publicly
available. In particular, the novel approaches were successfully applied to
unsupervised domain adaptation from day to night object detection in autonomous
driving.