Tracking von Menschen und menschlichen Zuständen

Im Bereich der Kameraüberwachung von Menschen werden unterschiedliche Aspekte wichtig. Dazu gehört das Tracking von Menschen, wobei nicht nur die aktuelle Position wichtig ist. Das Trackingergebnis muss weiterverarbeitet werden, um Rückschlüsse auf den Zustand des Beobachteten zu ziehen, wie zum Beispiel die derzeitige Leistungsfähigkeit oder die Emotion. Zur Beurteilung der Leistungsfähigkeit von Probanden, muss ein Basiswert für diesen vorliegen. Für die Schätzung des emotionalen Zustands muss der Gesichtsausdruck beobachtbar sein.

Zur Auswertung von Bilddaten durch Menschen und Maschinen muss eine Registrierung der Bilddaten erfolgen. Am Beispiel von Beobachterversuchen zur Beurteilung von emissionshemmenden Materialien in Infrarotaufnahmen, wurde durch die direkte Projektion von GPS-Punkten in Bilddaten die Schätzung von Bild-zu-Bild Homographien verbessert. Das Tracking von Objekten im Video wurde zunächst am Beispiel eines Flugzeugs evaluiert. Feste Messstationen am Boden empfangen nicht informative Signale von einem Flugzeug. Der Sendezeitpunkt war unbekannt, nur der Empfangszeitpunkt lag vor. Durch die paarweise Subtraktion der Empfangszeiten ergeben sich sogenannte Time Differences of Arrival. ... mehrSetzt man diese Zeitdifferenzen als Messungen in ein, um die aktuelle Position zu ermitteln, ergibt sich hierduch ein hyperbolischer Schnitt. Mit der direkten Verwendung der Empfangszeiten vereinfacht sich die Positionsbestimmung zu einem Kegelschnitt. In einem stochastischen Filter wurde der unbekannte Sendezeitpunkt simultan mit der Position geschätzt, wodurch eine robuste Ermittlung der Flugzeugposition erreicht werden konnte.

Für die Schätzung des emotionalen Zustands des Menschen muss das Trackingergebnis mehr enthalten als die Position. Am Beispiel des Auges wurde von der Iris mit dem Tracking von ausgedehnten Objekten sowohl die Position, als auch Ausmaß und Form verfolgt. Hier wurde zunächst mit einem einfachen parametrischen Formmodell gearbeitet. Das Tracking ausgedehnter Objekte wurde im Anschluss für die Verfolgung von Gesichtern angewendet. Da hier kein einfaches parametrisches Formmodell verwendet werden konnte, wurde auf ein 68 Punkte umfassendes Landmarkenmodell zurückgegriffen. Um einem Auseinanderdriften der Landmarken entgegenzuwirken, wurde eine nichtlineare Nebenbedingung eingeführt. Mit dieser Nebenbedingung wird garantiert, dass die Landmarken die Form des Gesichts beibehalten. Dazu wird die Schätzung des Modells mit der vorher trainierten Hauptkomponentenanalyse transformiert und rücktransformiert, so dass Fehler durch eine Drift eliminiert werden. Hierdurch wird garantiert, dass das Gesicht in der erwarteten Form verbleibt und eine weitere Analyse des Gesichtsausdrucks vorgenommen werden kann.

Anschließend geht es um die Leistungsfähigkeit von Menschen. Zunächst wird darauf eingegangen, die Beobachtungsleistung zu evaluieren. In einer ersten Studie wird untersucht, ob ein Trainingseffekt für Beobachter nachgewiesen werden kann. In Videos einer simulierten Menschenmenge, in der sich Avatare mit und ohne Rucksack über einen Platz bewegen, mussten die Probanden die Avatare mit Rucksack finden und markieren. Mit Einzelbildern dieser Videos, in denen sich ausschließlich Avatare ohne und mit Rucksack befanden, wurden die Probanden trainiert. Durch Auswertung des Zustands vor dem Training und nach dem Training wurde versucht, einen Trainingseffekt nachzuweisen. Aufgrund einer sehr geringen Teilnehmerzahl konnte kein eindeutiger Trainingseffekt nachgewiesen werden. In einer zweiten Studie wurden die Probanden durch automatische Trackingsysteme unterstützt. Hier ging es darum, herauszufinden, ob ein solches System als unterstützend oder störend wahrgenommen wird. Unter der Ausführung einer Nebentätigkeit, in der ein zufällig erklingender akustischer Stimulus quittiert werden sollte, wurde die Arbeitslast der Probanden evaluiert. Bei einer moderaten Anzahl an Markierungen zeigt sich ein tendenziell positiver Effekt, der durch eine Erhöhung der Markierungsanzahl wieder aufgehoben wird.

Im Anschluss liegt der Fokus der Arbeit auf der Schätzung des emotionalen Zustands aus dem Gesichtsausdruck des beobachteten Menschen. Das Problem der Ermittlung des emotionalen Gesichtsausdrucks wurde bereits vielfach mit dem Einsatz von tiefen, neuronalen Netzen gelöst. Aus diesem Grund konzentriert sich diese Arbeit auf den Einsatz von analytischen Merkmalen. Mit einem neuartigen Modell, das auf dem 68 Punkte umfassenden Landmarkenmodell basiert, wird anhand von Winkel- und Größenmerkmalen ein Merkmalsvektor generiert. Die Winkelmerkmale enthalten zum Beispiel den Öffnungswinkel der Augenlider. Als Größenmerkmale werden die Achsenverhältnisse von Ellipsen verwendet, die anhand der Landmarken der Augen oder des Mundes geschätzt werden. Daraus ergibt sich ein 29 Einzelmerkmale beinhaltender Merkmalsvektor, der als \emph{Angle-and-Size-Feature Set} (ASF) bezeichnet wird. In Experimenten ergaben sich vergleichbare Ergebnisse zu aktuellen tiefen, neuronalen Netzarchitekturen.

Abschließend befasst sich diese Arbeit mit der dynamischen Erweiterung der emotionalen Gesichtsausdruckschätzung. In einem neuartigen Ansatz wird zunächst mit einem Gaußprozess eine Abbildung des ASF-Merkmals in den Valenz-Erregungs-Raum definiert. Diese zweidimensionale Repräsentation des aktuellen emotionalen Zustands wird dann als Systemzustand für ein stochastisches Filter genutzt. Es wird eine Nebenbedingung definiert, die verhindert, dass der Systemzustand den Einheitskreis des Valenz-Erregungs-Raums verlässt. Dadurch wird eine unkontrollierte Drift des Zustands verhindert. Die dynamische Verfolgung des emotionalen Zustands konnte nicht mit dem Stand der Technik verglichen werden, da hier keine entsprechende Arbeit vorhanden war.