Interaktionstechniken für mobile Augmented-Reality-Anwendungen basierend auf Blick- und Handbewegungen

Visuelle Augmented Reality hat das Potential, die Art und Weise, wie der Mensch mit Maschinen kommuniziert, grundlegend zu verändern. Grundvoraussetzung dafür sind angenehm zu tragende binokulare AR-Brillen mit einem großen Sichtfeld für visuelle Einblendungen mit hohem Kontrast, so dass virtuelle Elemente als Teil der realen Umgebung dargestellt und wahrgenommen werden können. Gleichzeitig bedürfen derartige AR-Systeme einer intuitiven Interaktion mit ihrem Benutzer, um akzeptiert zu werden. Blick und Handgesten bilden neben Sprache die Interaktionstechniken der Wahl, um mit virtuellen Elementen zu interagieren. ... mehrDie vorliegende Arbeit beschäftigt sich mit der Analyse des Blickes für eine implizite unbewusste Interaktion und mit der Erfassung von Handgesten für die explizite Interaktion in mobilen Anwendungen. Es wird eines der ersten Verfahren zur vollautomatischen echtzeitfähigen Blickbewegungsanalyse in dreidimensionalen Umgebungen anhand eines Beispiels aus dem Museumskontext vorgestellt. Dafür wurde eine 3D-Blickpunktberechnung und eine darauf aufsetzende echtzeitfähige Blickanalyse von 3D-Blickpfaden realisiert, als dies mit anderen Blickmessgeräten inklusive zugehöriger Software nicht möglich war. Zusätzlich wird das Verfahren Projected Gaussians für die Darstellung dreidimensionalen Blickverhaltens vorgestellt, das in Echtzeit realistische Visualisierung von Heatmaps in dreidimensionalen Umgebungen erzeugt. Dieses Verfahren ist das weltweit einzige, das die visuelle Schärfe des menschlichen Blickes in die Szene projiziert und damit nah am physikalischen Prozess der Wahrnehmung bleibt. Kein zuvor vorgestelltes Verfahren berücksichtigte Verdeckungen oder ermöglichte eine von der Polygonstruktur unabhängige Einfärbung von Oberflächen.
Sowohl das Verfahren zur vollautomatischen Blickanalyse als auch Projected Gaussians wird anhand eines Beispiels auf echte Blickdaten angewendet und die Ergebnisse dieser Analyse werden präsentiert. Für die explizite Interaktion mit den Händen beschäftigt sich diese Arbeit mit dem ersten Schritt der Handgestenerkennung in monokularen Farbbildern: der Handregionsbestimmung.
Bei dieser wird die Region der Hand in einem Kamerabild ermittelt. Die entwickelten Verfahren fusionieren auf unterschiedliche Weise optischen Fluss und Segmentierungen von Hautfarbe. Des Weiteren nutzen sie Objektklassifikatoren und Handposenschätzer für eine optimierte Handregionsbestimmung. Letztere wird anschließend mit einem öffentlich verfügbaren 2D-Handposenschätzer fusioniert. Diese Fusion übertrifft bei der 2D-Posenschätzung und geringen erlaubten Abweichungen auf dem öffentlichen Datensatz EgoDexter den aktuellen Stand der Technik der Handposenschätzung, obwohl zugehörige Verfahren trotz monokularen Eingabedaten ihre Schätzungen im dreidimensionalen Raum durchführen. Die Ergebnisse zeigen bei aktuellen 3D-Handposenschätzern für monokulare Eingabebilder ein Defizit bei der Wiederverwendung vorheriger Handposenschätzungen. Das hier vorgestellte Verfahren zur Handregionsbestimmung kann mit jedem Handposenschätzer kombiniert werden.

Visual Augmented Reality has the potential to fundamentally change the way how humans interact with machines. Basic prerequisite therefore are comfortable binocular AR glasses with a large field of view for visual high contrast fade-ins of virtual elements, so that those are perceived as part of the real environment.
Additionally, such AR systems need an intuitive interaction to be accepted by the user. Besides language, gaze and hand gestures form the interaction techniques of choice to enable interaction with virtual elements. The herein presented thesis discusses gaze analysis allowing for an implicit unconscious interaction. ... mehrFurthermore it examines capture of hand movements for explicit interaction in mobile applications. One of the first methods for fully automatic real-time capable gaze analysis in three-dimensional environments using an example from the museum context is presented. Therefore, a 3D viewpoint calculation and a real-time gaze analysis of 3D gaze paths were realized, as this was impossible using any eye tracker including its associated software. Additionally, the Projected Gaussian method for the representation of three-dimensional gaze behavior is introduced, which allows for the realistic visualization of gaze paths in three-dimensional environments as heat maps in real time. This worldwide unique process projects the visual acuity of the human gaze into the scene and thus remains close to the physical process of perception. None of before presented procedures took account of occlusions or enabled a coloring of surfaces independently of their polygon structure. Both, the method for fully automatic gaze analysis as well as Projected
Gaussians, are demonstrated with an example on real gaze data and hereby gained results are presented. For the explicit interaction with hands the focus of this work lies on the first step of hand gesture recognition in monocular color images: the determination of the hand region, meaning the detection of a bounding box containing the hand in an image. The developed methods merge optical flow and segmentations of skin color in different ways.
Furthermore, those methods use object classifiers and hand pose estimators for an optimized hand region determination. The latter is then fused with a publicly available 2D hand pose estimator. This fusion surpasses the current state of the art in 2D and 3D monocular hand pose estimation on the public data set EgoDexter regarding the evaluation of 2D hand pose estimations in case of small permitted deviations. The obtained results show a deficit in the use of previous hand pose estimates by current 3D hand pose estimators for monocular input images. The shown procedure for hand region determination allows combinations with any hand pose estimator.