An Objectivation of Visual Perception using Virtual Reality, Brain-Computer Interfaces and Deep Learning

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt.
Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben.
In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. ... mehr Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert.

Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren.
Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft.
Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten.
Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte.

The sense of sight enables a detailed perception of the world. Virtual Reality (VR), Brain-Computer Interfaces (BCI), and Deep Learning are technologies that provide opportunities for visual perception research.
This dissertation introduces a system for ophthalmology that can simulate eye diseases in VR and provide an objective classification of visual field defects by adding BCI and AI. To better understand this work, a general four-step model is introduced to compare human vision with computer vision. Within the model, interfaces between the biological-real and the technological-virtual world are evaluated.
... mehr

Nowadays, if a patient is suspected of having a visual field defect (scotoma), ophthalmological devices such as the perimeter are used to assess the visual field. However, the state-of-the-art procedure is based on subjective feedback from the patient. Accordingly, learning effects can influence the examination. This dissertation successfully implemented and evaluated an objective perimetry system based on VR, BCI, and Deep Learning. The new system may also be used in people with disabilities, small children, and animals.
Initially, the pathology of glaucoma patients is assessed and mapped virtually using VR technologies in a simulation environment. Real-world individual glaucoma progression is mapped to an immersive VR experience. The resulting VR application was evaluated with healthcare professionals and glaucoma patients at the Heidelberg University eye clinic (\textit{N}=22). It was shown that VR is a suitable measure for simulating visual conditions and can contribute to understanding the patient's condition.
Based on this simulation environment, additional software and hardware modules were added. Generated steady-state visual stimuli were used to detect (simulated) visual field defects through an electroencephalography (EEG)-based BCI. The complete system has been tested and validated in an international laboratory study (\textit{N}=15) in collaboration with the Massachusetts Institute of Technology. The collected data suggest that the system can provide good classification results for the central (88\% accuracy per 2.5 seconds of EEG data) and peripheral visual field (63-81\% accuracy), while limitations (50-57\% accuracy) reside for far peripheral positions due to technology sensitivity. Accordingly, the system could be used for detecting scotomas in central vision or entire quadrants.
Due to the need for a better ambulatory EEG measurement setup, modular, cross-platform software implementations and novel patent-pending EEG electrodes are presented. The new electrodes provide better signal quality than state-of-art dry electrodes (\SI{1.35}{dB} improvement), are fast to set up, reusable, and leave little to no unwanted residue in the patient's hair.
This dissertation lays the foundation for an ambulatory VR, BCI, and AI-based perimetry measurement system that could be used in the outpatient setting or for patients with limitations.