Abstract:
Orientierung&Mobilität (O&M) umfasst eine Reihe von Techniken für Menschen mit Sehschädigungen, die ihnen helfen, sich im Alltag zurechtzufinden. Dennoch benötigen sie einen umfangreichen und sehr aufwendigen Einzelunterricht mit O&M Lehrern, um diese Techniken in ihre täglichen Abläufe zu integrieren. Während einige dieser Techniken assistive Technologien benutzen, wie zum Beispiel den Blinden-Langstock, Points of Interest Datenbanken oder ein Kompass gestütztes Orientierungssystem, existiert eine unscheinbare Kommunikationslücke zwischen verfügbaren Hilfsmitteln und Navigationssystemen.
... mehr
In den letzten Jahren sind mobile Rechensysteme, insbesondere Smartphones, allgegenwärtig geworden. Dies eröffnet modernen Techniken des maschinellen Sehens die Möglichkeit, den menschlichen Sehsinn bei Problemen im Alltag zu unterstützen, die durch ein nicht barrierefreies Design entstanden sind. Dennoch muss mit besonderer Sorgfalt vorgegangen werden, um dabei nicht mit den speziellen persönlichen Kompetenzen und antrainierten Verhaltensweisen zu kollidieren, oder schlimmstenfalls O&M Techniken sogar zu widersprechen.
In dieser Dissertation identifizieren wir eine räumliche und systembedingte Lücke zwischen Orientierungshilfen und Navigationssystemen für Menschen mit Sehschädigung. Die räumliche Lücke existiert hauptsächlich, da assistive Orientierungshilfen, wie zum Beispiel der Blinden-Langstock, nur dabei helfen können, die Umgebung in einem limitierten Bereich wahrzunehmen, während Navigationsinformationen nur sehr weitläufig gehalten sind. Zusätzlich entsteht diese Lücke auch systembedingt zwischen diesen beiden Komponenten — der Blinden-Langstock kennt die Route nicht, während ein Navigationssystem nahegelegene Hindernisse oder O&M Techniken nicht weiter betrachtet. Daher schlagen wir verschiedene Ansätze zum Schließen dieser Lücke vor, um die Verbindung und Kommunikation zwischen Orientierungshilfen und Navigationsinformationen zu verbessern und betrachten das Problem dabei aus beiden Richtungen. Um nützliche relevante Informationen bereitzustellen, identifizieren wir zuerst die bedeutendsten Anforderungen an assistive Systeme und erstellen einige Schlüsselkonzepte, die wir bei unseren Algorithmen und Prototypen beachten.
Existierende assistive Systeme zur Orientierung basieren hauptsächlich auf globalen Navigationssatellitensystemen. Wir versuchen, diese zu verbessern, indem wir einen auf Leitlinien basierenden Routing Algorithmus erstellen, der auf individuelle Bedürfnisse anpassbar ist und diese berücksichtigt. Generierte Routen sind zwar unmerklich länger, aber auch viel sicherer, gemäß den in Zusammenarbeit mit O&M Lehrern erstellten objektiven Kriterien. Außerdem verbessern wir die Verfügbarkeit von relevanten georeferenzierten Datenbanken, die für ein derartiges bedarfsgerechtes Routing benötigt werden. Zu diesem Zweck erstellen wir einen maschinellen Lernansatz, mit dem wir Zebrastreifen in Luftbildern erkennen, was auch über Ländergrenzen hinweg funktioniert, und verbessern dabei den Stand der Technik.
Um den Nutzen von Mobilitätsassistenz durch maschinelles Sehen zu optimieren, erstellen wir O&M Techniken nachempfundene Ansätze, um die räumliche Wahrnehmung der unmittelbaren Umgebung zu erhöhen. Zuerst betrachten wir dazu die verfügbare Freifläche und informieren auch über mögliche Hindernisse. Weiterhin erstellen wir einen neuartigen Ansatz, um die verfügbaren Leitlinien zu erkennen und genau zu lokalisieren, und erzeugen virtuelle Leitlinien, welche Unterbrechungen überbrücken und bereits frühzeitig Informationen über die nächste Leitlinie bereitstellen. Abschließend verbessern wir die Zugänglichkeit von Fußgängerübergängen, insbesondere Zebrastreifen und Fußgängerampeln, mit einem Deep Learning Ansatz.
Um zu analysieren, ob unsere erstellten Ansätze und Algorithmen einen tatsächlichen Mehrwert für Menschen mit Sehschädigung erzeugen, vollziehen wir ein kleines Wizard-of-Oz-Experiment zu unserem bedarfsgerechten Routing — mit einem sehr ermutigendem Ergebnis. Weiterhin führen wir eine umfangreichere Studie mit verschiedenen Komponenten und dem Fokus auf Fußgängerübergänge durch. Obwohl unsere statistischen Auswertungen nur eine geringfügige Verbesserung aufzeigen, beeinflußt durch technische Probleme mit dem ersten Prototypen und einer zu geringen Eingewöhnungszeit der Probanden an das System, bekommen wir viel versprechende Kommentare von fast allen Studienteilnehmern. Dies zeigt, daß wir bereits einen wichtigen ersten Schritt zum Schließen der identifizierten Lücke geleistet haben und Orientierung&Mobilität für Menschen mit Sehschädigung damit verbessern konnten.
Abstract (englisch):
Orientation&Mobility (O&M) encompasses a range of techniques for people with visual impairments that teach them how to roam around in everyday situations. However, they have to undergo extensive and laborious personal training sessions with O&M specialists, to ingrain these techniques into their daily routines. While some techniques rely on assistive devices, such as the popular White Cane, Points of Interest databases or compass-based orientation systems, there is an inconspicuous communication disconnect between available guidance and navigation techniques.
... mehr
Within recent years, truly mobile computing platforms — smartphones — have become ubiquitous. This potentially allows modern computer vision techniques to assist the human visual system on issues that arise when everyday objects and situations are not designed with proper accessibility in mind. However, special care has to be taken in order to not conflict with specific individually learned behaviors or even contradict O&M techniques in these situations.
In this thesis we identify a spatial and systemic gap between guidance and navigation aids for people with visual impairments. This spatial gap exists largely because assistive guidance devices, i.e., the White Cane, can only perceive the surroundings within a certain range, while navigation information only provides instructions on a very broad scale. Additionally, it is partly caused by the systemic gap between these two components — the White Cane never considers routing, while a navigation system does not know about nearby obstacles or O&M techniques. Therefore, we try to diminish this disconnect and propose several approaches to increase interconnectivity between guidance and navigation information, approaching the issue from both directions. To ultimately provide always relevant and beneficial information only, we first identify the major requirements of assistive systems and create some key concepts that guide all of our algorithmic approaches and prototype implementations.
Current orientation assistance is mostly based on Global Navigation Satellite System applications. We try to improve these by proposing an approach that is capable of performing an individualized, impairment aware, and shoreline level-based routing. Generated routes are, while exhibiting a slightly increased travel distance, much safer according to our pre-defined objective factors created in accordance with O&M trainers. Furthermore, we improve the availability of relevant geospatial data required for such an impairment aware routing. To this end, we propose a state of the art data driven algorithm to detect zebra crossings in aerial imagery, which also works reliably across country borders.
To increase the usefulness of mobility assistance that is provided by computer vision methods, we propose approaches that are closely modeled after O&M techniques, in order to increase spatial awareness of the immediate surroundings. First, we detect the accessible section in front of the user and also inform about possible obstacles. Then, we create a novel approach to detect and precisely locate shorelines in the immediate vicinity and are able to create virtual segments that bridge shoreline discontinuities, providing relevant information about the next segment’s location in advance. Finally, we improve the accessibility of pedestrian crossing situations, i.e., zebra crossings and pedestrian traffic lights, using a deep learning-based approach.
To analyze whether our proposed approaches and algorithms truly benefit people with visual impairments, we perform a small — nonetheless very encouraging — Wizard of Oz experiment about our shoreline level routing. Furthermore, we conduct a much larger user study that combines different components, focused on pedestrian crossing scenarios. While our statistical measures show only little improvements so far, mostly due to initial prototype issues and little training time for participants to get sufficiently accustomed to it, we receive very encouraging comments by almost all study participants. Although much further work is required, this suggests that we have created an important first step towards diminishing the identified gap and already improved Orientation&Mobility for people with visual impairments.
