Leveraging dynamic audio-tactile user interfaces to enable blind persons to access complex graphics

Grafiken sind ein grundlegender Bestandteil unseres Lebens und prägen, wie wir lernen, kommunizieren und die Welt verstehen – von einfachen Lerngrafiken bis hin zu komplexen Architekturen neuronaler Netzwerke. Blinde Menschen und Menschen mit Sehbehinderung haben jedoch immer noch erhebliche Schwierigkeiten, grafische Informationen zu erfassen und zu verstehen. Während aktuelle Hilfstechnologien wie Screenreader und Braillezeilen den Zugang zu reinem Text ermöglichen, reichen sie nicht aus, um blinden und sehbehinderten Personen das Verständnis alltäglicher grafischer Daten wie Diagramme, Tabellen, Webseiten, Bilder, Schaubilder und Grundrisse zu ermöglichen. ... mehr

Neue Technologien, wie taktile Grafiklesegeräte und zweidimensionale-taktile Pin-Displays, bieten innovative audio-taktile Möglichkeiten, grafische Daten durch „Tippen zum Hören“ und dynamische Interaktion sowie Echtzeit-Aktualisierung der Pins darzustellen. Trotz erheblicher Fortschritte in der Hardwareentwicklung hinkt das Design der Benutzeroberflächen bisher hinterher. Die wissenschaftliche Literatur zur Gestaltung von Benutzeroberflächen befasst sich überwiegend mit der Interaktion einfacher grafischer Informationen und theoretischen Szenarien, sodass das volle Potenzial dieser Technologie zur Bewältigung komplexer Herausforderungen und realer Daten weitgehend unerforscht bleibt. Zu diesen anspruchsvollen Aufgaben gehören das gezielte Auffinden von Elementen auf großen zweidimensional-taktilen Oberflächen (Herausforderung 1), das Erkunden komplexer Liniendiagramme (Herausforderung 2) und das Erlernen komplexer Routen in großen Liniennetzplänen (Herausforderung 3). Um das Potenzial dieser neuen Technologien zu erschließen, sind innovative Benutzeroberflächen erforderlich, die blinde und sehbehinderte Menschen befähigen, komplexe taktile Grafiken eigenständig und effizient zu erfassen und zu verstehen.

Dieses Werk beschäftigt sich mit diesen drei zentralen Herausforderungen, indem maßgeschneiderte audio-taktile Benutzeroberflächen entwickelt und bewertet werden, die die Fähigkeiten taktiler Grafiklesegeräte und zweidimensional-taktiler Displays nutzen, um die Zugänglichkeit von Grafiken für blinde und sehbehinderte Nutzer zu verbessern. Zur Entwicklung dieser Benutzeroberflächen verwenden wir eine nutzerzentrierte, partizipative Designmethode, die blinde und sehbehinderte Nutzer aktiv in alle Phasen des Prozesses einbindet und durch iterative Nutzertests zur Evaluation und Validierung unterstützt wird. Für jede Herausforderung entwerfen und vergleichen wir mehrere Lösungen für Benutzeroberflächen und verwenden dabei einen kombinierten quantitativen und qualitativen Ansatz mit bewährten Evaluationsinstrumenten wie SUS und NASA-TLX sowie halbstrukturierten Interviews zur Ermittlung wichtiger Aspekte. Unsere Lösungen validieren wir durch statistische Analysen, unter Einsatz von Verfahren wie der Varianzanalyse mit ANOVA, dem Wilcoxon-Test und dem Friedman-Test, um aussagekräftige Erkenntnisse zu gewinnen.

In allen behandelten Herausforderungen des Zugangs zu Grafiken erzielen die entworfenen Benutzeroberflächen durchweg erhebliche Verbesserungen gegenüber dem Stand der Forschung und zeigen damit ihre Effektivität, Benutzerfreundlichkeit und das Potenzial für reale Anwendungen. Für das präzise Auffinden von Elementen auf taktilen Oberflächen bietet der Sonoice-Ansatz, der Sonifikation mit Sprache kombiniert, eine effiziente und herausragende Lösung, die sich an die natürlichen diagonalen Handbewegungen blinder und sehbehinderter Menschen auf taktilen Grafiken anpasst und sowohl bei einfachen als auch komplexen taktilen Grafiken konstant gute Leistungen erbringt. Wesentliche Merkmale der Benutzeroberfläche zur Erkundung komplexer Liniendiagramme sind die Nutzung einer musikalischen Instrumentenumgebung, die den Nutzern hilft, mehrere Linien zu ertasten und zu verfolgen, sowie ein reaktives Audio-Linienverfolgungssystem, das das Erlernen der Form, Spitzen, Täler und Grenzen jeder Linie unterstützt. Das Erlernen komplexer Routen in Liniennetzplänen ermöglicht den Nutzern am besten ein anpassbarer, immersiver zweidimensional-taktiler Ansatz. Hierbei werden Routen schrittweise mittels reaktiver Linienverfolgung erkundet, Linienknoten und Beacons durch strukturierte audio-taktile Rückmeldungen erkundet und relevante Audioinformationen gefiltert. Insgesamt liefert diese Dissertation innovative und breit einsetzbare Ansätze für Benutzeroberflächen, die blinde und sehbehinderte Nutzer befähigen, komplexe grafische Daten zu erfassen und zu interpretieren. Sie unterstreicht die entscheidende Rolle eines maßgeschneiderten Designs der Benutzeroberfläche bei der Ausschöpfung des vollen Potenzials von zweidimensional-taktilen Displays und taktilen Grafiklesegeräten. Über die Fortschritte im Forschungsbereich assistiver Oberflächen hinaus, setzen diese Lösungen neue Maßstäbe in der audio-taktilen Interaktion und haben das Potenzial, das Design und die Nutzung solcher Informationen in vielfältigen Anwendungsbereichen grundlegend zu verändern.

Graphics are a fundamental part of our lives, shaping how we learn, communicate and understand the world, from basic educational graphs to complex neural network architectures. Individuals with blindness or visual impairment (BVI) still face significant challenges in accessing and understanding graphical information. While current assistive technologies, such as screen readers and single-line Braille readers, offer solutions for text accessibility, they remain insufficient for empowering BVI individuals to understand everyday graphical data, including charts, tables, web pages, images, diagrams, and floor plans. ... mehr

Emerging technologies, such as tactile graphic readers and 2D refreshable tactile pin displays, have introduced innovative audio-tactile ways for presenting graphical data through tap-to-hear dynamic interaction and real-time refreshable pin representations. Despite significant advancements in hardware development, progress in user interface (UI) design has not progressed likewise. Related literature on user interface design has predominantly addressed interaction with simpler graphical information and often theoretical scenarios, leaving the full potential of this technology to address complex challenges and real-world data largely unexplored. Such demanding tasks involve pinpointing elements in large 2D tactile surfaces (challenge 1), exploring complex line charts (challenge 2), and learning complex travel routes in large network maps (challenge 3). Unlocking the potential of these emerging technologies requires innovative user interface solutions that empower blind and visually impaired individuals to navigate and understand complex tactile graphics independently and efficiently.

This research addresses these three critical challenges by designing and evaluating tailored audio-tactile user interfaces that leverage the capabilities of tactile graphic readers and 2D refreshable displays to improve graphics accessibility for BVI users. To develop these user interfaces, we adopt a human-centred, participatory design methodology that actively involves BVI users throughout all stages of the process, supported by iterative user testing for evaluation and validation. For each challenge, we design and compare several UI solutions using a combined quantitative and qualitative approach that applies well-established evaluation tools such as SUS and NASA-TLX, along with semi-structured interviews to assess key aspects. We validate our solutions and derive meaningful insights through statistical analyses, employing repeated measures ANOVA, Wilcoxon signed-rank tests, and Friedman tests.

In all addressed graphics accessibility challenges, the designed user interfaces consistently achieve meaningful improvements over state-of-the-art solutions, demonstrating their effectiveness, usability, and potential for real-world impact. For pinpointing elements in tactile surfaces, the Sonoice user interface, combining sonification with voice, offers an efficient, superior solution that adapts to natural diagonal hand movements and performs consistently well across both simple and complex tactile graphics. Key user interface features for exploring complex line charts effectively include using a musical instrument environment to help users correlate multiple lines simultaneously and responsive audio line tracing to help users learn each line's shape, peaks, troughs, and boundaries. To learn complex travel routes in network maps, a customizable, immersive 2D tactile interface best enables users to follow routes phase by phase through responsive line tracing, explore line nodes and beacons through structured audio-tactile feedback, and filter relevant audio information. Overall, this dissertation delivers innovative and scalable user interface solutions that significantly empower BVI users to access and interpret complex graphical data. It highlights the pivotal role of tailored user interface design in unlocking the full potential of 2D refreshable tactile displays and tactile graphic readers. Beyond advancing accessibility research, these solutions establish new benchmarks in audio-tactile interaction, with the potential to transform the design and experience of such information across multiple domains.