Co-Designing Accessible Technologies: A Research Through Design Approach to Modern 2D Tactile Displays

Zweidimensionale (2D) dynamische taktile Displays stellen eine vielversprechende assistive Technologie für blinde
und sehbehinderte Personen (BSB) dar, da sie einen interaktiven Zugang zu komplexen Materialien ermöglichen,
die häufig in den Bereichen Wissenschaft, Technologie, Ingenieurwesen und Mathematik (MINT) verwendet wer-
den. Diese Geräte haben das Potenzial, den Zugang zu strukturierten digitalen Inhalten wie Dokumenten und
Visualisierungen in Form von Grafiken und Diagrammen zu verbessern. Allerdings schränkt das Fehlen standard-
isierter Interaktionsparadigmen und Gestaltungsrichtlinien für taktile Benutzeroberflächen (TUIs) ihre Nutzbarkeit
... mehr
erheblich ein. Zudem führt die begrenzte Einbeziehung von Personen, die BSB sind, in den Gestaltungsprozess
solcher Geräte häufig zu einer Diskrepanz zwischen den tatsächlichen Nutzerbedürfnissen und den Annahmen der
Designer*innen.
Diese Dissertation verfolgt einen „Research through Design“ (RtD)-Ansatz zur Entwicklung moderner 2D dy-
namischer taktiler Displays mit einem starken Fokus auf die Integration von Nutzerfeedback während des gesamten
Designprozesses. Die Forschung befasst sich mit den softwaretechnischen, hardwareseitigen und ergonomischen
Aspekten des Displays. Zu diesem Zweck wurden im Rahmen dieser Arbeit vier TUIs entwickelt, die die Erkundung
von MINT-Inhalten unterstützen. Zudem wurden Techniken zur Segmentierung und Darstellung komplexer Doku-
mentlayouts, etwa von wissenschaftlichen Artikeln mit mehreren Spalten, unter Einsatz von Machine-Learning-
Modellen umgesetzt. Neue Interaktionskonzepte wurden entworfen, um eine effiziente taktile Navigation zu
ermöglichen. Parallel dazu wurden vektorbasierte Grafikformate integriert, um den Zugang zu Diagrammen und
technischen Zeichnungen zu verbessern und das häufig auftretende Problem der niedrigen Auflösung solcher Geräte
zu überwinden.
Ein funktionsfähiger Prototyp wurde entwickelt, der über eine eigene TUI zur Dateiverwaltung verfügt und es
Nutzenden ermöglicht, unabhängig und ohne externe Geräte auf Dateien zuzugreifen und diese zu organisieren.
Um sicherzustellen, dass das physische Design des Geräts den Bedürfnissen der Nutzer*innen entspricht, wurde eine
neue Methode für Low-Fidelity-(Lo-Fi)-Prototyping eingeführt, die speziell auf BSB-Teilnehmende zugeschnitten
ist. Dieser Ansatz ermöglichte eine aktive Mitwirkung im frühen Hardware-Designprozess und wurde durch iterative
Verfeinerung ergänzt, was schließlich zu einem High-Fidelity-(Hi-Fi)-Prototyp führte, der für MINT-Anwendungen
optimiert ist. Das entwickelte Gerät wurde in einer Reihe von Nutzungsstudien mit neun blinden Teilnehmenden
evaluiert, wobei der Fokus auf Nutzbarkeit, Erlernbarkeit und Nutzerzufriedenheit lag. Die Ergebnisse zeigen, dass
das entwickelte Gerät einen effektiven und effizienten Zugang zu komplexen MINT-Inhalten unterstützt und dass
die Teilnehmenden ein hohes Maß an Zufriedenheit mit den angebotenen Möglichkeiten äußerten.
Neben den technischen Beiträgen stellt diese Dissertation einen strukturierten Co-Design-Prozess vor, der ein
Workshop-Format sowie Strategien zur sinnvollen Einbeziehung von BSB-Teilnehmenden beinhaltet. Darüber hin-
aus werden praktische Richtlinien für die Gestaltung der Softwarekomponenten solcher Geräte angeboten, die auf
Erkenntnissen aus Nutzungsstudien, partizipativen Design-Sitzungen und iterativen Prototyping-Phasen basieren.
Insgesamt präsentiert diese Forschung einen ganzheitlichen, nutzerzentrierten Rahmen für die Entwicklung mod-
erner 2D dynamischer taktiler Displays und TUIs und zeigt, dass die kontinuierliche Einbindung von Personen, die
BSB sind, im Designprozess zur Entwicklung relevanter assistiver Technologien führen kann, die die Nutzer*innen
unterstützen und ihren Bedürfnissen und Erwartungen gerecht werden.

Two-dimensional (2D) refreshable tactile displays represent a promising assistive technology for individuals who
are Blind or have Low Vision (BLV), offering interactive access to complex materials commonly used in science,
technology, engineering, and mathematics (STEM). These devices have the potential to enhance access to structured
digital content, such as documents and visualizations in the form of graphs, and diagrams. However, the lack of
standardized interaction paradigms and design guidelines for tactile user interfaces (TUIs) significantly limits their
usability. ... mehrFurthermore, the limited involvement of individuals who are BLV in the design process of such devices
often results in a misalignment between user needs and designers’ assumptions.
This thesis adopts a Research through Design (RtD) approach for developing modern 2D refreshable tactile displays,
with a strong emphasis on integrating user feedback throughout the whole design process. The research addresses
the software, hardware, and ergonomic aspects of the display. For this purpose, four TUIs were developed through
this work to support the exploration of STEM-related content. Additionally, techniques for segmenting and
representing complex document layouts, such as multi-column research papers, were implemented using machine
learning models, while novel interaction concepts were designed to support efficient tactile navigation. In parallel,
vector-based graphical formats were incorporated to improve access to graphs and technical diagrams, and overcome
the low-resolution problem commonly associated with such devices.
A functional prototype was developed featuring a custom file management TUI, allowing users to access and
organize files independently, without relying on external devices. To ensure the physical design of the device
reflected user needs, a new low-fidelity (lo-fi) prototyping methodology was introduced, specifically tailored for
participants who are BLV. This approach facilitated active involvement in early hardware design process and was
followed by iterative refinement, resulting in a high-fidelity (hi-fi) prototype optimized for STEM applications. The
designed device was evaluated through a series of user studies with nine blind participants, focusing on usability,
learnability, and user satisfaction. Findings show that the developed device can support effective and efficient access
to complex STEM materials and that the participants expressed high levels of satisfaction with the possibilities
offered by the device.
In addition to the technical contributions, this thesis introduces a structured co-design process, including a workshop
format and strategies for the meaningful involvement of participants who are BLV. It also offers practical guidelines
for designing the software component of such devices, informed by insights from user studies, participatory design
sessions, and iterative prototyping. Overall, this research presents a holistic, user-centered framework for developing
modern 2D refreshable tactile displays and TUIs, demonstrating that involving individuals who are BLV throughout
the design process can lead to creating relevant assistive technologies which can assist users who are BLV and meet
their needs and expectations.