Earables: Wearable Computing on the Ears

Kopfhörer haben sich bei Verbrauchern durchgesetzt, da sie private Audiokanäle anbieten, zum Beispiel zum Hören von Musik, zum Anschauen der neuesten Filme während dem Pendeln oder zum freihändigen Telefonieren. Dank diesem eindeutigen primären Einsatzzweck haben sich Kopfhörer im Vergleich zu anderen Wearables, wie zum Beispiel Smartglasses, bereits stärker durchgesetzt. In den letzten Jahren hat sich eine neue Klasse von Wearables herausgebildet, die als "Earables" bezeichnet werden. Diese Geräte sind so konzipiert, dass sie in oder um die Ohren getragen werden können. ... mehrSie enthalten verschiedene Sensoren, um die Funktionalität von Kopfhörern zu erweitern. Die räumliche Nähe von Earables zu wichtigen anatomischen Strukturen des menschlichen Körpers bietet eine ausgezeichnete Plattform für die Erfassung einer Vielzahl von Eigenschaften, Prozessen und Aktivitäten.

Auch wenn im Bereich der Earables-Forschung bereits einige Fortschritte erzielt wurden, wird deren Potenzial aktuell nicht vollständig abgeschöpft. Ziel dieser Dissertation ist es daher, neue Einblicke in die Möglichkeiten von Earables zu geben, indem fortschrittliche Sensorikansätze erforscht werden, welche die Erkennung von bisher unzugänglichen Phänomenen ermöglichen. Durch die Einführung von neuartiger Hardware und Algorithmik zielt diese Dissertation darauf ab, die Grenzen des Erreichbaren im Bereich Earables zu verschieben und diese letztlich als vielseitige Sensorplattform zur Erweiterung menschlicher Fähigkeiten zu etablieren.

Um eine fundierte Grundlage für die Dissertation zu schaffen, synthetisiert die vorliegende Arbeit den Stand der Technik im Bereich der ohr-basierten Sensorik und stellt eine einzigartig umfassende Taxonomie auf der Basis von 271 relevanten Publikationen vor. Durch die Verbindung von Low-Level-Sensor-Prinzipien mit Higher-Level-Phänomenen werden in der Dissertation anschließ-end Arbeiten aus verschiedenen Bereichen zusammengefasst, darunter (i) physiologische Überwachung und Gesundheit, (ii) Bewegung und Aktivität, (iii) Interaktion und (iv) Authentifizierung und Identifizierung.

Diese Dissertation baut auf der bestehenden Forschung im Bereich der physiologischen Überwachung und Gesundheit mit Hilfe von Earables auf und stellt fortschrittliche Algorithmen, statistische Auswertungen und empirische Studien vor, um die Machbarkeit der Messung der Atemfrequenz und der Erkennung von Episoden erhöhter Hustenfrequenz durch den Einsatz von In-Ear-Beschleunigungsmessern und Gyroskopen zu demonstrieren. Diese neuartigen Sensorfunktionen unterstreichen das Potenzial von Earables, einen gesünderen Lebensstil zu fördern und eine proaktive Gesundheitsversorgung zu ermöglichen.

Darüber hinaus wird in dieser Dissertation ein innovativer Eye-Tracking-Ansatz namens "earEOG" vorgestellt, welcher Aktivitätserkennung erleichtern soll. Durch die systematische Auswertung von Elektrodenpotentialen, die um die Ohren herum mittels eines modifizierten Kopfhörers gemessen werden, eröffnet diese Dissertation einen neuen Weg zur Messung der Blickrichtung. Dabei ist das Verfahren weniger aufdringlich und komfortabler als bisherige Ansätze. Darüber hinaus wird ein Regressionsmodell eingeführt, um absolute Änderungen des Blickwinkels auf der Grundlage von earEOG vorherzusagen. Diese Entwicklung eröffnet neue Möglichkeiten für Forschung, welche sich nahtlos in das tägliche Leben integrieren lässt und tiefere Einblicke in das menschliche Verhalten ermöglicht. Weiterhin zeigt diese Arbeit, wie sich die einzigarte Bauform von Earables mit Sensorik kombinieren lässt, um neuartige Phänomene zu erkennen.

Um die Interaktionsmöglichkeiten von Earables zu verbessern, wird in dieser Dissertation eine diskrete Eingabetechnik namens "EarRumble" vorgestellt, die auf der freiwilligen Kontrolle des Tensor Tympani Muskels im Mittelohr beruht. Die Dissertation bietet Einblicke in die Verbreitung, die Benutzerfreundlichkeit und den Komfort von EarRumble, zusammen mit praktischen Anwendungen in zwei realen Szenarien. Der EarRumble-Ansatz erweitert das Ohr von einem rein rezeptiven Organ zu einem Organ, das nicht nur Signale empfangen, sondern auch Ausgangssignale erzeugen kann. Im Wesentlichen wird das Ohr als zusätzliches interaktives Medium eingesetzt, welches eine freihändige und augenfreie Kommunikation zwischen Mensch und Maschine ermöglicht. EarRumble stellt eine Interaktionstechnik vor, die von den Nutzern als "magisch und fast telepathisch" beschrieben wird, und zeigt ein erhebliches ungenutztes Potenzial im Bereich der Earables auf.

Aufbauend auf den vorhergehenden Ergebnissen der verschiedenen Anwendungsbereiche und Forschungserkenntnisse mündet die Dissertation in einer offenen Hard- und Software-Plattform für Earables namens "OpenEarable". OpenEarable umfasst eine Reihe fortschrittlicher Sensorfunktionen, die für verschiedene ohrbasierte Forschungsanwendungen geeignet sind, und ist gleichzeitig einfach herzustellen. Hierdurch werden die Einstiegshürden in die ohrbasierte Sensorforschung gesenkt und OpenEarable trägt somit dazu bei, das gesamte Potenzial von Earables auszuschöpfen. Darüber hinaus trägt die Dissertation grundlegenden Designrichtlinien und Referenzarchitekturen für Earables bei. Durch diese Forschung schließt die Dissertation die Lücke zwischen der Grundlagenforschung zu ohrbasierten Sensoren und deren praktischem Einsatz in realen Szenarien.

Zusammenfassend liefert die Dissertation neue Nutzungsszenarien, Algorithmen, Hardware-Prototypen, statistische Auswertungen, empirische Studien und Designrichtlinien, um das Feld des Earable Computing voranzutreiben. Darüber hinaus erweitert diese Dissertation den traditionellen Anwendungsbereich von Kopfhörern, indem sie die auf Audio fokussierten Geräte zu einer Plattform erweitert, welche eine Vielzahl fortschrittlicher Sensorfähigkeiten bietet, um Eigenschaften, Prozesse und Aktivitäten zu erfassen. Diese Neuausrichtung ermöglicht es Earables sich als bedeutende Wearable Kategorie zu etablieren, und die Vision von Earables als eine vielseitige Sensorenplattform zur Erweiterung der menschlichen Fähigkeiten wird somit zunehmend realer.

Earphones have gained widespread consumer adoption due to their ability to provide private audio channels for listening to music, watching the latest movies during commuting, or making hands-free phone calls. Because of this clear primary purpose, earphones have seen broader adoption than other wearables, such as smart glasses. In recent years, a new class of wearable computing devices known as "earables" has emerged. These devices are designed to be worn in or around the ears and integrate various sensors to enhance the functionalities of earphones. The unique proximity of earables to key anatomical structures of the human body offers a distinct platform for sensing a diverse range of properties, processes, and activities.
... mehr

While some progress has been made in the realm of earables research, vast potential remains unexplored. Thus, the purpose of this dissertation is to provide novel insights into the capabilities of earables by introducing advanced sensing approaches that enable the detection of previously inaccessible phenomena. Through the introduction of new state-of-the-art hardware and algorithms, this dissertation aims to push the boundaries of what is achievable in the domain of earables, ultimately striving to guide them towards a general-purpose sensing platform for human augmentation.

To establish a robust foundation, this dissertation systematically synthesizes the state-of-the-art in earable sensing works and presents a uniquely comprehensive taxonomy of earable sensing capabilities based on 271 relevant publications. By connecting low-level sensing principles with higher-level phenomena, the dissertation then goes on to summarize works across various domains, including (i) physiological monitoring and health, (ii) movement and activity, (iii) interaction, and (iv) authentication and identification.

Expanding upon existing research in the field of physiological monitoring and health using earables, this dissertation introduces algorithms, statistical evaluations, and empirical evidence to demonstrate the feasibility of tracking respiration rates and detecting episodes of increased coughing frequency through the utilization of in-ear accelerometers and gyroscopes. These novel sensing capabilities offer new ways for earables to promote healthier lifestyles and enable proactive healthcare.

Furthermore, this dissertation introduces an eye-tracking approach termed "earEOG" to facilitate activity tracking. By systematically evaluating electrode potentials measured around the ears in a headphone form factor, the dissertation unveils a new avenue for measuring gaze in a less intrusive and more comfortable manner. The dissertation compares different electrode positions and introduces a regression model to predict absolute gaze angles from earEOG. This development opens up new opportunities for research that seamlessly integrates into daily life, providing deeper insights into human behavior and also shows how the unique form factors of earables, combined with suitable sensing, enables the detection of new phenomena.

To advance the interaction possibilities of earables, this dissertation introduces a discreet input technique called "EarRumble", which relies on voluntary control of the tensor tympani muscle in the middle ear. The dissertation offers insights into the prevalence, ease of use, and comfort of EarRumble, along with practical applications in two real-world scenarios. The EarRumble approach effectively transforms the ear from a purely receptive organ into a dual function one, enabling it not only to receive, but also to generate output signals. It essentially introduces the ears as an additional interactive medium, bridging the gap between humans and machines in a hands-free and eyes-free manner. This contribution unveils an interaction technique that users describe as "magical and almost telepathic", highlighting significant untapped potential within the realm of earables.

Finally, the findings across the different application domains and research insights accumulate in an open-source hard- and software earable sensing platform called "OpenEarable". OpenEarable encompasses a range of advanced sensing capabilities suitable for various earable research applications, while also being easy to manufacture. This reduces entry barriers into ear-based sensing research and, therefore, OpenEarable aids in unleashing the full potential that earables may offer. In addition, the dissertation contributes fundamental design guidelines and reference architectures for earables. Through this research, the dissertation bridges the gap between foundational research on earable sensing capabilities and their practical deployment in real-world scenarios.

In sum, the dissertation contributes new usage scenarios, algorithms, hardware prototypes, statistical evaluations, empirical evidence, and design guidelines to advance the field of earable computing. Furthermore, this dissertation extends the traditional scope of earphones, transitioning them from audio focused devices towards a platform offering a plethora of advanced sensing capabilities to understand properties, processes, and activities. This redefinition puts earables at the frontier of becoming a significant wearable category so that the vision of earables to be a general-purpose sensing platform for human augmentation becomes increasingly apparent.