Abstract:
Eine zentrale Aufgabe in der Mensch-Maschine-Interaktion ist die Durchführung von Nutzerstudien. Diese ermöglichen einen tieferen Einblick in das Verhalten von Nutzern, dienen aber auch dazu, Labels zum Annotieren von Daten zu sammeln. Die traditionelle Methode zum Erfassen von subjektivem Feedback ist die Experience Sampling Method (ESM). Durch das Beantworten von Fragebögen stellen Probanden nicht nur Informationen über sich selbst, sondern auch über ihre Umgebung zur Verfügung. Außerdem können ihre Antworten als Label für Daten, welche zeitgleich erhoben wurden, dienen. ... mehrInzwischen sind Smartphones zur Hauptplattform zum Durchführen von ESM Studien geworden. Sie werden genutzt, um ESM-Abfragen in Form von Benachrichtigungen auszusenden, um die gesammelten Labels zu speichern und um sie den Sensordaten zuzuweisen, welche im Hintergrund gesammelt wurden.
In ESM-Studien wird angestrebt, möglichst viele und qualitativ hochwertige Daten zu sammeln. Um dieses Ziel zu erreichen, bedarf es einer großen Menge sorgfältig beantworteter ESM-Abfragen. Die Probanden wiederum wollen in der Regel so wenig Abfragen wie möglich erhalten. Es ist notwendig, einen Kompromiss zwischen Abfragehäufigkeit und Probandenzufriedenheit zu finden.
Beim Erstellen von ESM-Studien ergeben sich verschiedene Herausforderungen. Einerseits sind diese mit der ESM-App und deren Funktionalität verbunden. Andererseits stehen sie aber auch mit dem Ausliefern von ESM-Abfragen und deren Wahrnehmung durch den Nutzer im Zusammenhang.
ESM-Abfragen müssen in Situationen ausgesandt werden, welche für den Studiendesigner von Interesse sind. Dies bedarf eines akkuraten Erkennungssystems, welches in die ESM-App eingebunden werden muss. Sowohl die Anzahl und Häufigkeit der Abfragen als auch die Länge des Feedback-Fragebogens sollten auf ein Minimum reduziert werden. Beides sind Herausforderungen, welche die ESM-App, welche zur Durchführung der Studie genutzt wird, adressieren muss.
Um das Erstellen von ESM-Anwendungen zu erleichtern, ist es empfehlenswert, auf ein primäres Entwicklungswerkzeug zurückzugreifen. Im besten Fall ist solch ein Werkzeug einfach zu nutzen und bietet Zugriff auf eine weitreichende Menge an Sensoren, aus denen kontextuelle Informationen abgeleitet werden können - beispielsweise, um ereignisbasiert Abfragen auszusenden. Im Rahmen dieser Dissertation stellen wir ESMAC vor, den ESM App Configurator. ESMAC stellt verschiedene Abfragetypen zur Verfügen, ebenso wie verschiedene Einstellungen, um die Anzahl an Abfragen pro Tag zu begrenzen (inquiry limit) oder um ein abfragefreies Zeitfenster zwischen zwei aufeinanderfolgenden Abfragen zu definieren (inter-notification time). Zudem bietet es Zugriff auf eine Vielzahl an Sensormesswerten und -Informationen.Diese Werte werden automatisch erfasst und benötigen keine Abfrage vom Nutzer, was zu einer reduzierten Fragebogenlänge führen kann. Um Informationen in Situationen zu sammeln, welche für den Studiendesigner von Interesse sind, bietet ESMAC eine Auswahl an ereignisbasierten Abfragen.
Ereignisbasierte Abfragen fanden bereits in diversen ESM-Studien Anwendung. Dennoch wurde ihre Nützlichkeit bisher nicht explizit untersucht. Zwei Faktoren, welche für verschiedene Forschungsbereiche relevant sind, sind Ortswechsel und Aktivitätsänderungen des Nutzers. Diese können beispielsweise für die Erkennung der Unterbrechbarkeit eines Nutzers genutzt werden oder zum Überwachen von Zustandsänderungen bei Patienten, welche unter affektiven Störungen leiden. Am Beispiel einer Studie, welche auf die Erfassung dieser beiden Faktoren ausgerichtet ist, zeigen wir, dass ereignisbasierte Abfragen nützlich sind, vor allem wenn die ausgewählten ereignisbasierten Abfragen (hier: Ortswechsel) im Zusammenhang mit den zu erfassenden Daten stehen (hier: Feedback über die Mobilität und Aktivität des Nutzers).
Die Erfassung von Datenlabels bedarf nicht nur ereignisbasierter Abfragen, sondern auch zeitnaher Antworten von den Probanden, um die Labels möglichst akkurat den gesammelten Daten zuweisen zu können. Hierzu ist es notwendig, dass die Probanden die eingehenden Abfragen rechtzeitig bemerken. Abfragen werden unter Umständen nicht wahrgenommen, weil eine zu unauffällige Benachrichtigungsmodalität gewählt wurde oder weil die ESM-Abfragen in einem überfüllten Notification Drawer des Smartphones untergehen.
Die Wahrnehmbarkeit von Benachrichtigungen wird durch verschiedene kontextuelle Faktoren beeinflusst, z.B. die Position des Smartphones, den aktuellen Ort oder die (soziale) Aktivität des Nutzers. Aber auch inhaltliche Eigenschaften wie die empfundene Wichtigkeit einer Benachrichtigung können einen Einfluss haben. Als Grundlage für spätere Forschung untersuchen wir Methoden, um diese Einflussfaktoren zu erfassen. Zuerst stellen wir eine Methode zur Position-Transition-Korrektur vor, welche die Erkennung der aktuellen Smartphone-Position verbessert. Diese Methode basiert auf der Annahme, dass jeder Wechsel von einer Position zur nächsten über das Halten des Geräts in der Hand erfolgt. Als nächstes untersuchen wir verschiedene Methoden zur Ortserfassung, unter Achtung der Privatsphäre des Benutzers. Wir stellen vor, wie WLAN-Informationen und Ortstypen genutzt werden können, um den Aufenthaltsort eines Nutzers zu beschreiben und Ortswechsel zu erkennen, ohne den exakten Standort abzuspeichern. Basierend auf dem Ortstypen präsentieren wir eine Methode, um abzuschätzen, ob ein Smartphone-Nutzer in Begleitung ist. Abschließend untersuchen wir noch Smartphone-Features, welche mit der empfundenen Wichtigkeit einer Benachrichtigung in Zusammenhang stehen könnten.
Nachdem wir Methoden zum Erfassen von Einflussfaktoren untersucht haben, betrachten wir Zusammenhänge zwischen der Wahrnehmung von eingehenden Benachrichtigungen und verschiedenen Benachrichtigungsmodalitäten. Diese Betrachtung erfolgt unter Berücksichtigung (a) der aktuellen Position des Smartphones und (b) des aktuellen Ortes des Smartphone-Nutzers und möglicher ortsbasierter Aktivitäten. Wir stellen eine Studie vor, welche Aufschluss darüber gibt, wie angenehm und wahrnehmbar verschiedene Benachrichtigungsmodalitäten sind - abhängig davon, wo das Smartphone vom Nutzer aufbewahrt wird. Für den aktuellen Ort und ortsbezogene Aktivitäten stellen wir passende Benachrichtigungsmodalitäten vor, über welche wir im Rahmen einer Onlineumfrage und einer Laborstudie Rückmeldung erhalten haben.
Abschließend erstellen und evaluieren wir verschiedene Designs, um wichtige Benachrichtigungen - welche ESM-Abfragen einschließen - hervorzuheben, indem ihre Sichtbarkeit im Notification Drawer erhöht wird. Diese Designs basieren auf Feedback von Interviewprobanden als auch auf Erkenntnissen aus der Literatur. Wir stellen Eigenschaften von Benachrichtigungsdesigns vor, welche von Probanden einer Onlineumfrage als angenehm und nützlich empfunden wurden. Zudem empfehlen wir auch Kombinationen verschiedener Designeigenschaften.
Die Beiträge dieser Dissertation können wie folgt zusammengefasst werden:
- Vorstellung eines Tools, um kontextsensitive ESM-Apps zu erstellen
- Bestätigung der Relevanz von ereignisbasierten Abfragen am Beispiel einer ESM-Studie mit Fokus auf Ortswechsel und Aktivitätsänderungen
- Vorstellung eines Position-Transition-Korrekturmechanismus zum Verbessern der Erkennung der Smartphone-Position
- Vorstellung zweier Methoden zur Ortserfassung ohne konkrete Offenlegung und Speicherung des konkreten Aufenthaltsortes
- Vorstellung einer ortsbasierten Methode zum Abschätzen, ob sich ein Smartphone-Nutzer in Begleitung befindet oder nicht
- Vorstellen von vier Typen von Wichtigkeit und von Smartphone-Features, welche mit der empfundenen Wichtigkeit von Benachrichtigungen in Zusammenhang stehen
- Empfehlungen für die Auswahl von Benachrichtigungsmodalitäten abhängig von der (a) Smartphone-Position als auch (b) des aktuellen Ortes und möglicher ortsbasierter Aktivitäten
- Empfehlungen für Designanpassungen von Smartphone-Benachrichtigungen, um solche von höherer Wichtigkeit hervorzuheben
Abstract (englisch):
A central task in human computer interaction is to conduct user studies. User studies might serve to gain deeper insights into the behavior of users as well as to collect labels to annotate data. The traditional method to collect subjective feedback is the experience sampling method (ESM). By answering questionnaires, participants provide not only information about themselves and their environment. Their responses can also serve as labels for data that was collected at the same time. By now, the smartphone became the standard platform to conduct ESM studies. It is used to deliver ESM prompts for feedback through notifications, to store the collected labels, and to assign them to sensor measurements that were gathered in the background.
... mehr
In experience sampling, researchers desire to collect rich sets of high-quality data. Achieving this goal requires cooperation and commitment of study participants. Study participants, in contrast, usually want to invest as least effort as possible, i.e., to receive as few prompts as possible.
Different challenges arise that the researcher has to face when designing an ESM study. On the one hand, these challenges are connected to the experience sampling app and its functionality. On the other hand, they relate to the delivery of feedback prompts and the user’s perception of these prompts.
Feedback prompts must be triggered in situations of interest, requiring accurate context recognition systems embedded into the ESM app. The number and frequency of feedback prompts as well as the length of the questionnaire need to be kept to a reasonable minimum - finding a compromise between having enough data to answer a research question while not overstraining the study participant with prompts. Both are challenges that need to be addressed by the ESM app that is used to conduct the user study.
To facilitate the configuration of ESM apps, it is advisable to have one main development tool. In the best case, such a tool is easy-to-use and provides access to a large set of sensors from which further contextual information can be inferred, e.g., to trigger prompts event-based. Within this dissertation, we introduce ESMAC, the ESM App Configurator. ESMAC provides different prompting modalities and settings to restrict the number of prompts per day (inquiry limit) or to define a prompt-free time window between two successive prompts (inter-notification time). In addition, it offers access to a wide range of sensor measurements and information. This information is assessed automatically and does not need to be asked for in the questionnaire, leading to a reduced questionnaire length. To assess information in situation of interest, ESMAC offers a variety of event prompts.
Though applied in several ESM studies in one way or another, the usefulness of event prompts was not explicitly investigated in literature. Two factors of interest are location and activity changes which are of relevance, e.g., for interruptibility detection in computer science and for monitoring state changes of patients suffering from affective disorders in applied psychology. Exemplified on a user study focusing on these factors, we show that event-based prompts are useful, especially if the implemented event-triggers (here: location change) relate to the kind of data that is to be collected (here: feedback about user mobility and activity).
The assessment of data labels does not only require event-triggered prompts, but also timely responses from the participants to allow as accurate assignment of labels to data as possible. This requires participants to recognize incoming prompts. Prompts might not be perceived due to an insufficient notification modality or because they drown in the flood of notifications displayed in the smartphone’s notification drawer.
The perceptibility of smartphone notifications is influenced by different contextual factors such as the smartphone position, the participant’s location and (social) activity, but also by content-related features such as the notification importance. As a basis for further investigations about notification perception, we examine methods to assess these related factors. First, we present a method to improve the detection of specific smartphone positions by running a position transition correction that is based on the assumption that the hand state is a necessary transition between other positions. Next, we investigate different privacy-sensitive alternatives for location assessment. We present how WiFi and place types can be used to describe a user's location and to detect location changes. Related to the assessment of social activity, we present a location-based method to estimate if a smartphone user is in company or not. Eventually, we investigate smartphone features that relate to the perceived importance of smartphone notifications.
After investigating methods to assess influencing factors, we examine relations between the user’s perception of incoming notifications and different notification modalities depending on (a) the smartphone position and (b) the location and location-based activity. We present study results indicating how pleasant and perceptible different notification modalities are depending on the smartphone position. For location and location-based activities, we recommend suitable notification modalities based on feedback gained in an online survey and a laboratory study.
Finally, we investigate and evaluate different designs to highlight important notifications - including feedback prompts – to increase their perceptibility within the notification drawer. These designs are based on feedback from interview participants as well as inferred from literature. We present properties of notification designs that were perceived pleasant and useful by survey participants and we recommend designs combining different characteristics.
In summary, this dissertation presents the following contributions:
- Introduction of a tool to build context-aware ESM apps
- Confirmation of the relevance of event-triggers for an exemplary ESM study focusing on location and activity changes
- Presentation of a position transition correction mechanism to improve the detection of smartphone positions
- Presentation of two privacy-sensitive methods to assess a user's current location
- Presentation of a location-based method to estimate if a smartphone user is in company or not
- Introduction of four kinds of importance and presentation of smartphone features that relate to the perceived importance of smartphone notifications
- Recommendations for the selection of suitable notifications modalities based on (a) the smartphone position or (b) the current location and possible location-based activities
- Recommendations for design adaptions and customization options for smartphone notifications to highlight those of higher importance
