Wie LLMs erklären und Menschen reagieren: Transparenz in der Mensch-LLM Interaktion

Im Zentrum von Vertrauensmodellen steht die Annahme, dass Menschen die Vertrauenswürdigkeit eines Systems anhand von Hinweisreizen einschätzen. Dabei gilt Transparenz als zentraler Faktor für die wahrgenommene Vertrauenswürdigkeit. Vor diesem Hintergrund untersucht die vorliegende Studie, wie und wann sprachliche, auf Transparenz bezogene, Hinweisreize in realen Mensch-LLM-Interaktionen auftreten. Auf Basis der Literatur wurden zunächst Kategorien an Hinweisreizen abgeleitet, die für die menschliche Vertrauensbewertung relevant sind. Dazu zählen Begründungen, Quellenverweise, Unsicherheitsausdrücke sowie Hinweise zu Limitationen. Grundlage der präregistrierten qualitativen Analyse waren 376 Konversationen mit GPT-3.5-Turbo aus einem öffentlich zugänglichen Datensatz. Da explizite Vertrauensurteile im Datensatz nicht vorliegen, wurde Vertrauen anhand impliziter Indikatoren operationalisiert: Untersucht wurden unterschiedliche menschliche Reaktionen, die Fortsetzung und der Abbruch der Interaktion, insbesondere nach fehlerhaften Ausgaben sowie im Zusammenhang mit den Hinweisreizen. Die Ergebnisse zeigen, dass Menschen auf die Ausgaben und Hinweisreize des LLMs größtenteils neutral reagieren. ... mehrErklärungen werden überwiegend proaktiv vom LLM bereitgestellt, wobei Begründungen den häufigsten Erklärungstyp darstellen. Unsicherheitskommunikation fehlt in den Konversationen nahezu vollständig. Auf Hinweise zu Limitierungen wird ähnlich wie auf reguläre Ausgaben reagiert. Die Reaktionen auf fehlerhafte Ausgaben, die als potenzielle Vertrauensbrüche interpretiert wurden, waren häufig negativ. Die Befunde tragen zum Verständnis der Mensch-LLM-Interaktion bei und liefern Ansatzpunkte für zukünftige empirische Untersuchungen sowie menschenzentrierte Systemgestaltung.