„Hey KI, wie funktioniert ChatGPT?“ – Interaktive Lernerfahrung mittels Web-basierter Anwendung zur Vermittlung der Funktionsweise von LLMs

Large Language Models (LLMs) werden zunehmend in privaten, beruflichen und schulischen Kontexten eingesetzt und unterstützen eine heterogene Gruppe an Nutzenden bei sprachbezogenen Aufgaben wie dem Formulieren von E-Mails oder der Erstellung von Gliederungen für Präsentationen. Dabei ist die technische Funktionsweise von LLMs für einen relevanten Teil der Nutzenden unklar, sodass naive Erklärungsansätze und falsche Annahmen über die technischen Hintergründe, Möglichkeiten und Grenzen dieser Technologie existieren. Um diese Wissenslücke zu schließen, wurde eine Webanwendung entwickelt. Ziel dieser Anwendung ist es, durch interaktives Lernen die technische Funktionsweise von LLMs für Nutzende ohne IT-Kenntnisse niederschwellig und anschaulich zu erklären und erfahrbar zu machen. Das Lern- und Interaktionskonzept basiert auf dem Vergleich von je zwei Versionen desselben Sprachmodells (GTP 3.5), deren Konfigurationen sich in einem Konfigurations-Hyperparameter unterscheiden und infolgedessen verschiedene Textausgaben erzeugen.
Durch eine bewertende Einordnung der Ausgaben der Modellversionen werden sowohl das Konzept der Parametrisierung als auch technische Grundlagen und die Auswirkung spezifischer Hyperparameter anschaulich erklärt. ... mehrÜbergeordnetes Lernziel ist es, interessierten Nutzenden ein laiengerechtes technisches Verständnis von LLMs zu vermitteln, um eine realistische Einschätzung der Technologie vornehmen zu können und bei der zukünftigen Nutzung unterstützt zu werden. Die Anwendung wurde unter Laborbedingungen mit Fokus auf Usability und Lernerfahrung evaluiert. Um den intendierten Wissenszuwachs und ein gesteigertes Verständnis von LLMs zu quantifizieren wurde ein Leistungstest entwickelt und zu zwei Messzeitpunkten (Prä-/Post-Messung) präsentiert. Die Ergebnisse werden berichtet.