Einsatz von Retrieval-Augmented LLMs zur Unterstützung von Tutoren in Programmier-Einsteigerkursen

Zur Unterstützung von Tutoren der Programmierenvorlesung am KIT ist ein Assistent entwickelt worden. Dieser basiert auf großen Sprachmodellen mit Retrieval-Augmented-Generation. Er stellt den Tutoren Informationen zu relevanten Inhalten der Vorlesung schnell und zuverlässig zur Verfügung. Ausgehend von einer Anforderungsanalyse ist der Assistent speziell für diese Anwendung entworfen und optimiert worden. Insbesondere die eigens entwickelten Retriever führen zu einem verbesserten Abruf der Dokumente. Der Nutzen und die Zuverlässigkeit des Assistenten sind in einer Evaluation geprüft worden. Diese zeigt, dass er meistens korrekte und zuverlässige Informationen bereitstellen kann, deren Nutzen für die Tutoren jedoch noch gesteigert werden könnte.