Retrieval-Augmented Large Language Models

In dieser Seminararbeit wird das Konzept der Retrieval-Augmented Large Language Models (RALLMs) untersucht. Diese Bezeichnung verbindet die Begriffe „Retrieval-Augmented“ (RA) und „Large Language Models“ (LLM) und repräsentiert eine neue Generation von Systemen für den Informationsabruf. Durch die Nutzung der erweiterten Informationen des Retrievalsystems können die LLMs auch Fragen beantworten, zu denen in den Trainingsdaten der LLMs keine Informationen verfügbar waren. Dazu gehört proprietäres Wissen, aber auch Wissen, das aktueller als die Trainingsdaten ist. Nach einer kurzen Einführung in die Begriffe Informationsabruf (Information Retrieval, IR) und großes Sprachmodell (Large Language Model, LLM) wird ein Überblick über Methoden und Anwendungen von RALLMs gegeben. ... mehrEin besonderer Fokus liegt darauf, welche Anwendungen es für RALLMs in der Softwareentwicklung gibt.

This seminar paper examines the concept of Retrieval-Augmented Large Language Models (RALLMs). This concept merges "Retrieval-Augmented" (RA) with "Large Language Models" (LLM) and represents a new generation of information retrieval (IR) systems. By using the IR systems extended information, the LLMs can also answer questions for which no information was available in the LLMs' training data. This includes proprietary knowledge, but also knowledge that is more recent than the training data. After a brief introduction to the terms information retrieval and large language model, an overview of methods and applications of RALLMs will be given. ... mehrA particular focus is on what applications there are for RALLMs in software development.