Einfluss dynamischer Kontexterweiterungen auf die Schlussfolgerungsfähigkeiten neuronaler Sprachmodelle

Die meta-kognitive Strategie „laut nachzudenken“ kann auf neuronale Sprachmodelle übertragen werden, wie Betz et al. zeigen: Ein vortrainiertes Sprachmodell ist besser in der Lage, deduktive Schlussfolgerungsprobleme zu lösen, wenn es zuvor dynamische Problemelaborationen generiert. Das Sprachmodell verwendet auf dem Datensatz von Betz et al. eine einfache Heuristik für seine Antwortvorhersage, die es mithilfe der selbst generierten Kontexterweiterungen effektiver einsetzen kann. In dieser Arbeit untersuche ich, wie dynamische Kontexterweiterungen die Performanz eines neuronalen Sprachmodells beeinflussen, wenn es nicht auf eine solche Heuristik zurückgreifen kann. Ich überprüfe (i) die Schlussfolgerungsfähigkeiten eines vortrainierten neuronalen Sprachmodells im Zero-Shot-Setting, (ii) den Einfluss verschiedener vorgegebener Kontexterweiterungen auf die Zero-Shot-Performanz und (iii) die Fähigkeiten des Sprachmodells, selbst effektive Kontexterweiterungen zu generieren und zu nutzen. Dazu erstelle ich einen synthetischen Datensatz mit deduktiven Schlussfolgerungsaufgaben unterschiedlicher Komplexität. Das verwendete Sprachmodell zeigt im Zero-Shot-Setting leichte bis moderate Schlussfolgerungsfähigkeiten. ... mehrAnhand eines zweiten Datensatzes zeige ich, dass das Sprachmodell sogar eingeschränkt in der Lage ist, Schlussfolgerungen über erfundene Prädikate zu ziehen. Wie verschiedene Komponenten der Schlussfolgerungsaufgaben die Performanz des Sprachmodells beeinflussen, untersuche ich mithilfe synthetischer Kontexterweiterungen. Ich zeige unter Anderem, dass Aufgaben, deren Inhalte stärker verknüpft sind, dem Modell größere Schwierigkeiten bereiten. Außerdem demonstriere ich, dass Kontexterweiterungen ein wirkungsvolles Mittel sein können, um die Zero-Shot-Performanz von Sprachmodellen zu verbessern. Besonders hilfreich sind synthetische Kontexterweiterungen, die das Prinzip deduktiver Ableitungen veranschaulichen. Dynamische Kontexterweiterungen, die das Sprachmodell auf Grundlage der Problembeschreibung selbst erzeugt, beeinflussen die Vorhersage hingegen kaum. Few-Shot-Learning mit zwei Beispielen kann die Qualität der generierten Elaborationen leicht erhöhen.