KIT | KIT-Bibliothek | Impressum | Datenschutz

Einfluss dynamischer Kontexterweiterungen auf die Schlussfolgerungsfähigkeiten neuronaler Sprachmodelle

Schmitt, Sina

Abstract:
Die meta-kognitive Strategie „laut nachzudenken“ kann auf neuronale Sprachmodelle übertragen werden, wie Betz et al. zeigen: Ein vortrainiertes Sprachmodell ist besser in der Lage, deduktive Schlussfolgerungsprobleme zu lösen, wenn es zuvor dynamische Problemelaborationen generiert. Das Sprachmodell verwendet auf dem Datensatz von Betz et al. eine einfache Heuristik für seine Antwortvorhersage, die es mithilfe der selbst generierten Kontexterweiterungen effektiver einsetzen kann. In dieser Arbeit untersuche ich, wie dynamische Kontexterweiterungen die Performanz eines neuronalen Sprachmodells beeinflussen, wenn es nicht auf eine solche Heuristik zurückgreifen kann. Ich überprüfe (i) die Schlussfolgerungsfähigkeiten eines vortrainierten neuronalen Sprachmodells im Zero-Shot-Setting, (ii) den Einfluss verschiedener vorgegebener Kontexterweiterungen auf die Zero-Shot-Performanz und (iii) die Fähigkeiten des Sprachmodells, selbst effektive Kontexterweiterungen zu generieren und zu nutzen. Dazu erstelle ich einen synthetischen Datensatz mit deduktiven Schlussfolgerungsaufgaben unterschiedlicher Komplexität. Das verwendete Sprachmodell zeigt im Zero-Shot-Setting leichte bis moderate Schlussfolgerungsfähigkeiten. ... mehr


Volltext §
DOI: 10.5445/IR/1000139679
Veröffentlicht am 09.11.2021
Cover der Publikation
Zugehörige Institution(en) am KIT Institut für Informationssicherheit und Verlässlichkeit (KASTEL)
Publikationstyp Hochschulschrift
Publikationsdatum 23.08.2021
Sprache Deutsch
Identifikator KITopen-ID: 1000139679
Verlag Karlsruher Institut für Technologie (KIT)
Art der Arbeit Abschlussarbeit - Bachelor
Prüfungsdaten 23.08.2021
Referent/Betreuer J.Keim, G. Betz, S. Schulz
KIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft
KITopen Landing Page