Kann ChatGPT komplexe wissenschaftsjournalistische Texte verständlich machen? Fehler bei der automatischen Übersetzung mit ChatGPT in einfache Sprache
Hohenwalde, Clarissa Elisabeth 1; Wahl, Michael; Lehmkuhl, Markus 1 1 Institut für Technikzukünfte (ITZ), Karlsruher Institut für Technologie (KIT)
Abstract:
Diese Studie untersucht die Fähigkeit von ChatGPT-4-Turbo, wissenschaftsjournalistische Texte in einfache Sprache zu übersetzen und bewertet die Fehleranfälligkeit dieser Übersetzungen. 20 Artikel aus „Spektrum der Wissenschaft" wurden automatisch in einfache Sprache übersetzt. Die durchschnittliche Artikellänge reduzierte sich dabei von 3.530 auf 2.140 Zeichen. Die Lesbarkeit der Original- und vereinfachten Texte wurde mittels der Wiener Sachtextformel verglichen, wobei die vereinfachten Texte deutlich verständlicher waren. Eine inhaltsanalytische Untersuchung identifizierte im Mittel 8,65 Fehler pro Text – hauptsächlich semantische sowie einige syntaktische und morphologische Fehler. ... mehrTypische Übersetzungsfehler umfassten Bedeutungsverschiebungen, Auslassungen wichtiger Informationen, Falschinformationen und fehlerhafte Umformungen direkter oder indirekter Rede. Empfehlungen der DIN 8581-1-Norm für einfache Sprache wurden weitgehend eingehalten, Schwierigkeiten traten nur bei der Vermeidung von Konjunktiv, bildhafter Sprache und der durchgängigen Verwendung gleicher Begriffe auf. Die Ergebnisse zeigen, dass ChatGPT Texte vereinfachen kann, jedoch besteht Verbesserungspotential bei der semantischen Präzision. Zukünftige Untersuchungen sollen klären, wie die Übersetzungsfehler das Textverständnis beeinflussen.
Abstract (englisch):
This study examines the capability of ChatGPT-4-Turbo to translate German-language science journalism into plain language, focusing on the accuracy and potential errors in these translations. Twenty articles from "Spektrum der Wissenschaft" were automatically translated, resulting in a reduction of the average article length from 3,530 to 2,140 characters. Readability was assessed using the Vienna Formula for Factual Texts (Wiener Sachtextformel), with the simplified texts found to be significantly easier to understand. A content analysis identified an average of 8.65 errors per text, primarily semantic, alongside some syntactic and morphological issues. ... mehrCommon translation mistakes included shifts in meaning, omissions of crucial information, misinformation, and inaccurate conversions of direct or indirect speech. Although the DIN 8581-1 guidelines for plain language were mostly adhered to, challenges emerged in avoiding the subjunctive mood, figurative language, and maintaining consistent terminology. The findings demonstrate that while ChatGPT is effective at simplifying texts, improvements are needed in ensuring semantic accuracy. Future research should explore the impact of these translation errors on overall text comprehension.