Validierung eines NER-Verfahrens zur automatisierten Identifikation von Akteuren in journalistischen Texten

Im Vergleich zu manuellen Untersuchungsmethoden ermöglicht der Einsatz von automatisier-ten Verfahren in der Kommunikationswissenschaft weitaus schnellere Analysen von umfang-reichen Textmengen. Eines dieser Verfahren namens Named Entity Recognition (NER) ist auf die automatisierte Identifikation von Eigennamen in Texten spezialisiert und soll eingehend untersucht und angewandt werden.
Ziel der Arbeit ist die Prüfung der Eignung solch eines Verfahrens für künftige, umfangreiche Akteursanalysen. Diese erlauben umfassende, medienübergreifende Vergleiche in der Berichterstattung, ebenso wie die quantitative Analyse des Vorkommens und der Vielfalt der Akteure über lange Zeiträume.
... mehr
Da die frei verfügbaren NER-Verfahren für ihren Einsatz mit spezifischen Textdaten trainiert und optimiert werden, ist ungewiss, ob ihre Nutzung bei der Analyse von unbekannten journalistischen Nachrichtentexten richtige und präzise Ergebnisse liefert. Dies soll in der vorliegen-den Masterarbeit durch eine konkrete Anwendung evaluiert werden. Hierfür werden drei ver-schiedene NER-Verfahren gegenübergestellt und ein Vergleich der Ergebnisse der automati-sierten Analyse mit den Ergebnissen aus einer manuellen Inhaltsanalyse desselben Datensatzes vollzogen.
Die Befunde des Vergleichs zeigen eine hohe Übereinstimmung zwischen den händisch erho-benen und den automatisiert identifizierten Akteuren. Doch es wird deutlich, dass die NER-Verfahren in der Vorbereitung und Durchführung durch viele Faktoren beeinflussbar sind, wodurch die Ergebnisse sehr variabel sind und das Verfahren im Ganzen schwierig zu validieren ist.

Compared to manual examination methods, the use of automated approaches in communication science enables much faster analyses of extensive text quantities. One of these procedures called 'Named Entity Recognition' (NER) specializes in the automated identification of named entities in texts and will be examined and applied in detail.
The aim is to test the suitability of such a procedure for future, extensive actor analyses. These allow comprehensive, cross-media comparisons of the general news coverage, as well as the quantitative analysis of the occurrence, frequency and diversity of the named actors or institu-tions over long periods of time.
... mehr
Since these NER methods are developed and trained using specific annotated text data, it is uncertain whether they will achieve precise and correct identification of entities with unknown journalistic articles. To evaluate that, this work applies three different NER methods and compares the outcome of these automated analyses with the results of a manual content analysis. The results show that there is a high concordance between the manually and automatically identified actors. However, it becomes clear that the preparation and implementation of the NER methods can be influenced by many factors, which means that the results are very variable and the method as a whole is difficult to validate.