Document-Level Causality Extraction for Impact Evaluation

Mit den Entwicklungen in der Technologie und vornehmlich im Bereich der Verarbeitung der naturlichen Sprache (NLP), Herausziehen der Informationen aus den enormen Daten der Internet ist durch die Zeit einfacher und kompetenter geworden. Ein spezieller Bereich der NLP, der noch eine schwere Aufgabe verursacht, ist die Kausalitätsextraktion, welche sich um die wichtige Beziehung von Kausalität kümmert, wobei Kausalität eine große Rolle in unserem Leben spielt. Aber trotz der sich vergrößenden Anzahl der Methoden zur Kausalitätsextraktion, die meisten Methoden dafur eignen sich auf die Relationen in der Satzebene. ... mehrDie Kausalitätsextraktion in der Dokumentenebene bleibt noch als eine relativ ungefasste Aufgabe. Außerdem ist die Kausalitätsbeziehung aufgrund ihrer Natur stark domänenabhängig, die Mangel der annotierten Daten in spezifischen Domänen ist immer noch ein Problem. Als eine wichtige Domäne, es existieren keine Anwendungsfälle der Kausalitätsextraktion zur Analyse der Wirkungen von Entwicklungsprojekten und Politiken, diese werden auch Interventionen genannt. Unter Berucksichtigung von der höhen Anzahl der Informationen in Dokumentenforme und die Verfugbarkeit der Wirkungsevaluierungen von Interventionen als Dokumenten, wir schlagen ein System zur Extraktion der kausalen Beziehungen von Dokumenten durch Kombinieren von anderer Werke vor, wobei wir die Wirkungsevalierungen zur Interventionen als die spezifische und relativ unberuhrte Domäne zum Überprüfen des Systems nutzen. Wir untersuchen, wie die kausale Inferenz genutzt werden kann, um die Interventionen und ihre Wirkungen zu extrahieren, die von diese Wirkungsevalierungen überprüft wurden. Unser System hat ein Ansatz, der von den verfügbaren Modellen zur kausalen Inferenz unterschiedlich ist: wir extrahieren zuerst die möglichen Kandidaten der Ursache und Wirkung von einer möglichen kausalen Beziehung, und dann suchen wir fur existierende Beziehungen unter der gefundenen Kandidaten. Wir untersuchen auch die Domänen der Datensätze, die wir zur Training nutzen, und fragen dann, ob die Datensätze uber generelle Domänen der Kausalität genügend fur das Extrahieren von der Kausalität in domänen-spezifischen Dokumenten von Wirkungsevaluierungen. Unsere Ergebnisse zeigen, dass das Erkennen von der
Ursachen- und Wirkungskandidaten zur Entities nicht genugend in beiden Arten von Datensätzen ist, während die domänen-spezifische Datensatz relativ bessere
Ergebnisse liefert. Indessen zeigt das Beziehungsextraktionsteil von unserem System versprechende Ergebnisse, falls der domänen-spezifische Datensatz von Wirkungsevaluierungen genutzt wird. Neue annotierten Daten fur die kausale Extraktion mit einem einstimmig beschlossenen Kennzeichnungssystem, mehr annotierte Daten für unsere Domäne und eine Verbesserung vom Eigennamenerkennungsanteil des Systems wären unter möglichen zukunftigen Werke.

With the developments in technology and the Natural Language Processing field especially, extracting information from the huge data available on the internet has become easier and more competent. One specific field that remains a challenge is causality extraction, which deals with the special relation of causality that actually plays a big role in life in general. Even with the increasing amount of methods aiming to extract causality, this has been mostly limited to the form of sentence-based extraction. The extraction of causality at the document level remains a relatively untouched task. ... mehrFurthermore, by its nature, the causal relation is very domaindependent, and the lack of labeled data for specific domains remains a challenge. As one significant domain, there is yet a use case for using causality extraction to analyze the cause and effect in development projects and policies, also interventions.
Considering the high amount of information in document forms and the availability of impact evaluations of interventions as documents, we propose a framework for extracting causal relations from documents by combining several existing works, whereby we use impact evaluations as a specific and relatively untouched domain to inspect our framework. We study how causality extraction can be used to obtain the interventions and their effects studied by impact evaluations. Our framework takes a different approach from the available causality extraction models, where we first extract possible cause and effect candidates, and then search for possible relations between the found candidates. We also inspect the domains of datasets used to train the models we are using and ask, whether general domain datasets for causality are sufficient to extract causality from domain specific documents of impact
evaluations. Our results show that the recognition of the cause and effect candidates is not sufficient with either of the datasets, while the results of the domain-specific dataset also delivers relatively better but still poor results. The results imply that relation extraction models are also not applicable on general data for the intervention and effect extraction, while they show promising results on the impact evaluation dataset. New labeled data for causal extraction with a labeling scheme that would be unanimously agreed upon, more labeled data for the field and an improvement for the Named Entity Extraction section are among possible future works.