Assessing Hypotheses in Multi-Agent Systems for Natural Language Processing

In Multi-Agenten Systemen (MAS) arbeiten verschiedene Agenten an einem gemeinsamen Problem. Auch im Bereich der natürlichen Sprachverarbeitung (NLP) werden solche Systeme verwendet. Agenten eines MAS für natürliche Sprache können neben Ergebnissen auch Ergebnisse mit Konfidenzen, s.g. Hypothesen generieren. Diese Hypothesen spiegeln die Mehrdeutigkeit der natürlichen Sprache wider. Sind Agenten abhängig voneinander, so kann eine falsche Hypothese schnell zu einer Fehlerfortpflanzung in die Hypothesen der abhängigen Agenten führen. Die Exploration von Hypothesen bietet die Chance, die Ergebnisse von Agenten zu verbessern. ... mehrDiese Arbeit verbessert die Ergebnisse von Agenten eines MAS für NLP durch eine kontrollierte Exploration des Hypothesen-Suchraums. Hierfür wird ein Framework zur Exploration und Bewertung von Hypothesen entwickelt. In einer Evaluation mit drei Agenten konnten vielversprechende Ergebnisse hinsichtlich der Verbesserung erzielt werden. So konnte etwa mit der Top-X Exploration eine durchschnittliche Verbesserung des F1-Maßes des Topic-Detection-Agenten von ursprünglich 40% auf jetzt 49% und des Ontology-Selection-Agenten von ursprünglich 74% auf 79% erreicht werden.

In multi-agent systems (MAS) different agents work on a common problem. Such systems are also used in natural language processing (NLP). Agents of an MAS for natural language can generate results with confidence, so called hypotheses. These hypotheses reflect the ambiguity of natural language. If agents are dependent on each other, a wrong hypothesis can quickly lead to error propagation into the hypotheses of the dependent agents. The exploration of hypotheses offers the chance to improve the results of agents. This thesis improves the results of agents of a MAS for NLP by a controlled exploration of the hypothesis search space. ... mehrTherefore, a framework for the exploration and evaluation of hypotheses is developed. In an evaluation with three agents promising results regarding the improvement could be achieved. For example, Top-X Exploration achieved an average improvement of the F1 score of the Topic Detection agent from originally 40% to now 49% and of the Ontology Selection agent from originally 74% to 79%.