Entity Recognition in Software Documentation Using Trace Links to Informal Diagrams

Natürlichsprachige Softwarearchitekturdokumentation (NLSAD) und Softwarearchitekturmodelle (SAM) enthalten Informationen über die Softwaresystemgestaltung und Qualitäten. Inkonsistenzen zwischen diesen Artefakten können das Verständnis oder die Evolution des Systems negativ beeinträchtigen. ArDoCo ist ein Ansatz, der in einer vorherigen Arbeit von Keim et al. vorgeschlagen wurde, um solche Inkonsistenzen zu finden und verwendet Nachverfolgbarkeitsverbindungen zwischen Entitäten in der NLSAD und dem SAM. Dabei sucht ArDoCo nach ungenannten Modellelementen (UMEs) im Modell und fehlenden Modellelementen (MMEs) im Text mithilfe der Verbindungsinformationen. ... mehrArDoCos Ansatz zeigt vielversprechende Resultate, aber auch Raum für Verbesserungen in Bezug auf die Präzision aufgrund von falsch identifizierten Textentitäten. Diese Arbeit schlägt die Verwendung von informellen Diagrammen aus der Softwarearchitekturdokumentation (SAD) vor, um das zu verbessern. Der Ansatz stellt zusätzliche Nachverfolgbarkeitsverbindungen zwischen den Textentitäten und den Diagrammentitäten her. Die Verbindung zwischen Textentitäten und Diagrammentitäten wird genutzt, um die Konfidenz in eine Textentität anhand von Heuristiken zu erhöhen oder zu verringern. Die Diagramm-zu-Text-Nachvollziehbarkeitsverbindungen und ihr Einfluss auf ArDoCos Leistungsfähigkeit werden separat mithilfe desselben Datensatzes wie in den vorherigen Arbeiten von Keim et al. evaluiert. Der Datensatz wurde um informelle Diagramme erweitert. Die Diagramm-zu-Text-Nachvollziehbarkeitsverbindungen erreichen ein gutes F1-Maß unter Verwendung optischer Zeichenerkennung (OCR) in Höhe von 0.54. Der Ansatz verbessert die MME-Detektion (0.77 $\rightarrow$ 0.94 Genauigkeit) durch Verringern der Menge an falsch identifizierten Textentititäten (0.39 $\rightarrow$ 0.69 Präzision) mit einem vernachlässigbaren Einfluss auf die Sensitivität. Die UME-Detektion und ArDoCos NLSAD-SAM-Nachvollziehbarkeitsverbindungen werden leicht positiv beeinflusst und zeigen weiterhin eine exzellente Leistungsfähigkeit. Wie man an den Resultaten erkennen kann, ist die Verwendung von informellen Diagrammen zur Verbesserung der Entitätserkennung im Text vielversprechend. Raum für Verbesserungen herrscht im Umgang mit Problemen, die mit der OCR und dem Verarbeiten der Diagrammelemente zusammenhängen.

Natural Language Software Architecture Documentation (NLSAD) and Software Architecture Model (SAM) provide information about a software systems design and qualities. Inconsistencies between these artifacts can negatively impact the comprehension and evolution of the system. ArDoCo is an approach that was proposed in prior work by Keim et al. to find such inconsistencies and relies on Traceability Link Recovery (TLR) between entities in the NLSAD and SAM. ArDoCo searches for Unmentioned Model Elements (UMEs) in the model and Missing Model Elements (MMEs) in the text using the linkage information. ... mehrArDoCo’s approach shows promising results but has room for improvement regarding precision due to falsely identified textual entities. This work proposes using informal diagrams from the Software Architecture Documentation (SAD) to improve this. The approach performs an additional TLR between the textual entities and the diagram entities. According to heuristics, the linkage of textual entities and diagram entities is utilized to increase or decrease the confidence in textual entities. The Diagram Text TLR and its impact on ArDoCo’s performance are evaluated separately using the same data set as previous work by Keim et al. The data set was extended to include informal diagrams. The Diagram Text TLR achieves a good F1-score with Optical Character Recognition (OCR) of 0.54. The approach improves the MME detection (0.77 $\rightarrow$ 0.94 accuracy) by lowering the amount of falsely identified textual entities (0.39 $\rightarrow$ 0.69 precision) with a negligible impact on recall. The UME detection and ArDoCo’s NLSAD to SAM are slightly positively impacted and continue to perform excellently. The results show that using informal diagrams to improve entity recognition in the text is promising. Room for improvement exists in dealing with issues related to OCR and diagram element processing.