Semantic Exploration of Text Documents with Multi-Faceted Metadata Employing Word Embeddings: The Patent Landscaping Use Case

Die Menge der Veröentlichungen, die den wissenschaftlichen Fortschritt dokumentieren, wächst kontinuierlich. Dies erfordert die Entwicklung der technologischen Hilfsmittel für eine eziente Analyse dieser Werke. Solche Dokumente kennzeichnen sich nicht nur durch ihren textuellen Inhalt, sondern auch durch eine Menge von Metadaten-Attributen verschiedenster Art, unter anderem Beziehungen zwischen den Dokumenten. Diese Komplexität macht die Entwicklung eines Visualisierungsansatzes, der eine Untersuchung der schriftlichen Werke unterstützt, zu einer notwendigen und anspruchsvollen Aufgabe. ... mehrPatente sind beispielhaft für das beschriebene Problem, weil sie in großen Mengen von Firmen untersucht werden, die sich Wettbewerbsvorteile verschaffen oder eigene Forschung und Entwicklung steuern wollen.
Vorgeschlagen wird ein Ansatz für eine explorative Visualisierung, der auf Metadaten und semantischen Embeddings von Patentinhalten basiert ist. Wortembeddings aus einem vortrainierten Word2vec-Modell werden genutzt, um Ähnlichkeiten zwischen Dokumenten zu bestimmen. Darüber hinaus helfen hierarchische Clusteringmethoden dabei, mehrere semantische Detaillierungsgrade durch extrahierte relevante Stichworte anzubieten. Derzeit dürfte der vorliegende Visualisierungsansatz der erste sein, der semantische Embeddings mit einem hierarchischen Clustering verbindet und dabei diverse Interaktionstypen basierend auf Metadaten-Attributen unterstützt.
Der vorgestellte Ansatz nimmt Nutzerinteraktionstechniken wie Brushing and Linking, Focus plus Kontext, Details-on-Demand und Semantic Zoom in Anspruch. Dadurch wird ermöglicht, Zusammenhänge zu entdecken, die aus dem Zusammenspiel von 1) Verteilungen der Metadatenwerten und 2) Positionen im semantischen Raum entstehen.
Das Visualisierungskonzept wurde durch Benutzerinterviews geprägt und durch eine Think-Aloud-Studie mit Patentenexperten evaluiert. Während der Evaluation wurde der vorgestellte Ansatz mit einem Baseline-Ansatz verglichen, der auf TF-IDF-Vektoren basiert. Die Benutzbarkeitsstudie ergab, dass die Visualisierungsmetaphern und die Interaktionstechniken angemessen gewählt wurden. Darüber hinaus zeigte sie, dass die Benutzerschnittstelle eine deutlich größere Rolle bei den Eindrücken der Probanden gespielt hat als die Art und Weise, wie die Patente platziert und geclustert waren. Tatsächlich haben beide Ansätze sehr ähnliche extrahierte Clusterstichworte ergeben. Dennoch wurden bei dem semantischen Ansatz die Cluster intuitiver platziert und deutlicher abgetrennt.
Das vorgeschlagene Visualisierungslayout sowie die Interaktionstechniken und semantischen Methoden können auch auf andere Arten von schriftlichen Werken erweitert werden, z. B. auf wissenschaftliche Publikationen. Andere Embeddingmethoden wie Paragraph2vec [61] oder BERT [32] können zudem verwendet werden, um kontextuelle Abhängigkeiten im Text über die Wortebene hinaus auszunutzen.

The number of written works describing scientic progress is steadily increasing, which necessitates development of supportive tools for their ecient analysis. These documents are characterized not only by their textual content, but also by a number of metadata attributes of various kinds, including any relationships between documents. This complexity makes development of a visualization approach to aid examination of written works a challenging task. Patents exemplify this problem as large amounts of them are studied by companies to gain competitive advantages and guide research and development efforts.
... mehr
We propose an approach for explorative visualization based on both metadata and semantic embeddings of patent’s content. Word embeddings from a pre-trained word2vec model are used to determine similarities between documents. Moreover, hierarchical clustering methods help provide several levels of semantic detail with via extracted relevant key terms. To the best of our knowledge, no existing visualization approach combines semantic embeddings with hierarchical clustering while supporting various interaction types based on metadata attributes.
Our approach makes use of user interaction techniques such as brushing and linking, focus plus context, details on demand and semantic zoom. Because of that, it becomes possible to examine the patterns that result from the interplay between 1) distributions of metadata values and 2) positions in the semantic space.
The visualization concept is shaped by user interviews and evaluated via a think-aloud study with patent experts. During the evaluation we compared our approach to a baseline approach based on Term Frequency - Inverse Document Frequency (TF-IDF) vectors. The usability study indicated that visualization metaphors and interaction techniques were appropriately chosen. Moreover, it showed that the user interface of the prototype played a much larger role in participants’ impression than the way patents are situated and clustered. In fact, both approaches resulted in very similar extracted cluster key terms. Nevertheless, the semantic approach resulted in more intuitive relative placement of clusters and better separation of clusters.
Proposed visualization layout, interaction techniques and semantic methods may be extended to other kinds of text documents, i. e. scientic publications. Other embedding methods such as paragraph2vec [61] or BERT [32] could be used to take advantage of contextual dependencies in text above the level of single words.