Online Analysis of Dynamic Streaming Data

Die Arbeit zum Thema "Online Analysis of Dynamic Streaming Data" beschäftigt sich mit der Distanzmessung dynamischer, semistrukturierter Daten in kontinuierlichen Datenströmen um Analysen auf diesen Datenstrukturen bereits zur Laufzeit zu ermöglichen. Hierzu wird eine Formalisierung zur Distanzberechnung für statische und dynamische Bäume eingeführt und durch eine explizite Betrachtung der Dynamik von Attributen einzelner Knoten der Bäume ergänzt. Die Echtzeitanalyse basierend auf der Distanzmessung wird durch ein dichte-basiertes Clustering ergänzt, um eine Anwendung des Clustering, einer Klassifikation, aber auch einer Anomalieerkennung zu demonstrieren.
... mehr

Die Ergebnisse dieser Arbeit basieren auf einer theoretischen Analyse der eingeführten Formalisierung von Distanzmessungen für dynamische Bäume. Diese Analysen werden unterlegt mit empirischen Messungen auf Basis von Monitoring-Daten von Batchjobs aus dem Batchsystem des GridKa Daten- und Rechenzentrums. Die Evaluation der vorgeschlagenen Formalisierung sowie der darauf aufbauenden Echtzeitanalysemethoden zeigen die Effizienz und Skalierbarkeit des Verfahrens. Zudem wird gezeigt, dass die Betrachtung von Attributen und Attribut-Statistiken von besonderer Bedeutung für die Qualität der Ergebnisse von Analysen dynamischer, semistrukturierter Daten ist. Außerdem zeigt die Evaluation, dass die Qualität der Ergebnisse durch eine unabhängige Kombination mehrerer Distanzen weiter verbessert werden kann. Insbesondere wird durch die Ergebnisse dieser Arbeit die Analyse sich über die Zeit verändernder Daten ermöglicht.

The main topic of the thesis "Online Analysis of Dynamic Streaming Data" is the distance measurement of dynamic, semi-structured data in streaming environments to enable the analysis of dynamic trees during the lifetime of the entities they describe. To address the challenges of dynamic trees, a formalisation for approximating distance measures on static and dynamic trees is introduced. This is accompanied by an explicit representation of changing attribute values of individual tree vertices. Appropriate clustering, classification, and outlier detection for dynamic trees at runtime are enabled by extending a density-based clustering as well as deriving an approximate but monotonic distance measure.
... mehr

The results are founded on a theoretical analysis of features of the introduced formalism for distance measurements of dynamic trees. The analysis is supported by empirical studies using monitoring data collected on batch jobs in the GridKa data and computing centre. The evaluation of the formalisation and implementation show the scalability, efficiency, and accuracy of the approach. Also, the analysis of attribute-based extensions demonstrates the improvement for identifying and distinguishing classes of semi-structured data. Furthermore, the general applicability and robustness of using multiple independent distance measures are demonstrated. Overall, the evaluation shows the applicability for stream processing and allows the analysis of structural and semantical features of semi-structured data at runtime.