Neues Konzept zur skalierbaren, explorativen Analyse großer Zeitreihendaten mit Anwendung auf umfangreiche Stromnetz-Messdaten

Diese Arbeit beschäftigt sich mit der Entwicklung und Anwendung eines neuen Konzepts zur skalierbaren explorativen Analyse großer Zeitreihendaten. Hierzu werden zahlreiche datenintensive Methoden aus dem Bereich des Data-Mining und der Zeitreihenanalyse hinsichtlich ihrer Skalierbarkeit mit wachsendem Datenvolumen untersucht und neue Verfahren und Datenrepräsentationen vorgestellt, die eine Exploration sehr großer Zeitreihendaten erlauben, die mit herkömmlichen Methoden nicht effizient auswertbar sind und unter dem Begriff Big Data eingeordnet werden können.
Methoden zur Verwaltung und Visualisierung großer multivariater Zeitreihen werden mit Methoden zur Detektion seltener und häufiger Muster – sog. ... mehrDiscords und Motifs – kombiniert und zu einem leistungsfähigen Explorationssystem namens ViAT (von engl. Visual Analysis of Time series) zusammengefasst. Um auch Analysen von Zeitreihendaten durchführen zu können, deren Datenvolumen hunderte von Terabyte und mehr umfasst, wurde eine datenparallele verteilte Verarbeitung auf Basis von Apache Hadoop entwickelt. Sie erlaubt die Ableitung datenreduzierter Metadaten, welche statistische Eigenschaften und neuartige Strukturbeschreibungen der Zeitreihen enthalten. Auf dieser Basis sind neue inhaltsbasierte Anfragen und Auswertungen sowie Suchen nach bekannten und zuvor unbekannten Mustern in den Daten möglich.
Das Design der entwickelten neuen Methoden und deren Integration zu einem Gesamtsystem namens FraScaTi (von engl. Framework for Scalable management and analysis of Time series data) wird vorgestellt. Das System wird evaluiert und im Anwendungsfeld der Stromnetzanalyse erprobt, welches von der Skalierbarkeit und den neuartigen Analysemöglichkeiten profitiert. Hierzu wird eine explorative Analyse hochfrequenter Stromnetz-Messdaten durchgeführt, deren Ergebnisse im Kontext des Anwendungsbereichs präsentiert und diskutiert werden.

The topic of this thesis is the development and application of a new concept for scalable, explorative analysis of big time series data. Several data-intensive methods from the fields of data mining and time series analysis are studied with focus on their scalability with data size. Subsequently, new techniques and data representations are presented that allow for exploration of large volumes of time-oriented data. These Big Data could previously not be analyzed efficiently due to their large volume and complexity.
Techniques for managing and visualizing big multivariate time series data are combined with methods for the detection of frequent and uncommon subseries – so-called discords and motifs to create a powerful system for explorative time series analysis called ViAT (Visual Analysis of Time series). ... mehrIn order to allow analyses of even hundreds of terabytes of time series data and more, a distributed data-parallel processing pipeline is developed, which is based on the Apache Hadoop framework. It enables the extraction of data-reduced metadata that includes statistical properties of the time series and a new structure-based symbolic representation. Based on these, new evaluations and queries can be realized that enable searches for known and previously unknown patterns.
The design of the introduced methods and their integration to a software framework called FraScaTi (Framework for Scalable management and analysis of Time series data) is presented. This framework is evaluated and applied to the field of power grid analysis, which benefits from the scalability and new possibilities for analysis. An explorative analysis of high-frequency power measurement data is carried out and results are presented and discussed within the context of this field of application.