Benchmarking of Graph Databases - Suitability for the Industrial Internet of Things

In dem derzeitigen Wandel der Industrie in Richtung Industrie 4.0 kommt es auch dazu, dass viele Daten produziert werden, welche wertvoll sind, da sie für Verbesserungen in der Produktion verwendet werden können. Die anfallenden Daten können als Graph repräsentiert werden, deswegen macht es Sinn Graph-Datenbanken zu untersuchen. In dieser Arbeit werden wir die Performanz von Graph-Datenbanken in einem industriellen Umfeld untersuchen. Unser Ziel ist es, herauszufinden ob die Resultate aus bestehender Forschung in diesem Gebiet herangezogen werden können um die Tauglichkeit der Graph-Datenbanken in der Industrie zu prüfen. ... mehrAnstatt Graphen ähnlich zu denen in sozialen Netzen für die Untersuchungen zu nutzen, wie es die meisten Studien in diesem Gebiet tun, werden wir eine Daten-Struktur entwerfen die den industriellen Datenraum repräsentiert und schauen uns ebenso die Besonderheiten eines industriellen Einsatzes einer Graph-Datenbank an, um unsere Arbeitslasten entsprechend zu entwerfen. Der Yahoo! Cloud Service Benchmark (YCSB) wird erweitert um Datensätze mit der von uns entworfenen Datenstruktur zu generieren. Für die Auswertung haben wir folgende vier allgemein bekannte Graph-Datenbanken ausgewählt, Apache Jena, Neo4j, OrientDB und Sparksee (früher bekannt unter dem Namen DEX). Deren Java APIs wurden genutzt um sie in YCSB einzubinden. Wir haben die Datenbanken mit unserer Datenstruktur auf einem einzelnen Rechner mit einem i7-3770K Prozessor und 16GB RAM ausgeführt und kamen zu dem Fazit, dass aktuelle Graph-Datenbanken nicht für den industriellen Einsatz geeignet sind. Sparksee konnte nicht mit dem Datensatz in voller Größe getestet werden, da die kostenlose Lizenz diese Datenmenge nicht unterstützt. Wenn es den erreichten Durchsatz halten könnte, würde es auch mit dem Datenaufkommen aus der Industrie zurechtkommen. Da wir das nicht direkt testen konnten, können wir keine fundierte Entscheidung diesbezüglich treffen. OrientDB verfehlte unser gesetztes Ziel für den Durchsatz nur knapp, wohingegen Jena und Neo4j weit davon entfernt waren. Nachdem wir die Generalisierbarkeit von Resultaten aus Graph-Datenbank Benchmarks ausgewertet haben, können wir auch hier keine eindeutige Entscheidung treffen, da Vergleiche mit unterschiedlichen Studien zu verschiedenen Schlussfolgerungen führen. Wir konnten allerdings feststellen, dass die Performanz beim hinzufügen von Knoten und Kanten unter anderem auch vom Lese-Durchsatz abhängt, da diese Operation gebraucht wird, um Kanten zum Graphen hinzuzufügen. Schließlich scheinen jedoch mehr Argumente dafür zu sprechen, dass Graph-Datenbanken schlechter im industriellen Einsatz abschneiden. Das führt dazu, dass die Resultate aus anderen Studien nicht direkt übernommen werden können.

In the current transition happening in the industry towards Industry 4.0, a lot of data is produced. This data is valuable as it can be used for all kinds of improvements in the production process. The accumulating data can be represented in a graph and therefore it is worth examining graph databases. In this thesis, we will investigate the performance of graph databases in an industrial environment. Our goal is to examine whether the results of other research in the field of graph databases can be used to determine the performance of a graph database in the industrial internet of things. ... mehrInstead of using social network graphs as other research in this field does, we will design a data structure that represents the industrial data space and also look at the peculiarities of an industrial use to design our workloads accordingly. The YCSB benchmark will be extended to create datasets with our desired data structure. For the benchmark, we chose the following four commonly known graph databases, Apache Jena, Neo4j, OrientDB and Sparksee (also known as former DEX). Their Java APIs were used to integrate them into YCSB. We evaluated the databases with our data structure on a single machine with an i7-3770K processor and 16GB of RAM and came to the conclusion, that graph databases aren't suitable for an industrial application. Sparksee couldn't be tested with the large dataset, due to a missing license. If it could hold its throughput it would be suitable, since we couldn't investigate that, no solid conclusion can be drawn. OrientDB missed the target throughput slightly, whereas Jena and Neo4j were far away from the target throughput. After evaluating the generalisability of graph database benchmark results we came to no clear conclusion, as the comparison with other research points into two different directions. However, we can say that the insert throughput also depends on the read performance of the database as inserting edges requires read operations. Besides that, there were more arguments indicating that graph databases perform worse in an industrial environment. This leads to the conclusion, that the results of other studies cannot directly be used to determine the performance in an industrial use
case.