KIT | KIT-Bibliothek | Impressum | Datenschutz

Concept and benchmark results for Big Data energy forecasting based on Apache Spark

González Ordiano, Jorge Ángel; Bartschat, Andreas; Ludwig, Nicole; Braun, Eric; Waczowicz, Simon; Renkamp, Nicolas; Peter, Nico; Düpmeier, Clemens; Mikut, Ralf; Hagenmeyer, Veit

Abstract:
The present article describes a concept for the creation and application of energy forecasting models in a distributed environment. Additionally, a benchmark comparing the time required for the training and application of data-driven forecasting models on a single computer and a computing cluster is presented. This comparison is based on a simulated dataset and both R and Apache Spark are used. Furthermore, the obtained results show certain points in which the utilization of distributed computing based on Spark may be advantageous.

Open Access Logo


Verlagsausgabe §
DOI: 10.5445/IR/1000081164
Veröffentlicht am 19.03.2018
Originalveröffentlichung
DOI: 10.1186/s40537-018-0119-6
Scopus
Zitationen: 1
Zugehörige Institution(en) am KIT Institut für Automation und angewandte Informatik (IAI)
Publikationstyp Zeitschriftenaufsatz
Jahr 2018
Sprache Englisch
Identifikator ISSN: 2196-1115
urn:nbn:de:swb:90-811640
KITopen-ID: 1000081164
HGF-Programm 37.98.11 (POF III, LK 01)
Erschienen in Journal of Big Data
Band 5
Heft 1
Seiten Art.Nr. 11
Bemerkung zur Veröffentlichung Gefördert durch den KIT-Publikationsfonds
Vorab online veröffentlicht am 06.03.2018
Schlagworte Big Data, Forecasting, Energy, Data-driven, EnergyLab 2.0
Nachgewiesen in Scopus
KIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft
KITopen Landing Page