KIT | KIT-Bibliothek | Impressum | Datenschutz

Concept and benchmark results for Big Data energy forecasting based on Apache Spark

González Ordiano, Jorge Ángel 1; Bartschat, Andreas 1; Ludwig, Nicole 1; Braun, Eric 1; Waczowicz, Simon ORCID iD icon 1; Renkamp, Nicolas 1; Peter, Nico 1; Düpmeier, Clemens 1; Mikut, Ralf ORCID iD icon 1; Hagenmeyer, Veit ORCID iD icon 1
1 Institut für Automation und angewandte Informatik (IAI), Karlsruher Institut für Technologie (KIT)

Abstract:

The present article describes a concept for the creation and application of energy forecasting models in a distributed environment. Additionally, a benchmark comparing the time required for the training and application of data-driven forecasting models on a single computer and a computing cluster is presented. This comparison is based on a simulated dataset and both R and Apache Spark are used. Furthermore, the obtained results show certain points in which the utilization of distributed computing based on Spark may be advantageous.


Verlagsausgabe §
DOI: 10.5445/IR/1000081164
Veröffentlicht am 19.03.2018
Originalveröffentlichung
DOI: 10.1186/s40537-018-0119-6
Scopus
Zitationen: 9
Dimensions
Zitationen: 10
Cover der Publikation
Zugehörige Institution(en) am KIT Institut für Automation und angewandte Informatik (IAI)
Publikationstyp Zeitschriftenaufsatz
Publikationsjahr 2018
Sprache Englisch
Identifikator ISSN: 2196-1115
urn:nbn:de:swb:90-811640
KITopen-ID: 1000081164
HGF-Programm 37.98.11 (POF III, LK 01) ES 2050
Erschienen in Journal of Big Data
Verlag SpringerOpen
Band 5
Heft 1
Seiten Art.Nr. 11
Bemerkung zur Veröffentlichung Gefördert durch den KIT-Publikationsfonds
Vorab online veröffentlicht am 06.03.2018
Schlagwörter Big Data, Forecasting, Energy, Data-driven, EnergyLab 2.0
Nachgewiesen in Dimensions
Scopus
KIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft
KITopen Landing Page