Robust Concept Drift Handling for Industrial Applications : Continuous Maintenance of Productive Machine Learning Regressors

Maschinelles Lernen hat sich zu einem zentralen Enabler der datengetriebenen industriellen Transformation entwickelt. Die langfristige Aufrechterhaltung der Leistungsfähigkeit von Machine-Learning-Modellen in Produktivumgebungen stellt jedoch weiterhin eine erhebliche Herausforderung dar. Nach ihrer Inbetriebnahme sind Modelle kontinuierlichen Datenströmen, also potenziell endlosen Sequenzen von Datenpunkten, ausgesetzt. Im Allgemeinen ist davon auszugehen, dass sich deren statistische Eigenschaften im Zeitverlauf verändern, was auch als Concept Drift bezeichnet wird. Unbeachtet kann dieser die Genauigkeit und Zuverlässigkeit von Modellen erheblich beeinträchtigen. ... mehrDiese Arbeit befasst sich daher mit der kontinuierlichen Wartung von Modellen in industriellen Anwendungskontexten. Hierbei liegt der Fokus auf dem robusten Umgang mit Concept Drift, insbesondere im Kontext von Regressionsproblemen, was bislang nur unzureichend erforscht ist.

Entwickelt wird daher eine Referenzarchitektur, die kohärent die Modellierung und den Entwurf von Machine-Learning-Modellsystemen mit robustheitsbewahrenden Komponenten unterstützt. Darüber hinaus setzt die Arbeit die Exploration von Concept Drift Detection Ensembles fort, indem sie eine umfassende Literaturanalyse, eine Taxonomie sowie ein Entwurfsschema für deren effektive Konfiguration bereitstellt. Aufbauend auf diesen Erkenntnissen wird die neuartige Methode für Concept-Drift-Adaption in Regressionsszenarien (SAM-CDAR) entwickelt. Sie integriert die Detektor-Ensemble-Struktur mit einem Machine-Learning-Modell-Ensemble, das die Robustheit von Regressoren mittels naturinspirierter Mechanismen zur Concept-Drift-Adaption aufrechterhält.

Die vorgeschlagene Methode wird in zwei realen industriellen Regressionsszenarien experimentell validiert. In diesen wird die Machine-Learning-gestützte Prädiktion von Prozessschrittdauer-Angaben in einem Freiformschmiedebetrieb sowie von Lieferzeiten in der Möbelproduktlogistik betrachtet. Die Auswertung zeigt, dass SAM-CDAR im Vergleich zu mehreren Baseline-Ansätzen deutliche Reduktionen der Regressionsfehler erzielt, mit Verbesserungen von bis zu 43,85% bzw. 60,82%. Diese Ergebnisse unterstreichen die Wirksamkeit der Methode bei der Aufrechterhaltung der Modellrobustheit unter dem Einfluss unterschiedlicher Arten von Concept Drift und belegen zugleich ihren praktischen Nutzen.

Machine learning has become a key enabler of data-driven industrial transformation. Yet, sustaining the performance of machine learning estimators in productive environments still poses a persistent challenge. Once deployed, estimators are exposed to data streams, i.e. potentially endless sequences of data points. Generally, one must assume that their statistical properties evolve over time, which is also known as the phenomenon referred to as concept drift. If left unaddressed, concept drift can severely degrade estimator performance and reliability. This Thesis therefore addresses the continuous maintenance of estimators in industrial contexts by Focusing on robust concept drift handling with a particular emphasis on regression problems, which marks a problem that remains critically under-researched.
... mehr
To this end, a reference architecture that provides a coherent framework for modeling and designing machine learning systems with robustness-sustaining components is proposed. The thesis also further explores concept drift detection ensembles by contributing a comprehensive literature analysis, taxonomy and design blueprint for their effective configuration. Building upon These insights, the novel stream-applicable method for concept drift adaptation in regression scenarios (SAM-CDAR) is developed. It integrates this detector ensemble structure with a novel machine learning ensemble approach maintaining regressor robustness through nature-inspired Concept drift adaptation mechanisms.

The proposed method is experimentally validated in two real-world industrial regression Scenarios involving the estimation of manufacturing process step durations in a free-form forging Company and of delivery times in furniture product logistics. The evaluation demonstrates that SAM-CDAR achieves substantial reductions in regression error compared to multiple baseline approaches, with improvements of up to 43.85% and 60.82%, respectively. Furthermore, the findings underline the method’s capacity to preserve regressor robustness under diverse types of concept drift, thereby affirming its practical value.