Reinforcement Learning for Inventory Control in Supply Chains - An Approach towards Robust and Decentral Models

Das Bestandsmangement ist ein seit langem bekanntes Problem des Supply Chain Managments. Dabei geht es darum, das Gleichgewicht zwischen Produktverfügbarkeit und Bestandskosten zu finden. Es gibt eine breite Palette von Forschungsarbeiten, die sich bereits mit diesem Thema befassen. Mit dem Bekanntwerden des Reinforcement Learnings durch prominente Arbeiten wie \textit{AlphaGo} und \textit{AlphaZero} wurden auf der anderen Seite mehr und mehr Anwendungen des Reinforcement Learnings auf andere Problemdomänen untersucht.

Das Ziel der vorliegenden Arbeit war es, das bekannte Problem des Bestandsmanagements mit der innovativen Lösungsmethode des Reinforcement Learning zu verbinden. ... mehrDaher wurden bestehende Arbeiten zu dieser Kombination gesichtet und auf ihre Forschungslücke hin analysiert. Eine Frage, die sich dabei stellte, ist diejenige nach der Generalisierbarkeit dieser Modelle. Da maschinelle Lernmodelle in hohem Maße von den Daten abhängen, mit welchen sie trainiert werden, ist die erste zu beanwortende Frage, wie ein Reinforcement Learning Modell designt werden kann, so dass es gegenüber veränderlichen Umgebungsparametern wie Nachfrage, Wiederbeschaffungszeit und Kostenparametern robust agiert. Dazu wurde das entwickelte Basismodell um einen adaptiven Zustands- und Aktionsraum erweitert, sowie der erste einfache Zustandsraum um weitere Datenpunkte ergänzt. Die Analyse und Auswertung anhand verschiedener Datenreihen zeigte, dass diese Erweiterung zu einer besseren Anpassung des Modells an veränderliche Umweltparameter führte.

Als weitere Fragestellung wurde eine aus mehreren Standorten bestehende lineare Lieferkette untersucht. Der Vergleich von dezentral und zentral getroffenen Bestandsentscheidungen für diese Supply Chain führte zu dem Ergebnis, dass das dezentrale Modell im Vergleich zum zentralen erstaunlich gut agierte. Ein weiteres Ergebnisse war, dass beide Modelle relativ robust gegenüber Nachfrageschocks sind. Dafür wurde der Bullwhip Effekt in der Supply Chain mit und ohne Nachfrageschock verglichen.

In einem letzten Schritt wurde das entwickelte Modell auf reale Daten einer Auswahl von Produkten angewendet. Die Ergebnisse sind vielversprechend, müssen aber durch weitere Tests validiert werden.

In supply chain operations, inventory management represents a well-established challenge that involves the trade-off between product availability and stock holding costs. Research has tackled this topic extensively. The emergence of reinforcement learning through, for example, influential contributions such as \textit{AlphaGo} and \textit{AlphaZero}, has spurred further investigation into the application of inventory management for other problem domains.

The aim of this study was to merge the well-established issue of inventory management with the state-of-the-art solution approach of reinforcement learning. ... mehrTherefore, existing research on this integration was evaluated and scrutinized to identify any research gaps. A key issue that arose pertained to the generalization of these models. As machine learning models heavily rely on the data on which they are trained, the primary concern is how to create a reinforcement learning model that can withstand shifting environments, including demand, replenishment time, and cost parameter traits. Consequently, the fundamental model was enhanced through an adaptable state and action space, and additional data points supplemented the initial basic state space. An analysis indicated that this extension facilitates the improved adaptation of the model to fluctuating environmental parameters.

When this study examined beyond a single supply chain location to encompass a linear supply chain with multiple locations, an additional question arose. A comparison between decentralized and centralized inventory decisions revealed that the decentralized model performed similarly well when compared with the central model. Additional findings indicated that demand shocks did not appear to significantly impact either model when the bullwhip effects caused with and without a demand shock were compared.

Finally, the developed model was applied to real-world data from a chosen range of products. Promising results were obtained, but they require validation with further testing.