Dynamische Lieferzeit-Preisgestaltung in variantenreicher Produktion : Ein adaptiver Ansatz mithilfe von Reinforcement Learning

Das Wertschöpfungsnetzwerk ist heute zur dominierenden Wertschöpfungsstruktur im Bereich der Produktion geworden. Für produzierende Unternehmen in solchen Netzwerken ist das Auftragsmanagement eine zentrale Aufgabe, die sich in einem Umfeld wachsender Herausforderungen befindet. Zum einen setzen kürzere Produktlebenszyklen und zunehmende Individualisierung die Unternehmen unter Druck. In diesem Zusammenhang hat die variantenreiche Produktion an Bedeutung gewonnen. Andererseits steigen die Wahrscheinlichkeit und die Auswirkungen von Störungen, insbesondere in Netzwerken, was die Leistungsfähigkeit von Produktionssystemen herausfordert.
... mehr
Ein vielversprechender Ansatz in diesem Zusammenhang ist die Verwendung einer dynamischen Lieferzeit-Preisgestaltung über eine kontinuierliche Preis-Lieferzeit-Funktion. Durch den Einsatz einer dynamischen Lieferzeit-Preisgestaltung könnte es möglich sein, die Nachfrage im Netz mit den Fähigkeiten des Produktionssystems in Einklang zu bringen. Die Idee ist, Nachfragespitzen zu verschieben und die Kunden entsprechend ihrer individuellen Präferenzen zu beliefern. Auf diese Weise kann der Gesamtgewinn gesteigert werden, obwohl die Kapazitäten konstant bleiben.
Um die aufgestellten Hypothesen zu untersuchen, wird in dieser Arbeit eine Methodik zur dynamischen Lieferzeit-Preisgestaltung für die variantenreiche Produktion entwickelt. In einem ersten Schritt werden Leistungskennzahlen und eine Zielfunktion festgelegt. In einem zweiten Schritt wird ein Actor Critic Reinforcement-Learning-Verfahren als Grundlage für ein Lösungsmodell motiviert. Für das Training und das spätere Testen des resultierenden Lernagenten wird ein Simulationsmodell als Umgebung entwickelt und ein Verfahren zur Durchführung und Auswertung der Experimente ausgearbeitet.
Der Ansatz wurde im Rahmen der BMBF-Forschungsprojekte ReKoNeT und BaSys4SupplyQ diskutiert und angewendet. Die Ergebnisse aus zwei Anwendungsfällen zeigen, dass der Ansatz in der Lage ist, bei gleicher Kapazität deutlich höhere Gewinne zu erzielen und Nachfragespitzen in gewissem Umfang zu glätten. Gleichzeitig zeigen die Ergebnisse, dass das Einsparen von Kapazitäten keine dominante Strategie zu sein scheint. Dies spiegelt die anwendungsspezifische Berücksichtigung verschiedener Ziele wie Service, Kapazitätskosten und Marge wider.

Today, the value network has become the dominant value creation structure in the area of production. For manufacturing companies in such networks the order management is a central task which faces an environment of growing challenges. On the one hand, shorter product life cycles and increasing individualisation are putting companies under pressure. In this context, multi-variant production has gained in importance. On the other hand, the probability and impact of disruptions are increasing, especially in networks, which challenges the capabilities of production systems.
... mehr
A promising approach in this context is the use of dynamic pricing via a continuous price-lead-time function. By using a dynamic pricing it would be possible to bring the demands in the network in line with the capabilities of the production system. The idea is to shift demand peaks and to supply customers according to their individual preferences. This way, the overall profit can be increased although the capacities remain constant.
To achieve and examine the described effects, the aim of this thesis is to develop a methodology for dynamic pricing for the make to order and assemble to order production. In the first step, key performance indicators and an objective function are established. Second, an actor critic reinforcement learning method is motivated, since reinforcement learning has already proven its potential to handle complex optimisation tasks efficiently in comparable domains. For the training and the later testing of the resulting learning agent, a simulation model is developed as an environment and a procedure for the execution and evaluation of the experiments is worked out.
The approach has been discussed and applied within the BMBF research projects ReKoNeT and BaSys4SupplyQ. The results from two use cases show that the approach is able to achieve significantly higher profits with the same capacity and to smooth demand peaks to a certain extent. At the same time, the results indicate that saving on capacities does not seem to be a dominant strategy. Instead, it is reasonable to maximise service for selected customers in order to justify higher margins. This reflects the application-specific consideration of various targets, such as service, capacity costs and margin. Thus, the results also reveal the central importance of aligning the parameterisation of the method with the strategy and goals of the applying company.