Adaptive Order Dispatching based on Reinforcement Learning: Application in a Complex Job Shop in the Semiconductor Industry

Heutige Produktionssysteme tendieren durch die Marktanforderungen getrieben zu immer kleineren Losgrößen, höherer Produktvielfalt und größerer Komplexität der Materialflusssysteme. Diese Entwicklungen stellen bestehende Produktionssteuerungsmethoden in Frage. Im Zuge der Digitalisierung bieten datenbasierte Algorithmen des maschinellen Lernens einen alternativen Ansatz zur Optimierung von Produktionsabläufen. Aktuelle Forschungsergebnisse zeigen eine hohe Leistungsfähigkeit von Verfahren des Reinforcement Learning (RL) in einem breiten Anwendungsspektrum. Im Bereich der Produktionssteuerung haben sich jedoch bisher nur wenige Autoren damit befasst. ... mehrEine umfassende Untersuchung verschiedener RL-Ansätze sowie eine Anwendung in der Praxis wurden noch nicht durchgeführt. Unter den Aufgaben der Produktionsplanung und -steuerung gewährleistet die Auftragssteuerung (order dispatching) eine hohe Leistungsfähigkeit und Flexibilität der Produktionsabläufe, um eine hohe Kapazitätsauslastung und kurze Durchlaufzeiten zu erreichen. Motiviert durch komplexe Werkstattfertigungssysteme, wie sie in der Halbleiterindustrie zu finden sind, schließt diese Arbeit die Forschungslücke und befasst sich mit der Anwendung von RL für eine adaptive Auftragssteuerung. Die Einbeziehung realer Systemdaten ermöglicht eine genauere Erfassung des Systemverhaltens als statische Heuristiken oder mathematische Optimierungsverfahren. Zusätzlich wird der manuelle Aufwand reduziert, indem auf die Inferenzfähigkeiten des RL zurückgegriffen wird.
Die vorgestellte Methodik fokussiert die Modellierung und Implementierung von RL-Agenten als Dispatching-Entscheidungseinheit. Bekannte Herausforderungen der RL-Modellierung in Bezug auf Zustand, Aktion und Belohnungsfunktion werden untersucht. Die Modellierungsalternativen werden auf der Grundlage von zwei realen Produktionsszenarien eines Halbleiterherstellers analysiert. Die Ergebnisse zeigen, dass RL-Agenten adaptive Steuerungsstrategien erlernen können und bestehende regelbasierte Benchmarkheuristiken übertreffen. Die Erweiterung der Zustandsrepräsentation verbessert die Leistung deutlich, wenn ein Zusammenhang mit den Belohnungszielen besteht. Die Belohnung kann so gestaltet werden, dass sie die Optimierung mehrerer Zielgrößen ermöglicht. Schließlich erreichen spezifische RL-Agenten-Konfigurationen nicht nur eine hohe Leistung in einem Szenario, sondern weisen eine Robustheit bei sich ändernden Systemeigenschaften auf.
Damit stellt die Forschungsarbeit einen wesentlichen Beitrag in Richtung selbstoptimierender und autonomer Produktionssysteme dar. Produktionsingenieure müssen das Potenzial datenbasierter, lernender Verfahren bewerten, um in Bezug auf Flexibilität wettbewerbsfähig zu bleiben und gleichzeitig den Aufwand für den Entwurf, den Betrieb und die Überwachung von Produktionssteuerungssystemen in einem vernünftigen Gleichgewicht zu halten.

Striving for operational excellence in the competitive and ever faster changing environment of manufacturing companies challenges existing production control methods. With the upcoming age of digitization, data-driven machine learning algorithms offer an alternative approach to optimize operations and exploit the full potential of data sources in manufacturing systems.
Latest research findings show a superior performance of reinforcement learning in a broad range of application domains, even outperforming human experts without using any human knowledge to train algorithms. ... mehrHowever, in the field of production control, just a limited number of authors have looked into the application of reinforcement learning so far. An extensive investigation of different RL-configurations was not yet performed.
Within various tasks of production planning and control, order dispatching is key to ensure flexibility and high performance in terms of high capacity utilization and short cycle times. Motivated by the operations in complex job shops, this work closed the research gap and focused on the application of reinforcement learning for an adaptive order dispatching. Incorporating actual system data allows capturing the system behaviour more accurately than approaches that are based on static procedures or mathematical optimization that is just applicable when too many modelling simplifications are made. Additionally, the manual effort can be reduced by relying on the inference capabilities of RL-algorithms and digital representations of production systems.
A comprehensive methodology is presented for the design and implementation of RL-agents as a central dispatching decision-making unit. Known RL-modelling challenges concerning the state, action, reward, and hyper-parameters are addressed. Multiple design choices are analysed based on two real-world production scenarios taken from a semiconductor manufacturer. The results reveal that RL-agents perform adaptive policies successfully and adjust their policy to different objectives. Moreover, RL-agents can outperform existing rule-based benchmarks. Extending the state representation clearly improves the performance if there is a relation to the objectives. The reward can be designed to enable the integrated optimization of multiple objectives. Finally, specific RL-agent configurations reach not just a high performance in one scenario, but a robust performance for changing system characteristics.
Hence, the research shows a substantial contribution in the direction of self-optimizing and autonomous production systems. Operations managers need to evaluate the potential of the presented approach to stay competitive in terms of flexibility and, at the same time, keeping the manual effort of designing, operating, and monitoring operation production systems in a reasonable balance.