Modellfreies Lernen optimaler zeitdiskreter Regelungsstrategien für Fertigungsprozesse mit endlichem Zeithorizont

Die Qualität und Leistungsfähigkeit von Bauteilen wird wesentlich von der Ausführung der beteiligten Fertigungsprozesse bestimmt. Das Prozessergebnis hängt -- neben dem Anfangszustand des Bauteils und des Prozesses -- von dem Prozessverlauf ab. Bei vielen Fertigungsprozessen kann der Prozessverlauf durch zeitlich veränderliche Stellgrößen maßgeblich bestimmt werden.
Die Optimierung dieser zeitveränderlichen Größen mit Hinsicht auf die Qualität des Bauteils ist Gegenstand dieser Arbeit. Die Bauteilqualität ergibt sich zum einen aus den makroskopischen Eigenschaften des erzeugten Bauteils und zum anderen aus der Material-Struktur am Ende des Fertigungsprozesses. ... mehrBeides lässt sich häufig erst im Anschluss an die Prozessausführung, in Form einer Qualitätskontrolle, beurteilen und quantifizieren. Prozesspfade sind Sequenzen von Werten der Stellgrößen, die in dieser Arbeit mit Hinsicht auf die Ergebnisqualität optimiert werden.
Reale Prozesse sind nicht vollständig determiniert, sondern hängen auch von während des Prozesses schwankenden Prozessbedingungen ab, die häufig nicht direkt messbar sind. Somit können keine allgemein gültigen, optimalen Prozesspfade ermittelt werden.
Die Optimierung der Stellgrößen muss vielmehr während der Prozessausführung erfolgen und stellt dann ein Problem der optimalen Regelung dar, wo anstelle der Prozesspfade Regelungsstrategien treten. Diese sind Abbildungen von beobachteten Größen auf Stellgrößen, welche in Hinsicht auf das Prozessergebnis optimiert werden. Herkömmliche Methoden zur optimalen Regelung setzen meist ein Prozessmodell voraus, das gleichzeitig effizient zu berechnen und ausreichend akkurat bezüglich der Aufgabenstellung sein muss. Dies stellt insbesondere bei komplexen nicht-linearen Fertigungsprozessen eine hohe Hürde dar.
Ziel der vorliegenden Arbeit ist deshalb die Entwicklung und Untersuchung von modellfreien Methoden, die selbstständig optimale Regelungsstrategien von Fertigungsprozessen in Hinsicht auf die Ergebnisqualität lernen. Die Basis für derartige Methoden findet sich in Bereichen des bestärkenden maschinellen Lernens und der adaptiven dynamischen Programmierung.
Zur Erreichung dieses übergreifenden Ziels werden in der Arbeit zwei Problemklassen, (a) die Optimierung von Regelungsstrategien partiell beobachtbarer Fertigungsprozesse (bei denen stellvertretend für den Prozesszustand nur einige, davon abhängige Messgrößen vorliegen) unter variierenden Einflüssen und (b) die Struktur-geleitete Optimierung von Fertigungsprozessen (bei denen die Herstellung einer gegebenen Material-Struktur angestrebt wird) definiert und Methoden des bestärkenden Lernens zur Lösung dieser Problemklassen gegenüber dem Stand der Forschung fortentwickelt und untersucht. Dabei werden weitere besondere Aufgabenstellungen in dem Kontext des übergreifenden Ziels, insbesondere die Entscheidungsoptimierung unter sich ändernden Zielvorgaben und die dateneffiziente Entscheidungsoptimierung bei mehreren äquivalenten Zielen, adressiert.
Die entwickelten, generischen Methoden werden für Prozesse der Metallverarbeitung ausgeprägt und in einer virtuellen Surrogat-Umgebung experimentell untersucht. Die physikalische Simulation eines Tiefziehprozesses wird durch Module zur Simulation der variierenden Prozesseinflüsse und der partiellen Beobachtbarkeit erweitert und bildet die Basis der Untersuchungen der Lösungsmethoden für die Problemklasse (a). Die Simulation eines Metall-Bearbeitungsprozesses zur einachsigen Deformation in beliebige Richtungen bildet die Basis der Untersuchungen zur Struktur-geleiteten Optimierung. Die Ergebnisse der Untersuchungen zeigen die Leistungsfähigkeit der entwickelten Methoden im Vergleich zu klassischen Basismethoden. Neben der Leistungsfähigkeit werden die Dateneffizienz und die Robustheit gegenüber Parameterausprägungen der entwickelten Methoden gezeigt und die Auswirkungen einzelner entwickelter Methodenbestandteile auf die Ergebnisse untersucht.

The quality and performance of components depend to a large extent on the execution of the Industrial processes involved in manufacturing. In addition to the initial conditions of the component and the process, the process result depends on the course of the process. In many manufacturing processes, the course of the process can be significantly determined by time-varying manipulated variables. The optimization of these time-dependent quantities with regard to the quality of the component is the subject of this work.
The component quality results from the properties of the manufactured component and the achieved material-structure at the end of the manufacturing process.
... mehr
Usually, both can only be assessed and quantified after the execution of the industrial process.
Process paths are sequences of values of the manipulated variables that are optimized in this thesis with regard to the quality of the process results.
The behavior of real processes is not deterministic but depends on process conditions that fluctuate during the process and are often not directly measurable. In this case, no generally valid optimal process path can be determined. The optimization of the manipulated variables must rather take place during the process execution, and instead of process paths, control strategies are optimized.
These are mappings of observed variables to manipulated variables, which are optimized with respect to the process result.
Conventional methods for such optimal control problems usually require a process model, which must be efficient to compute and at the same time sufficiently accurate with regard to the task at hand.
This is a major hurdle, especially when dealing with complex, non-linear manufacturing processes.
The aim of the present work is therefore the development and investigation of model-free methods that autonomously learn optimal control strategies for industrial manufacturing processes with respect to the quality of process results. The basis for such methods can be found in the areas of reinforcement learning and adaptive dynamic programming.
To achieve this overall objective, two problem classes are defined in the thesis: (a) the optimization of control strategies of partially observable industrial manufacturing processes (where, instead of the process state, only a set of dependent measured variables are available) under varying process influences and (b) the structure-guided optimization of industrial manufacturing processes (with the aim of producing prescribed material structures). New reinforcement learning methods are developed and investigated to solve these problem classes. Further special tasks in the context of the overall objective are addressed. In particular, the decision optimization under changing target specifications and the data-efficient decision optimization with multiple equivalent targets.
Developed methods are applied to optimize metalworking processes and are experimentally investigated in a virtual surrogate environment. The physical simulation of a deep-drawing process is expanded by modules for simulating the varying process influences and partial observability as the basis of the investigation of the solution methods for problem class (a).
The simulation of a metalworking process for uniaxial deformation in arbitrary directions serves as the basis of the investigations for developed structure-guided optimization methods. The investigation results show the performance of the developed methods compared to classic basic methods. In addition to the performance, the data efficiency and the robustness to parameter expressions of the developed methods are examined and the effects of individual method components on the results are investigated in ablation studies.