Adaptive Dynamic Programming: Solltrajektorienfolgeregelung und Konvergenzbedingungen

Adaptive Dynamic Programming (ADP) steht als vielversprechendes und zukunftsorientiertes regelungstechnisches Werkzeug im Fokus der aktuellen Forschung. Allerdings existieren hierfür bislang weder flexibel einsetzbare, mit dem ADP-Mechanismus kompatible Solltrajektoriendarstellungen noch theoretische Untersuchungen hinsichtlich einer geeigneten Systemanregung zur Sicherstellung der Konvergenz. Die vorliegende Arbeit schließt diese Lücken: Zum einen werden erstmals zeitdiskrete und zeitkontinuierliche Methoden präsentiert und analysiert, die flexible Solltrajektoriendarstellungen in ADP-Ansätze integrieren. ... mehrDie explizite Abhängigkeit der vorgestellten, neuartigen Value- bzw. Q-Function und des darauf basierenden gelernten Regelgesetzes von Trajektorienparametern, die den aktuellen Sollverlauf repräsentieren, ermöglicht eine variable Vorgabe der Solltrajektorie zur Laufzeit. Zum anderen werden erstmalig theoretische Bedingungen an den Systemzustand hergeleitet, die sicherstellen, dass eine für die Konvergenz der Adaption zentrale Anregungseigenschaft erfüllt ist. Verbleibende Freiheitsgrade erlauben zudem die Berücksichtigung anwendungsspezifischer Anforderungen bei der Systemanregung. Die theoretischen Aussagen werden in Simulationen bestätigt. Erste reale Anwendungen der vorgestellten adaptiven optimalen Trajektorienfolgeregelungsmethoden offenbaren schließlich das Potenzial dieser Ansätze. Flexible und effiziente Regler, die aufgrund der Berücksichtigung des Solltrajektorienverlaufs vorausschauend agieren, können ohne aufwendige Modellbildung aus realen Messdaten erlernt werden und sind zudem bisherigen Ansätzen bezüglich ihrer Performanz überlegen.

Adaptive Dynamic Programming (ADP) as a promising and future-oriented control engineering tool is in the focus of current research. However, up to now neither flexibly applicable reference trajectory representations compatible with the ADP mechanism nor theoretical investigations regarding a suitable system excitation for ensuring convergence exist for this purpose. The present work closes these gaps: First, discrete-time and continuous-time methods that integrate flexible reference trajectory representations into ADP approaches are presented and analyzed for the first time. ... mehrThe explicit dependence of the novel value or Q-function and the learned control law on trajectory parameters representing the current reference trajectory allows a variable specification of the desired trajectory at runtime. Second, theoretical conditions on the system state are derived for the first time, ensuring that the persistent excitation property is satisfied. The latter is required for the convergence of ADP. Remaining degrees of freedom also allow application-specific requirements to be considered in the system excitation. The theoretical statements are confirmed in simulations. Finally, first real applications of the presented adaptive optimal trajectory tracking methods reveal the potential of these approaches. Flexible and efficient controllers, which act predictively due to the consideration of the reference trajectory, can be learned from real measurement data without complex modeling. They are also superior to previous approaches with respect to their performance.