Stochastic Control for Cooperative Cyber-Physical Networking

Die stetig fortschreitende Digitalisierung erlaubt einen immer autonomeren und intelligenteren Betrieb von Produktions- und Fertigungslinien, was zu einer stärker werdenden Verzahnung der physikalischen Prozesse und der Software-Komponenten zum Überwachen, Steuern und Messen führt. Cyber-physische Systeme (CPS) spielen hierbei eine Schlüsselrolle, indem sie sowohl die physikalischen als auch die Software-Komponenten zu einem verteilten System zusammenfassen, innerhalb dessen Umgebungszustände, Messwerte und Steuerbefehle über ein Kommunikationsnetzwerk ausgetauscht werden. ... mehrDie Verfügbarkeit von kostengünstigen Geräten und die Möglichkeit bereits existierende Infrastruktur zu nutzen sorgen dafür, dass auch innerhalb von CPS zunehmend auf den Einsatz von Standard-Netzen auf Basis von IEEE 802.3 (Ethernet) und IEEE 802.11 (WLAN) gesetzt wird. Nachteilig bei der Nutzung von Standard-Netzen sind jedoch auftretende Dienstgüte-Schwankungen, welche aus der gemeinsamen Nutzung der vorhandenen Infrastruktur resultieren und für die Endsysteme in Form von sich ändernden Latenzen und Daten- und Paketverlustraten sichtbar werden.

Regelkreise sind besonders anfällig für Dienstgüte-Schwankungen, da sie typischerweise isochrone Datenübertragungen mit festen Latenzen benötigen, um die gewünschte Regelgüte zu garantieren. Für die Vernetzung der einzelnen Komponenten, das heißt von Sensorik, Aktorik und Regler, setzt man daher klassischerweise auf Lösungen, die diese Anforderungen erfüllen. Diese Lösungen sind jedoch relativ teuer und unflexibel, da sie den Einsatz von spezialisierten Netzwerken wie z.B. Feldbussen benötigen oder über komplexe, speziell entwickelte Kommunikationsprotokolle realisiert werden wie sie beispielsweise die Time-Sensitive Networking (TSN) Standards definieren.

Die vorliegende Arbeit präsentiert Ergebnisse des interdisziplinären Forschungsprojekts CoCPN:Cooperative Cyber-Physical Networking, das ein anderes Konzept verfolgt und explizit auf CPS abzielt, die Standard-Netze einsetzen. CoCPN benutzt einen neuartigen, kooperativen Ansatz um i) die Elastizität von Regelkreisen innerhalb solcher CPS zu erhöhen, das heißt sie in die Lage zu versetzen, mit den auftretenden Dienstgüte-Schwankungen umzugehen, und ii) das Netzwerk über die Anforderungen der einzelnen Regler in Kenntnis zu setzen. Kern von CoCPN ist eine verteilte Architektur für CPS, welche es den einzelnen Regelkreisen ermöglicht, die verfügbare Kommunikations-Infrastruktur gemeinsam zu nutzen. Im Gegensatz zu den oben genannten Lösungen benötigt CoCPN dafür keine zentrale Instanz mit globaler Sicht auf das Kommunikationssystem, sodass eine enge Kopplung an die Anwendungen vermieden wird. Stattdessen setzt CoCPN auf eine lose Kopplung zwischen Netzwerk und Regelkreisen, realisiert in Form eines Austauschs von Meta-Daten über den sog. CoCPN-Translator. CoCPN implementiert ein Staukontrollverfahren, welches den typischen Zusammenhang zwischen erreichbarer Regelgüte und Senderate ausnutzt: die erreichbare Regelgüte steigt mit der Senderate und umgekehrt. Durch Variieren der zu erreichenden Regelgüte kann das Sendeverhalten der Regler so eingestellt werden, dass die vorhandenen Kommunikations-Ressourcen optimal ausgenutzt und gleichzeitig Stausituationen vermieden werden.

In dieser Arbeit beschäftigen wir uns mit den regelungstechnischen Fragestellungen innerhalb von CoCPN. Der Schwerpunkt liegt hierbei auf dem Entwurf und der Analyse von Algorithmen, die auf Basis der über den CoCPN-Translator ausgetauschten Meta-Daten die notwendige Elastizität liefern und es dadurch den Reglern ermöglichen, schnell auf Änderungen der Netzwerk-Dienstgüte zu reagieren. Dazu ist es notwendig, dass den Reglern ein Modell zur Verfügung gestellt wird, dass die Auswirkungen von Verzögerungen und Paketverlusten auf die Regelgüte erfasst.

Im ersten Teil der Arbeit wird eine Erweiterung eines existierenden Modellierungs-Ansatzes vorgestellt, dessen Grundidee es ist, sowohl die Dynamik der Regelstrecke als auch den Einfluss von Verzögerungen und Paketverlusten durch ein hybrides System darzustellen. Hybride Systeme zeichnen sich dadurch aus, dass sie sowohl kontinuierlich- als auch diskretwertige Zustandsvariablen besitzen. Unsere vorgestellte Erweiterung ist in der Lage, Änderungen der Netzwerk-Dienstgüte abzubilden und ist nicht auf eine bestimmte probabilistische Darstellung der auftretenden Verzögerungen und Paketverluste beschränkt. Zusätzlich verzichtet unsere Erweiterung auf die in der Literatur übliche Annahme, dass Quittungen für empfangene Datenpakete stets fehlerfrei und mit vernachlässigbarer Latenz übertragen werden. Verglichen mit einem Großteil der verwandten Arbeiten, ermöglichen uns die genannten Eigenschaften daher eine realistischere Berücksichtigung der Netzwerk-Einflüsse auf die Regelgüte.

Mit dem entwickelten Modell kann der Einfluss von Verzögerungen und Paketverlusten auf die Regelgüte prädiziert werden. Auf Basis dieser Prädiktion können Stellgrößen dann mit Methoden der stochastischen modellprädiktiven Regelung (stochastic model predictive control) berechnet werden. Unsere realistischere Betrachtung der Netzwerk-Einflüsse auf die Regelgüte führt hierbei zu einer gegenseitigen Abhängigkeit von Regelung und Schätzung. Zur Berechnung der Stellgrößen muss der Regler den Zustand der Strecke aus den empfangenen Messungen schätzen. Die Qualität dieser Schätzungen hängt von den berechneten Stellgrößen und deren Auswirkung auf die Regelstrecke ab. Umgekehrt beeinflusst die Qualität der Schätzungen aber maßgeblich die Qualität der Stellgrößen: Ist
der Schätzfehler gering, kann der Regler bessere Entscheidungen treffen. Diese gegenseitige Abhängigkeit macht die Berechnung von optimalen Stellgrößen unmöglich und bedingt daher die Fokussierung auf das Erforschen von approximativen Ansätzen.

Im zweiten Teil dieser Arbeit stellen wir zwei neuartige Verfahren für die stochastische modellprädiktive Regelung über Netzwerke vor. Im ersten Verfahren nutzen wir aus, dass bei hybriden System oft sogenannte multiple model-Algorithmen zur Zustandsschätzung verwendet werden, welche den geschätzten Zustand in Form einer Gaußmischdichte repräsentieren. Auf Basis dieses Zusammenhangs und einer globalen Approximation der Kostenfunktion leiten wir einen Algorithmus mit geringer Komplexität zur Berechnung eines (suboptimalen) Regelgesetzes her. Dieses Regelgesetz ist nichtlinear und ergibt sich aus der gewichteten Kombination mehrerer unterlagerter Regelgesetze. Jedes dieser unterlagerten Regelgesetze lässt sich dabei als lineare Funktion genau einer der Komponenten der Gaußmischdichte darstellen. Unser zweites vorgestelltes Verfahren besitzt gegensätzliche Eigenschaften. Das resultierende Regelgesetz ist linear und basiert auf einer Approximation der Kostenfunktion, welche wir nur lokal, das heißt nur in der Umgebung einer erwarteten Trajektorie des geregelten Systems, berechnen. Diese Trajektorie wird hierbei durch die Prädiktion einer initialen Zustandsschätzung über den Optimierungshorizont gewonnen. Zur Berechnung des Regelgesetzes schlagen wir dann einen iterativen Algorithmus vor, welcher diese Approximation durch wiederholtes Optimieren der System-Trajektorie verbessert. Simulationsergebnisse zeigen, dass unsere neuartigen Verfahren eine signifikant höhere Regelgüte erzielen können als verwandte Ansätze aus der Literatur.

Der dritte Teil der vorliegenden Arbeit beschäftigt sich erneut mit dem hybriden System aus dem ersten Teil. Die im Rahmen dieser Arbeit verwendeten Netzwerk-Modelle, das heißt die verwendeten probabilistischen Beschreibungen der Verzögerungen und Paketverluste, werden vom CoCPN-Translator auf Grundlage von im Netzwerk gesammelten Status-Informationen erzeugt. Diese Status-Informationen bilden jedoch stets nur Ausschnitte ab und können nie exakt den "Zustand” des Netzwerks repräsentieren. Dementsprechend können die resultierenden Netzwerk-Modelle nicht als fehlerfrei erachtet werden. In diesem Teil der Arbeit untersuchen wir daher den Einfluss möglicher Fehler in den Netzwerk-Modellen auf die zu erwartende Regelgüte. Weiterhin gehen wir der Frage nach der Existenz von Reglern, die robust gegenüber solchen Fehlern und Unsicherheiten sind, nach. Dazu zeigen wir zunächst, dass sich Fehler in den Netzwerk-Modellen immer als eine polytopische Parameter-Unsicherheit im hybriden System aus dem ersten Teil manifestieren. Für solche polytopischen hybride System leiten wir dann eine sowohl notwendige als auch hinreichende Stabilitätsbedingung her, was einen signifikanten Beitrag zur Theorie der hybriden Systeme darstellt. Die Auswertung dieser Bedingung erfordert es zu bestimmen, ob der gemeinsame Spektralradius (joint spectral radius) einer Menge von Matrizen kleiner als eins ist. Dieses Entscheidungsproblem ist bekanntermaßen NP-schwer, was die Anwendbarkeit der Stabilitätsbedingung stark limitiert. Daher präsentieren wir eine hinreichende Stabilitätsbedingung, die in polynomieller Zeit überprüft werden kann, da sie auf der Erfüllbarkeit von linearen Matrixungleichungen basiert. Schließlich zeigen wir, dass die Existenz eines Reglers, der die Stabilität des betrachteten polytopischen hybriden Systems garantiert, von der Erfüllbarkeit einer ähnlichen Menge von Matrixungleichungen bestimmt wird. Diese Ungleichungen sind weniger restriktiv als die bisher in der Literatur bekannten, was die Synthese von weniger konservativen Reglern erlaubt.

Schließlich zeigen wir im letzten Teil dieser Arbeit die Anwendbarkeit des kooperativen Konzepts von CoCPN in Simulations-Szenarien, in denen stark ausgelastete Netzwerk-Ressourcen mit anderen Anwendungen geteilt werden müssen. Wir demonstrieren, dass insbesondere das Zusammenspiel unserer modellprädiktiven Verfahren mit dem Staukontrollverfahren von CoCPN einen zuverlässigen Betrieb der Regelkreise ohne unerwünschte Einbußen der Regelgüte auch dann ermöglicht, wenn sich die Kommunikationsbedingungen plötzlich und unvorhergesehen ändern. Insgesamt stellt unsere Arbeit somit einen wichtigen Baustein auf dem Weg zu einem flächendeckenden Einsatz von Standard-Netzen als flexible und adaptive Basis für industrielle CPS dar.

The latest advancements in automation and digitalization have initiated a general transition towards a more intelligent and autonomous operation of manufacturing and production systems that increasingly pushes the traditional boundaries between the physical processes and the software components used for sensing, monitoring, and actuation. Cyber-physical systems (CPS) play a leading role in this transition as they tightly integrate physical and software (cyber) components that share a communication network for the exchange of system states, sensor readings, and control commands. ... mehrMore and more CPS are deployed with off-the-shelf networking equipment to benefit from the availability of cheap devices and the option to re-use existing infrastructure. However, general-purpose networks based on the IEEE 802.3 (Ethernet) and IEEE 802.11 (WLAN) standards are characterized by fluctuations of the provided quality of service (QoS), which result in changing communication conditions that become visible in the form of varying latencies, packet loss rates, and achievable data rates for all end systems that share the communication resources.

Control loops that use a shared communication system to realize the communication between sensors, actuators, and controllers are called networked control systems (NCS). They usually have strict communication requirements and demand data transmissions with guaranteed latencies, rendering them particularly vulnerable to fluctuations of the network QoS. State-of-the-art approaches ensure a reliable operation without performance degradation by providing communication conditions that meet the imposed requirements. However, this usually necessitates the deployment of highly specialized networks such as fieldbuses, the use of complex, made-to-measure communication protocols such as the time-sensitive networking (TSN) standards, or demands central entities with a global view on the communication system, rendering these approaches expensive and relatively inflexible.

The present thesis covers results of the interdisciplinary research project CoCPN: Cooperative Cyber-Physical Networking that pursues a different concept and specifically targets CPS deployed with standard networking equipment. CoCPN implements a novel, cooperative approach to make the control loops within such CPS elastic, that is, to increase their flexibility to cope with changing communication conditions, and to render the communication system aware of the communication requirements of the controllers. The cornerstone of the approach is a novel, distributed architecture for CPS that allows the control loops to cooperatively share the available communication capacity. This architecture forgoes a central entity with a global view on the communication resources, thereby avoiding tight coupling between the communication infrastructure and the control loops that sit atop. Instead, CoCPN introduces the CoCPN translator that keeps the implemented cooperation lightweight and distributed by enabling the exchange of meta data between the communication system and the control loops. The CoCPN architecture is motivated by the typical connection between achievable control performance and sending rate – the control performance improves if the controller increases its sending rate and vice versa. CoCPN leverages this connection and dynamically adjusts the target control performance that the controllers shall achieve, which in turn adapt their sending rates as much as is needed to achieve this target performance. Based on this connection, CoCPN implements a control-aware congestion control mechanism to realize a fair sharing of the communication resources that avoids potentially severe degradations of the network QoS and keeps the performance of all control loops in balance.

The present thesis centers around the “control-related portion” of CoCPN. More specifically, our focus is on the design and analysis of algorithms that yield the desired elasticity and, based on the information exchange provided by the CoCPN translator, enable networked controllers to quickly respond to variations of the network QoS and to efficiently use the available communication capacity. To achieve this goal, controllers must not only be aware of the shared communication system but also need a model that accurately describes the impact of its most relevant influencing factors, namely the impact of packet delays and losses.

The first part of this thesis develops an extension of an existing modeling approach for the design and analysis of networked control algorithms that expresses the plant dynamics and the impact of the packet delays and losses in terms of a single hybrid system. Hybrid systems are dynamical systems with continuous- and discrete-valued state variables. The developed extension is flexible enough to reflect changes of the network QoS, supports different probabilistic descriptions of the occurring packet delays and losses, and does not rely on the typical assumption that acknowledgment packets are transmitted instantaneously and received with negligible communication delay. Thanks to these properties, we are able to model the influence of the shared communication system more realistically compared to the vast majority of the literature. Equipped with the developed hybrid system model, controllers can predict the influence of packet delays and losses on the control performance, rendering stochastic model predictive control (SMPC) well-suited to compute the control inputs. To that end, controllers must estimate the plant state based on the information provided by the received measurements. However, our pursued more realistic consideration of packet delays and losses results in an interdependency between decision-making and state estimation: Each computed control input does not only affect the plant state, which is the desired control action, but also the quality of the controller’s future state estimates, which in turn determine the quality of future control inputs – when the estimation error is low, better decisions can be made. This interdependency is known as dual effect and prevents the computation of control inputs that are optimal with regards to a selected cost function. Hence, any practical SMPC approach is necessarily an approximation.

In the second part of this thesis, we propose two novel approaches for the computation of suboptimal control laws. The first approach exploits that estimates of the plant state in networked control algorithms are often provided by multiple model estimation algorithms. We use this connection to derive a control algorithm with low computational complexity that combines the output of multiple individual controllers, each of which corresponds to one of the models used by the estimator. The underlying control law is nonlinear, relies on a global approximation of the cost function, and neglects the contribution of the dual effect on the cost. Our second proposed approach possesses contrasting properties. The underlying control law is linear and minimizes a local approximation of the cost via repeated improvements of a given reference trajectory, which is obtained by propagating an initial state estimate over the optimization horizon. Moreover, the approach takes the influence of the dual effect on the cost into account. In evaluation scenarios, we show that our novel approaches can achieve significantly better control performance than state-of-the-art networked SMPC approaches from the literature.

In the third part of this thesis, we return our attention to the hybrid system model developed in the first part. The different probabilistic descriptions of the packet delays and losses supported by this model are provided by the CoCPN translator, which creates them by translating monitoring information collected inside the communication system into appropriate network models. The collected monitoring data can only provide snapshots of the past so that the resulting network models are always estimates of the “state” of the communication system. Consequently, questions about the influence of modeling errors on the achievable control performance and the existence of controllers that are robust to such errors arise. We first show that uncertain or even completely unknown network models always lead to a polytopic parameter uncertainty in the hybrid system model. Subsequently, we derive a necessary and sufficient condition for the mean square stability of such polytopic systems, which constitutes a substantial contribution to the theory of hybrid systems. The condition demands verifying whether the joint spectral radius of a set of matrices is less than one, which, unfortunately, is known to be NP-hard, thereby limiting the practical applicability of the derived condition. For this reason, we propose a sufficient stability condition that requires to test the feasibility of a set of linear matrix inequalities, which is typically done by state-of-the-art solvers in polynomial time. A by-product of the derived condition is a similar set of inequalities whose feasibility guarantees the existence of a state feedback controller that stabilizes the plant in the mean square sense. The set of inequalities is less restrictive than related ones from the literature and, thus, enables the synthesis of less conservative controllers.

In the final part of this thesis, we integrate our contributions into the CoCPN architecture and showcase the applicability of its cooperative concept in simulation scenarios with highly utilized network resources that have to be shared with unrelated traffic from other applications. Especially the collaboration between our SMPC approaches and the control-aware congestion control allows control loops to operate reliably without undesirable performance degradations even when the communication conditions change rapidly. Consequently, our work paves the way for the ubiquitous use of standard networking equipment as a flexible and adaptable foundation for CPS in industrial applications.