Architecture of a Synchronous High-Bandwidth Real-Time Network with Sub-Nanosecond Latency Determinism at the Hardware Level

Mit dem Ziel, immer komplexere physikalische Phänomene zu beobachten und zu untersuchen, entwickeln sich Experimente in der Teilchenphysik hinsichtlich Umfang und Leistungsfähigkeit kontinuierlich weiter, was zwangsläufig zu größeren Mengen an Messdaten führt, die transportiert und gespeichert werden müssen. Herkömmliche Hardwaresysteme reduzieren dieses Datenvolumen durch eine niedriglatenteVorauswahl. Die Effizienz vonHardware-Triggersystemen ist jedoch intrinsisch durch die Komplexität der erforderlichen Auswahlkriterien begrenzt. In modernen Experimenten werden diese Einschränkungen zunehmend zu einem wesentlichen limitierenden Faktor für das Erreichen der physikalischen Ziele. ... mehrDies hat zur Entwicklung von Free-Streaming-Auslesekonzepten geführt, die die Fortschritte in der Hochgeschwindigkeitskommunikation und -rechnertechnik nutzen, um die Notwendigkeit einer Vorauswahl durch Hardware zu beseitigen.

Als eines der Experimente, das das Konzept des Free-Streaming-Auslesekonzepts übernommen hat, ist das Compressed Baryonic Matter (CBM)-Experiment stark auf hochpräzise Taktsignale und Zeitsynchronisation zwischen seinen Hardwarekomponenten sowie auf eine reaktionsschnelle und deterministische Datenflusskontrolle angewiesen, um seine wissenschaftlichen Ziele zu erreichen. Diese Anforderungen bilden einen anspruchsvollen Anwendungsfall für ein synchrones, verteiltes Echtzeitsystem (DRTS).

Diese Arbeit stellt eine skalierbare und anpassungsfähige DRTS-Architektur vor. Durch den Einsatz moderner feldprogrammierbarer Gate-Arrays (FPGA) und Multi-Gigabit-Glasfasertechnik sind die Systemkomponenten über bidirektionale Verbindungen verbunden, um Zeit- und Steuerbefehle mit geringer und deterministischer Latenz zu übertragen. Die Punkt-zu-Punkt-Architektur des Systems ermöglicht Redundanz und Anpassungsfähigkeit für konkrete Anwendungsfälle. Der Zugriff auf die Daten und Rechenressourcen in jedem Knoten des Systems ermöglicht die Implementierung domänenspezifischer Funktionen, z. B. lokalisierte Steuerung oder Domänenstatusaggregation. Darüber hinaus arbeitet das vorgeschlagene Echtzeitnetzwerk synchron mit einer Stabilität der Zeitverschiebungen zwischen den Komponenten im Sub-Nanosekundenbereich, wodurch sich das System für verteilte zeitkritische Anwendungen mit strengen Zeitanforderungen eignet.

Das vorgeschlagene Systemwurde in einer minimalenKonfiguration implementiert und mit einem automatisierten Charakterisierungsverfahren im Labor getestet. Nach erfolgreicher Designverifikation wurde es im CBM-Experiment als Timing and Fast Control (TFC)-System eingesetzt.

Aiming to observe and study more and more complex physics phenomena, particle physics experiments continuously evolve in scale and performance, which inevitably leads to larger volumes of measurement data that must be transported and stored. Traditional hardware systems reduce this data volume through low-latency selection. However, the efficiency of hardware trigger systems is fundamentally limited by the complexity of the required selection criteria. In modern experiments, these constraints increasingly become a significant limiting factor in achieving the physics goals. ... mehrThis has led to development of free-streaming readout concepts that leverage advances in high-speed communication and computing technologies to eliminate the need for hardware pre-selection.

As one of the experiments that adopted the free-streaming readout concept, the Compressed Baryonic Matter (CBM) experiment heavily relies on high-precision clock and time synchronization across its hardware components and highly responsive and deterministic data flow control to achieve its scientific goals. These requirements create a demanding use case for a synchronous distributed real-time system (DRTS).

This work presents a scalable and adaptable DRTS architecture that fulfills the unusually stringent requirements for responsiveness and time determinism. Leveraging the performance of modern field-programmable gate array (FPGA) devices and multi-gigabit optical connections, the system components are interconnected by bi-directional optical links for transporting time and control commands with low and deterministic latency. The point-to-point architecture of the system allows for redundancy and adaptability for a specific application. The access to the data and computing resources in each node of the system allows one to implement domain-specific functions, e.g. domain-specific control or domain status aggregation. In addition, the proposed real-time network operates in a syntonous way with the stability of the time shifts between components lying in the sub-nanosecond range, which makes the system suitable for distributed time-critical applications with stringent time requirements.

The proposed system has been implemented in a minimal configuration and tested with an automated characterization procedure in the lab. After successful design verification, it has been deployed in the CBM experiment as the Timing and Fast Control (TFC) system.