Timing Synchronization and Fast-Control for FPGA-based large-scale Readout and Processing Systems

In vielen heutigen Datenverarbeitungssystemen der Big-Data-Domäne spielen
verteilte Echtzeitsysteme eine wichtige Rolle. Besonders, wenn Daten verschiedener
Verarbeitungseinheiten in den Kontext der Aufgabe des globalen Systems
gesetzt werden müssen, ist die Synchronisation der Daten oder des gesamten
verteilten Systems notwendig.
Eine sehr markante Anwendung dieser Domäne, welche die präzise Systemsynchronisation
voraussetzt, sind Auslesesysteme von Großexperimenten der Teilchenphysik.
Dabei ist eine sehr große Anzahl an Elektronik in Form einer Verarbeitungskette
... mehr
miteinander verbunden, um Eventdaten bei Aggregat-Datenraten
im Bereich von mehreren Terabit pro Sekunde zu erfassen. Was diese Aufgabe
zusätzlich herausfordernd macht, ist die Struktur des Systems, welches in
verschiedene Subdetektoren und unterschiedliche Verarbeitungsschichten unterteilt
ist und aus einer Vielzahl verschiedenartiger elektronischer Komponenten
besteht.
Um ein solch komplexes heterogenes System handhaben zu können, kommen
verschiedene Kontrollmechanismen zum Einsatz. Eines dieser Kernsysteme der
Experimente der Teilchenphysik stellen die Systeme zur Zeit- und schnellen Experimentsteuerung
dar, auf welche der zentrale Fokus dieser Arbeit gelegt wird.
Im Falle des Compressed Baryonic Matter (CBM)-Experiments der Facility for Antiproton
and Ion Research (FAIR) in Darmstadt hat das Timing and Fast-Control (TFC)-
System die Aufgabe, einen globalen Takt und Zeitinformationen innerhalb des
gesamten Online-Teils der Experimentauslese bereitzustellen und Steuerungsinformationen
mit niedriger und vor allem konstanter Latenz aufnehmen und
verteilen zu können. Die letztere Anforderung ist im Falle des CBM-Experiments
besonders wichtig, da es über eine selbst-getriggerte Auslese verfügt, bei der die
auf verschiedenen Verarbeitungsebenen befindlichen Einheiten autonom Entscheidungen
darüber treffen müssen, ob bestimmte Eventdaten verwendet und
weitergeleitet werden sollen.
In den folgenden Kapiteln dieser Arbeit wird die Entwicklung eines Prototypen
des TFC-Systems für die Verwendung innerhalb von CBM erläutert. Hierbei
wird ein besonderer Fokus auf den Teil der Digitalelektronik, welche mittels
Field Programmable Gate Arrays (FPGAs) umgesetzt wird, und auf die Integration
spezieller Schnittstellen Printed Circuit Boards (PCBs) gelegt, wo diese benötigt
werden. Während der Konzeptionierungsphase des TFC-Systems entstand
innerhalb von CBM der Bedarf, ein vorläufiges System zur Zeitsynchronisation
zur Verfügung zu haben, um kleinere Aufbauten der Auslese synchronisieren zu
können, das sogenannte Timing Synchronizer (TS)-System. Die bei der Entwicklung
dieses Systems gewonnenen Erkenntnisse flossen in das Konzept des TFCSystems
ein. Das TS-System kam innerhalb der Strahltests von CBM am Conseil
Européen pour la Recherche Nucléaire (CERN) Super Proton Synchrotron (SPS) am
Ende des Jahres 2016 erfolgreich zum Einsatz. Dieses System ermöglichte zum
ersten Mal eine synchrone, selbst-getriggerte, freilaufende, mittelgroße, FPGAbasierte
Datenerfassung innerhalb einer Strahlzeit des CBM-Experiments [168],
was einen wichtigen Meilenstein auf dem Wege zur finalen Experimentauslese
darstellt.
Des Weiteren wird in der Arbeit das Konzept und die Entwicklung der Komponenten
des TFC-Systems detailliert beschrieben, wobei insbesondere die Verwendung
von Glasfasern bzw. verdrillten Zweidrahtleitungen aus Kupfer als
physikalisches Medium in konkurrierenden Ansätzen analysiert werden. Dabei
bietet das Konzept der Anbindung per Glasfaser Vorteile, wie eine hohe Datenrate
und die Verfügbarkeit kommerziell erhältlicher Komponenten, wobei der
letztere kupferbasierte Ansatz eine mechanisch robustere Verkabelung und geringere
Latenzen bei kurzen Nachrichten bietet und keine Hochgeschwindigkeitsübertrager
benötigt. Besonders das letzte Kriterium erlaubt es, die Anwendbarkeit
des kupferbasierten Konzepts auf Systeme auszuweiten, welche nicht
über spezielle, teure Bausteine zur schnellen Datenserialisierung verfügen, was
es beispielsweise erlaubt, diesen Ansatz auf Systeme des niedrigeren Preissegments
zu übertragen. Aufgrund der Verfügbarkeit in Form von Commercial offthe-
shelf (COTS) Hardware, wird sich der Ansatz, der Glasfaserverbindungen
verwendet, potentiell besser für das TFC-System von CBM eignen, da keine spezielle
Schnittstellen-Hardware in größerer Stückzahl entwickelt werden muss.
In Bezug auf die zukünftige Erweiterbarkeit von glasfaserbasierten Systemen
zur Zeitsynchronisation, werden aktuell passive optische Netze (PONs) als favorisierte
Lösung gehandelt, welche innerhalb der nächsten Upgrades der Experimente
am CERN Verwendung finden werden. Jedoch hat das Time-Division Multiple
Access (TDMA)-Verfahren, das in kommerziell erhältlichen PONs, wie 10-
Gigabit-capable PON (XGPON)1, in Upstream-Richtung verwendet wird, einen
starken negativen Einfluss auf die erzielbare Latenz des Verteilungsnetzwerks.
Aus diesem Grund wurde ein neues Modulationskonzept für PONs im Rahmen
dieser Arbeit entwickelt und innerhalb eines Laborsystems evaluiert. Bei diesem
Ansatz wird versucht, die Latenz dadurch zu verringern, dass die Datenrate
durch eine Unterteilung der Systembandbreite im Frequenzbereich auf die
Optical Network Units (ONUs) aufgeteilt wird, wobei das Single-Carrier Frequency
Division Multiple Access (SC-FDMA)-Verfahren zum Einsatz kommt, welches ein
von Orthogonal Frequency Division Multiple Access (OFDMA) abgeleitetes Modulationsprinzip
darstellt.

In many of today’s processing systems of big data applications, distributed realtime
systems play an important role. Especially when data from different processing
units has to be put into the context of the global processing task, the
synchronization of data or the whole distributed system is necessary.
A very prominent application having the requirement of a precise system synchronization
are readout systems of large-scale experiments in the domain of
particle physics. Here, a very large amount of electronics is interfaced in a processing
chain in order to collect event data at aggregated rates in the range of
... mehr
several Terabits per second. What makes this task even more challenging is the
structure of the system which is divided in different sub-detectors, organized in
several processing layers and composed of various types of electronic devices.
In order to be able to handle such a complex and heterogeneous system, several
control mechanisms need to be available. One of these core systems of particle
physics experiments is the timing and fast experiment control which is the central
focus of the work being described in this thesis.
In case of the CBM experiment at FAIR in Darmstadt, the so-called TFC system
is in charge of the tasks of providing a global high-quality clock and timing information
throughout the whole online part of the experiment readout and to
collect and distribute control information at low and constant latencies. The latter
need is of particular importance in case of the CBM experiment since it is based
on a self-triggered readout where the units of the different processing layers
need to take decisions on the usage and forwarding of event data autonomously.
In the following chapters of this thesis the design of a prototype of a TFC system
for CBM is detailed. Here, a special focus is put on the part of the digital
electronics which is going to be implemented on FPGAs and the integration of
dedicated interfacing PCBs where required. During the conception of the system
a preliminary TS-system was developed which was successfully used in the
CBM beam tests at the CERN SPS at the end of 2016. This system enabled for the
first time a common, self-triggered, free-streaming, medium-sized, FPGA-based
data acquisition during a beamtime of the CBM experiment [168] which is an
important milestone towards the final readout of system.
The thesis continues with the concept and design of the TFC system where the fiber
and twisted pair based physical interfacing of nodes is analysed as different
approaches. Whereas the fiber concept offers advantages like a high data rate
and availability of commercial products, the latter copper-based system provides
a more sturdy medium, lower latencies for short messages and does not require
high-speed transceivers. Especially the last criterion extends the applicability of
the copper-based concept to systems where no special expensive high-rate serializers
are available, which allows to use this approach in systems of the lower
price range. Due to the availability of COTS hardware, the fiber-based approach
is potentially more suitable for the TFC system of CBM since no dedicated interfacing
hardware needs to be designed in larger quantities.
Regarding the future expandability of fiber-based timing systems, currently Passive
Optical Networks (PONs) are the favoured solution which is going to be used
in the next upgrades of the experiments at CERN. However, the applied TDMA
principle which is used for the Upstream (US) communication in commercial
state-of-the-art PONs like XGPON1, tremendously impacts the latency of the
distribution network.
For that reason, a new modulation concept for PONs has been developed and
analysed as part of this thesis in form of a laboratory system. By using the SCFDMA
approach, which is a derivative of the OFDMA modulation principle, the
latency penalty is mitigated since the continuous data rate is shared among the
ONUs by applying a division of the frequency spectrum.