Evaluation of an Associative Memory and FPGA-based System for the Track Trigger of the CMS-Detector

Im Jahr 2025 wird die Luminosität des Teilchenstrahls am Large Hadron Collider (LHC), dem größten Teilchenbeschleuniger der Welt mit den höchsten Energien, weiter erhöht. Dadurch werden noch mehr Teilchen gleichzeitig im Zentrum des Compact Muon Solenoid (CMS) Experimentes kollidieren. Um unter diesen neuen Bedingungen verwertbare Daten zu liefern, wird erstmals ein Spurtrigger für CMS entwickelt. Dieser verarbeitet die Daten des äußeren Spurdetektors und liefert die Parameter der Teilchenspuren an die erste Triggerstufe von CMS. Da die technischen Anforderungen an ein solches Spurtriggersystem enorm sind, wurde bisher noch nie ein Spurtrigger auf der ersten Triggerstufe eines Teilchenphysikexperimentes eingesetzt. ... mehrDie Datenrate am Eingang des CMS-Spurtriggers wird beinahe 100 Tbit/s betragen und die Verarbeitungszeit darf 4 μs nicht überschreiten. Um diese außergewöhnlichen Anforderungen zu erfüllen, ist ein einzigartiges, heterogenes eingebettetes System erforderlich.
Diese Dissertation präsentiert eine neu konzeptionierte Simulationsumgebung auf Systemebene für den CMS-Spurtrigger. Die Simulationsumgebung ermöglicht die Evaluation der CMS-Spurtriggerelektronik als Ganzes: von den Modulen mit den Siliziumdetektoren bis zu den Komponenten, welche die Algorithmen zur Spurerkennung ausführen. Die Simulation stellt dem Systementwickler drei Funktionen zur Verfügung: Erstens können Systemeigenschaften wie Latenz, Bandbreite und benötigte Puffergrößen abgeschätzt werden. Zweitens können verschiedene Systemarchitekturen miteinander verglichen werden. Drittens dient die Simulationsumgebung als Testumgebung für Algorithmen und Code, welcher in Field-Programmable Gate Arrays (FPGA) implementiert wird. Um realistische Ergebnisse zu erhalten, werden Daten einer Simulation des CMS-Experimentes als Eingangsdaten der Simulationsumgebung verwendet.
Eines der untersuchten Konzepte für den CMS-Spurtrigger besteht aus bis zu 48 großen Baugruppenträgern mit Hunderten von Platinen. Zur Verarbeitung der Daten werden FPGAs und eigens für die Suche von Teilchenspuren entwickelte Assoziativspeicher genutzt. Prototypen einer Platine mit FPGAs und Assoziativspeicher Chips wurden am Karlsruher Institut für Technologie produziert und getestet. Zusätzlich wurde ein essenzieller Teil des CMS-Spurtriggers mithilfe der neuen Simulationsumgebung simuliert. Durch diese Implementierung wurde aufgezeigt, dass es möglich ist, ein solch großes System in der Simulationsumgebung zu simulieren.
Innerhalb der Simulation werden viele Elemente des CMS-Spurttriggers vielfach instantiiert. Dabei sind die Elemente oft in regelmäßigen Strukturen wie zum Beispiel zwei- oder dreidimensionalen Rastern angeordnet. Eine SystemC-Bibliothek wurde entwickelt, um das Modellieren und Konfigurieren solcher Strukturen zu vereinfachen.
Außerdem wurde eine unabhängige Kostenabschätzung des CMS-Spurtriggers durchgeführt. Diese zeigt, dass die veranschlagten 11,9 Millionen Euro ausreichen, um den auf Assoziativspeicher basierende CMS-Spurtrigger zu bauen. Werden die Werte anhand des Technologiefortschritts auf das Jahr 2022 hochgerechnet, kann sogar mit deutlich niedrigeren Kosten gerechnet werden.

By 2025, the luminosity of the particle beam at the largest and most powerful particle accelerator in the world—the Large Hadron Collider (LHC)—will be increased even further. The increased luminosity will cause more concurrently colliding particles at the center of the Compact Muon Solenoid (CMS) experiment at the LHC. To cope with the new conditions, a track trigger will be integrated to the CMS experiment. The CMS track trigger preprocesses data from the outer silicon tracker and delivers the track parameters of the particles to the first trigger level. A track trigger at the first trigger level has never been included in any particle physics experiment before, as the requirements for such an electronics system are enormous. ... mehrIn particular, the input data rate of the CMS track trigger will be nearly 100 Tbit/s and the total processing time must not exceed 4 μs. To fulfill these extraordinary requirements, a unique, heterogeneous embedded system is required.
In this thesis, a concept for a system-level simulation of the CMS track trigger is presented. The system simulation facilitates the evaluation the CMS track trigger electronics as a whole. It includes everything from the electronics of the detector modules recording the particle tracks up to the processing board implementing the track processing algorithms. The system simulation provides the system designer with three features: (1) Figures of merit—such as latencies, bandwidths and buffer sizes—can be estimated. (2) Different system architectures can be evaluated quickly. (3) The system simulation can serve as a test bench for algorithms and Field-Programmable Gate Arrays (FPGA) firmware. To achieve realistic results, the input data are taken from a simulation of the CMS experiment detector.
One of the investigated concepts for the CMS track trigger consists of up to 48 large crates with hundreds of electronic boards. The actual processing is performed on a board with FPGAs and Associative Memory (AM) chips specifically designed for track finding. Some of these boards were produced and tested at Karlsruhe Institute of Technology. One of the independent processors of the CMS track trigger based on AMs has been modeled according to the system simulation concepts. It is shown that the system simulation is able to simulate an essential part of the proposed CMS track trigger system.
Many components are instantiated multiple times within the simulation of the CMS track trigger. Usually, the components are arranged in regular structures, e.g. two- or three-dimensional arrays. To support the modeling and configuration of such regular structures, a SystemC library has been developed.
Additionally, an independent cost estimate shows that the CMS track trigger based on AMs can realistically be built for the 11.9 million euro that are budgeted. Extrapolated to the year 2022, when the CMS track trigger will be built, even lower costs can be expected.