ZynqMP-based board-management mezzanines for the Serenity ATCA-blades
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
ZynqMP-based board-management
mezzanines
for the Serenity ATCA-blades
T. Mehner, L. Ardila, M. Balzer, M. Fuchs, O. Sander,
M. Schleicher, D. Tcherniakhovski @ KIT
G. Fedi, G. Iles, D. Parker, M. Pesaresi, A. Rose @ Imperial College London
T. Schuh, T. Williams @ Rutherford Appleton Laboratory
L. Calligaris, A. Cascadan, B. Casu @ SPRACE, Brazil
1
Compact Muon Solenoid (CMS)
● Großexperiment am Large Hadron Collider (LHC) @ CERN
● Teilchendetektor
● Proton-Proton-Kollisionen
● Schichtweiser Aufbau
● Teilchenspur rekonstruieren
https://cds.cern.ch/images/OPEN-PHO-EXP-2015-012-1 2
https://mediaarchive.cern.ch/MediaArchive/Photo/Public/1998/9803027/9803027/9803027-A4-at-144-dpi.jpg
Spurrekonstruktion
Erste Online-Spurrekonstruktion im CMS-Experiment zur Triggerbildung (L1) der Datenaufnahme
Benötigte Installation für das Phase-2 Upgrade des CMS
● 216 DAQ, Trigger and Control (DTC) Boards ➔ 18 ATCA Shelves ➔ 1 Rack pro Nonant
● 162 Track Finding Processor (TFP) Boards ➔ 18 ATCA Shelves ➔ 1 Rack pro Nonant
● DTC und TFP Boards werden nach ATCA-Standard entwickelt
3
https://indico.desy.de/event/28053/contributions/97454/attachments/63827/78124/MT_DTS_2021_CMS_TT.pdf
Serenity ATCA Karten
Advanced Telecommunications Computing Architecture (ATCA)
Standard wurde für das CMS Phase-2 Upgrade ausgewählt.
● Austauschbare Karten in Racks
● Jede Karte benötigt
○ Intelligent Platform Management Controller (IPMC)
zur Kommunikation mit dem Shelf Manager
○ Board-Management zur Konfiguration der Bauteile
zur Datenverarbeitung
Serenity
● Für verschiedene Anwendungen entwickelt
● Karten sollen in mehreren CMS Systemen benutzt werden
● Datenein- und Ausgabe durch optische FireFly-Module
● Großer FPGA zum Verarbeiten der Daten
● Große Anzahl schneller optischer Links (120)
A. Rose et.al., Serenity: An ATCA prototyping platform for CMS Phase-2, Topical Workshop
on Electronics for Particle Physics (TWEPP2018), 12-21 September 2018
4
Serenity Board Familie
Serenity-Z:
Serenity-Z1.2 Serenity-A1.0
● Zwei Samtec Z-Ray Interposer die eine
FPGA “Daughtercard” aufnehmen
○ KU15P, VU7P, VU9P, VU13P
● CMX-EXT Stecker für ZynqMP
CMX FMC+
Board-Management -EXT
○ Zusätzlicher Steckverbinder
außerhalb des CMX Bereichs
● Sowohl DIMM als auch CMX-EXT sind an
IPMC-Signale angeschlossen
Serenity-A:
● VU9P/VU13P FPGA
● FMC+ Stecker für ZynqMP
Board-Management
○ Bietet ausreichend Kontakte für
IPMC und Board-Management
https://indico.cern.ch/event/921378/contributions/3912837/attachments/2067077/3469220/20200701_SoC_Meeting.pdf 5
https://indico.cern.ch/event/916720/contributions/3853811/attachments/2036066/3409066/2020-05-10_TK_DPS_v4.pdf
Eigenes ZynqMP SoM - Warum?
Funktionale Anforderungen (Serenity)
● Kompatibilität mit CMX-Formfaktor
○ Flexibilität Standard-CMX oder ZynqMP zu benutzen
● Besondere Anforderungen durch Integration des IPMC in den ZynqMP
○ Unabhängige Versorgung von Low-Power- und
High-Power-Domain und Logik
○ IPMB Beschaltung
● Verfügbarkeit einer Vielzahl von High-Speed-Transceivern
○ ZU4EG mit 16 Kanälen kommerziell nicht verfügbar
Nichtfunktionale Anforderungen
● Volle Kontrolle über das Design
● Langzeitverfügbarkeit des SoM
● Entwickelt in KiCAD, einem Open-Source Programm
● Hochkompatible Systeme (Xilinx FPGA, Xilinx SoC) 6
ZynqMP SoM - Block Design
7
Zynq Ultrascale+ Mezzanines
● Beide Mezzanines sind teilweise identisch (ZynqMP, RAM, Flash)
● Drei FMC+ Mezzanines produziert
● Interfaces des SoM getestet, einige Fehler gefunden, diese
werden in der nächsten Revision behoben
FMC+ CMX-EXT
8
Soft- und Firmware Konfiguration
VU9P / VU13P
9
IPMCs
Kommerzielle und Open-Source Lösungen auf ZynqMP umgesetzt.
Pigeon Point IPMC Software
● Basiert auf VPX-Version des ZynqMP (BMR-ZNQ-VPX)
● Gemeinsame Erweiterung von KIT und Pigeon Point um ATCA-Standard zu erfüllen
OpenIPMC Software
● Hardwareunabhängige Software für bisher 7 Plattformen (4x ZynqMP, ESP32, 2x STM32)
○ Basiert auf FreeRTOS
● Nach PICMG-Spezifikationen entwickelt und getestet
○ 56% der Tests bestanden
○ Restliche Funktionen nicht vom Experiment benötigt oder noch nicht implementiert
● In zwei Produktionssysteme implementiert
○ ZynqMP Mezzanines mit integriertem IPMC (hier präsentiert)
○ OpenIPMC-HW im DIMM-Format mit STM32 Mikrocontroller
10
https://indico.cern.ch/event/1021679/contributions/4333600/attachments/2242916/3803473/20210511__xTCA_IG__OpenIPMC_Project.pdfIPBus und SMASH
IPBus
● Basierte ursprünglich auf Ethernet
● Weit verbreitetes Protokoll im CMS-Experiment
○ EMP-Framework basiert darauf
○ SMASH verwendet IPBus
● Übertragung per Ethernet, PCIe, Memory-Mapped (AXI)
● Schnittstelle zu Linux als uio-Geräte
SMASH
● Serenity Management Shell
● Übernimmt Konfiguration und Überwachung des Serenity-Boards
○ Clocks, FireFlys, Spannungsversorgung, IO-Expander, etc.
● Programmiert FPGA per JTAG
● I2C- und JTAG-Master in Programmable Logic (PL) Virtex
○ Anbindung an IPBus per AXI-to-IPBus-Konverter
https://ipbus.web.cern.ch/ 11
https://serenity.web.cern.ch/serenity/smash/index.htmlEMP Framework
EMP (Extensible, Modular Data Processor)
● Bildet Framework für Algorithmus
○ Ein- und Ausgabe durch High-Speed-Transceiver
○ Algorithmus wird in Framework als “Payload” platziert
○ Überwachung aller Funktionen durch IPBus
● AXI-to-IPBus-Konverter in Virtex hinter AXI Chip-2-Chip Verbindung
12
https://serenity.web.cern.ch/serenity/emp-fwk/ZynqMP Split Boot
● Der Trend geht zur Konfiguration eines Systems aus dem Netzwerk
● Normaler Bootvorgang erlaubt keine anwendungsspezifische Konfiguration für das Processing System (PS) aus dem
Netzwerk zu laden
● Zweistufiger Bootprozess ermöglicht Nachladen der Konfiguration des PS durch U-Boot 13ZynqMP Split Boot Ablaufdiagramm
14Toolflow - Basiskonfiguration
● Erstelle Vivado-Projekt
○ Minimale PS- und PL-Konfiguration erstellen
○ Hardware exportieren (.xsa-Datei)
● Ausführbare Dateien generieren
○ Neu: U-Boot-Patch ermöglicht Herunterladen
der PS-Konfiguration
○ Neu: FSBL- und PMU-Patch ermöglicht
Anwenden der Konfiguration
○ PetaLinux erzeugt ATF und U-Boot
○ Vitis erzeugt FSBL, PMU-Firmware, IPMC
● Boot-Datei erzeugen
○ Ausführbare Dateien mit Bootgen
zusammenführen
15Toolflow - Komplette Konfiguration
● Vollständiges Vivado-Projekt erstellen
○ Komplette PS- und PL-Konfiguration
○ Hardware exportieren (.xsa-Datei)
● Petalinux bauen
● Neu: PSU-Config-Generator
○ Vergleich mit Basiskonfiguration
○ Erzeugt Binärdateien aus Unterschieden
● Daten auf TFTP-Server laden
○ Petalinux-Image
○ Bitstream für PL
○ PS-Konfiguration
16Zusammenfassung
● Das ZynqMP Mezzanine wurde im FMC+ und
CMX-EXT-Formfaktor für das Board-Management auf
Serenity ATCA Karten entwickelt.
● Die FMC+-Version wurde produziert, anhand derer die
Fehler für beide Versionen verbessert werden.
● IPMC-Funktionalität auf R5 mit kommerzieller und
Open-Source Software nachgewiesen
● CentOS-Linux bildet Basis für die
Board-Management-Software SMASH
und EMPButler, welcher den Datenfluss überwacht
● Mithilfe eines Split-Boot-Prozesses ist es möglich
Konfigurationen aus dem Netzwerk auf das
Processing-System zu laden. 17Sie können auch lesen
