CMS – wyzwalanie na miony w oparciu o komory RPC Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009

CMS - Compact Muon Solenoid Całkowita waga: 12 500 t Średnica: 15 m Długość: 21.6 m Pole magnetyczne: 4 Tesla Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Dlaczego wyzwalanie w LHC? 2  2875 paczek protonów 1011 protonów / paczka E = 7 TeV na proton 40 milionów przecięć paczek / s ~ 20 oddziaływań proton-proton co każde 25 ns, W wyniku których powstają setki cząstek Odpowiedz detektora ~1 MByte danych (skompresowancyh)  4  1013 Bytes (4000 GB) / s Strumień danych niemożliwy do zapisania Protonu pogrupowane w paczki, odległość miedzy paczkami 7 m  częstość zderzeń 25 ns czyli 40 MHz Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Dlaczego wyzwalanie w LHC?(2) Większość ze zdarzeń jest nieinteresująca („klasyczna” fizyka) Sygnatura: niskie pędy poprzeczne (pT) Interesują nas Bardzo żadkie zdarzenia w których powstały nowe ciężkie cząstki Rozpadają się one na wysokoenergetyczne obiekty: dżety hadronowe, leptony, fotony Sygnatura: wysokie pędy poprzeczne (pT) Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

System wyzwalania („tryger”) zapisz odrzuć Ocenia wybrane, zgrubne dane z każdego zdarzenia i na ich podstawie decyduje czy Zapisać zdarzenie do pamięci masowej Czy też go odrzucić Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

System wyzwalania i akwizycji danych w CMS Tryger pierwszego stopnia (Level 1) Dedykowana elektronika @ 40 MHz Analizuje każde zdarzenie  przetwarzanie potokowe; wypracowanie decyzji - 3.2 s, w tym ~2 s transmisja danych Wyjście ≤ 100 kHz Bufory odczytowe na 128 przypadków = 3.2 s Tryger wyższego stopnia Farma ~1000 komputerów, wykonujących algorytmy selekcji przypadków – analiza danych w czasie rzeczywistym: Stopniowa rekonstrukcja przypadku Uwzględniona kinematyka i topologia przypadku Informacje z trackera, pełny tracking Redukcja przypadków ze 100 kHz do 100 Hz zapisywanych na taśmach magnetycznych Event Builder switching network (~512 FED  512 Builder Units) Całkowita przepustowość ok. 500 Gbit/s Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Tryger pierwszego stopnia (Level 1) Calorimeter Trigger Muon Trigger DAQ ECAL Trigger Primitives RPC hits CSC hits DT hits HCAL Trigger Primitives Podsystemy trygera: Identyfikują sortują obiekty trygerowe, Link system Segment finder Segment finder Regional Calorimeter Trigger Pattern Comparator Track finder Track finder 40 MHz pipeline 4+4 m 4 m 4 m MIP+ ISO bits Global Calorimeter Trigger Global Muon Trigger Algorytmy GT: cięcia uwzględniają lokalizacje i koincydencje obiektów e/, J, ET, HT, ETmiss Calorimeter Trigger: candidates for isolated and non-isolated electrons/photons, hadron jets and calculates energy sums Cały system pracuje synchronicznie z 40 MHz zegarem z jednego źródła (czyli z LHC) 4 m Global Trigger L1A Status TTC system TTS system 32 partitions Detectors Frontend Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Trzy niezależne podsystemy: Tryger mionowy Identyfikacja mionów, zakładana efektywność >95% dla mionów z pT > 40 GeV Odpowiednio dokładny pomiar pędu i znaku mionów (po cięciu na ok. 25 GeV/c częstość trygera < 12.5 kHz) Jednoznaczne przypisanie mionu do zdarzenia (przecięcia paczek) Niski poziom fałszywych trygerów i „duchów” Trzy niezależne podsystemy: Drift Tube – beczka CSC – pokrywy RPC – beczka i pokrywy Dwa stopnie: lokalne segmenty śladów w komorach Track Finders (TF) – budowanie pełnych śladów, pomiar pędu poprzecznego mionu dobra rozdzielczość przestrzenna i co za tym idzie pędowa przy wyższej zajętości możliwe niejednoznaczności pozycji lub czasu Rozpoznawanie śladów oparte na porównywaniu z wzorcami (Pattern Comparator PAC) Mniejsza rozdzielczość przestrzenna (2-4 cm w R-φ) Bardzo dobra rozdzielczość czasowa komór  pewne przypisanie znalezionego mionu do przecięcia paczek. Odporność na wysoką częstość Więcej o przypisaniu tmingu i odczycie Global Muon Trigger – dopasowanie i scalanie mionów z trzech podsystemów Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Tryger mionowy L1 i HLT – efektowność i wyjściowa częstość Level 1 – elektronika Level 2 – rekonstrukcja mionów tylko na podstawie systemu mionowego i obiektów L1; progi Level 3 – pełna rekonstrukcja z wykorzystaniem trackera. W razie potrzeby wymaganie izolacji mionu. Przerwy między kołami The online selection of muons within the High-Level Trigger (HLT) system is performed in 2 steps. First, to confirm the Level-1 decision, a Level-2 muon reconstruction is performed, i.e., muons are reconstructed using only information from the muon system and with the Level-1 candidates as a seed. Secondly, the Level-2 pT threshold reduces the rate enough to then allow a Level-3 reconstruction using the full tracker information and seeded by the Level-2 candidates. Additional rate reductions can be achieved, if needed, by requiring muons to be isolated. Already after the Level-2 selection, the calorimeter isolation can be required, and the tracker and pixel isolation can be required after the Level-3 selection. „CMS Physics Technical Design Report” Płaski rozkład pT 5-100 GeV/c Świetlność 2 × 1033 cm−2s−1 || Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

RPC PAC Muon Trigger System zaproponowany i zaprojektowany przez warszawską grupę CMS Współpraca: Komory: Włochy, CERN, Korea, Pakistan, Chiny, Bułgaria Elektronika: Polska (Warszawa), Włochy, Finlandia Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

RPC - Resistive Plate Chambers Detektor gazowy, zoptymalizowany do detekcji mionów w warunkach CMSu Podwójna wnęka gazowa (szerokość: 2 mm) ze wspólnymi paskami odczytowymi Paski odczytowe: szerokość: 0.5 – 4 cm, długość: 20 -100 cm Napięcie zasilające ~9.5 kV Mieszanka gazowa: 96.2% C2H2F4, 3.5% isoC4H10, 0.3% SF6 Rozdzielczość czasowa ~ 1 ns Efektywność > 95% Szum ~5 Hz cm2 readout strips bakelite HV - + isolator graphite 2 mm  C2H2F4- Tetrafluoroetan (nazwa kodowa: R-134a,) freon isoC4H10 isobuton SF6 A significant improvement is achieved by operating the chambers in the so-called avalanche mode: the electric field across the gap (and consequently the gas amplification) is reduced and robust signal amplification is introduced at the front-end level. The substantial reduction of the charge produced in the gap increases by more than one order of magnitude the hit rate that the RPC can sustain (up to 1000 Hz/cm2) Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

To the Global Muon Trigger Tryger mionowy RPC PAC Detector Counting room Control & diagnostic LVDS cables Link Board Synchronization Unit & LMUX Trigger Board Ghost Buster & Sorter SYNCH. & LDMUX PAC GB & Sorter Optic Links 90 m @ 1.6 GHz 1732 fibers PAC 1640 Link Boards in 136 Boxes, Steered by Control Boards To the Global Muon Trigger FEB PAC FEB Data Concentrator Card Co to Counting room RMB 108 Trigger Boards in 12 Trigger Crates Data transmission @ 320 MHz To Data Acquisition Resistive Plate Chambers Up to 6 layers of detectors. Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Złożoność systemu Detektor: 2000 komór, kilkanaście typów różniących się kształtem i szczegółami konstrukcji 165 000 pasków – 1-bitowych kanałów elektronicznych Elektronika trygera: 12 typów płyt elektronicznych ~2 000 sztuk płyt elektronicznych Kilometry kabli (elektrycznych i optycznych) System synchroniczny, wszystkie układy pracują z tym samym zegarem 40 MHz Elektronika oparta na programowalnych układach FPGA Wszystkie płyty kontrolowane przez komputery – rozbudowana diagnostyka i monitoring; oprogramowanie sterujące Boards: FEB, DB, CB, LB, FEC, CSC, SP, TB, TCB, HSB, FSB, DCC, Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Trigger Board Najbardziej złożona płyta w systemie: wejście: 18 linków optycznych @ 1.6 GHz, strumień danych ~17 Gbitów/s dystrybucja danych po płycie z częstością 320 MHz 12 warstw, w tym dwie specjalne warstwy ceramiczne mieści m.in.: 4 chipy PAC wykonujące algorytm trygera, chip GBS sortujący znalezione miony chip RMB odpowiedziały za akwizycje danych Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Technologia FPGA Field Programmable Gate Array – chip z w pełni konfigurowalną logiką logic functions generator – 16 bit memory Carry and control logic, gates, MUX, etc. Synchronization to clock Look -up Table Flip-Flop Programmable interconnection lines Block RAM Input-output logic Logika jest tworzona w dedykowanych językach, np. VHDL (Very High Speed Integrated Circuits Hardware Description Language) Np. Altera Stratix II (EP2S90F1020C3, ~2005 rok), użyty jako PAC: 72 768 LUTs 4.5M bitów pamięci RAM 902 pinów bloki DSP (Digital Signal Processing), układy mnożące Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Przegląd problemów Komory: projektowanie, produkcja, testowanie, instalacja, uruchamianie. Elektronika: projektowanie, testowanie, instalacja, integracja. Testy odporności radiacyjnej układów elektronicznych . Rozwój i testowanie firmwaru dla układów FPGA. Zintegrowane z elektroniką oprogramowanie do konfiguracji, kontroli, monitoringu i diagnostyki systemu: Rozproszony, wielowątkowy system komputerowy; dedykowany software oparty na oprogramowaniu rozwijanym przez CMS, Umożliwia monitoring trygera w czasie rzeczywistym oraz zaawansowane procedury testowe, Bazy danych: struktura detektora i elektroniki, dane konfiguracyjne, dane o stanie systemu. Synchronizacja systemu (przypisanie danych do właściwego przecięcia, synchronizacja danych podczas transmisji). Rozwój i optymalizacja algorytmów trygera. Symulacja systemu, analizy jakości działania Akwizycja danych, analizy offline (jakość komór i trygera). Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Algorytm trygera: Pattern Comparator (PAC) Sygnały z komór są porównywane do predefiniowanych wzorców torów mionów. Wzorce odpowiadają mionom o rożnym pT Mion – koincydencja sygnałów z kilku warstw komór, z pasków pasujących do (przynajmniej jednego) wzorca. Komory tworzą 6 (beczka) lub 4 (pokrywy) warstwy otaczające punkt oddziaływania. 1152 pasków w każdej warstwie  jeden pasek = 0.3125˚ 3/4 Płaszczyzny RPC Wymagana liczba „zapalonych” płaszczyzn: Beczka: 6/6 lub 5/6 lub 4/6 lub 3/4 wewnętrznych płaszczyzny pokrywy: 4/4 or 3/4 Liczba „zapalonych” płaszczyzn daje „jakoś” rekonstrukcji śladu. „Jakość” jest używana przy sortowaniu i śladów i „zabijaniu duchów” paski Wzorzec – zestaw bramek AND o wejściach podłączonych do odpowiednich pasków Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Implementacja PACa w układach FPGA Aby obsłużyć cały detektor potrzeba 300 chipów PAC (stosunkowo dużych układów FPGA). Każdy analizuje max 576 pasków i zawiera 3 000 – 14 000 wzorców. Wzorce są na stałe wkompilowane w firmware. Każdy PAC zawiera inne wzorce, każdy jest kompilowany oddzielnie (~godzina/PAC) Wzorce są generowane na podstawie symulacji mionów w CMSie. Zaawansowane algorytmy wybierania wzorców tak, aby osiągnąć możliwie najlepsza efektywność i czystość trygera minimalizując jednocześnie liczbę wzorców (wzorce muszą się zmieścić w używanych chipach FPGA) Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

System diagnostyki i monitoringu W firmwarze każdego układu FPGA zaimplementowano obok algorytmów trygera rozbudowaną warstwę diagnostyczną: moduły odczytu diagnostycznego – podglądanie danych płynących przez system generatory pulsów testowych wielokanałowe liczniki i histogramy pozwalające mierzyć częstość sygnałów z komór i częstość mionów Moduły weryfikujące poprawność transmisji + liczniki błędów Sterowane, odczytywane i analizowane przez software DQM HLT DB On-line Software CCU VME Trigger algorithm Data processing Control Diagnostic DAQ Transmission Link Boards Trigger Crates Detector Zastosowane w testowaniu systemu: Testy implementacji algorytmów (porównywanie z emulatorem) Testy poprawności podłączeń kabli Testowanie prototypów, debugowanie, itd.. Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Monitoring online Monitoring trygera – częstość wyjściowych mionów Monitoring statusu elektroniki: periodyczny odczyt rejestrów informujących, czy układy elektroniczne działają poprawnie, sprawdzanie wartości liczników błędów transmisji Monitoring działania komór RPC Liczba sygnałów czas paski Monitoring trygera – częstość wyjściowych mionów Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Synchronizacja systemu trygera Czyli Problem jednoczesności zdarzeń w praktyce Czyli „Zsynchronizujmy zegarki” Dwoch komandosów tuz przed akcja: - Ok. Zsynchronizujmy zegarki! Ja mam 12:00. - Ja mam za dwie 12. - No dobra... Poczekamy te dwie minuty... Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Synchronizacja systemu trygera (1) 14m = 42ns 4.2m = 14ns Sygnały z komory niesie informację o czasie przejścia mionu przez komorą z dokładnością kilku ns. Różnice w czasie lotu mionów do różnych komór > 25 ns Jeszcze większe różnice w czasie propagacji sygnałów z komór do Link Board-ów (od 33 do 107 ns) A przecież w PACach chcemy mieć koincydencję sygnałów w 25 ns! Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Synchronizacja systemu trygera (2) W Link Boardach sygnały z pasków są najpierw synchronizowane do zegara 40 MHz („kwantyzacja czasowa”) przy pomocy „okienka synchronizacyjnego. Następnie dodatkowo opóźniane o całkowitą liczbę taktów zegara. Cel: na wyjściu wszystkich LB sygnały pochodzące z tego samego przecięcia pojawiają się dokładnie w tym samym momencie. „Układem odniesienia” jest zegar 40 MHz. Początek układu wyznacza sygnał startujący odliczanie przecięć (czyli taktów zegara). W ten sposób definiowany jest ten sam moment” w całym systemie. Optymalną pozycję okienek i opóźnienie danych można obliczyć dla każdego LB z: Czasu lotu mionu do komory Czasu propagacji sygnałów po kablach z RPC do LB winOpeni = (timin + iTTC + offset) % 25 ns didata = a – int[(timin + offset)/25ns] + bi - (1*) + ciwin + (2SM) dystrybuowane do wszystkich płyt z jednego miejsca (system TTC podłączony do LHC). Na odbiornikach odpowiednio opóźniany, aby skompensować różnice w długościach światłowodów Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Synchronizacja sygnałów RPC- miony kosmiczne Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW

Wrzesień 2008 - Halo wiązki LHC w systemie RPC Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009 Karol Buńkowski, UW