Karol Buńkowski Uniwersytet Warszawski Optimization, Synchronization, Calibration and Diagnostic of the RPC PAC Muon Trigger System for the CMS detector. Warszawa 5 października 2009

Zagadnienia omawiane w pracy Cel: Zapewnić jak najlepsze działanie systemu trygera mionowego RPC PAC, co bezpośrednio przekłada się na jakość wyników fizycznych eksperymentu CMS System kontroli, monitorowania i diagnostyki trygera minowego RPC PAC –Architektura oprogramowania kontrolującego tryger RPC PAC. –Proces konfiguracji systemu trygera RPC PAC. –Procedury testowe dla elektroniki trygera. –Procedury monitorujące system trygera (stan elektroniki, jakość danych z detektora, jakość działania trygera). Synchronizacja trygera minowego RPC PAC –Analiza czasu lotu mionów w detektorze CMS i czasu propagacji sygnałów z detektora do elektroniki odczytowej. –Metoda obliczania parametrów synchronizujących dane z detektora; metoda obliczania poprawek do tych parametrów na podstawie analizy sygnałów od mionów pochodzących ze zderzeń w LHC. –Synchronizacja tryger PAC RPC dla mionów kosmicznych jako weryfikacja przedstawionej metody. Warszawa, 5 października 2009Karol Buńkowski, UW

Large Hadron Collider Warszawa, 5 października 2009Karol Buńkowski, UW Kołowy akcelerator cząstek, największy jaki dotychczas zbudowano. Przyśpiesza i zderza protony oraz ciężkie jony.

CMS - Compact Muon Solenoid Całkowita waga: t Średnica: 15 m Długość: 21.6 m Pole magnetyczne: 4 Tesla Pokrycie w : 5.5 kalorymetr forward 2.1 system mionowy Karol Buńkowski, UWWarszawa, 5 października 2009

Dlaczego wyzwalanie (tryger) w LHC? paczek protonów, odległość między paczkami 7.5 m = 25 ns protonów / paczka E = 7 TeV na proton 40 milionów przecięć paczek / s ~ 20 oddziaływań proton-proton co każde 25 ns, W wyniku których powstają setki cząstek Odpowiedz detektora ~1 MByte danych (skompresowanych) Bytes ( GB) / s Strumień danych niemożliwy do zapisania Karol Buńkowski, UW LHC Warszawa, 5 października 2009

Dlaczego wyzwalanie (tryger) w LHC? (2) Większość ze zdarzeń -klasyczna, dobrze znana fizyka Sygnatura: niskie pędy poprzeczne (p T ) Sygnatura: wysokie pędy poprzeczne (p T ) Interesują nas Bardzo rzadkie zdarzenia w których powstały nowe ciężkie cząstki Rozpadają się one na wysokoenergetyczne obiekty: dżety hadronowe, leptony, fotony Karol Buńkowski, UWWarszawa, 5 października 2009

System wyzwalania (tryger) zapisz odrzuć Ocenia wybrane, zgrubne dane z każdego przecięcia paczek i na ich podstawie decyduje czy: Zapisać zdarzenie do pamięci masowej (z rzadka) Czy też je odrzucić (niemal zawsze) Karol Buńkowski, UW Najważniejsze to nie zgubić interesujących przypadków = wysoka efektywność Oraz zapewnić, aby wyjściowa częstość przypadków nie przekraczała maksymalnej przepustowości systemu akwizycji danych Pierwszy etap fizycznych analiz danych zebranych przez detektor Warszawa, 5 października 2009

System wyzwalania i akwizycji danych w CMS Bufory odczytowe na 128 przypadków = 3.2 s Tryger pierwszego stopnia (Level 1) Dedykowana 40 MHz, tylko funkcje logiczne Analizuje każde przecięcie paczek przetwarzanie potokowe; wypracowanie decyzji s, w tym ~2 s transmisja danych Wyjście 100 kHz Tryger wyższego stopnia (HLT) Farma ~1000 komputerów, wykonujących algorytmy selekcji przypadków – analiza danych w czasie rzeczywistym: Stopniowa rekonstrukcja przypadku Uwzględniona kinematyka i topologia przypadku Informacje z trackera, pełny tracking Redukcja przypadków ze 100 kHz do 100 Hz zapisywanych na taśmach magnetycznych Event Builder switching network (~512 FED 512 Builder Units) Całkowita przepustowość ok. 500 Gbit/s Karol Buńkowski, UWWarszawa, 5 października 2009 zgrubne dane Detektor zachowaj odrzuć DAQ: wybrane przypadki, pofragmentowane

Tryger pierwszego stopnia (Level 1) ` ` MIP+ ISO bits L1A (trigger) 40 MHz pipeline ECAL Trigger Primitives ECAL Trigger Primitives HCAL Trigger Primitives HCAL Trigger Primitives Regional Calorimeter Trigger Regional Calorimeter Trigger RPC hits CSC hits DT hits Segment finder Track finder Track finder Pattern Comparator Pattern Comparator Segment finder Track finder Track finder Global Trigger TTC system TTS system Detectors Frontend Status Link system 32 partitions Karol Buńkowski, UW Muon TriggerCalorimeter Trigger Podsystemy trygera: Identyfikuj, mierzą i sortują obiekty trygerowe Algorytmy GT: cięcia uwzględniają lokalizacje i koincydencje obiektów e/, J, E T, H T, E T miss Warszawa, 5 października 2009 Obiekty trygerowe - Sygnatury nowej fizyki miony Global Calorimeter Trigger Global Calorimeter Trigger Global Muon Trigger

Tryger mionowy Karol Buńkowski, UW Wymagania (ustalone przez symulacje kanałów nowej fizyki): Identyfikacja mionów, zakładana efektywność >95% dla mionów o p T > 40 GeV Odpowiednio dokładny pomiar pędu i znaku mionów (po cięciu na ok. 25 GeV/c częstość trygera < 12.5 kHz) Niski poziom fałszywych trygerów i duchów Jednoznaczne przypisanie mionu do zdarzenia (przecięcia paczek) Lepsza efektywność trygera Lepsza czystość (selektywność) Większa niezawodność Pewniejsza synchronizacja mionów z przecięciem Lepsza efektywność trygera Lepsza czystość (selektywność) Większa niezawodność Pewniejsza synchronizacja mionów z przecięciem Trzy niezależne, redundantne podsystemy: Drift Tube – beczka Cathode Strip Chambers – pokrywy Resistive Plate Chambers – beczka i pokrywy Global Muon Trigger – dopasowanie i scalanie mionów z trzech podsystemów Trzy niezależne, redundantne podsystemy: Drift Tube – beczka Cathode Strip Chambers – pokrywy Resistive Plate Chambers – beczka i pokrywy Global Muon Trigger – dopasowanie i scalanie mionów z trzech podsystemów Warszawa, 5 października 2009

System trygera mionowego PAC RPC Komory RPC: –Od 4 do 6 warstw komór otaczających punkt zderzeń –984 komór, ~ pasków odczytowych System linkowy synchronizacja i kompresja danych z komór –1232 Link Board-ów w 96 kratach, ~3000 dużych, programowalnych układów FPGA –1104 połączeń światłowodowych System trygerowy poszukiwanie mionów: algorytm PAttern Comparator (PAC) - koincydencja czasowa i przestrzenna sygnałów z kilku komór: –84 Trigger Board-ów w 12 kratach;, ~1000 dużych, programowalnych układów FPGA Karol Buńkowski, UWWarszawa, 5 października 2009 Komory RPC na jednym z dysków pokrywy

System trygera mionowego PAC RPC Karol Buńkowski, UWWarszawa, 5 października 2009 Płyty Link Board z podłączonymi światłowodami Komory RPC: –Od 4 do 6 warstw komór otaczających punkt zderzeń –984 komór, ~ pasków odczytowych System linkowy synchronizacja i kompresja danych z komór –1232 Link Board-ów w 96 kratach, ~3000 dużych, programowalnych układów FPGA –1104 połączeń światłowodowych System trygerowy poszukiwanie mionów: algorytm PAttern Comparator (PAC) - koincydencja czasowa i przestrzenna sygnałów z kilku komór: –84 Trigger Board-ów w 12 kratach;, ~1000 dużych, programowalnych układów FPGA

System trygera mionowego PAC RPC Karol Buńkowski, UWWarszawa, 5 października 2009 Komory RPC: –Od 4 do 6 warstw komór otaczających punkt zderzeń –984 komór, ~ pasków odczytowych System linkowy synchronizacja i kompresja danych z komór –1232 Link Board-ów w 96 kratach, ~3000 dużych, programowalnych układów FPGA –1104 połączeń światłowodowych System trygerowy poszukiwanie mionów: algorytm PAttern Comparator (PAC) - koincydencja czasowa i przestrzenna sygnałów z kilku komór: –84 Trigger Board-ów w 12 kratach;, ~1000 dużych, programowalnych układów FPGA

System trygera mionowego PAC RPC System zaprojektowany i zbudowany przez Warszawską Grupę CMS (UW, IPJ, PW), ~1500 płyt, 12 typów ~4000 układów FPGA, 15 typów Duża skala i złożoność systemu nie dałoby się zbudować, uruchomić i użytkować takiego systemu bez zaawansowanych narzędzi do kontroli i diagnostyki Moja rola: projekt systemu diagnostyki i monitorowania Metody analizy danych diagnostycznych Rozwijanie oprogramowania kontrolującego i monitorującego system trygera RPC PAC Karol Buńkowski, UWWarszawa, 5 października 2009 Komory RPC: –Od 4 do 6 warstw komór otaczających punkt zderzeń –984 komór, ~ pasków odczytowych System linkowy synchronizacja i kompresja danych z komór –1232 Link Board-ów w 96 kratach, ~3000 dużych, programowalnych układów FPGA –1104 połączeń światłowodowych System trygerowy poszukiwanie mionów: algorytm PAttern Comparator (PAC) - koincydencja czasowa i przestrzenna sygnałów z kilku komór: –84 Trigger Board-ów w 12 kratach;, ~1000 dużych, programowalnych układów FPGA

Algorytm trygera jest wykonywany całkowicie przez dedykowaną elektronikę ale System elektroniczny jest kontrolowany przez dedykowane oprogramowanie - rozproszony, wielowątkowy system komputerowy: Konfiguracja systemu; parametry przechowywane w bazie danych, możliwych wiele wersje konfiguracji Diagnostyka i monitorowanie: -Wykrywanie i lokalizacja usterek i uszkodzeń, -Sprawdzanie poprawności konfiguracji Narzędzia do testowanie i wyszukiwania błędów w systemie elektronicznym: -Testy implementacji algorytmów (porównywanie z emulatorem) -Testy poprawności podłączeń kabli -Testowanie prototypów, System kontroli i monitorowania DB On-line Software Trigger algorithm Data compression Diagnostic DAQ Transmission Link Boards Trigger Crates Transmission Karol Buńkowski, UW Detector CCU VME Control channels W firmwarze każdego układu FPGA zaimplementowano obok algorytmów trygera rozbudowaną warstwę diagnostyczną: moduły odczytu diagnostycznego – podglądanie danych płynących przez system wielokanałowe liczniki i moduły histogramujące pozwalające mierzyć częstość sygnałów z komór i częstość mionów moduły weryfikujące poprawność transmisji + liczniki błędów generatory danych testowych Warszawa, 5 października 2009

Monitoring podczas zbierania danych Karol Buńkowski, UW Monitorowanie statusu elektroniki: periodyczny odczyt rejestrów informujących czy układy elektroniczne działają poprawnie, sprawdzanie wartości liczników błędów transmisji natychmiastowa informacja dla zbierających dane o ewentualnych problemach w elektronice trygera Monitorowanie danych płynących przez system: Sygnały z komór oraz znalezione miony są zliczane przez moduły histogramujące. Na tej podstawie obliczana jest średnia oraz chwilowa częstość natychmiastowa informacja dla zbierających dane o jakości działania komór RPC, jakości działania systemu trygera PAC, poprawności konfiguracji systemu, Dedykowane aplikacje w czasie rzeczywistym odczytują dane diagnostyczne z systemu trygera, analizują je i w graficznej postaci prezentują wyniki Warszawa, 5 października 2009

Monitoring online Karol Buńkowski, UW czaspaski Częstość sygnałów Monitoring działania komór RPC na podstawie wielokanałowych liczników z LB Monitoring trygera – częstość 4 wyjściowych mionów (beczka) Częstość mionów Warszawa, 5 października 2009

Synchronizacja systemu trygera Czyli Problem jednoczesności zdarzeń w praktyce Karol Buńkowski, UW Czyli Zsynchronizujmy zegarki Warszawa, 5 października 2009

Synchronizacja systemu trygera (1) 4.2m = 14ns 14m = 42ns Różnice w czasie lotu mionów do różnych komór > 25 ns Jeszcze większe różnice w czasie propagacji sygnałów z komór do Link Board-ów (od 33 do 107 ns) A przecież w PACach chcemy mieć koincydencję sygnałów w 25 ns! Karol Buńkowski, UWWarszawa, 5 października ns · c = 0,3 m

Synchronizacja systemu trygera (2) W Link Boardach sygnały z pasków są najpierw synchronizowane do zegara 40 MHz (kwantyzacja czasowa) przy pomocy okienka synchronizacyjnego. Następnie dodatkowo opóźniane o całkowitą liczbę taktów zegara. Karol Buńkowski, UW 25ns zderzenie LB1 LB2 LB3 opóźnienie Sygnał wyjściowy Optymalną pozycję okienek i opóźnienia dla danych można obliczyć dla każdego LB z: Czasu lotu mionu do komory Czasu propagacji sygnałów po kablach z RPC do LB: winOpen i = (t i min + i TTC + offset) % 25 ns d i data = a – int[(t i min + offset)/25ns] + b i - (1 * ) + c i win + (2 SM ) następnie poprawić na podstawie analizy zebranych danych Cel: na wyjściu wszystkich LB sygnały pochodzące z tego samego przecięcia pojawiają się dokładnie w tym samym momencie (25 ns). Czas lotu Czas propagacji czas Warszawa, 5 października 2009

Synchronizacja sygnałów RPC- miony kosmiczne Karol Buńkowski, UW BX sygnału z komory względem trygera Tryger Dane za późno Sygnały ze wszystkich komór jednego koła po poprawkach Dane za wcześnie Poprawka do pozycji okienka synchronizacyjnego dla poszczególnych LB Procedura synchronizacji została przetestowana dla mionów kosmicznych: Parametry zostały policzone dla mionów lecących pionowo z góry Po zebraniu danych obliczono poprawki do pozycji okienka synchronizacyjnego, analizując rozkłady BXów sygnałów względem BXu trygera Warszawa, 5 października 2009 BX – numer kolejnego przecięcia paczek

Podsumowanie System kontroli, diagnostyki i monitorowania zapewnia bezproblemowe działanie trygera RPC PAC Procedura synchronizacji trygera RPC PAC została pozytywnie zweryfikowana dla mionów kosmicznych. System trygera RPC PAC działa i oczekuje na start LHC Warszawa, 5 października 2009Karol Buńkowski, UW

Warszawa, 5 października 2009

Efektywość trygera vs Karol Buńkowski, UWWarszawa, 5 października 2009

Efektywość trygera vs φ Karol Buńkowski, UWWarszawa, 5 października 2009

Częstość tryggera Karol Buńkowski, UWWarszawa, 5 października 2009

Synchronizacja systemu trygera (3) Układem odniesienia jest zegar 40 MHz, synchroniczny z wiązką. Początek układu wyznacza sygnał startujący odliczanie przecięć (czyli taktów zegara). Na odbiornikach odpowiednio opóźniany, aby skompensować różnice w długościach światłowodów Karol Buńkowski, UW dystrybuowane do wszystkich płyt z jednego miejsca (system TTC podłączony do LHC). Jak wyznaczyć ten sam moment? Transmisja LB – TB - kompensacja różnic w długości światłowodów: Dane transmitowane do TB są oznaczane na LB numerem przecięcia. Na TB dane są opóźniane tak, aby numer przecięcia otrzymany z danymi pasował do lokalnego numeru na TB Warszawa, 5 października 2009

Counting roomDetector FEB Tryger mionowy RPC PAC Trigger Board PAC Od 4 do 6 warstw komór otaczających punkt zderzeń 480 komór w beczce, 504 w pokrywach ~ pasków FEB Control & diagnostic Ghost Buster & Sorter RMB To the Global Muon Trigger Link Board Synchronization Unit & LMUX Optic Links GHz 1104 fibers LVDS cables To Data Acquisition GB & Sor ter Data Concentrator Card 1232 Link Boards in 96 Boxes, Steered by Control Boards 84 Trigger Boards in 12 Trigger Crates Karol Buńkowski, UW SYN CH. & LD MU X Resistive Plate Chambers Pudełka z bakelitu wypełnione gazem, sygnał odczytywany przez miedziane paski: szerokość: 0.5 – 4 cm, długość: cm Algorytm identyfikacji mionów (PAttern Comparator): koincydencja czasowa sygnałów z kilku komór, Sygnały z komór są porównywane do predefiniowanych wzorców przestrzennych torów mionów. Wzorce odpowiadają mionom o rożnym p T Algorytm identyfikacji mionów (PAttern Comparator): koincydencja czasowa sygnałów z kilku komór, Sygnały z komór są porównywane do predefiniowanych wzorców przestrzennych torów mionów. Wzorce odpowiadają mionom o rożnym p T Warszawa, 5 października 2009

Karol Buńkowski, UWWarszawa, 5 października 2009