dr hab. Szymon Gadomski Uniwersytet Genewski i IFJ PAN w Krakowie

Prezentacja na temat: "dr hab. Szymon Gadomski Uniwersytet Genewski i IFJ PAN w Krakowie"— Zapis prezentacji:

1 dr hab. Szymon Gadomski Uniwersytet Genewski i IFJ PAN w Krakowie
CERN i komputery dr hab. Szymon Gadomski Uniwersytet Genewski i IFJ PAN w Krakowie S. Gadomski, "CERN i komputery",

2 Komputery w CERN - WWW i GRID
Historia WWW (wynalazek CERN) na czym polegał wkład CERNu dlaczego CERN odegrał decydującą rolę Komputery dla współczesnej fizyki – GRID (i nie tylko) wymagania eksperymentów LHC selekcja danych w czasie rzeczywistym „online” problem ilości danych do dalszej analizy GRID – idea, stan rozwoju na czym polega analiza danych Polonica GRID w Polsce i Polscy programiści w CERNie Podsumowanie S. Gadomski, "CERN i komputery",

3 Internet przed wynalezieniem WWW
1959, ARPANET, University of California, Los Angeles 1978 – 1981, pierwsze sieci międzynarodowe i międzykontynentalne (np. dla poczty) 1983 sieć dla nauki (National Science Foundation, USA) już obecny protokół wymiany informacji (TCP/IP) koniec lat 80-tych – internet szeroko używany przez fizyków cząstek podłączone większe laboratoria (CERN, DESY) i niektóre uniwersytety z Krakowa przez telefon międzynarodowy do CERN, każda minuta cenna S. Gadomski, "CERN i komputery",

4 Internet przed wynalezieniem WWW (2)
Możliwości internetu w końcu lat 80-tych Poczta elektroniczna (pine) Przesyłanie danych (ftp) kontakt z użytkownikiem czysto tekstowy S. Gadomski, "CERN i komputery",

5 Wynalazek WWW 1989, CERN, początki WWW
najbardziej aktywe centrum internetu w Europie duża rotacja personelu (nadal) Tim Berners-Lee proponuje “data management system” - połączenie istniejącego standardu opisu informacji (hypertext) i internetu - dla potrzeb CERNu i eksperymentów Robert Caillau, plan projektu S. Gadomski, "CERN i komputery",

6 Wynalazek WWW (2) 1989 – 1991, pierwsze prototypy w CERN
Pierwszy ``server’’ WWW Szkic architektury Tim Berners-Lee 1989 S. Gadomski, "CERN i komputery",

7 Rozwój WWW 1991 – WWW dostępne publicznie poza CERN
1993 – deklaracja CERN o darmowym dostępie do technologii WWW 1993 – pierwsza znana przeglądarka graficzna (Mosaic) University of Illinois, USA, początki graficznych stron internetowych 1995 – przemysł (np. Microsoft) proponuje internet dla szerokiej publiczności 2005 – index 19.2 miliardów stron interenetowych (Yahoo) 2007 – prawdopodobnie około 30 miliardów stron Niespotykana wcześniej łatwość dostępu do informacji. NP. strona publiczna CERN Fenomen społeczny definiujący nasze czasy narodził się w CERNie. Potrzeba łatwej, globalnej i nieformalnej wymiany informacji, typowa dla fizyki cząstek, dała tak znaczący (i nieoczekiwany) efekt. S. Gadomski, "CERN i komputery",

8 Internet obecnie S. Gadomski, "CERN i komputery",

9 Komputery dla współczesnej fizyki
GRID i nie tylko S. Gadomski, "CERN i komputery",

10 Komputery dla współczesnej fizyki
– wymagania Przy zderzeniach protonów na LHC interesujące nas nieznane jeszcze procesy będą rzadkie. Dlaczego? Częstość reakcji S. Gadomski, "CERN i komputery",

11 Produkcja bozonu Higgsa w zderzeniach protonów
q H W Z0 - + Istotna jest energia składników oddziałujących protonów. Obydwa kwarki (lub gluony) muszą nieść dużą część energii protonów. To zdarza się rzadko. Trzeba wybierać zderzenia interesujące! S. Gadomski, "CERN i komputery",

12 Zachować czy odrzucić? Odrzucić! Selekcja interesujących zderzeń.
S. Gadomski, "CERN i komputery",

13 Zachować czy odrzucić? Zachować! Selekcja interesujących zderzeń. muon
supersymetria S. Gadomski, "CERN i komputery",

14 System selekcji danych ATLASa
Trigger DAQ Calo MuTrCh Other detectors 40 MHz 40 MHz 75 kHz ~3 kHz ~ 200 Hz D E T LVL1 FE Pipelines RoI 2.5 ms Lvl1 acc = 75 kHz ROD Read-Out Drivers RoI data = 1-2% 120 GB/s ~ 300 MB/s ~2+4 GB/s GB/s Read-Out Links H L T D A T F L O W ~ 10 ms ROS Read-Out Buffers RoI Builder LVL2 RoI requests ROB L2 Supervisor L2 N/work L2 Proc Unit L2P L2SV L2N ROIB Read-Out Sub-systems Lvl2 acc = ~3 kHz EB Dataflow Manager DFM EBN Event Building N/work ~ sec Event Filter Sub-Farm Input ~4 GB/s SFI EFP Event Builder Event Filter Processors EFN Event Filter N/work EFacc = ~0.2 kHz Sub-Farm Output SFO S. Gadomski, "CERN i komputery",

15 Selekcja danych przed rejestracją
W eksperymencie ATLAS rejestrowane będzie jedno zderzenie na Selekcja danych „w czasie rzeczywistym” („online”) t.j. przed rejestracją. Selekcja częściowo w elektronice, częściowo na komputerach. System w budowie, docelowo około 2000 komputerów PC. Kupić komputery jak najpóźniej! Podwojenie szybkości co 1.2 roku... S. Gadomski, "CERN i komputery",

16 „Farma” dla ATLASa w budowie
“pre-series” system ~100 PCs racks being prepared air and water for cooling (1 Mega Watt) S. Gadomski, "CERN i komputery",

17 „Farma” komputerów do selekcji danych przed rejestracją
Niezależność zderzeń (zwanych „przypadkami”) Jeden przypadek na jeden procesor - „Cluster computing”, wiele małych komputerów zamiast jednego super-komputera Linux panuje niepodzielnie S. Gadomski, "CERN i komputery",

18 Ilość rejestrowanych danych
Po selekcji jednego zderzenia na ilość danych do zapisania i do dalszej analizy nadal stanowi problem. ATLAS: 300 MB/s, około 3 PB (3*1015 B) na rok gdyby pisać na CD byłoby ich 4 miliony (około 20 km na półkach) około 6000 typowych dysków (500 MB w 2007) 4 eksperymenty LHC mają produkować do 15 PB na rok S. Gadomski, "CERN i komputery",

19 Globalna współpraca nad analizą danych
S. Gadomski, "CERN i komputery",

20 Rozwiązanie (w budowie) - GRID
internet (i WWW) umożliwiają globaly dostęp do informacji GRID ma umożliwić korzystanie z zasobów (przechowanie danych i procesory do ich przetwarzania) rozproszonych globalnie. fizyka cząstek jest jedną z zainteresowanych dziedzin nauki S. Gadomski, "CERN i komputery",

21 Historia GRIDu prehistoria w latach 70-tych
idea porzucona w 80-tych (względy bezpieczeństwa) termin GRID w latach 90tych, analogia do sieci elektrycznej nikt nie musi wiedzieć skąd pochodzi prąd zasilający jego lampę Ian Foster, Carl Kesselman, Steve Tueck - „ojcowie” GRIDu projekt Globus (Chicago, 1997) obecne projekty używają ich narzędzi S. Gadomski, "CERN i komputery",

22 GRID: komputery, sieci, oprogramowanie
Oprogramowanie (“GRID middleware”) identyfikacja użytkownika certyfikaty i organizacje wirtualne zarządzanie zasobami (moc obliczeniowa i miejsce na dane) przepływ danych przepływ zadań obliczeniowych S. Gadomski, "CERN i komputery",

23 Ośrodki GRID w Europie S. Gadomski, "CERN i komputery",

24 Ośrodki GRID w Ameryce PN
S. Gadomski, "CERN i komputery",

25 Ośrodki GRID w Azji i Oceanii
S. Gadomski, "CERN i komputery",

26 GRID dla eksperymentów na LHC
LHC Coputing GRID (LCG) współpraca centrów obliczeniowych CERN jako „Tier 0” 11 „Tier 1” każdy „Tier 1” ma kilka „Tier 2” komputery w instytutach badawczych jako „Tier 3” S. Gadomski, "CERN i komputery",

27 Przebudowa centrum obliczeniowego w CERN
kilka lat temu rola dla eksperymentów obecnie S. Gadomski, "CERN i komputery",

28 Komputery do analizy danych w Genewie
“Tier 2” k. Lugano (po drugiej stronie Alp) Lokalne farmy “Tier 3” na uniwersytetach w Genewie i w Bernie 30 PC + dwa serwery Linux S. Gadomski, "CERN i komputery",

29 Kwestie praktyczne „na co dzień”
Stabilność GRIDu kłopoty z przepływem danych informacja dla użytkownika Trzy GRIDy (Europa, USA, kraje skandynawskie i Szwajcaria) różne oprogramowanie obecnie praca nad unifikacją (przepływ danych i zadań) Jakość i stan dokumentacji oprogramowania produkowanego przez eksperymenty. Prototypy! System w budowie! S. Gadomski, "CERN i komputery",

30 Planowany wzrost zasobów WLCG
S. Gadomski, "CERN i komputery",

31 Ośrodki uczestniczące w światowej prototypowej sieci LCG (2003-05)
Grid w Polsce We wrześniu 2003 ACK Cyfronet był pomiędzy pierwszymi 14 ośrodkami, z trzech kontynentów, które stworzyły prototyp wspólnej światowej sieci komputerowej dla fizyki Ośrodki uczestniczące w światowej prototypowej sieci LCG ( ) S. Gadomski, "CERN i komputery",

32 Polska infrastruktura WLCG
GTS 1,6 Gb/s GDAŃSK POZNAŃ ZIELONA GÓRA KATOWICE KRAKÓW LUBLIN WARSZAWA BYDGOSZCZ TORUŃ CZĘSTOCHOWA BIAŁYSTOK OLSZTYN RZESZÓW Bielsko-Biała GÉANT Gb/s KOSZALIN SZCZECIN WROCŁAW ŁÓDŹ KIELCE PUŁAWY OPOLE RADOM BASNET 34 Mb/s CESNET, SANET GÉANT/TELIA 2x2,5 Gb/s DFN 10 Gb/s Gorzów MAN 10 Gb/s (1 lambda) 2 x 10 Gb/s 1 Gb/s CBDF 10 Gb/s PIONIER’S FIBERS Tier1 FZK Karlsruhe Tier2 PCSS Poznań Tier2 ICM Warszawa Tier2 ACK Cyfronet Kraków S. Gadomski, "CERN i komputery",

33 Polska infrastruktura WLCG Tier2: ACK Cyfronet – ICM – PSNC
Cracow-CYFRONET Trzy centra komputerowe uczestniczą w tworzeniu polskiego Tier2 (jako część polskiego EGEE ROC) ACC Cyfronet Cracow ~200 procesorów Pentium, dyski ~10 TB połączenie do PSNC via 1 Gbs HEP VLAN ICM Warszawa ~270 procesorów AMD-64, dyski ~19 TB PSNC Poznań ~270 procesorów AMD-64 i IA-64, 3 TB połączenie do GEANT i DFN – 10 Gbs W strukturze WLCG polski Tier2 jest połączony do Tier1 w FZK Karlsruhe Tier3 w instytutach FWE Krakowa i Warszawy Poznan-PSNC Na koniec roku planuje się upgrade do drugiej lambdy na najwazniejszych trasach i upgrade do 10Gbit/s dla szczecina i koszalina Lacze do bialorusi poki co idzie przez TPSA i Beltelecom, ale do GEANTA i do swiata wychodza w ramach naszego pasma – gest w strone wschodnich sasiadow. Warsaw-ICM Kilkunastu polskich programistów obecnie w CERN IT, kilkudziesięciu pracowało. S. Gadomski, "CERN i komputery",

34 Projekt CROSSGRID Cyfronet w Krakowie (prof.M.Turała)
kierował projektem CrossGrid S. Gadomski, "CERN i komputery",

35 Co te wszystkie komputery będą robić?
Analiza danych w fizyce cząstek. S. Gadomski, "CERN i komputery",

36 “surowe” dane z elektroniki eksperymentu
Analiza danych pierwszy stopień do punktów w przestrzeni “surowe” dane z elektroniki eksperymentu przez informacje lokalne (punkt na płytce krzemu) S. Gadomski, "CERN i komputery",

37 Analiza danych, dalsze stopnie
rekonstrukcja torów cząstek i depozytów energii rozpoznanie cząstek, które powstały w zderzeniu (elektron, foton, mion) S. Gadomski, "CERN i komputery",

38 Analiza i symulacja dane wyniki wyniki proces powtarzany wielokrotnie
zrozumienie detektora i systemu selekcji zajmuje często kilka lat symulacja komputerowa jest porównywana z danymi  weryfikacja dane symulacja (założenia) rekonstrukcja i analiza wyniki wyniki porównanie, weryfikacja S. Gadomski, "CERN i komputery",

39 Symulacja jedno zderzenie wiązek w ATLASie jedna cząstka Higgsa
25 oddziaływań proton-proton 750 torów cząstek S. Gadomski, "CERN i komputery",

40 Pojedynczy “przypadek” nic nie znaczy
ATLAS oczekiwany (hipotetyczny) sygnał (pochodzący od cząstki Higgsa) Hgg 100 fb-1 Ilość przypadków Masa cząstki S. Gadomski, "CERN i komputery",

41 Materiały dla nauczycieli i dla uczniów
WWW co to jest WWW oraz internet, rola CERNu propozycja Tim Berners Lee, “Information management system” (‘89) Selekcja danych w czasie rzeczywistym “Tryger” eksperymentu CMS GRID popularyzacja “GRID Café” strona główna “LHC Computing GRID” S. Gadomski, "CERN i komputery",

42 Podsumowanie Najpopularniejsze zastotowanie internetu (WWW) jest “produktem ubocznym” badań w CERNie. Środowisko fizyków cząstek odegrało rolę społeczeństwa przyszłości w miniaturze. Eksperymenty na LHC będą produkować ogromną ilość danych. Interesujące zderzenia są rzadkie. Selekcja w czasie rzeczywistym (“online”), rejestrowane 1 zderzenie na około Nadal wielka ilość danych, rzędu 10 PB (1016B) rocznie. Analiza na całym świecie. GRID jako rozwiązanie (w stadium budowy). S. Gadomski, "CERN i komputery",