Wykład specjalistyczny IV rok fizyki UJZH Systemy rejestracji i analizy danych

Wykład specjalistyczny IV rok fizyki UJZH Odczyt danych

Wykład specjalistyczny IV rok fizyki UJZH Architektura

Wykład specjalistyczny IV rok fizyki UJZH Kompletowanie przypadków

Wykład specjalistyczny IV rok fizyki UJZH Sieci w zbieraniu danych

Wykład specjalistyczny IV rok fizyki UJZH Magistrale (buses)

Wykład specjalistyczny IV rok fizyki UJZH Wybór standardu

Wykład specjalistyczny IV rok fizyki UJZH Techniki kompletowania przypadków 1

Wykład specjalistyczny IV rok fizyki UJZH Techniki kompletowania przypadków 2

Wykład specjalistyczny IV rok fizyki UJZH Odczyt w LHC

Wykład specjalistyczny IV rok fizyki UJZH Architektura na LHC

Wykład specjalistyczny IV rok fizyki UJZH Kompletowanie przypadków dla farmy CPU

Wykład specjalistyczny IV rok fizyki UJZH Techniki kompletowania przypadków na LHC

Wykład specjalistyczny IV rok fizyki UJZH Kompletowanie przypadków - protokół

Wykład specjalistyczny IV rok fizyki UJZH Filtrowanie przypadków

Wykład specjalistyczny IV rok fizyki UJZH Metody obróbki przypadków

Wykład specjalistyczny IV rok fizyki UJZH Zapis i magazynowanie danych 1

Wykład specjalistyczny IV rok fizyki UJZH Zapis i magazynowanie danych 2

Wykład specjalistyczny IV rok fizyki UJZH Grid komputerowy dla fizyki

Postęp w technologiach komputerowych from R. Mount Osiągnięcia na jednostkę kosztów w funkcji lat

Rozwój projektów Grid’owych Definicje Grid’u „Kiedy sieć staje się tak szybka jak wewnętrzne połączenia komputera, maszyna może być rozłożona na zespół specjalistycznych urządzeń rozmieszczonych w sieci.” (G. Gilder) „Grid to usługa polegająca na dzieleniu zasobów obliczeniowych i gromadzenia danych poprzez Internet. Jednak Grid to nie tylko prosta komunikacja między komputerami, ale celem jest połączenie komputerów rozmieszczonych w sieci w jeden system obliczeniowy.” (Internet Cafe) „Grid komputerowy to infrastruktura hardware i software, która zapewnia dostęp do zależnych, jednolitych, stabilnych i tanich mocy obliczeniowych wysokiej klasy”…… Korzystanie z Gridu komputerowego wymaga „skoordynowanego wykorzystywania zasobów i rozwiązywania problemów z pomocą dynamicznych, wielo-instytucyjnych wirtualnych organizacji”. (I. Foster, C. Kasselman, S. Tuecke) GRID = Globalisation de Ressources Informatiques et Donnees (M. Cosnard)

Rozwój projektów Grid’owych

o potrzebach komputerowych eksperymentów LHC….

Wykład specjalistyczny IV rok fizyki UJZH Eksperymenty LHC w CERN Eksperymenty LHC w CERN Problem doświadczalny Poszukiwanie bardzo rzadkich zjawisk: prawdopodobieństwo ich pojawienia się jest na poziomie – (jedna część na 10 miliardów „trywialnych” zdarzeń!) „poszukiwanie igły na ogromnym polu siana…”) oddziaływania protonów, które są złożone, przy bardzo wysokich energiach

Eksperymenty LHC w CERN Główne wyzwania ●bardzo silne promieniowanie (odporność radiacyjna) ●złożone przypadki („granulacja” detektorów) ●bardzo rzadkie zjawiska (wstępna selekcja) ●ogromne objętości danych (zapis i gromadzenie) ●światowy dostęp do danych (sieć komputerowa) ●duże, rozproszone kolaboracje (koordynacja) ●długo trwające eksperymenty (dokumentacja)

- wiele różnych procesów fizycznych - kilka poziomów filtracji - wysoka wydajność dla ciekawych przypadków - całkowity współczynnik redukcji około 10 6 Eksperymenty LHC i strumienie danych Level 1 – Specialna elektronika Level 2 – Zintegrowane procesory 40 MHz (1000 TB/sec - równoważne) Level 3 – Farmy zwyczajnych PC’tów 75 KHz (75 GB/sec) w postaci cyfrowej 5 KHz (5 GB/sec) 100 Hz (100 MB/sec) Zapis danych i analiza „offline” Preselekcja danych w czasie rzeczywistym

Natężenie danych dla oddziaływań p-p Typowe parametry: Nominalna częstość przyp./s (10 15 B/s –> 1 PB/s !) (świetlność /cm 2 s, częstość zderzeń 40MHz) (świetlność /cm 2 s, częstość zderzeń 40MHz) Częstość rejestracji ~100 przypadków/s (270 przypadków/s) (270 przypadków/s) Rozmiar przypadku ~1 M Byte’ów/przypadek (2 M Byte’ów/przypadek) (2 M Byte’ów/przypadek) Czas naświetlania~ 10 7 s/ rok Objętość surowych danych~ 2 Peta Byte’y/rok/eksperyment Dane Monte Carlo~ 1 Peta Byte/rok/eksperyment Natężenie i objętość danych HEP podwaja się co 12 miesięcy !!! Już obecnie eksperymenty BaBar, Belle, CDF, DO dostarczają po 1 TB/dzień

Wielo-stopniowy model analizy danych from the MONARC project

Schemat analizy danych IInteraktywna analiza danych IInteraktywna analiza danych Opracowane dane GB/sec 200 TB / rok Detektor Surowe dane RekonstrukcjaprzypadkówRekonstrukcjaprzypadków SymulacjaprzypadkówSymulacjaprzypadków Jeden eksperyment 3 MSI2K ~200 MB/sec 2.5 MSI2K 3.5 MSI2K 500 TB 3 PB / rok ~100 MB/sec Obiekty analizy FiltracjaprzypadkówFiltracjaprzypadków „Event Summary Data” „Event Summary Data” Analiza„off-line”Analiza„off-line” Tysiące fizyków from M. Delfino (with some modifications) ~35 MSI2K GB/sec

Wykład specjalistyczny IV rok fizyki UJZH ICFA Network Task Force (1998): wymagania co do przepustowości sieci (Mbps) ICFA Network Task Force (1998): wymagania co do przepustowości sieci (Mbps) 100–1000 X Bandwidth Increase Foreseen for See the ICFA-NTF Requirements Report:

Przepustowość sieci komputerowych W czasie Super Computing 2004 Bandwidth Challenge a „High Speed TeraByte Transfer for Physics” zademonstrował stabilną przepustowość 101 Gbps

Wykład specjalistyczny IV rok fizyki UJZH Model komputingu LHC (Cloud) CERN Tier2 Lab a Uni a Lab c Uni n Lab m Lab b Uni b Uni y Uni x Tier3 Physics Department    Desktop Germany Tier 1 USA FermiLab UK France Italy NL USA Brookhaven ………. The LHC Computing Centre 10 Gbps Gbps Tier0 Tier1 from A. Putzer with some modifications

Infrastruktura komputerowa potrzebna eksperymentom LHC (w latach 2008/2009) CERN (Tier 0/1) ALICE ATLAS CMS LHCb CPU (MSI2K*) Disk Pool (PB) Aut. Tape (PB) WAN in/out (Gb/s) 4.5/ /9.5 /0.53 Tier 1 CPU (MSI2K) Disk Pool (PB) Aut. Tape (TB) WAN (in/out (Gb/s) 5.7/3.5 Tier 2 CPU (kSI2K) Disk Pool (PB) Aut. Tape (PB) W porównaniu z raportem z r. 2001, nastąpił znaczny wzrost pojemności dysków * Współczesny laptop posiada moc obliczeniową ok. 50 Standard International 2000 (SI2K) jednostek (na podstawie raportu komitetu LHCC CERN, marzec 2005)

Planowany podział zasobów pomiędzy CERN a Centrami Regionalnymi w 2008 Zgodnie z wymaganiami przedstawionymi w dokumentach z grudnia 2004, ocenionymi przez LHCC w styczniu 05 Preliminary planning data Tape

o swiatowym Gridzie dla LHC - WLCG…..

Projekt LHC Computing Grid - LCG Cele - zaprojektowanie, prototypowanie i instalacja infrastruktury komputerowej dla eksperymentów LHC (symulacje Monte Carlo, rekonstrukcja i analiza danych): - infrastruktura (dla HEP wydajnym jest użycie farm PC) - oprogramowanie (oparte o software EDG, VDT, gLite….) - wykorzystanie (VO eksperymentów, serwis, pomoc) Harmonogram - faza 1 (2002 – 2005; ~50 MCHF); R&D i prototypowanie (do ok. 30% finalnych rozmiarów) - faza 2 (2006 – 2008 ); przygotowanie projektu technicznego (TDR), porozumień partnerów (MoU), instalacja (2007) Regularne naświetlania Pierwsza fizyka Pierwsza wiązka Kosmika

„around the world  around the clock” Ośrodki uczestniczące w światowej prototypowej sieci LCG ( ) We wrześniu 2003 ACK Cyfronet był pomiędzy pierwszymi 14 ośrodkami, z trzech kontynentów, które stworzyły prototyp wspólnej światowej sieci komputerowej dla fizyki

Infrastruktura LCG

Wykład specjalistyczny IV rok fizyki UJZH Kraje dostarczające zasoby komputerowe Kraje planujące dołączenie do EGEE/LCG In EGEE-0 (LCG-2):  > 100 sites  > cpu  ~ 5 PB storage Współpraca LCG z projektem UE EGEE zasoby komputerowe – kwiecień 2005 From F. Gagliardi at HP-CAST Z udziałem trzech polskich instytucji - AC K Cyfronet Kraków - ICM Wars zawa - P CSS Pozna ń Polska finansuje infrastrukturę EGEE pomaga w obsłudze

Potrzeby i dostępne zasoby w 2004

Wykład specjalistyczny IV rok fizyki UJZH ATLAS ~ 1350 kSI2k.miesięcy ~ 120,000 jobs ~ 10 Million’ów przypadków (Geant4) ~ 27 TB danych Wszystkie 3 Grid’y okazały się przydatne przy generacji danych około 1% przypadków wyprodukowano w Krakowie - DC2 faza 1; początek w lipcu, koniec w październiku Wykorzystano 3 systemy Grid’owe LCG ( ~70 ośrodków, do 7600 CPUs) NorduGrid (22 ośrodki, ~3280 CPUs (800), ~14TB) Grid3 (28 ośrodków, ~2000 CPUs) LCG 41% Grid3 29% NorduGrid 30% from L. Robertson at C-RRB 2004 ATLAS Data Challenges (Monte Carlo)

Produkcja danych ATLAS DC2 from L. Goossens Production Database ORACLE at CERN Windmill job supervisors Lexor DulcineaCapone Data Management System - Don Quijote Rezultaty: wykonano job’ów; wykorzystano ~1.5 M 2SI2k-miesięcy CPU

Wykład specjalistyczny IV rok fizyki UJZH UI RLS dCache MSS SE RB WN CE SE WN CE SE WN CE SE WN CE DESY ZEUS GRID Zeus Integrated MC Production System Padova Tel Aviv Rutherford KEK Classical funnel sites GRIDGATEWAY LCG User Interface odgrywa istotną role w połączeniu obydwu systemówLCG User Interface odgrywa istotną role w połączeniu obydwu systemów Jest to jedyne miejsce, w którym specjalny software ZEUSa musi być zainstalowanyJest to jedyne miejsce, w którym specjalny software ZEUSa musi być zainstalowany Zintegrowany System Monte Carlo ZEUS from K. Wrona

Wykład specjalistyczny IV rok fizyki UJZH Dostępność zasobów Grid’owych Nie wszystkie centra obliczeniowe są dostępne cały czas Złe skonfigurowanie systemu (np. po instalacji nowej wersji oprogramowania) może powodować wiele problemów –Potrzebny jest mechanizm wyłączania niesprawnych ośrodków Overall site contributionSite contribution: 8-9 May 2005 Wydajność na ośrodek: ok. 80% from K. Wrona

o polskim udziale w WLCG…..

Wykład specjalistyczny IV rok fizyki UJZH Gb/s Metropolitan Area Networks 1 Gb/s 10 Gb/s (2 lambdas) GDAŃSK POZNAŃ ZIELONA GÓRA KATOWICE KRAKÓW LUBLIN WARSZAWA BYDGOSZCZ TORUŃ CZĘSTOCHOWA BIAŁYSTOK OLSZTYN RZESZÓW BIELSKO-BIAŁA GÉANT KOSZALIN SZCZECIN WROCŁAW ŁÓDŹ KIELCE PUŁAWY OPOLE RADOM BASNET 34 Mb/s CESNET, SANET Polska infrastruktura Grid’owa Sieć komputerowa – projekt PIONIER – przepustowości w 4Q2005 from M. Przybylski

Polska infrastruktura LCG Tier2 w ACK Cyfronet AGH, Kraków LUBLIN Procesory: 4 x dual PIII 1GHz, 512MB RAM, 40GB HDD 68 x dual Xeon GHz, 2GB RAM, GB HDD 20 x dual Itanium2 1.3GHz, 2GB RAM, 2x36GB SCSI HDD Pamięci: 3.6 TB Storage (Disk Array) and ~ 15 TB from disk storage HP XP12000 Sieć: 10 Gbps MAN and GEANT connection Oprogramowanie: LCG (Globus 2.4.3) Użytkownicy: ATLAS, LHCB, ALICE; również BELLE, ZEUS, teoretycy Plany: zakup ~ 120 dual Xeon 3.6 GHz dodatkowych węzłów (ok. 50% dla LCG) Mały klaster (Tier3) w IFJ PAN Rozwój głównie dzięki udziałowi w projektach EU, CrossGrid i EGEE, oraz SPUB MNiI

Polska infrastruktura LCG Tier2 w ICM UW, Warszawa LUBLIN Pierwszy mały klaster LCG Processors: AMD: dual AthlonMP x dual AthlonMP 2000 Intel: 2 x dual Pentium III 1 GHz Storage: 400 GB of disk storage Oprogramowanie: LCG2.4.0 (Globus 2.4.3) Użytkownicy: głównie CMS (również LHCb) Nowa instalacja - AMD Dual Opteron GHz – 90 węzłów TB of pamięci dyskowej - Duża część (~ 50%) dostępna dla LCG - Użytkownicy: CMS, LHCb, COMPASS, astrofizyka Mały klaster (Tier3) w IPJ i na PW Rozwój głównie dzięki udziałowi w projektach EU, CrossGrid i EGEE, oraz SPUB MNiI

Polska infrastruktura LCG Klaster EGEE (Tier2) w PCSS, Poznań Zabezpiecza połączenia sieciowe 10 Gbps MAN i GEANT Polski uczestnik EGEE (LCG) Hardware – 50 podwójnych węzłów IA64 47 ia64 WNs, oprogramowanie SLC Węzły serwisowe również z oprogramowaniem ia64 SLC GB RAM na węzeł 4 wirtulane CPU/WN – w sumie 188 wirtualnych CPUs Pamięć: obecnie 250GB podłączone przez interface FC (2TB spodziewane wkrótce) Software: LCG2_4_0 compatible (Openlab) Użytkownicy Zarejestrowane VO: ALICE, CompChem, MAGIC, DTeam, VOCE Rozwój głównie dzięki udziałowi w projektach EU, CrossGrid i EGEE, oraz SPUB MNiI

Polish LCG infrastructure Tier2 w ACK Cyfronet AGH, Kraków LUBLIN

Polish LCG infrastructure Tier2 w ACK Cyfronet AGH, Kraków LUBLIN

Grid w zastosowaniach czasu rzeczywistego Grid for real time data filtering GDAŃSK POZNAŃ WROCŁAW ŁÓDŹ KATOWICE KRAKÓW LUBLIN TORUŃ BIAŁYSTOK ELBLĄG KIELCE RZESZÓW OPOLE BIELSKO-BIAŁA CZĘSTOCHOWA Studies on a possible use of remote computing farms for event filtering/ calibration; in 2004 beam test data shipped to Cracow, and back to CERN, in real time