Dzień Otwarty Cyfronetu 12 listopada 2007 Polski Grid Polski Grid: Ogólnopolska Infrastruktura Gridowa dla Nauki Jacek Kitowski Instytut Informatyki AGH-UST.

Prezentacja na temat: "Dzień Otwarty Cyfronetu 12 listopada 2007 Polski Grid Polski Grid: Ogólnopolska Infrastruktura Gridowa dla Nauki Jacek Kitowski Instytut Informatyki AGH-UST."— Zapis prezentacji:

1 Dzień Otwarty Cyfronetu 12 listopada 2007 Polski Grid Polski Grid: Ogólnopolska Infrastruktura Gridowa dla Nauki Jacek Kitowski Instytut Informatyki AGH-UST ACK CYFRONET AGH

2 Dzień Otwarty Cyfronetu 12 listopada 2007 2 Polski Grid Wprowadzenie Polski Grid (PL-Grid) Inicjatywa PL-Gridu – motywacja Infrastruktura Architektura Struktura Gridowa Projekt PL-Grid Cele Pakiety Robocze Przykłady wykorzystania Gridu Współpraca z Inicjatywą Europejską Spis treści

3 Dzień Otwarty Cyfronetu 12 listopada 2007 3 Polski Grid Co to jest Grid ? W Stanach Zjednoczonych jest to popularne określenie sieci elektrycznej Rozległa sieć maszyn obliczeniowych i innych zasobów zarządzanych w sposób rozproszony i niezależny – szybki, niezawodny i bezpieczny system połączonych komputerów i innych urządzeń, który umożliwia łatwy dostęp do dużych, rozproszonych mocy obliczeniowych, zasobów danych i usług, bez względu na to, gdzie te zasoby są zlokalizowane. Po co się to robi? – Dlatego że sieć połączonych komputerów, nawet niewielkich, może zastąpić jeden wielki (i drogi) komputer, konieczny do wykonania skomplikowanych obliczeń Grid to nowy paradygmat usług informatycznych realizowany przez zbiory nowych technologii informatycznych – z takich sieci korzystają już fizycy, chemicy, biologowie, inżynierowie, lekarze, przedsiębiorcy – ci, którzy dla swych obliczeń sporadycznie potrzebują setek komputerów… Europa traktuje grid jako na nowe, bardzo przydatne narzędzie, a Unia Europejska planuje utworzenie europejskiej infrastruktury gridowej. ACK: Grid łączy, Dziennik Polski Akademicki, 7.2.2007

4 Dzień Otwarty Cyfronetu 12 listopada 2007 4 Polski Grid Przykłady ACK: Grid łączy, Dziennik Polski Akademicki, 7.2.2007 Europejska Sieć Naukowa GEANT

5 Dzień Otwarty Cyfronetu 12 listopada 2007 5 Polski Grid Inicjatywa PL-Grid European e-Infrastructure 2000 Testbeds 2010 Utility Service Routine Usage National International Ewolucja rozwoju europejskiej infrastruktury gridowej w skali lat Odpowiedź na potrzeby polskich naukowców i bieżących aktywności gridowych w Polsce, w innych krajach europejskich i na całym świecie, podjęta przez Polskie Centra z inicjatywy Cyfronetu SGI Grid, Progress (Clusterix, National Data Store...) Crossgrid, Chemomomentum, Virolab, CoreGrid, Gredia, int.eu.grid, Baltic Grid, GridLab, Porta Optica, RINGRid, Phosphorus, EUChinaGRID, QoSCoSGrid, Intelligrid, K-WfGrid, Unicore...

6 Dzień Otwarty Cyfronetu 12 listopada 2007 6 Polski Grid Inicjatywa PL-Grid

7 Dzień Otwarty Cyfronetu 12 listopada 2007 7 Polski Grid Inicjatywa PL-Grid Głównym celem inicjatywy budowy ogólnopolskiej infrastruktury gridowej jest rozwój i stworzenie w Polsce, stabilnej infrastruktury zasobów obliczeniowych i gromadzenia danych, a także podstawowych usług dla nauki - w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym.

8 Dzień Otwarty Cyfronetu 12 listopada 2007 8 Polski Grid # Procesory, Moc obliczeniowa (GFlops) and RAM (GB) CYFRONETICM UWPCSSCI TASKWCSS proc.R peak RAMproc.R peak RAMproc.R peak RAMproc.R peak RAMproc.R peak RAM SMP 204108036860664192224845328128768512136780264 Klastry 650839917295003400103638031881068288322623042563600768 Razem 8549479209756040641228 60440331396 4163994281639243801032 Koniec Roku 2007 15256669121344500005376272130772792 Obecne Zasoby

9 Dzień Otwarty Cyfronetu 12 listopada 2007 9 Polski Grid Początkowa działalność PL-Grid Utworzenie Konsorcjum Polskiego Gridu (PL-Grid) Porozumienie podpisane w styczniu 2007 Akademickie Centrum Komputerowe CYFRONET AGH w Krakowie (ACK CYFRONET AGH) – koordynator Programu PL-Grid Poznańskie Centrum Superkomputerowo-Sieciowe w Poznaniu (PCSS) Wrocławskie Centrum Sieciowo - Superkomputerowe we Wrocławiu (WCSS) Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej w Gdańsku (TASK) Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego w Warszawie (ICM) Konsorcjum utworzone z pięciu największych polskich centrów superkomputerowo-sieciowych (założyciele) Przygotowanie projektu PL-Grid (2008-2010, 2011-2013) GEANT2

10 Dzień Otwarty Cyfronetu 12 listopada 2007 10 Polski Grid Uzasadnienie i cele projektu PL-Grid Podejście e-Science do badań naukowych Eksperymenty komputerowe Olbrzymie, rozproszone i różnorodne w strukturze dane Narzędzia dostępu do danych, ich integracji i przetwarzania Różnorodność dziedzin i dyscyplin: fizyka, astronomia, astrofizyka, chemia, biologia, bioinformatyka, meteorologia, klimatologia, medycyna, nauki o Ziemi, zaawansowane przetwarzanie tekstu, przetwarzanie i zarządzanie wiedzą, e-learning.

11 Dzień Otwarty Cyfronetu 12 listopada 2007 11 Polski Grid Uzasadnienie i cele projektu PL-Grid Wizja PL-Grid: Umożliwienie realizacji modelu e-Science w poszczególnych dziedzinach naukowych poprzez: Budowę infrastruktury gridowej w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym dzięki współpracy z zespołami rozwijającymi grid europejski (EGEE, DEISA, OMII, C-OMEGA, ESFRI), Zapewnienie działania tej infrastruktury w trybie produkcyjnym, Umożliwienie działania gridów dziedzinowych, Stosowanie i propagowanie standardów w odniesieniu do usług gridowych, Dostosowywanie PL-Gridu do wymagań użytkowników, Integrację, testowanie, składanie i instalowanie w PL-Gridzie oprogramowania pochodzącego z wiodących projektów gridowych (polskich i zagranicznych), Organizowanie wsparcia dla użytkowników PL-Gridu (szkolenia, helpdesk i doradztwo), Bieżące zarządzanie.

12 Dzień Otwarty Cyfronetu 12 listopada 2007 12 Polski Grid Infrastruktura PL-Grid Założenia Polski Grid będzie miał wspólną bazową infrastrukturę – podobnie do rozwiązań zastosowanych w innych krajach Dziedzinowe systemy gridowe – włącznie z usługami i narzędziami zorientowanymi na specyficzne typy aplikacji – będą konstruowane na tej infrastrukturze.

13 Dzień Otwarty Cyfronetu 12 listopada 2007 13 Polski Grid Infrastruktura PL-Grid Dziedzinowe systemy gridowe mogą być rozwijane i utrzymywane w ramach odrębnych projektów. Takie podejście powinno umożliwić efektywne wykorzystanie dostępnych środków finansowych. Infrastruktura gridowa (usługi gridowe) PL-Grid Aplikacja Klastry Komputery dużej mocyRepozytoria danych Krajowa sieć komputerowa PIONIER Grid Dziedzi nowy Zaawansowane Platformy Usługowe Grid Dziedzi nowy

14 Dzień Otwarty Cyfronetu 12 listopada 2007 14 Polski Grid Struktura PL-Grid Infrastruktura PL-Grid będzie bazą dla Gridów dziedzinowych, obejmujących usługi i narzędzia zorientowane na specyficzne typy aplikacji Użytkownicy Krajowa sieć komputerowa Warstwa dostępowa/ tworzenia aplikacji System Wirtualnych organizacji i bezpieczeństwa Podstawowe usługi gridowe Usługi gridowe LCG/gLite (EGEE) UNICORE (DEISA) Other Systemy gridowe Zasoby gridowe Rozproszone zasoby obliczeniowe Portale gridowe, narzędzia programistyczne Rozproszone repozytoria danych

15 Dzień Otwarty Cyfronetu 12 listopada 2007 15 Polski Grid Struktura PL-Grid Oprogramowanie PL-Gridu obejmuje: narzędzia użytkownika, takie jak: portale, systemy zarządzania i monitorowania aplikacji, wizualizacji wyników i innych zgodnych z używanym w PL-Grid oprogramowaniem niższych warstw; biblioteki programistyczne; system wirtualnych organizacji: podsystemy certyfikatów i kont, system zarządzania danymi: katalogi metadanych, zarządzanie replikami, transfer plików; system zarządzania zasobami: zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami.

16 Dzień Otwarty Cyfronetu 12 listopada 2007 16 Polski Grid PLANOWANIE I ROZWÓJ INFRASTRUKTURY SPRZĘTOWEJ P2 Koordynacja Architektura Rozpowszechnianie informacji ZARZĄDZANIE P1 CENTRUM BEZPIECZEŃSTWA P6 Szkolenia WSPARCIE DLA GRIDÓW DZIEDZINOWYCH P5 P4 ROZWÓJ OPROGRAMOWANIA DZIEDZINOWEGO I NARZĘDZI UŻYTKOWNIKA EGEEDEISA …. CENTRUM OPERACYJNE P3 Projekt PL-Grid jest podzielony na kilka pakietów roboczych Planowana realizacja celów: Projekt PL-Grid

17 Dzień Otwarty Cyfronetu 12 listopada 2007 17 Polski Grid Pakiety Robocze PL-Grid Pakiet 1 Zarządzanie (włącznie z architekturą PL- Grid i rozpowszechnianiem informacji) – koordynowany przez ACK CYFRONET AGH (Kraków), Pakiet 2 Planowanie i rozwój infrastruktury sprzętowej – TASK (Gdańsk), Pakiet 3 Centrum operacyjne – ACK CYFRONET AGH, Pakiet 4 Rozwój oprogramowania gridowego i narzędzi użytkownika – PCSS (Poznań), Pakiet 5 Wsparcie dla gridów dziedzinowych – ICM (Warszawa), Pakiet 6 Centrum bezpieczeństwa – WCSS (Wrocław)

18 Dzień Otwarty Cyfronetu 12 listopada 2007 18 Polski Grid Pakiety Robocze PL-Grid Ogólne założenia funkcjonowania PL-Gridu, które będą realizowane w ramach poszczególnych pakietów: Wsparcie dla systemów produkcyjnych EGEE i DEISA; Współpraca systemów produkcyjnych gLite i UNICORE - symetryczna; Otwarcie na nowe systemy gridowe; Wyodrębnianie zasobów do celów badawczych; Efektywne zarządzanie zasobami (system monitorowania oraz zarządzania zasobami); Współpraca z dostawcą sieci (PIONIER); Wspieranie adaptacji aplikacji – usługi techniczne i adaptacyjne; Rozwój oprogramowania PL-Gridu (użytecznego dla PL-Gridu i użytkowników).

19 Dzień Otwarty Cyfronetu 12 listopada 2007 19 Polski Grid P1 - Zarządzanie Zadania Koordynacja Architektura PL-Grid Rozpowszechnianie informacji

20 Dzień Otwarty Cyfronetu 12 listopada 2007 20 Polski Grid P2 - Planowanie i rozwój infrastruktury sprzętowej Zadania: przygotowanie technicznej specyfikacji dotyczącej sprzętu zgodnie z kierunkiem rozwoju PL-Gridu, informowanie o możliwościach technicznych instalacji w poszczególnych ośrodkach, koordynowanie zakupów sprzętowych, koordynacja instalacji sprzętu i lokalnego oprogramowania, utrzymania zainstalowanej infrastruktury.

21 Dzień Otwarty Cyfronetu 12 listopada 2007 21 Polski Grid P3: Centrum Operacyjne PL-Grid Zadania ustanowienie i utrzymywanie stabilnej infrastruktury gridowej produkcyjnej; dostarczanie oprogramowania systemowego; dostarczanie oprogramowania dla gridu produkcyjnego typu EGEE i DEISA zarządzanie wdrażaniem oprogramowania – certyfikacja; monitorowanie infrastruktury i usług; rozliczania z wykorzystania zasobów; pomoc techniczna dla użytkowników i administratorów.

22 Dzień Otwarty Cyfronetu 12 listopada 2007 22 Polski Grid P4: Rozwój oprogramowania gridowego i narzędzi użytkownika Zadania analiza wymagań użytkowników i określenie niezbędnych narzędzi i usług w ramach PL-Grid, analiza dostępnych narzędzi i wybór narzędzi do repozytorium; reinżynieria oprogramowania oraz integracja z platformami w PL-Grid, budowa repozytorium oprogramowania pośredniego oraz wspomagającego użytkowników i twórców aplikacji, rozwój i integracja nowych narzędzi i usług.

23 Dzień Otwarty Cyfronetu 12 listopada 2007 23 Polski Grid P5 - Wsparcie dla gridów dziedzinowych Zadania zorganizowanie trwałego i wszechstronnego wsparcia dla użytkowników Gridu, zespołów rozwijających aplikacje i serwisy gridowe dla aplikacji, w zakresie użytkowania gridu, rozwoju aplikacji, przydziałów zasobów, współpracy gridów i VO z różnych dziedzin nauki, techniki, administracji i biznesu, organizacja działalności szkoleniowej, dydaktycznej i upowszechniającej wiedzę w zakresie technologii przetwarzania danych na Gridzie, opracowanie i wdrożenie procedur udostępniania oprogramowania komercyjnego na Gridzie.

24 Dzień Otwarty Cyfronetu 12 listopada 2007 24 Polski Grid P6 - Centrum bezpieczeństwa Zadania opracowanie wymagań bezpieczeństwa dla ośrodków PL-Gridu, opracowanie procedur reagowania na incydenty dotyczące bezpieczeństwa, cykliczne przeprowadzanie audytu bezpieczeństwa. utrzymywanie struktury CA/RA w Polsce dla PL-Gridu, zapewnienie istnienia spójnego mechanizmu autentykacji i autoryzacji w gridzie PL-Grid, pro-aktywne monitorowanie infrastruktury gridu.

25 Dzień Otwarty Cyfronetu 12 listopada 2007 25 Polski Grid Przykłady wykorzystania Gridu HEP – WLCG Chemia obliczeniowa – Gaussian, Turbomole.....(Charmm, Amber, DL_POLY..) Biologia/Farmacja – białka... Meteorologia Systemy złożone (gry wieloagentowe...)

26 Dzień Otwarty Cyfronetu 12 listopada 2007 26 Polski Grid Infrastruktura sieciowo-obliczeniowa polskiego Tier2 dla WLCG

27 Dzień Otwarty Cyfronetu 12 listopada 2007 27 Polski Grid Atlas Experiment SFI PF Local Event Processing Farms Back End Network SFOs mass storage CERN CERN Computing Center Copenhagen Edmonton Kraków Manchester PF Packet Switched WAN: GEANT Switch lightpath PF

28 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 t.szepieniec@cyfronet.pl Gaussian VO - utworzona i wspierana przez 2 Partnerów (działalność EGEE ) Zaakceptowane przez dostawcę oprogramowania Rejestracja: https://voms.cyf-kr.edu.pl:8443/vo/gaussian/vomrs GAUSSIAN w Gridzie Kierownik VO: Mariusz Sterzel (CYFRONET), koordynator ds.Chemii Obliczeniowej (EGEE II) m.sterzel@cyfronet.pl ACK: Tomasz Szepieniec

29 Enabling Grids for E-sciencE EGEE-II INFSO-RI-031688 t.szepieniec@cyfronet.pl Never Born Protein Folding Prof. Irena Roterman (CM UJ) i projekt EUChinagrid ACK: Tomasz Szepieniec

30 Dzień Otwarty Cyfronetu 12 listopada 2007 30 Polski Grid Współpraca z EGI-DS 1.ZORIENTOWANE NA INFRASTRUKTURĘ 1.1.Opublikowanie nowego Middleware gridowego 1.2.Dodanie nowego siteu NGI/EGI 1.3.Alarm funkcjonalności na danym sitecie NGI 1.4.Negocjacja zasobów dla VO 2. ZORIENTOWANE NA APLIKACJE 2.1.Żądanie przepustowości QoS 2.2.Filtrowanie LHC na bieżąco 2.3.Aplikacja komercyjna z serwerem licencji 2.4.Aplikacja rownoległa 3. ZORIENTOWANE NA UŻYTKOWNIKÓW KOŃCOWYCH 3.1.Prywatnie sfinansowany sprzęt 3.2.Pojedynczy użytkownik bez przynależności do VO potrzebuje użyć Gridu Aktywne uczestnictwo w warsztatach EGI w Budapeszcie (2.10.07) Identifikacja przypadków użycia (use-cases)

31 Dzień Otwarty Cyfronetu 12 listopada 2007 31 Polski Grid Wnioski Etap wstępny zakończony Porozumienie zostało podpisane Rada Naukowa została utworzona Zarząd został utworzony Wniosek o finansowanie Projektu PL-Grid