Rozwój Polskiej Infrastruktury Gridowej w ramach Projektu PL-Grid Jacek Kitowski i Łukasz Dutka ACK CYFRONET AGH, Kraków, Polska Instytut Informatyki AGH-UST we współpracy z Partnerami Projektu PL-Grid Dzień Otwarty ACK CYFRONET AGH 16.11.2009

Plan wystąpienia Narodowa Inicjatywa Gridowa w Polsce Motywacja – e-Science, Science 2.0 Uzasadnienie i Podstawy Stan Zaawansowania Projekt PL-Grid – Rezultaty Podsumowanie Działania integracyjne zachodzące w Europie w ramach European Grid Initiative

Podejscie e-Science Badania naukowe: Teoretyczne Doświadczalne W komputerze W komputerze (in silico) Zaawansowane, rozproszone obliczenia Wieloskalowe i wielodyscyplinarne Odnoszą się do zjawisk o ekstremalnych skalach czasowo-przestrzennych Wymagające postępów w zakresie informatyki i nauk obliczeniowych Realizowane przez międzynarodowe zespoły badawcze we współpracy

ACK: David de Roure, http://www.soton.ac.uk/~dder/talks.html Science 2.0 ACK: David de Roure, http://www.soton.ac.uk/~dder/talks.html

Oczekiwania ze strony środowisk naukowych Zasoby – Usługi Obliczeniowe Dane Infrastruktura ACK: F. Gagliardi

Czym jest Grid? Grid to: pomysł na połączenie rozproszonych zasobów administrowanych lokalnie widzianych przez użytkownika jako jedna wirtualna maszyna umożliwiająca dostęp do zasobów z każdego punktu na świecie Zasoby są dzielone wśród użytkowników zrzeszonych w ramach wirtualnych organizacji determinujących automatycznie rodzaj zasobów i warunki pod jakimi możliwy jest dostęp do nich Typowy wzór – sieć elektryczna: ACK: M. Sterzel

EGEE EGEE Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences … >250 sites 48 countries >100,000 CPUs >30 PetaBytes >10,000 users >150 VOs >150,000 jobs/day Mariusz Sterzel CGW'08 Kraków, 13 October 2008 7

Konsorcjum PL-Grid Konsorcjum składa się z pięciu polskich centrów obliczeniowych, reprezentujących środowiska naukowe, koordynowane przez ACK Cyfronet AGH Uczestnictwo w Międzynarodowych i Krajowych Projektach i we współpracy ~35 międzynarodowych projektów FP5, FP6, FP7 dotyczących Gridów (50% wspólnych) ~15 polskich projektów (50% wspólnych) Istniejące potrzeby polskich środowisk naukowych ~75% publikacji w pięciu środowiskach Nowoczesne zasoby obliczeniowe Lista Top500 Europejskie/światowe działania integracyjne EGEE I-III, EGI_DS, EGI, e-IRG, PRACE, DEISA, OMII, Eksperci w F3 EU: „Research Infrastructure”, Projekty Infrastrukturalne Narodowa Szerokopasmowa Infrastruktura Sieciowa dla wspomagania nauki (dzięki Narodowemu Projektowi Ponier) Porozumienie podpisane w styczniu 2007 GEANT2

Zasoby Obliczeniowe Partnerów TOP500 – Listopad 2008 Rank Site System Cores Rmax Rpeak 68 Gdansk University of Technology, CI Task Poland ACTION Cluster Xeon E5345 Infiniband ACTION 5336 38.17 49.73 221 Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw Poland BladeCenter QS22 Cluster, PowerXCell 8i 4.0 Ghz, Infiniband IBM 2016 18.57 30.46 311 Cyfronet Poland Cluster Platform 3000 BL2x220, L54xx 2.5 Ghz, Infiniband Hewlett-Packard 2048 16.18 20.48 337 PCSS Poznan Poland Cluster Platform 3000 BL460c, Xeon 54xx 2.5 GHz, Infiniband Hewlett-Packard 15.95 373 Nasza Klasa Poland Cluster Platform 3000 BL460c/BL2x220, L54xx 2.5 Ghz, GigE Hewlett-Packard 2848 15.3 28.48 495 Communications Company (P1) Poland Cluster Platform 3000 BL460c, Xeon L54xx 2.5 GHz, GigEthernet Hewlett-Packard 2304 12.82 23.04

European Grid Initiative (EGI) National Grid Initiative (NGI) PL-Grid Projekt PL-Grid Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej European Grid Initiative (EGI) National Grid Initiative (NGI) PL-Grid Odpowiedź na potrzeby polskich naukowców i bieżących aktywności gridowych w Polsce, w innych krajach europejskich i na całym świecie Motywacja Podejście E-Science do badań naukowych Działająca inicjatywa EGI w Europie (http://web.eu-egi.eu, biuro w Amsterdamie) Cel: utworzenie trwałej e-infrastruktury gridowej w Europie Bazującej na NGIs Projekt PL-Grid (2009-2012) Wystąpienie o dofinansowanie w ramach Programu Operacyjnego Innowacyjna Gospodarka, Działanie 2.3 (we wrześniu 2008) Decyzja o przyznaniu finansowania – 2 marca 2009 (w ramach Europejskich Funduszy Strukturalnych)

Infrastruktura gridowa (usługi gridowe) PL-Grid Założenia Projektu W ramach Polskiego Gridu tworzona jest wspólna bazowa infrastruktura – w pełni kompatybilna i interoperabilna z gridem europejskim i światowym. Dziedzinowe systemy gridowe – usługi narzędzia zorientowane na specyficzne typy aplikacji Efektywne wykorzystanie dostępnych środków finansowych. Plany umożliwienia obliczeń HPC i klastrowych. Oferta dla Użytkowników Moc obliczeniowa 215 Tflop/s Pamięć dyskowa 2500 TB Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Infrastruktura gridowa (usługi gridowe) PL-Grid Aplikacja Klastry Komputery dużej mocy Repozytoria danych Krajowa sieć komputerowa PIONIER Grid Dziedzinowy Zaawansowane Platformy Usługowe

Elementy i Funkcjonalność Oprogramowanie PL-Grid będzie obejmować: narzędzia użytkownika portale, systemy zarządzania i monitorowania aplikacji, systemy wizualizacji wyników i inne zgodne z używanym w Projekcie oprogramowaniem niższych warstw; biblioteki programistyczne; systemy wirtualnych organizacji: podsystemy certyfikatów i kont, rozliczanie wykorzystania zasobów, podsystem bezpieczeństwa; systemy zarządzania danymi: katalogi metadanych, zarządzanie replikami, transfer plików; systemy zarządzania zasobami: zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami. Warstwa dostępowa tworzenia aplikacji Usługi gridowe Zasoby System wirtualnych organizacji i bezpieczeństwa Podstawowe usługi gridowe LCG/gLite (EGEE) UNICORE (DEISA) Inne systemy gridowe Rozproszone repozytoria danych Krajowa sieć komputerowa Rozproszone zasoby obliczeniowe Użytkownicy Portale gridowe, narzędzia programistyczne W obrębie Projektu będą funkcjonować 3 rodzaje infrastruktury: produkcyjna, badawcza, deweloperska/testowa.

Planowana realizacja celów Projekt PL-Grid jest podzielony na kilka zadań Główne wskaźniki projektu: Moc obliczeniowa: 215 Tflops Pamięć dyskowa: 2500 TB

Centrum Operacyjne: Zadania Koordynacja działań operacyjnych Zarządzanie i rozliczanie wykorzystania zasobów Współpraca z EGI i DEISA (obliczenia HPC i klastrowe) Analiza wymagań użytkowników dotyczących działania infrastruktury Uruchomienie infrastruktury: Produkcyjnej Deweloperskiej Badawczej Do rozważenia w przyszłości: Chmury obliczeniowe Chmury danych Chmury wewnętrzne i zewnętrzne Aspekty wirtualizacji Zespół EGI Middleware EGI produkcyjny Middleware EGI testowy

Centrum Operacyjne: Rezultaty PL-Grid VO (vo.plgrid.pl) w pełni działająca Wirtualne zasoby produkcyjne dla użytkowników PL-Grid w 4 centrach (Gdańsk, Kraków, Poznań, Wrocław) Gotowe narzędzia do monitorowania infrastruktury (wykrywania problemów) - oparte na Nagios i EGEE SAM Gotowe grupy wsparcia, narzędzia i procedury działań zgodne z EGEE/EGI - mające na celu osiągnięcie wysokiej dostępności zasobów Baza wiedzy dla problemów dotyczących działania infrastruktury Narzędzie śledzenia błędów – planowane do uruchomienia w listopadzie 2009 Portal rejestracji użytkowników uruchomiony Rozliczanie wykorzystania zasobów zintegrowane z EGEE PCSS WCSS To co widac na pierwszym slajdzie: mapka z ośrodkami - nic szczególnego, no ale jest. Widac, ze nie ma Warszawy.   Zielone prostokaty to widok z narzedzia monitorujacego http://gridmap.cern.ch/gm ktore sprawdza stan zasobow, mierzy ich wielkosc i w zaleznosci od tego rysuje proporcjonalny kwadrat w odpowiednim kolorze. Pokazany jest obszar w nomenklaturze EGEE "CentralEurope" do ktorego nalezy Polska. Mamy tam 4 osrodki (TASKU prawie nie widac bo ma udostepnione 8 CPU) na zielono. To, co jest wazne, to to, ze monitorowanie jest robione specyficznie dla PL-Grid VO, czyli zielony kwadrat oznacza, ze ten sajt jest w pelni funkcjonalny dla usera PL-Grid VO. To nie jest takie trywialne, bo jesli chce sie monitorowac w ramach PL-Grid VO to trzeba ustanowic cala infrastrukturę do tego, najpierw narzedzie do regularnego zlecania testow, Broker przez ktorego to pojdzie, zadbac o publikacje tych wynikow do centralnej bazy danych i zeby wszystkei narzedzia "widziały" PL-Grid VO. Niewiele VO ma takie "facility" - jestesmy jedną z nielicznych obok takich gigantów jak Atlas, LHCb, Alice i CMS. Biale kwadraty oznaczaja sajty na ktorych PL-Grid VO nie jest zasupportowana. Na samym dole jest tez tabelka prezentujaca availability i reliability Polskich sajtow tez wzgledem PL-Grid VO. Availability jest liczone tak: a = czas_kiedy_sajt_byl_dostepny/total_czas Na dostępność sajtu wpłwają: usterki wykryte przez monitoring oraz przestoje (planowe i nieplanowe). Jest to liczone miesięcznie. Reliability jset liczone tak jak availability z tym, ze czas planowych przestojow jest traktowany tak, jakby sajt byl dostępny. Cyfronet

Centrum Operacyjne: Plany Rejestracja Użytkowników – dalszy rozwój dostęp dla każdej osoby zarejestrowanej jako pracownik naukowy – www.opi.org.pl portal przygotowywany (uruchomienie planowane w końcu października 2009) dostęp do zasobów w oparciu o granty – przydzielanie praw do wykorzystania X CPUhours i TB przestrzeni dyskowej usługi dostępowe – sposób na dostęp do zasobów w konkretnym centrum obliczeniowym Infrastruktura Badawcza PL-Grid – “zasoby na żądanie” – umożliwia zgłaszanie żądań dotyczących użycia maszyn do różnych celów: Instalacja środowiska gridowego dla celów testowych i deweloperskich dla przeprowadzenia jakichkolwiek innych badań naukowych wymagających zasobów gridowych procedury są w trakcie tworzenia Umożliwienie dostępu do zasobów UNICORE pewna liczba maszyn dedykowanych dla UNICORE’a integracja UNICORE’a i gLite’a – przy wykorzystaniu tych samych zasobów

Rozwój oprogramowania i narzędzi: Rezultaty Programiści badawczy: 20+ Główne zespoły badawcze: 8 Zaangażowane centra obliczeniowe: 5 Dedykowane maszyny fizyczne i wirtualne: 30+ Testowane infrastruktury: EGEE, DEISA Nowe infrastruktury i rozszerzenia: QosCosGrid, GridSpace Obecne aplikacje będące w fazie integracji i procedur testowych: 10+ Obecne narzędzia użytkownika będące w fazie integracji i procedur testowych: 5+ Aktywna komunikacja z nowymi społecznościami użytkowników w Polsce: www.plgrid.pl/ankieta

Rozwój oprogramowania i narzędzi: Plany Bliższa współpraca ze społecznościami użytkowników i programistów reprezentujących różne dziedziny naukowe (w oparciu o wyniki uzyskane przy pomocy naszej ankiety) Adaptacja technik wirtualizacji polepszających użyteczność, odporność na uszkodzenia, tworzenie punktów kontrolnych i zarządzanie klastrami Webowe GUI oparte na Liferay i Vine Toolkit, umożliwiające dostęp do istniejących i rozszerzonych usług e-Infrastruktury Testy wydajnościowe różnych wielko-skalowych między-klastrowych aplikacji równoległych przy użyciu ko-alokacji i zaawansowanych technik rezerwacji Dalsza analiza rozwiązań dotyczących zarządzania gridem, monitorowania i bezpieczeństwa Wspólne repozytorium oprogramowania i zasady wdrażania Przykładowe usługi, narzędzia i aplikacje dostępne jako wirtualne skrzynki z różnymi konfiguracjami Główne punkty kontrolne i oś czasu: Jesteśmy tutaj VI 09 IX 09 IX 10 IV 11 I 12

Wsparcie użytkownika i szkolenia: Rezultaty i Plany Główne zadanie: Uruchomienie usługi „helpdesk”, przeprowadzanie szkoleń dla użytkowników i realizacja wsparcia dla użytkowników Pomoc przy efektywnym wykorzystaniu istniejącej infrastruktury, włącznie z wyborem aplikacji odpowiednich dla problemów użytkowników oraz uruchamianiem obliczeń na gridzie PL-Grid jest infrastrukturą zorientowaną na użytkownika; zespoły wsparcia i szkoleń będą ściśle współpracowały z użytkownikami Obecnie: Zespół wsparcia użytkowników został utworzony Rozpoczęło się już wewnętrzne szkolenie dla zespołu wsparcia Wybrano licencjonowane aplikacje, wymagane przez użytkowników, celem instalacji na infrastrukturze PL-Grid Przeprowadzone zostały pierwsze szkolenia dla użytkowników. Plany: Cykle szkoleń dla początkujących i zaawansowanych użytkowników gridu

Warstwa Bezpieczeństwa PL-Grid: Rezultaty Zdefiniowane wytyczne dotyczące bezpieczeństwa dla planowanej architektury Zdefiniowana polityka bezpieczeństwa dla instalacji lokalnych elementów infrastruktury Przegląd systemów zgłaszających incydenty, celem wybrania najbardziej odpowiedniego GGUS - Global Grid User Support RTIR - Request Tracking for Incident Response DIHS - Distributed Incident Handling System Architektura i prototyp systemu do bezpośredniego mapowania użytkowników i rozpowszechniania danych uwierzytelniających użytkownika.

Warstwa Bezpieczeństwa PL-Grid: Plany Ustanowienie NGI-wide CERT Zastosowanie polityk bezpieczeństwa do lokalnych instalacji infrastruktury Stworzenie i wdrożenie systemu monitorującego zgodność polityki bezpieczeństwa lokalnych instalacji infrastruktury sprawdzającego czy oprogramowanie (jądro, usługi) są aktualne sprawdzającego porty nasłuchowe, reguły systemów bezpieczeństwa monitorującego listy suid/sgid i integralność Stworzenie rozproszonego systemu korelacji alarmów zbudowanego ponad czujnikami sieciowymi i komputera-hosta.

(niektóre po lekkich modyfikacjach) Oprogramowanie Jaka aplikacja może być przystosowana do użytkowania w PL-Grid? Każda! (niektóre po lekkich modyfikacjach) Programy sekwencyjne – bez zmian Aplikacje równoległe (MPI) – bez zmian Programy interaktywne – wymagana zmiana w komunikacji z użytkownikiem Operacje na wielkich zbiorach danych – zmiana dostępu do danych Możliwość jednoczesnego uruchamiania kilkudziesięciu/kilkuset instancji danego programu ACK: M. Sterzel

Jak zostać użytkownikiem ? Każda osoba związana z polską nauką może korzystać z zasobów PL-Grid Aby zostać użytkownikiem należy zarejestrować się oraz uzyskać odpowiedni certyfikat Procedura rejestracji oraz dalsze informacje dostępne są na stronie: http://www.plgrid.pl Z chęcią odpowiemy na pytania: m.sterzel@cyfronet.pl Procedura rejestracji: email: plgrid-rejestracja@rt.grid.cyfronet.pl ACK: M. Sterzel

Podsumowanie: Działania Krótkoterminowe Utworzenie PL-Grid VO przy użyciu lokalnych zasobów Partnerów oraz zasobów EGEE Zapewnienie środków dla pokrycia kosztów działania Zapewnienie środków dla podtrzymania bieżącej współpracy międzynarodowej Długoterminowe – realizowane w sposób ciągły Wdrożenie oprogramowania i narzędzi Wsparcie użytkownika i szkolenia Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, SaaS….) Cloud Computing (wewnętrzne-zewnętrzne, chmury obliczeniowe, chmury danych) paradygmat SOA, wykorzystanie wiedzy … „Internet Przyszłości” w sposób zdefiniowany przez EC w Programie Roboczym

Podziękowania ACK Cyfronet AGH ICM PCSS WCSS TASK Kazimierz Wiatr Michał Turała Marian Bubak Tomasz Szepieniec Marcin Radecki Mariusz Sterzel Karol Krawentek Agnieszka Szymańska Andrzej Oziębło Tadeusz Szymocha Alex Kusznir Zofia Mosurska Teresa Ozga Aleksandra Mazur ICM Piotr Bała Maciej Filocha PCSS Norbert Meyer Krzysztof Kurowski Mirosław Kupczyk WCSS Józef Janyszek Bartłomiej Balcerek Paweł Dziekoński TASK Mścisław Nakonieczny Jarosław Rybicki Rafał Tylman

Dziękuję za uwagę Zapraszamy na stoisko Projektu PL-Grid http://plgrid.pl Dziękuję za uwagę Zapraszamy na stoisko Projektu PL-Grid