Jacek Kitowski i Łukasz Dutka ACK CYFRONET AGH, Kraków, Polska

Prezentacja na temat: "Jacek Kitowski i Łukasz Dutka ACK CYFRONET AGH, Kraków, Polska"— Zapis prezentacji:

1 Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej w ramach Projektu PL-Grid
Jacek Kitowski i Łukasz Dutka ACK CYFRONET AGH, Kraków, Polska Instytut Informatyki AGH-UST we współpracy z Partnerami Projektu PL-Grid I Konferencja i3: internet - infrastruktury - innowacje Poznań, 4-6 listopada, 2009

2 Podziękowania ACK Cyfronet AGH ICM PCSS WCSS TASK Kazimierz Wiatr
Michał Turała Marian Bubak Tomasz Szepieniec Marcin Radecki Mariusz Sterzel Karol Krawentek Agnieszka Szymańska Andrzej Oziębło Tadeusz Szymocha Alex Kusznir Zofia Mosurska Teresa Ozga Aleksandra Mazur ICM Piotr Bała Maciej Filocha PCSS Norbert Meyer Krzysztof Kurowski Mirosław Kupczyk WCSS Józef Janyszek Bartłomiej Balcerek Paweł Dziekoński TASK Mścisław Nakonieczny Jarosław Rybicki Rafał Tylman

3 Plan wystąpienia Narodowa Inicjatywa Gridowa w Polsce Motywacja
Uzasadnienie i Podstawy Stan Zaawansowania Projekt PL-Grid – Rezultaty Podsumowanie Podejście e-Science do badań naukowych Działania integracyjne zachodzące w świecie

4 Oczekiwania ze strony Środowisk Naukowych
E-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia – rozszerzenie paradygmatu Nauk Obliczeniowych Wielodyscyplinarne i międzynarodowe Wymagające postępów w zakresie informatyki i nauk obliczeniowych Cel: aby umożliwić badania naukowe wyższej jakości we wszystkich dziedzinach Nauka na poziomie systemowym: uwzględnienie wielu zjawisk, elementy komunikują się ze sobą i są od siebie zależne, eksperymenty in silico Aby generować, interpretować i analizować obszerne zasoby danych Pochodzące z eksperymentów, obserwacji i symulacji Przy wykorzystaniu zarządzania jakością, wysokiej niezawodności i dokumentowania Aby tworzyć i badać modele symulacyjne Obliczenia i dane wieloskalowe Wiarygodne, ekonomicznie uzasadnione, o istotnym znaczeniu Aby umożliwić dynamiczną, rozproszoną współpracę środowisk naukowych Przez współdzielenie wiedzy i zasobów Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności M. Atkinson, e-Science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-Science Centre UK I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007

5 Konsorcjum PL-Grid Konsorcjum składa się z pięciu polskich centrów obliczeniowych, reprezentujących środowiska naukowe Uczestnictwo w Międzynarodowych i Krajowych Projektach i we współpracy ~35 międzynarodowych projektów FP5, FP6, FP7 dotyczących Gridów (50% wspólnych) ~15 polskich projektów (50% wspólnych) Istniejące potrzeby polskich środowisk naukowych ~75% publikacji w pięciu środowiskach Nowoczesne zasoby obliczeniowe Lista Top500 Europejskie/światowe działania integracyjne EGEE I-III, EGI_DS, EGI, e-IRG, PRACE, DEISA, OMII, Eksperci w F3 EU: „Research Infrastructure”, Projekty Infrastrukturalne Narodowa Szerokopasmowa Infrastruktura Sieciowa dla wspomagania nauki (dzięki Narodowemu Projektowi Ponier) Porozumienie podpisane w styczniu 2007

6 European Grid Initiative (EGI) National Grid Initiative (NGI) PL-Grid
Projekt PL-Grid Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej European Grid Initiative (EGI) National Grid Initiative (NGI) PL-Grid Odpowiedź na potrzeby polskich naukowców i bieżących aktywności gridowych w Polsce, w innych krajach europejskich i na całym świecie Motywacja Podejście E-Science do badań naukowych Działająca inicjatywa EGI we współpracy z NGIs Projekt PL-Grid ( ) Wystąpienie o dofinansowanie w ramach Programu Operacyjnego Innowacyjna Gospodarka, Działanie 2.3 (we wrześniu 2008) Decyzja o przyznaniu finansowania – 2 marca 2009 (w ramach Europejskich Funduszy Strukturalnych)

7 Infrastruktura gridowa (usługi gridowe) PL-Grid
Założenia Projektu W ramach Polskiego Gridu tworzona jest wspólna bazowa infrastruktura – podobnie do rozwiązań zastosowanych w innych krajach. Dziedzinowe systemy gridowe – włącznie z usługami i narzędziami zorientowanymi na specyficzne typy aplikacji – będą konstruowane na tej infrastrukturze. Dziedzinowe systemy gridowe mogą być później rozwijane i zarządzane w ramach odrębnych projektów. Efektywne wykorzystanie dostępnych środków finansowych. Stworzenie infrastruktury gridowej w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym. Plany umożliwienia obliczeń HPC i klastrowych. Infrastruktura gridowa (usługi gridowe) PL-Grid Aplikacja Klastry Komputery dużej mocy Repozytoria danych Krajowa sieć komputerowa PIONIER Grid Dziedzinowy Zaawansowane Platformy Usługowe

8 Elementy i Funkcjonalność
Oprogramowanie PL-Grid będzie obejmować: narzędzia użytkownika portale, systemy zarządzania i monitorowania aplikacji, systemy wizualizacji wyników i inne zgodne z używanym w Projekcie oprogramowaniem niższych warstw; biblioteki programistyczne; systemy wirtualnych organizacji: podsystemy certyfikatów i kont, rozliczanie wykorzystania zasobów, podsystem bezpieczeństwa; systemy zarządzania danymi: katalogi metadanych, zarządzanie replikami, transfer plików; systemy zarządzania zasobami: zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami. Warstwa dostępowa tworzenia aplikacji Usługi gridowe Zasoby System wirtualnych organizacji i bezpieczeństwa Podstawowe usługi gridowe LCG/gLite (EGEE) UNICORE (DEISA) Inne systemy gridowe Rozproszone repozytoria danych Krajowa sieć komputerowa Rozproszone zasoby obliczeniowe Użytkownicy Portale gridowe, narzędzia programistyczne W obrębie Projektu będą funkcjonować 3 rodzaje infrastruktury: produkcyjna, badawcza, deweloperska/testowa.

9 Planowana realizacja celów
Projekt PL-Grid jest podzielony na kilka zadań Główne wskaźniki projektu: Moc obliczeniowa: 215 Tflops Pamięć dyskowa: 2500 TB

10 Centrum Operacyjne: Zadania
Koordynacja działań operacyjnych Zarządzanie i rozliczanie wykorzystania zasobów Współpraca z EGI i DEISA (obliczenia HPC i klastrowe) Analiza wymagań użytkowników dotyczących działania infrastruktury Uruchomienie infrastruktury: Produkcyjnej Deweloperskiej Badawczej Do rozważenia w przyszłości: Chmury obliczeniowe Chmury danych Chmury wewnętrzne i zewnętrzne Aspekty wirtualizacji Zespół EGI Middleware EGI produkcyjny Middleware EGI testowy

11 Centrum Operacyjne: Rezultaty
PL-Grid VO (vo.plgrid.pl) w pełni działająca Wirtualne zasoby produkcyjne dla użytkowników PL-Grid w 4 centrach (Gdańsk, Kraków, Poznań, Wrocław) Gotowe narzędzia do monitorowania infrastruktury (wykrywania problemów) - oparte na Nagios i EGEE SAM Gotowe grupy wsparcia, narzędzia i procedury działań zgodne z EGEE/EGI - mające na celu osiągnięcie wysokiej dostępności zasobów Baza wiedzy dla problemów dotyczących działania infrastruktury Narzędzie śledzenia błędów – planowane do uruchomienia w listopadzie 2009 Tymczasowa procedura rejestracji użytkowników Portal rejestracji użytkowników w przygotowaniu (pierwszy prototyp planowany do uruchomienia w w końcu października 2009) Rozliczanie wykorzystania zasobów zintegrowane z EGEE PCSS WCSS To co widac na pierwszym slajdzie: mapka z ośrodkami - nic szczególnego, no ale jest. Widac, ze nie ma Warszawy. Zielone prostokaty to widok z narzedzia monitorujacego ktore sprawdza stan zasobow, mierzy ich wielkosc i w zaleznosci od tego rysuje proporcjonalny kwadrat w odpowiednim kolorze. Pokazany jest obszar w nomenklaturze EGEE "CentralEurope" do ktorego nalezy Polska. Mamy tam 4 osrodki (TASKU prawie nie widac bo ma udostepnione 8 CPU) na zielono. To, co jest wazne, to to, ze monitorowanie jest robione specyficznie dla PL-Grid VO, czyli zielony kwadrat oznacza, ze ten sajt jest w pelni funkcjonalny dla usera PL-Grid VO. To nie jest takie trywialne, bo jesli chce sie monitorowac w ramach PL-Grid VO to trzeba ustanowic cala infrastrukturę do tego, najpierw narzedzie do regularnego zlecania testow, Broker przez ktorego to pojdzie, zadbac o publikacje tych wynikow do centralnej bazy danych i zeby wszystkei narzedzia "widziały" PL-Grid VO. Niewiele VO ma takie "facility" - jestesmy jedną z nielicznych obok takich gigantów jak Atlas, LHCb, Alice i CMS. Biale kwadraty oznaczaja sajty na ktorych PL-Grid VO nie jest zasupportowana. Na samym dole jest tez tabelka prezentujaca availability i reliability Polskich sajtow tez wzgledem PL-Grid VO. Availability jest liczone tak: a = czas_kiedy_sajt_byl_dostepny/total_czas Na dostępność sajtu wpłwają: usterki wykryte przez monitoring oraz przestoje (planowe i nieplanowe). Jest to liczone miesięcznie. Reliability jset liczone tak jak availability z tym, ze czas planowych przestojow jest traktowany tak, jakby sajt byl dostępny. Cyfronet

12 Centrum Operacyjne: Plany
Rejestracja Użytkowników dostęp dla każdej osoby zarejestrowanej jako pracownik naukowy – portal przygotowywany (uruchomienie planowane w końcu października 2009) dostęp do zasobów w oparciu o granty – przydzielanie praw do wykorzystania X CPUhours i TB przestrzeni dyskowej usługi dostępowe – sposób na dostęp do zasobów w konkretnym centrum obliczeniowym Infrastruktura Badawcza PL-Grid – “zasoby na żądanie” – umożliwia zgłaszanie żądań dotyczących użycia maszyn do różnych celów: aby zainstalować grid middleware dla celów testowych dla programistów – aby zbudować środowisko testowe dla przeprowadzenia jakichkolwiek innych badań naukowych wymagających zasobów gridowych procedury są w trakcie tworzenia Umożliwienie dostępu do zasobów UNICORE niewielka liczba maszyn dedykowanych dla UNICORE’a integracja UNICORE’a i gLite’a – przy wykorzystaniu tych samych zasobów

13 Rozwój oprogramowania i narzędzi: Rezultaty
Programiści badawczy: 20+ Główne zespoły badawcze: 8 Zaangażowane centra obliczeniowe: 5 Dedykowane maszyny fizyczne i wirtualne: 30+ Testowane infrastruktury: EGEE, DEISA Nowe infrastruktury i rozszerzenia: QosCosGrid, GridSpace Obecne aplikacje będące w fazie integracji i procedur testowych: 10+ Obecne narzędzia użytkownika będące w fazie integracji i procedur testowych: 5+ Aktywna komunikacja z nowymi społecznościami użytkowników w Polsce:

14 Rozwój oprogramowania i narzędzi: Plany
Bliższa współpraca ze społecznościami użytkowników i programistów reprezentujących różne dziedziny naukowe (w oparciu o wyniki uzyskane przy pomocy naszej ankiety) Adaptacja technik wirtualizacji polepszających użyteczność, odporność na uszkodzenia, tworzenie punktów kontrolnych i zarządzanie klastrami Webowe GUI oparte na Liferay i Vine Toolkit, umożliwiające dostęp do istniejących i rozszerzonych usług e-Infrastruktury Testy wydajnościowe różnych wielko-skalowych między-klastrowych aplikacji równoległych przy użyciu ko-alokacji i zaawansowanych technik rezerwacji Dalsza analiza rozwiązań dotyczących zarządzania gridem, monitorowania i bezpieczeństwa Wspólne repozytorium oprogramowania i zasady wdrażania Przykładowe usługi, narzędzia i aplikacje dostępne jako wirtualne skrzynki z różnymi konfiguracjami Główne punkty kontrolne i oś czasu: Jesteśmy tutaj VI 09 IX 09 IX 10 IV 11 I 12

15 Wsparcie użytkownika i szkolenia: Rezultaty i Plany
Główne zadanie: Uruchomienie usługi „helpdesk”, przeprowadzanie szkoleń dla użytkowników i realizacja wsparcia dla użytkowników Pomoc przy efektywnym wykorzystaniu istniejącej infrastruktury, włącznie z wyborem aplikacji odpowiednich dla problemów użytkowników oraz uruchamianiem obliczeń na gridzie PL-Grid jest infrastrukturą zorientowaną na użytkownika; zespoły wsparcia i szkoleń będą ściśle współpracowały z użytkownikami Obecnie: Zespół wsparcia użytkowników został utworzony Rozpoczęło się już wewnętrzne szkolenie dla zespołu wsparcia Wybrano licencjonowane aplikacje, wymagane przez użytkowników, celem instalacji na infrastrukturze PL-Grid Przeprowadzone zostało pierwsze szkolenie dla użytkowników. Plany: Cykle szkoleń dla początkujących i zaawansowanych użytkowników gridu

16 Warstwa Bezpieczeństwa PL-Grid: Rezultaty
Zdefiniowane wytyczne dotyczące bezpieczeństwa dla planowanej architektury Zdefiniowana polityka bezpieczeństwa dla instalacji lokalnych elementów infrastruktury Przegląd systemów zgłaszających incydenty, celem wybrania najbardziej odpowiedniego GGUS - Global Grid User Support RTIR - Request Tracking for Incident Response DIHS - Distributed Incident Handling System Architektura i prototyp systemu do bezpośredniego mapowania użytkowników i rozpowszechniania danych uwierzytelniających użytkownika.

17 Warstwa Bezpieczeństwa PL-Grid: Plany
Ustanowienie NGI-wide CERT Zastosowanie polityk bezpieczeństwa do lokalnych instalacji infrastruktury Stworzenie i wdrożenie systemu monitorującego zgodność polityki bezpieczeństwa lokalnych instalacji infrastruktury sprawdzającego czy oprogramowanie (jądro, usługi) są aktualne sprawdzającego porty nasłuchowe, reguły systemów bezpieczeństwa monitorującego listy suid/sgid i integralność Stworzenie rozproszonego systemu korelacji alarmów zbudowanego ponad czujnikami sieciowymi i komputera-hosta.

18 Podsumowanie: Działania
Krótkoterminowe Utworzenie PL-Grid VO przy użyciu lokalnych zasobów Partnerów oraz zasobów EGEE Zapewnienie środków dla pokrycia kosztów działania Zapewnienie środków dla podtrzymania bieżącej współpracy międzynarodowej Długoterminowe – realizowane w sposób ciągły Wdrożenie oprogramowania i narzędzi Wsparcie użytkownika i szkolenia Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, SaaS….) Cloud Computing (wewnętrzne-zewnętrzne, chmury obliczeniowe, chmury danych) paradygmat SOA, wykorzystanie wiedzy … „Internet Przyszłości” w sposób zdefiniowany przez EC w Programie Roboczym

19 Dziękuję za uwagę Zapraszamy na stoisko Projektu PL-Grid
Dziękuję za uwagę Zapraszamy na stoisko Projektu PL-Grid