Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Rozwój Polskiej Infrastruktury Gridowej w ramach Projektu.

Podobne prezentacje


Prezentacja na temat: "Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Rozwój Polskiej Infrastruktury Gridowej w ramach Projektu."— Zapis prezentacji:

1 Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Rozwój Polskiej Infrastruktury Gridowej w ramach Projektu PL-Grid Jacek Kitowski i Łukasz Dutka ACK CYFRONET AGH, Kraków, Polska Instytut Informatyki AGH-UST we współpracy z Partnerami Projektu PL-Grid Dzień Otwarty ACK CYFRONET AGH

2 Narodowa Inicjatywa Gridowa w Polsce Motywacja – e-Science, Science 2.0 Uzasadnienie i Podstawy Stan Zaawansowania Projekt PL-Grid – Rezultaty Podsumowanie Plan wystąpienia Działania integracyjne zachodzące w Europie w ramach European Grid Initiative

3 Badania naukowe: Teoretyczne Doświadczalne W komputerze W komputerze (in silico) Zaawansowane, rozproszone obliczenia Wieloskalowe i wielodyscyplinarne Odnoszą się do zjawisk o ekstremalnych skalach czasowo-przestrzennych Wymagające postępów w zakresie informatyki i nauk obliczeniowych Realizowane przez międzynarodowe zespoły badawcze we współpracy Podejscie e-Science

4 Science ACK: David de Roure,

5 Oczekiwania ze strony środowisk naukowych 5 ACK: F. Gagliardi Zasoby – Usługi Obliczeniowe Dane Infrastruktura

6 Czym jest Grid? Grid to: pomysł na połączenie rozproszonych zasobów administrowanych lokalnie widzianych przez użytkownika jako jedna wirtualna maszyna umożliwiająca dostęp do zasobów z każdego punktu na świecie Zasoby są dzielone wśród użytkowników zrzeszonych w ramach wirtualnych organizacji determinujących automatycznie rodzaj zasobów i warunki pod jakimi możliwy jest dostęp do nich Typowy wzór – sieć elektryczna: 6 ACK: M. Sterzel

7 EGEE 7 Mariusz Sterzel CGW'08 Kraków, 13 October EGEE Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences … >250 sites 48 countries >100,000 CPUs >30 PetaBytes >10,000 users >150 VOs >150,000 jobs/day

8 Konsorcjum składa się z pięciu polskich centrów obliczeniowych, reprezentujących środowiska naukowe, koordynowane przez ACK Cyfronet AGH Uczestnictwo w Międzynarodowych i Krajowych Projektach i we współpracy ~35 międzynarodowych projektów FP5, FP6, FP7 dotyczących Gridów (50% wspólnych) ~15 polskich projektów (50% wspólnych) Istniejące potrzeby polskich środowisk naukowych ~75% publikacji w pięciu środowiskach Nowoczesne zasoby obliczeniowe Lista Top500 Europejskie/światowe działania integracyjne EGEE I-III, EGI_DS, EGI, e-IRG, PRACE, DEISA, OMII, Eksperci w F3 EU: Research Infrastructure, Projekty Infrastrukturalne Narodowa Szerokopasmowa Infrastruktura Sieciowa dla wspomagania nauki (dzięki Narodowemu Projektowi Ponier) Porozumienie podpisane w styczniu 2007 Konsorcjum PL-Grid GEANT2

9 Zasoby Obliczeniowe Partnerów TOP500 – Listopad 2008

10 Projekt PL-Grid Motywacja Podejście E-Science do badań naukowych Działająca inicjatywa EGI w Europie (http://web.eu-egi.eu, biuro w Amsterdamie)http://web.eu-egi.eu Cel: utworzenie trwałej e-infrastruktury gridowej w Europie Bazującej na NGIs Projekt PL-Grid ( ) Wystąpienie o dofinansowanie w ramach Programu Operacyjnego Innowacyjna Gospodarka, Działanie 2.3 (we wrześniu 2008) Decyzja o przyznaniu finansowania – 2 marca 2009 (w ramach Europejskich Funduszy Strukturalnych) Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej European Grid Initiative (EGI) National Grid Initiative (NGI) PL-Grid Odpowiedź na potrzeby polskich naukowców i bieżących aktywności gridowych w Polsce, w innych krajach europejskich i na całym świecie

11 Infrastruktura gridowa (usługi gridowe) PL-Grid Aplikacja Klastry Komputery dużej mocy Repozytoria danych Krajowa sieć komputerowa PIONIER Grid Dziedzino wy Zaawansowane Platformy Usługowe Grid Dziedzino wy W ramach Polskiego Gridu tworzona jest wspólna bazowa infrastruktura – w pełni kompatybilna i interoperabilna z gridem europejskim i światowym. Dziedzinowe systemy gridowe – usługi narzędzia zorientowane na specyficzne typy aplikacji Efektywne wykorzystanie dostępnych środków finansowych. Plany umożliwienia obliczeń HPC i klastrowych. Oferta dla Użytkowników Moc obliczeniowa 215 Tflop/s Pamięć dyskowa 2500 TB Zestaw zaawansowanych narzędzi do organizacji eksperymentów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Założenia Projektu

12 Elementy i Funkcjonalność Oprogramowanie PL-Grid będzie obejmować: narzędzia użytkownika portale, systemy zarządzania i monitorowania aplikacji, systemy wizualizacji wyników i inne zgodne z używanym w Projekcie oprogramowaniem niższych warstw; biblioteki programistyczne; systemy wirtualnych organizacji: podsystemy certyfikatów i kont, rozliczanie wykorzystania zasobów, podsystem bezpieczeństwa; systemy zarządzania danymi: katalogi metadanych, zarządzanie replikami, transfer plików; systemy zarządzania zasobami: zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami. W obrębie Projektu będą funkcjonować 3 rodzaje infrastruktury: produkcyjna, badawcza, deweloperska/testowa. Warstwa dostępowa tworzenia aplikacji Usługigridowe Zasobygridowe System wirtualnych organizacji i bezpieczeństwa Podstawowe usługi gridowe LCG/gLite (EGEE) UNICORE (DEISA) Inne systemy gridowe Rozproszone repozytoria danych Krajowa sieć komputerowa Rozproszone zasoby obliczeniowe Użytkownicy Portale gridowe, narzędzia programistyczne

13 Projekt PL-Grid jest podzielony na kilka zadań Planowana realizacja celów Główne wskaźniki projektu: Moc obliczeniowa: 215 Tflops Pamięć dyskowa: 2500 TB

14 Centrum Operacyjne: Zadania Zespół EGI Middleware EGI testowy Middleware EGI produkcyjny Koordynacja działań operacyjnych Zarządzanie i rozliczanie wykorzystania zasobów Współpraca z EGI i DEISA (obliczenia HPC i klastrowe) Analiza wymagań użytkowników dotyczących działania infrastruktury Uruchomienie infrastruktury: Produkcyjnej Deweloperskiej Badawczej Do rozważenia w przyszłości: Chmury obliczeniowe Chmury danych Chmury wewnętrzne i zewnętrzne Aspekty wirtualizacji

15 Centrum Operacyjne: Rezultaty PL-Grid VO (vo.plgrid.pl) w pełni działająca Wirtualne zasoby produkcyjne dla użytkowników PL-Grid w 4 centrach (Gdańsk, Kraków, Poznań, Wrocław) Gotowe narzędzia do monitorowania infrastruktury (wykrywania problemów) - oparte na Nagios i EGEE SAM Gotowe grupy wsparcia, narzędzia i procedury działań zgodne z EGEE/EGI - mające na celu osiągnięcie wysokiej dostępności zasobów Baza wiedzy dla problemów dotyczących działania infrastruktury Narzędzie śledzenia błędów – planowane do uruchomienia w listopadzie 2009 Portal rejestracji użytkowników uruchomiony Rozliczanie wykorzystania zasobów zintegrowane z EGEE PCSS Cyfronet WCSS

16 Centrum Operacyjne: Plany Rejestracja Użytkowników – dalszy rozwój – dostęp dla każdej osoby zarejestrowanej jako pracownik naukowy – – portal przygotowywany (uruchomienie planowane w końcu października 2009) – dostęp do zasobów w oparciu o granty – przydzielanie praw do wykorzystania X CPUhours i TB przestrzeni dyskowej usługi dostępowe – sposób na dostęp do zasobów w konkretnym centrum obliczeniowym Infrastruktura Badawcza PL-Grid – zasoby na żądanie – umożliwia zgłaszanie żądań dotyczących użycia maszyn do różnych celów: – Instalacja środowiska gridowego dla celów testowych i deweloperskich – dla przeprowadzenia jakichkolwiek innych badań naukowych wymagających zasobów gridowych – procedury są w trakcie tworzenia Umożliwienie dostępu do zasobów UNICORE – pewna liczba maszyn dedykowanych dla UNICOREa – integracja UNICOREa i gLitea – przy wykorzystaniu tych samych zasobów

17 Rozwój oprogramowania i narzędzi: Rezultaty Programiści badawczy: 20+ Główne zespoły badawcze: 8 Zaangażowane centra obliczeniowe: 5 Dedykowane maszyny fizyczne i wirtualne: 30+ Testowane infrastruktury: EGEE, DEISA Nowe infrastruktury i rozszerzenia: QosCosGrid, GridSpace Obecne aplikacje będące w fazie integracji i procedur testowych: 10+ Obecne narzędzia użytkownika będące w fazie integracji i procedur testowych: 5+ Aktywna komunikacja z nowymi społecznościami użytkowników w Polsce:

18 Rozwój oprogramowania i narzędzi: Plany Bliższa współpraca ze społecznościami użytkowników i programistów reprezentujących różne dziedziny naukowe (w oparciu o wyniki uzyskane przy pomocy naszej ankiety) Adaptacja technik wirtualizacji polepszających użyteczność, odporność na uszkodzenia, tworzenie punktów kontrolnych i zarządzanie klastrami Webowe GUI oparte na Liferay i Vine Toolkit, umożliwiające dostęp do istniejących i rozszerzonych usług e-Infrastruktury Testy wydajnościowe różnych wielko-skalowych między-klastrowych aplikacji równoległych przy użyciu ko-alokacji i zaawansowanych technik rezerwacji Dalsza analiza rozwiązań dotyczących zarządzania gridem, monitorowania i bezpieczeństwa Wspólne repozytorium oprogramowania i zasady wdrażania Przykładowe usługi, narzędzia i aplikacje dostępne jako wirtualne skrzynki z różnymi konfiguracjami Główne punkty kontrolne i oś czasu: IX 09VI 09IX 10IV 11I 12 Jesteśmy tutaj

19 Wsparcie użytkownika i szkolenia: Rezultaty i Plany Główne zadanie: Uruchomienie usługi helpdesk, przeprowadzanie szkoleń dla użytkowników i realizacja wsparcia dla użytkowników Pomoc przy efektywnym wykorzystaniu istniejącej infrastruktury, włącznie z wyborem aplikacji odpowiednich dla problemów użytkowników oraz uruchamianiem obliczeń na gridzie PL-Grid jest infrastrukturą zorientowaną na użytkownika; zespoły wsparcia i szkoleń będą ściśle współpracowały z użytkownikami Obecnie: Zespół wsparcia użytkowników został utworzony Rozpoczęło się już wewnętrzne szkolenie dla zespołu wsparcia Wybrano licencjonowane aplikacje, wymagane przez użytkowników, celem instalacji na infrastrukturze PL-Grid Przeprowadzone zostały pierwsze szkolenia dla użytkowników. Plany: Cykle szkoleń dla początkujących i zaawansowanych użytkowników gridu

20 Warstwa Bezpieczeństwa PL-Grid: Rezultaty Warstwa Bezpieczeństwa PL-Grid: Rezultaty Zdefiniowane wytyczne dotyczące bezpieczeństwa dla planowanej architektury Zdefiniowana polityka bezpieczeństwa dla instalacji lokalnych elementów infrastruktury Przegląd systemów zgłaszających incydenty, celem wybrania najbardziej odpowiedniego GGUS - Global Grid User Support RTIR - Request Tracking for Incident Response DIHS - Distributed Incident Handling System Architektura i prototyp systemu do bezpośredniego mapowania użytkowników i rozpowszechniania danych uwierzytelniających użytkownika.

21 Warstwa Bezpieczeństwa PL-Grid: Plany Ustanowienie NGI-wide CERT Zastosowanie polityk bezpieczeństwa do lokalnych instalacji infrastruktury Stworzenie i wdrożenie systemu monitorującego zgodność polityki bezpieczeństwa lokalnych instalacji infrastruktury sprawdzającego czy oprogramowanie (jądro, usługi) są aktualne sprawdzającego porty nasłuchowe, reguły systemów bezpieczeństwa monitorującego listy suid/sgid i integralność Stworzenie rozproszonego systemu korelacji alarmów zbudowanego ponad czujnikami sieciowymi i komputera-hosta.

22 Jaka aplikacja może być przystosowana do użytkowania w PL-Grid? Każda! (niektóre po lekkich modyfikacjach) Programy sekwencyjne – bez zmian Aplikacje równoległe (MPI) – bez zmian Programy interaktywne – wymagana zmiana w komunikacji z użytkownikiem Operacje na wielkich zbiorach danych – zmiana dostępu do danych Możliwość jednoczesnego uruchamiania kilkudziesięciu/kilkuset instancji danego programu 22 Oprogramowanie ACK: M. Sterzel

23 Jak zostać użytkownikiem ? Każda osoba związana z polską nauką może korzystać z zasobów PL-Grid Aby zostać użytkownikiem należy zarejestrować się oraz uzyskać odpowiedni certyfikat Procedura rejestracji oraz dalsze informacje dostępne są na stronie: Z chęcią odpowiemy na pytania: Procedura rejestracji: 23 ACK: M. Sterzel

24 Podsumowanie: Działania Krótkoterminowe Utworzenie PL-Grid VO przy użyciu lokalnych zasobów Partnerów oraz zasobów EGEE Zapewnienie środków dla pokrycia kosztów działania Zapewnienie środków dla podtrzymania bieżącej współpracy międzynarodowej Długoterminowe – realizowane w sposób ciągły Wdrożenie oprogramowania i narzędzi Wsparcie użytkownika i szkolenia Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, SaaS….) Cloud Computing (wewnętrzne-zewnętrzne, chmury obliczeniowe, chmury danych) paradygmat SOA, wykorzystanie wiedzy … Internet Przyszłości w sposób zdefiniowany przez EC w Programie Roboczym

25 Podziękowania ACK Cyfronet AGH Kazimierz Wiatr Michał Turała Marian Bubak Tomasz Szepieniec Marcin Radecki Mariusz Sterzel Karol Krawentek Agnieszka Szymańska Andrzej Oziębło Tadeusz Szymocha Alex Kusznir Zofia Mosurska Teresa Ozga Aleksandra Mazur ICM Piotr Bała Maciej Filocha PCSS Norbert Meyer Krzysztof Kurowski Mirosław Kupczyk WCSS Józef Janyszek Bartłomiej Balcerek Paweł Dziekoński TASK Mścisław Nakonieczny Jarosław Rybicki Rafał Tylman 25

26


Pobierz ppt "Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Rozwój Polskiej Infrastruktury Gridowej w ramach Projektu."

Podobne prezentacje


Reklamy Google