Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej.

Podobne prezentacje


Prezentacja na temat: "Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej."— Zapis prezentacji:

1 Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej w ramach Projektu PL-Grid Jacek Kitowski i Łukasz Dutka ACK CYFRONET AGH, Kraków, Polska Instytut Informatyki AGH-UST we współpracy z Partnerami Projektu PL-Grid I Konferencja i3: internet - infrastruktury - innowacje Poznań, 4-6 listopada, 2009

2 Podziękowania ACK Cyfronet AGH Kazimierz Wiatr Michał Turała Marian Bubak Tomasz Szepieniec Marcin Radecki Mariusz Sterzel Karol Krawentek Agnieszka Szymańska Andrzej Oziębło Tadeusz Szymocha Alex Kusznir Zofia Mosurska Teresa Ozga Aleksandra Mazur ICM Piotr Bała Maciej Filocha PCSS Norbert Meyer Krzysztof Kurowski Mirosław Kupczyk WCSS Józef Janyszek Bartłomiej Balcerek Paweł Dziekoński TASK Mścisław Nakonieczny Jarosław Rybicki Rafał Tylman 2

3 Narodowa Inicjatywa Gridowa w Polsce Motywacja Uzasadnienie i Podstawy Stan Zaawansowania Projekt PL-Grid – Rezultaty Podsumowanie Plan wystąpienia Podejście e-Science do badań naukowych Działania integracyjne zachodzące w świecie

4 Oczekiwania ze strony Środowisk Naukowych E-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia – rozszerzenie paradygmatu Nauk Obliczeniowych Wielodyscyplinarne i międzynarodowe Wymagające postępów w zakresie informatyki i nauk obliczeniowych Cel: aby umożliwić badania naukowe wyższej jakości we wszystkich dziedzinach Nauka na poziomie systemowym: uwzględnienie wielu zjawisk, elementy komunikują się ze sobą i są od siebie zależne, eksperymenty in silico Aby generować, interpretować i analizować obszerne zasoby danych Pochodzące z eksperymentów, obserwacji i symulacji Przy wykorzystaniu zarządzania jakością, wysokiej niezawodności i dokumentowania Aby tworzyć i badać modele symulacyjne Obliczenia i dane wieloskalowe Wiarygodne, ekonomicznie uzasadnione, o istotnym znaczeniu Aby umożliwić dynamiczną, rozproszoną współpracę środowisk naukowych Przez współdzielenie wiedzy i zasobów Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności M. Atkinson, e-Science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-Science Centre UK I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007

5 Konsorcjum składa się z pięciu polskich centrów obliczeniowych, reprezentujących środowiska naukowe Uczestnictwo w Międzynarodowych i Krajowych Projektach i we współpracy ~35 międzynarodowych projektów FP5, FP6, FP7 dotyczących Gridów (50% wspólnych) ~15 polskich projektów (50% wspólnych) Istniejące potrzeby polskich środowisk naukowych ~75% publikacji w pięciu środowiskach Nowoczesne zasoby obliczeniowe Lista Top500 Europejskie/światowe działania integracyjne EGEE I-III, EGI_DS, EGI, e-IRG, PRACE, DEISA, OMII, Eksperci w F3 EU: Research Infrastructure, Projekty Infrastrukturalne Narodowa Szerokopasmowa Infrastruktura Sieciowa dla wspomagania nauki (dzięki Narodowemu Projektowi Ponier) Porozumienie podpisane w styczniu 2007 Konsorcjum PL-Grid

6 Projekt PL-Grid Motywacja Podejście E-Science do badań naukowych Działająca inicjatywa EGI we współpracy z NGIs Projekt PL-Grid ( ) Wystąpienie o dofinansowanie w ramach Programu Operacyjnego Innowacyjna Gospodarka, Działanie 2.3 (we wrześniu 2008) Decyzja o przyznaniu finansowania – 2 marca 2009 (w ramach Europejskich Funduszy Strukturalnych) Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej European Grid Initiative (EGI) National Grid Initiative (NGI) PL-Grid Odpowiedź na potrzeby polskich naukowców i bieżących aktywności gridowych w Polsce, w innych krajach europejskich i na całym świecie

7 Infrastruktura gridowa (usługi gridowe) PL-Grid Aplikacja Klastry Komputery dużej mocy Repozytoria danych Krajowa sieć komputerowa PIONIER Grid Dziedzino wy Zaawansowane Platformy Usługowe Grid Dziedzino wy W ramach Polskiego Gridu tworzona jest wspólna bazowa infrastruktura – podobnie do rozwiązań zastosowanych w innych krajach. Dziedzinowe systemy gridowe – włącznie z usługami i narzędziami zorientowanymi na specyficzne typy aplikacji – będą konstruowane na tej infrastrukturze. Dziedzinowe systemy gridowe mogą być później rozwijane i zarządzane w ramach odrębnych projektów. Efektywne wykorzystanie dostępnych środków finansowych. Stworzenie infrastruktury gridowej w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym. Plany umożliwienia obliczeń HPC i klastrowych. Założenia Projektu

8 Elementy i Funkcjonalność Oprogramowanie PL-Grid będzie obejmować: narzędzia użytkownika portale, systemy zarządzania i monitorowania aplikacji, systemy wizualizacji wyników i inne zgodne z używanym w Projekcie oprogramowaniem niższych warstw; biblioteki programistyczne; systemy wirtualnych organizacji: podsystemy certyfikatów i kont, rozliczanie wykorzystania zasobów, podsystem bezpieczeństwa; systemy zarządzania danymi: katalogi metadanych, zarządzanie replikami, transfer plików; systemy zarządzania zasobami: zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami. W obrębie Projektu będą funkcjonować 3 rodzaje infrastruktury: produkcyjna, badawcza, deweloperska/testowa. Warstwa dostępowa tworzenia aplikacji Usługigridowe Zasobygridowe System wirtualnych organizacji i bezpieczeństwa Podstawowe usługi gridowe LCG/gLite (EGEE) UNICORE (DEISA) Inne systemy gridowe Rozproszone repozytoria danych Krajowa sieć komputerowa Rozproszone zasoby obliczeniowe Użytkownicy Portale gridowe, narzędzia programistyczne

9 Projekt PL-Grid jest podzielony na kilka zadań Planowana realizacja celów Główne wskaźniki projektu: Moc obliczeniowa: 215 Tflops Pamięć dyskowa: 2500 TB

10 Centrum Operacyjne: Zadania Zespół EGI Middleware EGI testowy Middleware EGI produkcyjny Koordynacja działań operacyjnych Zarządzanie i rozliczanie wykorzystania zasobów Współpraca z EGI i DEISA (obliczenia HPC i klastrowe) Analiza wymagań użytkowników dotyczących działania infrastruktury Uruchomienie infrastruktury: Produkcyjnej Deweloperskiej Badawczej Do rozważenia w przyszłości: Chmury obliczeniowe Chmury danych Chmury wewnętrzne i zewnętrzne Aspekty wirtualizacji

11 Centrum Operacyjne: Rezultaty PL-Grid VO (vo.plgrid.pl) w pełni działająca Wirtualne zasoby produkcyjne dla użytkowników PL-Grid w 4 centrach (Gdańsk, Kraków, Poznań, Wrocław) Gotowe narzędzia do monitorowania infrastruktury (wykrywania problemów) - oparte na Nagios i EGEE SAM Gotowe grupy wsparcia, narzędzia i procedury działań zgodne z EGEE/EGI - mające na celu osiągnięcie wysokiej dostępności zasobów Baza wiedzy dla problemów dotyczących działania infrastruktury Narzędzie śledzenia błędów – planowane do uruchomienia w listopadzie 2009 Tymczasowa procedura rejestracji użytkowników Portal rejestracji użytkowników w przygotowaniu (pierwszy prototyp planowany do uruchomienia w w końcu października 2009) Rozliczanie wykorzystania zasobów zintegrowane z EGEE PCSS Cyfronet WCSS

12 Centrum Operacyjne: Plany Rejestracja Użytkowników – dostęp dla każdej osoby zarejestrowanej jako pracownik naukowy – – portal przygotowywany (uruchomienie planowane w końcu października 2009) – dostęp do zasobów w oparciu o granty – przydzielanie praw do wykorzystania X CPUhours i TB przestrzeni dyskowej usługi dostępowe – sposób na dostęp do zasobów w konkretnym centrum obliczeniowym Infrastruktura Badawcza PL-Grid – zasoby na żądanie – umożliwia zgłaszanie żądań dotyczących użycia maszyn do różnych celów: – aby zainstalować grid middleware dla celów testowych – dla programistów – aby zbudować środowisko testowe – dla przeprowadzenia jakichkolwiek innych badań naukowych wymagających zasobów gridowych – procedury są w trakcie tworzenia Umożliwienie dostępu do zasobów UNICORE – niewielka liczba maszyn dedykowanych dla UNICOREa – integracja UNICOREa i gLitea – przy wykorzystaniu tych samych zasobów

13 Rozwój oprogramowania i narzędzi: Rezultaty Programiści badawczy: 20+ Główne zespoły badawcze: 8 Zaangażowane centra obliczeniowe: 5 Dedykowane maszyny fizyczne i wirtualne: 30+ Testowane infrastruktury: EGEE, DEISA Nowe infrastruktury i rozszerzenia: QosCosGrid, GridSpace Obecne aplikacje będące w fazie integracji i procedur testowych: 10+ Obecne narzędzia użytkownika będące w fazie integracji i procedur testowych: 5+ Aktywna komunikacja z nowymi społecznościami użytkowników w Polsce:

14 Rozwój oprogramowania i narzędzi: Plany Bliższa współpraca ze społecznościami użytkowników i programistów reprezentujących różne dziedziny naukowe (w oparciu o wyniki uzyskane przy pomocy naszej ankiety) Adaptacja technik wirtualizacji polepszających użyteczność, odporność na uszkodzenia, tworzenie punktów kontrolnych i zarządzanie klastrami Webowe GUI oparte na Liferay i Vine Toolkit, umożliwiające dostęp do istniejących i rozszerzonych usług e-Infrastruktury Testy wydajnościowe różnych wielko-skalowych między-klastrowych aplikacji równoległych przy użyciu ko-alokacji i zaawansowanych technik rezerwacji Dalsza analiza rozwiązań dotyczących zarządzania gridem, monitorowania i bezpieczeństwa Wspólne repozytorium oprogramowania i zasady wdrażania Przykładowe usługi, narzędzia i aplikacje dostępne jako wirtualne skrzynki z różnymi konfiguracjami Główne punkty kontrolne i oś czasu: IX 09VI 09IX 10IV 11I 12 Jesteśmy tutaj

15 Wsparcie użytkownika i szkolenia: Rezultaty i Plany Główne zadanie: Uruchomienie usługi helpdesk, przeprowadzanie szkoleń dla użytkowników i realizacja wsparcia dla użytkowników Pomoc przy efektywnym wykorzystaniu istniejącej infrastruktury, włącznie z wyborem aplikacji odpowiednich dla problemów użytkowników oraz uruchamianiem obliczeń na gridzie PL-Grid jest infrastrukturą zorientowaną na użytkownika; zespoły wsparcia i szkoleń będą ściśle współpracowały z użytkownikami Obecnie: Zespół wsparcia użytkowników został utworzony Rozpoczęło się już wewnętrzne szkolenie dla zespołu wsparcia Wybrano licencjonowane aplikacje, wymagane przez użytkowników, celem instalacji na infrastrukturze PL-Grid Przeprowadzone zostało pierwsze szkolenie dla użytkowników. Plany: Cykle szkoleń dla początkujących i zaawansowanych użytkowników gridu

16 Warstwa Bezpieczeństwa PL-Grid: Rezultaty Warstwa Bezpieczeństwa PL-Grid: Rezultaty Zdefiniowane wytyczne dotyczące bezpieczeństwa dla planowanej architektury Zdefiniowana polityka bezpieczeństwa dla instalacji lokalnych elementów infrastruktury Przegląd systemów zgłaszających incydenty, celem wybrania najbardziej odpowiedniego GGUS - Global Grid User Support RTIR - Request Tracking for Incident Response DIHS - Distributed Incident Handling System Architektura i prototyp systemu do bezpośredniego mapowania użytkowników i rozpowszechniania danych uwierzytelniających użytkownika.

17 Warstwa Bezpieczeństwa PL-Grid: Plany Ustanowienie NGI-wide CERT Zastosowanie polityk bezpieczeństwa do lokalnych instalacji infrastruktury Stworzenie i wdrożenie systemu monitorującego zgodność polityki bezpieczeństwa lokalnych instalacji infrastruktury sprawdzającego czy oprogramowanie (jądro, usługi) są aktualne sprawdzającego porty nasłuchowe, reguły systemów bezpieczeństwa monitorującego listy suid/sgid i integralność Stworzenie rozproszonego systemu korelacji alarmów zbudowanego ponad czujnikami sieciowymi i komputera-hosta.

18 Podsumowanie: Działania Krótkoterminowe Utworzenie PL-Grid VO przy użyciu lokalnych zasobów Partnerów oraz zasobów EGEE Zapewnienie środków dla pokrycia kosztów działania Zapewnienie środków dla podtrzymania bieżącej współpracy międzynarodowej Długoterminowe – realizowane w sposób ciągły Wdrożenie oprogramowania i narzędzi Wsparcie użytkownika i szkolenia Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, SaaS….) Cloud Computing (wewnętrzne-zewnętrzne, chmury obliczeniowe, chmury danych) paradygmat SOA, wykorzystanie wiedzy … Internet Przyszłości w sposób zdefiniowany przez EC w Programie Roboczym

19


Pobierz ppt "Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej."

Podobne prezentacje


Reklamy Google