POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Systemy zarządzania w środowisku rozproszonym Mirosław Kupczyk

Prezentacja na temat: "POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Systemy zarządzania w środowisku rozproszonym Mirosław Kupczyk"— Zapis prezentacji:

1 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Systemy zarządzania w środowisku rozproszonym Mirosław Kupczyk Miron@man.poznan.pl

2 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Computer systems operating at different scale

3 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Main issues The cluster introduces new issues of parallelism and distributed management, set of homogeneous systems The cluster introduces new issues of parallelism and distributed management, set of homogeneous systems The intranet introduces the additional issues of heterogeneity and geographical distribution The intranet introduces the additional issues of heterogeneity and geographical distribution The internet introduces issues associated with a lack of centralized control The internet introduces issues associated with a lack of centralized control

4 POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE Środowisko heterogeniczne Obliczenia w środowisku heterogenicznym Obliczenia w środowisku heterogenicznym W ostatnich latach można zaobserwować tendencje zmierzające do połączenia pojedynczych systemów komputerowych w wyżej zorganizowane struktury w środowisku heterogenicznym. Główny cel - dostarczenie mocy obliczeniowej pozwalającej na rozwiązanie problemu, zgodnie z kryteriami zdefiniowanymi przez użytkownika. Główny cel - dostarczenie mocy obliczeniowej pozwalającej na rozwiązanie problemu, zgodnie z kryteriami zdefiniowanymi przez użytkownika. Ograniczenia Ograniczenia ekonomiczne, technologiczne, aktualny poziom wiedzy. ekonomiczne, technologiczne, aktualny poziom wiedzy. Powstanie wyżej zorganizowanych struktur: Powstanie wyżej zorganizowanych struktur: klaster, klaster, metakomputer, metakomputer, struktura typu Grid (siatka obliczeniowa). struktura typu Grid (siatka obliczeniowa).

5 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER GRID The grid is the next evolutionary step for supercomputing The grid is the next evolutionary step for supercomputing The grid represents the first wave of computing in the well-connected world into which we are heading The grid represents the first wave of computing in the well-connected world into which we are heading

6 POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE Klasyfikacja struktury typu GRID Grid Grid obliczeniowy Grid danych Grid usługowy Rozproszone obliczenia wielkiej skali Obliczenia o dużej przepustowości Przetwarzanie na żądanie Usługi pracy grupowej Przetwarzanie multimedialne Przetwarzanie dużych ilości danych

7 POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE Architektura struktury typu GRID Archiwizatory, infrastruktura sieciowa, komputery, urządzenia do wizualizacji danych, urządzenia laboratoryjne, itp. Lokalne usługi Protokoły, autentykacja, polityka dostępu, zarządzanie zasobami, itp. Zdalny dostęp do danych Zdalne obliczenia Zdalna wizualizcja Usługi do pracy grupowej Zdalne zarządzanie aparaturą ZBIÓR APLIKACJI Infrastruktura Grid Usługi Grid Zestaw Narzędzi Aplikacje

8 POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE Metakomputer a struktura typu Grid Zasięg rozproszonego środowiska heterogenicznego lokalny (w ramach jednej domeny), lokalny (w ramach jednej domeny), rozległy (geograficznie odległe węzły). rozległy (geograficznie odległe węzły). Tradycyjna problematyka Tradycyjna problematyka szeregowania zadań, komunikacji, synchronizacji w systemach szeregowania zadań, komunikacji, synchronizacji w systemach rozproszonych, optymslizacji, itp. rozproszonych, optymslizacji, itp. Nowa problematyka Nowa problematyka w odniesieniu do geograficznie rozległego środowiska w odniesieniu do geograficznie rozległego środowiska przepustowość i opóźnienia w sieci (zdalny dostęp do danych), przepustowość i opóźnienia w sieci (zdalny dostęp do danych), zarzadzanie dużymi ilościami danych, zarzadzanie dużymi ilościami danych, bezpieczeństwo dostępu a otwartość środowiska, bezpieczeństwo dostępu a otwartość środowiska, łączenie systemów a lokalne polityki zarządzania zasobami w domenach, łączenie systemów a lokalne polityki zarządzania zasobami w domenach, dynamika środowiska w kontekście: dynamika środowiska w kontekście: zmiennej liczby użytkowników, zmiennej liczby użytkowników, zmiennej liczby węzłów GSP (Grid Service Provider). zmiennej liczby węzłów GSP (Grid Service Provider).

9 POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE Podsumowując...

10 POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE Problem zarządzania Pojęcie zasobu Pojęcie zasobu procesor, pamięć operacyjna, pamięć dyskowe, procesor, pamięć operacyjna, pamięć dyskowe, użytkownik, użytkownik, aplikacja (licencja), aplikacja (licencja), system komputerowy, klaster,... system komputerowy, klaster,... Zarządzanie w skali mikro i makro Zarządzanie w skali mikro i makro Zarządzanie w pojedynczym systemie, klastrze, strukturze Zarządzanie w pojedynczym systemie, klastrze, strukturze typu Grid typu Grid s kala złożoności s kala złożoności dostępność informacji o stanie zasobów (monitorowanie) dostępność informacji o stanie zasobów (monitorowanie) użyteczność użyteczność standaryzacja standaryzacja

11 POZNAŃSKIE CENTRUM SUPERKOMPUTEROWO-SIECIOWE Podsumowując... Pozyskiwanie informacji - monitorowanie pozyskiwanie wiedzy o stanie środowiska pozyskiwanie wiedzy o stanie środowiska Zarządzanie zasobami Zarządzanie zasobami udostępnienie zasobu udostępnienie zasobu wykorzystanie zasobu w sposób optymalny wykorzystanie zasobu w sposób optymalny Rozliczenie wykorzystania zasobów Rozliczenie wykorzystania zasobów

12 Globus Toolkit

13 Core Globus Services Resource management (GRAM) Information services (MDS) Communication infrastructure (Nexus) Remote file and executable managment (GASS and GEM) Process monitoring (HBM) Security (GSI)

14 Resource Management

15 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Zarządzanie dużymi Zarządzanie dużymi ilościami danych

16 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Grupy Zadań (I) Struktura pilotowa (I) Struktura pilotowa sprzęt istniejący oraz nowy sprzęt istniejący oraz nowy charakter wdrożeniowy charakter wdrożeniowy (II) Ujednolicenie interfejsów dostępu oraz protokołów (II) Ujednolicenie interfejsów dostępu oraz protokołów komunikacyjnych komunikacyjnych XML, LDAP XML, LDAP (III) Bezpieczeństwo udostępniania danych (III) Bezpieczeństwo udostępniania danych (IV) Warstwa aplikacyjna (IV) Warstwa aplikacyjna usługi ASP, np. wdrożenie bezpiecznej usługi backupu w skali usługi ASP, np. wdrożenie bezpiecznej usługi backupu w skali kraju kraju

17 Struktura koncepcji Ochrona Danych Zaawansowana infrastruktura sieciowa Sieć POL-34/155 <> sieć PIONIER Systemy archiwizacji Serwery plików Oprogramowanie HSM (np. UniTree, TSM, etc) Składnica metadanych (LDAP) Globus Zarządzanie replikami metadanych XML Warstwa Aplikacji System Automatycznej Archiwizacji Bezpieczna usługa archiwizacji danych Interfejs dostępu do danych