System Użytkowników Wirtualnych

Prezentacja na temat: "System Użytkowników Wirtualnych"— Zapis prezentacji:

1 System Użytkowników Wirtualnych
Paweł Wolniewicz Norbert Meyer Maciej Stroiński

2 Agenda Krajowy klaster obliczeniowy Problemy tworzenia klastrów
Cechy systemu użytkowników wirtualnych Przepływ zadania w systemie Elementy systemu Stan obecny i przyszły

3 Klaster krajowy - założenia (1/2)
Równoważenie obciążenia w skali kraju Dostosowanie architektury do specyfiki rozwiązywanego problemu Wprowadzenie trybu pracy wsadowej z możliwością uruchamiania zadań interakcyjnych Zwiększenie poziomu bezpieczeństwa lokalnych zasobów komputerowych klastra krajowego wdrożenie polityki bezpieczeństwa

4 Klaster krajowy - założenia (2/2)
Zarządzanie użytkownikami uproszczenie administracji wykorzystanie zasobów (accounting) zaufanie pomiędzy ośrodkami KDM Dedykowane serwery aplikacji Prostota obsługi elastyczność skalowalność obciążenia łatwa i szybka rozbudowa konfiguracji

5 POL-34 Krajowy Klaster Obliczeniowy System Użytkownikow Wirtualnych
Gdańsk Białystok Szczecin Automatyczna archiwizacja POL-34 Poznań Łódź Wrocław Gliwice Dedykowane serwery Rozproszone obliczenia

6 Korzyści z krajowego klastra
Można rozwiązać większe problemy Krótszy czas obliczeń Lepsze wykorzystanie superkomputerów 150% 120% 30% 10% 100%

7 Klaster Krajowy - Możliwości
System kolejkowy w realizowanej dotychczas konfiguracji umożliwia grupie użytkowników wykonywanie obliczeń za pomocą aplikacji własnych oraz pakietów gotowych Użytkownik nie martwi się o wybór maszyny najbardziej odpowiadającej wymaganiom przedłożonego zadania Transfer plików wejściowych i wyjściowych odbywa się za pomocą mechanizmów dostarczonych przez system kolejkowy Wsparcie dla zadań wsadowych i interaktywnych Do chwili zainstalowania Systemu Użytkowników Wirtualnych użytkownicy chcący korzystać z rozproszonych obliczeń muszą posiadać konta na zdalnych maszynach

8 Problemy związane z klastrem
Zarządzanie kontami użytkowników Transfer plików Bezpieczeństwo i autoryzacja dostępu Rozliczanie użytkowników

9 System Użytkowników Wirtualnych
Ukrycie złożoności systemu rozproszonego System Kolejkowy + System Użytkowników Wirtualnych

10 System Użytkowników Wirtualnych
Ułatwienie zarządzania użytkownikami w skali kraju Możliwość rozliczania całkowitego czasu wykorzystywanego przez użytkowników na systemach zdalnych Uproszczone dodawanie nowych systemów obliczeniowych (skalowalność) Interfejs do innych systemów kolejkowych

11 Ułatwienie zarządzania użytkownikami w skali kraju
Wydzielona liczba użytkowników wirtualnych Decyzja o nadaniu praw na obliczenia zdalne należy do administratora lokalnego Rozwiązanie problemu administracji i zarządzania spójnością kont w skali kraju (ID, powielanie kont, usuwanie, modyfikacje)

12 Globalne rozliczanie wykorzystanych zasobów
Możliwość rozliczania całkowitego czasu wykorzystywanego przez użytkowników na systemach zdalnych Dane przechowywane w bazie danych Oracle Dostęp do rozliczeń dla każdego z administratorów

13 Uproszczone dodawanie nowych systemów obliczeniowych
Skonfigurowanie kolejek LSF Instalacja systemu użytkowników wirtualnych Ewentualne dodanie do bazy praw dla użytkowników dołączanej maszyny

14 Interfejs do innych systemów kolejkowych
Rozszerzenie bramki LSF -> NQE o możliwość kopiowanie plików Bramka LSF -> LoadLeveler Możliwość dodania bramki do innych systemów kolejkowych LSF LL NQE

15 Klaster maszyn obliczeniowych
Architektura systemu Użytkownik System Użytkowników Wirtualnych System Kolejkowy Klaster maszyn obliczeniowych System 1 System 2 System N System użytkowników wirtualnych wirtualncyh ...

16 Wykonanie zadania - krok 1
Użytkownik zlecający zadanie do systemu użytkowników wirtualnych korzysta ze specjalnie opracowanych poleceń, które funkcjonalnie odpowiadają tym spotykanym w popularnych systemach kolejkowania zadań (qsub, bsub itp.).

17 Wykonanie zadania - krok 2
Program dokonuje modyfikacji podanego skryptu i zleca jego wykonanie systemowi kolejkowemu. Zadanie zostaje wprowadzone do systemu kolejkowania przy użyciu konta Virtual Users Managera. Do skryptu dodawane są na początku polecenia związane z zarządzaniem zadaniem.

18 Wykonanie zadania - krok 3
System kolejkowy wyszukuje najmniej obciążony system i przekazuje do niego zadanie.

19 Wykonanie zadania - krok 4
Na wybranej przez system kolejkowy maszynie uruchamiany jest program zarządzający, który znajduje wolne wirtualne konto i uruchomia zadania z prawami właściciela wybranego konta Serwer wirtualnych użytkowników zostaje poinformowany o mappingu z użytkownika rzeczywistego na wirtualnego Pliki danych użytkownika kopiowane są na lokalną maszynę

20 Wykonanie zadania - krok 5
Po zakończeniu zadania dane o czasie rozpoczęcia i zakończenia przesyłane są do serwera użytkowników wirtualnych. Pliki z wynikami wracają na konto użytkownika zlecającego zadanie.

21 Wykonanie zadania - krok 6
Podczas okresowego przeprowadzania rozliczenia na lokalnych maszynach (standardowo raz dziennie), rozliczenia dotyczące użytkowników wirtualnych zostają przesłane do centralnej bazy danych. Tam dzięki zapisanemu wcześniej odwzorowaniu użytkowników wirtualnych na użytkowników rzeczywistych system przypisuje wykorzystanie zasobów danego systemu do odpowiedniego zadania.

22 Queuing System Interface Queuing System Executive Client
User Machine Log Manager User Interface Queuing System Interface Server Machine File Transfer Queuing System Server Execution Machine Virtual Users Server File Transfer Queuing System Executive Client Virtual Users Manager JOB Log Manager

23 Wykonanie zadania w innym systemie kolejkowym
Wykonanie zadanie jest dla użytkownika transparentne, niezależnie na jakim systemie kolejkowym będzie uruchomione zadanie. Zamiast do zarządcy użytkowników wirtualnych zadanie jest kierowane do modułu Gate. Z definicji kolejki do której trafiło zadanie jasno wynika do którego zdalnego systemu zadanie ma zostać przesłane. Dzięki tej informacji po uruchomieniu programu Gate zadanie użytkownika zostaje wysłane do odpowiedniego modułu OSM (Other System Module). Program ten zleca wsad dalej do docelowego systemu kolejkowania zadań. Dalszy przebieg zadania jest identyczny z tym przedstawionym wcześniej. Dzięki jednoznacznie i ogólnie zdefiniowanemu interfejsowi GATE – OSM dołączenie nowych systemów kolejkowania zadań, wymaga tylko napisania nowego modułu OSM.

24 JOB Other System Module GATE File Transfer Log Manager
Queuing System Server Queuing System Interface Queuing System Executive Client Queuing System Server GATE File Transfer Log Manager Queuing System Executive Client Virtual Users Manager JOB Virtual Users Server Log Manager

25 Struktura systemu System kolejkowy LSF
Podmienione komendy dołączania zadań do systemu i odczytywania stanu kolejek Konto managera użytkowników wirtualnych ze specjalnym programem zarządzającym zadaniem Pula kont użytkowników wirtualnych na każdej z dołączonych maszyn Serwer użytkowników wirtualnych zapewniający globalną translację nazw kont i zliczenie wykorzystanego czasu procesora oraz autoryzujący dostęp użytkowników do systemu Programy dodatkowe, zapewniające pełną funkcjonalność systemu

26 Interfejs użytkownika
Polecenia do zarządzania zadaniami dodanie, usunięcie, wyświetlenie statusu Interfejs identyczny z poleceniami systemu kolejkowego Informacje dotyczą użytkowników rzeczywistych (na podstawie bazy danych) Możliwość specyfikacji aplikacji

27 Zarządca użytkowników wirtualnych
Konto zarządcy użytkowników wirtualnych na każdym systemie Jest właścicielem wszystkich zadań w kolejkach. Wyszukuje wolne konto użytkownika wirtualnego Zapisuje mapping użytkownika do bazy danych Zbiera informacje rozliczeniowe

28 Konta użytkowników wirtualnych
Pula identyfikatorów użytkowników wirtualnych Dla celów bezpieczeństwa - brak możliwości logowania Ilość kont reguluje obciążenie systemu

29 Serwer użytkowników wirtualnych
Powiązanie użytkowników systemu z wykonywanymi w systemie zadaniami Autoryzację dostępu użytkowników do konkretnych kolejek Zbieranie i obrabianie informacji dotyczących rozliczania

30 Stan bieżący Testy w ramach systemów PCSS,
Stan implementacji - działa w podstawowej formie Systemy SGI Interfejs do NQE (Cray) i LL (SP2)

31 Kolejne kroki Graficzny interfejs użytkownika
Podniesienie bezpieczeństwa Możliwość wprowadzania zadań do systemu z innych systemów kolejkowych, w szczególności NQE i LL Obsługa zadań równoległych

32