POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych Udział w projekcie: 6,51% Osoby kontaktowe: PCSS: Maciej Brzeźniak.

Prezentacja na temat: "POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych Udział w projekcie: 6,51% Osoby kontaktowe: PCSS: Maciej Brzeźniak."— Zapis prezentacji:

1 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych Udział w projekcie: 6,51% Osoby kontaktowe: PCSS: Maciej Brzeźniak maciekb@man.poznan.pl TASK: Rafał Tylman traf@task.gda.pl Projekt celowy SGI

2 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych plan prezentacji Wprowadzenie do tematyki zadania: –motywacje dla powstania systemów Grid RPC –działanie Grid RPC –API systemów Grid RPC Prezentacja prac w ramach zadania i podziału nad podzadania Harmonogram prac

3 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych wprowadzenie - motywacje dla Grid RPC Fakt 1: Aplikacje naukowe wykonują skomplikowane obliczenia. Fakt 3: Istnieją biblioteki funkcji matematycznych (często używanych funkcjonalności matematycznych) dla języków C i Fortran przykłady: BLAS, LAPACK, SCALAPACK... Fakt 2: Użytkownicy chcą wykonywać obliczenia. Nie chcą implementować algorytmów numerycznych.

4 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych wprowadzenie - motywacje dla Grid RPC Pytanie: Jak dać użytkownikom dostęp do bibliotek naukowych? Rozwiązanie 1: wywołanie funkcji lokalnej biblioteki Rozwiązanie 2: uruchamianie aplikacji obliczeniowej w systemach kolejkowych lub przez usługi systemu Globus Stacja użytkownika Komputer dużej mocy System kolejkowy

5 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych wprowadzenie - motywacje dla Grid RPC Pytanie: Jak dać użytkownikom dostęp do bibliotek naukowych? Rozwiązanie 3: GRID RPC GRID RPC = RPC mechanism tailored to Grid Realizacje Grid RPC: NetSolve (icl.cs.utk.edu/netsolve) Ninf (ninf.apgrid.org) Rozwiązanie 1: wywołanie funkcji lokalnej biblioteki Rozwiązanie 2: uruchamianie aplikacji obliczeniowej w systemach kolejkowych lub przez Globus GRAM

6 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Podejście Grid RPC - ilustracja GridRPC Maszyna użytkownika Agent systemu Grid RPC Monitorow. & predykcja Odkrywanie zasobów Uruchamianie Zadań Szeregowanie Środowisko Grid Aplikacja

7 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Oryginalna aplikacja Zmodyfikowana aplikacja Przejście z lokalnego wywołania na API Grid RPC (przykład NetSolve)

8 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER API systemów opartych o Grid RPC API języka C: –NetSolve: synchroniczne:netsl (func_name,...) asynchroniczne:netsnbl (func_name,...) netslpb (...), netslwt (...) –Ninf: synchroniczne:Ninf_call (func_name,...) asynchroniczne:Ninf_call_async (func_name,...) Ninf_wait (...) inne API: –NetSolve: C, Fortran, Mathematica, Matlab, Unix shell, Java GUI –Ninf: C, Fortran, Mathematica, Excel

9 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych podzadania Praca wejścia - PCSS: –wdrożenie systemów Grid RPC i testy –zebranie informacji o bibliotekach matematycznych w Polsce Prace po stronie klienta systemu - TASK: –mechanizm automatycznej adaptacji istniejących aplikacji do korzystania z Grid RPC –mechanizm dla niezawodności zdalnych wywołań Prace po stronie systemu - PCSS: –mechanizmy szeregowania (predykcja czasu wykonania) –integracja z systemami kolejkowymi

10 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych Praca wejścia Wykonuje - PCSS Zakres prac: –instalacja systemów Grid RPC i testy instalacja systemów w PCSS i TASK testy funkcjonalności systemów i sprawności mechanizmów –zebranie informacji o bibliotekach mat. w Polsce jakie są wykorzystywane, statystyki... sprawdzenie zgodności wykorzystywanych bibliotek z systemami Grid RPC –opracowanie koncepcji systemu udostępniania

11 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych Mechanizmy po stronie klienta systemu Wykonuje - TASK Zakres prac: prace po stronie klienta systemu –mechanizm automatycznej adaptacji istniejących aplikacji do korzystania z Grid RPC prekompilator kodu źródłowego aplikacji: wywołania lokalne funkcji -> wywołania poprzez Grid RPC narzędzia wspomagające dla użytkownika: –narzędzie interaktywne wspomagające podmianę wywołań –narzędzie do analizy wydajności –mechanizm dla niezawodności zdalnych wywołań awaryjne, lokalne wykonanie funkcji matematycznej

12 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych Mechanizmy po stronie systemu Wykonuje - PCSS Zakres prac: prace po stronie systemu –mechanizmy szeregowania (predykcja czasu wykonania) udoskonalenie metod predykcji czasu wykonania funkcji predykcja oparta na wiedzy: zbieranie informacji o czasach wykonania funkcji + analiza informacji –integracja z systemami kolejkowymi umożliwienie systemom Grid RPC korzystania z zasobów pracujących pod kontrolą systemów kolejkowych mechanizmy uruchamiania funkcji matematycznych w kolejkach oraz monitorowania/predykcji stanu zasobów

13 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych Harmonogram prac

14 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER WP 2.1 Zdalny dostęp do bibliotek naukowych Dziękuję za uwagę. Osoby kontaktowe: PCSS: Maciej Brzeźniak maciekb@man.poznan.pl TASK: Rafał Tylman traf@task.gda.pl Projekt celowy SGI

15 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Jak działa GridRPC? (przykład NetSolve) Aplikacja użytkownika Moduł klienta NetSolve Agent NetSolve Stacja użytkownika Uruchamianie Zadań Moduł serwerowy NetSolve Moduł serwerowy NetSolve Moduł serwerowy NetSolve UZ UZ UZ Szeregowanie Biblioteka Zdalny węzeł obliczeniowy

16 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Jak działa GridRPC? (przykład NetSolve) Aplikacja użytkownika Moduł klienta NetSolve Agent NetSolve Scheduling Monitorow. & predykcja Odkrywanie zasobów Uruchamianie Zadań Moduł serwerowy NetSolve Moduł serwerowy NetSolve Moduł serwerowy NetSolve M&PM&P M&PM&P M&PM&P UZ UZ UZ OZOZ OZOZ OZOZ Szeregowanie Biblioteka Zdalny węzeł obliczeniowy Stacja użytkownika

17 POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER Jak działa GridRPC? (przykład NetSolve) Aplikacja użytkownika Moduł klienta NetSolve Agent NetSolve Stacja użytkownika Szeregowanie Uruchamianie Zadań Moduł serwerowy NetSolve Moduł serwerowy NetSolve Moduł serwerowy NetSolve Szeregowanie żądanie decyzja dane zadania zdalne wywołanie wyniki odpowiedź na wywołanie Biblioteka Zdalny węzeł obliczeniowy wywołanie odpowiedź Monitorow. & predykcja Odkrywanie zasobów UZ UZ UZ M&PM&P M&PM&P M&PM&P OZOZ OZOZ OZOZ Szeregowanie