PL-Grid i jego Wirtualne Laboratorium dla nauk społeczno-gospodarczych

Prezentacja na temat: "PL-Grid i jego Wirtualne Laboratorium dla nauk społeczno-gospodarczych"— Zapis prezentacji:

1 PL-Grid i jego Wirtualne Laboratorium dla nauk społeczno-gospodarczych
Joanna Kocot, Eryk Ciepiela Akademickie Centrum Komputerowe Cyfronet AGH Szkoła Symulacji Systemów Gospodarczych Kudowa-Zdrój, 21 września 2010

2 Plan prezentacji Projekt PL-Grid Idea Gridu i e-Nauki
Oferta PL-Grid dla naukowców Wirtualne Laboratorium GridSpace

3 PL-Grid Projekt finansowany w ramach Programu Operacyjnego Innowacyjna Gospodarka Cele: Utworzyć otwartą ogólnopolska infrastrukturę komputerową wspierająca uprawianie nauki w sposób umożliwiający integrację danych doświadczalnych i wyników zaawansowanych symulacji komputerowych Dostarczyć polskiej społeczności naukowej usług informatycznych opartych na infrastrukturze komputerowej służących e-nauce w różnych dziedzinach Umożliwić dołączanie lokalnych zasobów komputerowych uczelni, instytutów badawczych, centrów komputerowych czy platform technologicznych do wspólnej infrastruktury gridowej Europy i świata Wskaźniki: Ilość naukowców korzystających z usług PL-Grid (700) Ilość nowych dziedzin (grup naukowców) wspieranych przez PL-Grid (7)

4 Wyjaśnienie pojęć Infrastruktura sprzętowa – dedykowane komputery (serwery) pogrupowane w tzw. klastry, połączone szybką siecią, które są w stanie wykonywać (równoległe) programy, działająca w wyspecjalizowanych centrach komputerowych, z zapewniająca łączność z jej użytkownikami poprzez sieć Internet Oprogramowanie – programy dla konkretnych domen nauki przystosowane do pracy na infrastrukturze sprzętowej (np. umiejące korzystać z możliwości obliczeń równoległych) współdzielone przez społeczność użytkowników Grid – idea łączenia komputerów z jedną infrastrukturę sprzętową wygodnie dostępną z każdej lokalizacji poprzez sieć komputerową (analogia: elektrownie – sieć energetyczna – gniazdka) e-Nauka – nauka wspomagana technologiami informatycznymi, wykorzystująca możliwości obliczeń, gromadzenia, analizy danych itp. (?)

5 Wyjaśnienie pojęć Narzędzia – programy komputerowe, portale internetowe itp. umożliwiające i ułatwiające korzystanie z infrastruktury (gridu) jej końcowym użytkownikom oraz wspierające czynności wykonywane w trakcie przeprowadzania badań naukowych z użyciem szeroko rozumianych technologii informatycznych Wirtualne laboratoria – szczególny typ narzędzi stanowiących środowisko pracy naukowców korzystających z infrastruktury (gridu) umożliwiający korzystanie z infrastruktury i wielości dostępnego oprogramowania oraz komponowanie z nich kompletnych scenariuszy przeprowadzających naukowe obliczenia od danych wejściowych aż po opracowanie rezultatów czyli tzw. wirtualnych eksperymentów GridSpace – wirtualne laboratorium, które rozwijamy w ACK Cyfronet AGH w ramach projektu PL-Grid

6 Konsorcjum PL-Grid Akademickie Centrum Komputerowe CYFRONET AGH – koordynator Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS) Wrocławskie Centrum Sieciowo – Superkomputerowe (WCSS) Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej (TASK) Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego (ICM)

7 Europejska Inicjatywa Gridowa EGI

8 EGEE EGEE Archeology Astronomy Astrophysics Civil Protection
Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences … >250 sites 48 countries >150,000 CPUs >50 PetaBytes >15,000 users >150 VOs >200,000 jobs/day Mariusz Sterzel CGW' Kraków, 13 October 2008 8

9 Oferta PL-Grid Wzrost udostępnianej mocy obliczeniowej do ok. 215 TFLOP (5000 procesorów 4-rdzeniowych, 38 rdzeni na użytkownika non-stop) Wzrost pamięci dyskowej o ok TB (2,5 mln GB, 3571 GB na użytkownika) Zestaw zaawansowanych narzędzi do organizacji programów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji naukowych na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Założenie: 700 użytkowników Wtedy średnio: Pamięć moich laptopów Procesory mocy 19 moich laptopów non-stop 285 rdzeni na wyłączność na cały dzień co tydzień – system kolejkowy W Cyfonecie ok. 1/5 z tych zasobów już udostępniona na klastrze Zeus. Na dzień dzisiejszy ACK Cyfronet AGH udostępnia 1/5 z tych zasobów w ramach klastra Zeus

10 Dostępne Oprogramowaie
Każda aplikacja środowiska Unix/Linux może być dostosowana do infrastruktury PL-Grid Oferujemy: Pakiety QM ADF, Gaussian, Turbomole, GAMESS, Molcas, Pakiety MD, MM NAMD, Amber (wkrótce) Pakiety do dokowania AutoDock Zestaw typowych narzędzi kompilatory, biblioteki numeryczne, MPI Czekamy na propozycje Państwa programów

11 Jak zostać użytkownikiem PL-Grid
Osoba prowadząca działalność naukową, związana z jednostką naukową w rozumieniu ustawy z dnia października 2004r. o zasadach finansowania nauki. Współpracownicy osoby prowadzącej działalność naukową (doktoranci, studenci, współpracownicy zagraniczni) Jak się zarejestrować? Procedura w pełni on-line System rejestracji i zarządzania kontem użytkownika PL-Grid Wymagany aktualny, własny wpis w bazie „Ludzie Nauki” OPI bądź wpis opiekuna naukowego Weryfikacja zgłoszenia przez stronę internetową jednostki bądź telefonicznie Podziękowania: T. Szepieniec, M. Radecki

12 Co uzyskam dzięki rejestracji w PL-Grid
Konto na maszynie „dostępowej” w Cyfronecie ui.cyfronet.pl Z tej maszyny dostęp do: gLite – oprogramowanie zapewniające dostęp do gridu UNICORE – oprogramowanie zapewniające dostęp do gridu system kolejkowy PBS – oprogramowanie zapewniające dostęp do własnego cyfronetowego klastra Zeus (w dalszej kolejności kolejne klastry) Żądanie obliczenia (tzw. zadania) jest umieszczane w kolejce zadań i harmonogramowane gdy wymagane dla tego zadania zasoby (ilość procesorów, pamięci itp.) są dostępne Pełny dostęp do systemu pomocy „Helpdesk PL-Grid” Dane o wykorzystaniu zasobów (wkrótce) System grantów obliczniowych Grant podstawowy Granty przyznawane Jedno konto, jedno hasło wszędzie Podziękowania: T. Szepieniec, M. Radecki

13 System pomocy „Helpdesk” PL-Grid
Jeden punkt kontaktu do ekspertów od wszystkich aspektów działania infrastruktury PL-Grid Procedury zapewniające przekazywanie spraw (np. w czasie urlopowym) Zgłoszenia nie giną i nie są zapominane: użytkownik może zgłaszać i śledzić proces rozwiązywania problemu monitorowanie czasu rozwiązywania sprawy Zgłoszenia tworzone są poprzez: interfejs graficzny (dla zarejestrowanych użytkowników) Użytkownik otrzymuje identyfikator zgłoszenia umożliwiający późniejsze śledzenie statusu sprawy Istotne powiadomienia o stanie problemu wysyłane są em Zgłaszającemu Podziękowania: T. Szepieniec, M. Radecki

14

15 Zapraszamy do rejestracji na:

16 Motywacja Złożone aplikacje naukowe działające na zasobach komputerowych Klastry, gridy, cloud Bogactwo pakietów oprogramowania Aplikacje (Gaussian, NAMD,…) Dostępne w sieci usługi – Web Services Języki skryptowe do przetwarzania danych: Perl, Python, Ruby Różne klasy użytkowników Eksperci domenowi (konsultanci) Programiści aplikacji (producenci) Końcowi użytkownicy (konsumenci) Eksplozja zbiorów danych, digitalizacja danych Pliki, bazy danych, … Eksploracyjne programowanie Odzwierciedlające naturę pracy badacza Krok po kroku realizowanie kolejnych etapów obliczeń, gdzie kolejny krok silnie zależy od wyników poprzedniego Współdziałanie Zespoły, społeczności (wirtualne)

17 Możliwości Dostępność niespotykanej do tej pory mocy obliczeniowej
Metody analityczne → metody numeryczne Heurystyki → współbieżne przeszukiwanie szerszej przestrzeni rozwiązań Bardziej szczegółowe modele Złożone modele Większe rozmiary problemów Zrównoleglanie obliczeń Symulacje wykorzystujące systemy agentowe Wsparcie naukowców w tworzeniu lub adaptacji istniejącego oprogramowania Wsparcie programistów Szkolenia Wspólne tworzenie aplikacji Utrzymywanie aplikacji Storage Gnuplot Files Clusters Scientist Ruby Bash SSH Supercomputers Zakup, utrzymywanie i udostępnianie (komercyjnego) oprogramowania Szkolenia Korzystanie z zainstalowanego oprogramowania Pisanie własnego oprogramowania

18 Praca z GridSpace2 Experiment Workbench Experiment Host
Portal WWW Środowisko do eksploracyjnego programowania i uruchamiania aplikacji (eksperymentu) Experiment Host Serwer na którym wykonywane są eksperymenty Infrastruktrura komputerowa Klastry, gridy, cloud, na których wykonuje się zadania pamięciowo i/lub obliczeniowo intensywne

19 Experiment Workbench

20 Binding sites in proteins
Comparison of Services for Predicting Ligand Binding Sites Multiple services available on the Web Conversions between data formats Visualization scripts (Jmol, Gnuplot) Single access based on experiments developed in Virtual Laboratory Calculation of hydrophobicity profiles Multiple scales, parameters, input data Computed using PL-Grid resources – easy access to Zeus cluster at Cyfronet Management of experiment results: ~ 1 Million output files Using semantic integration framework for metadata management Collaboration with Department of Bioinformatics and Telemedicine, Jagiellonian University, Prof. Irena Roterman-Konieczna, Katarzyna Prymula

21 Analysis of water solutions of aminoacids
Involving multiple steps realized with many tools, languages and libraries used for Packmol – molecular dynamics simulations of packing molecules in a defined regions of space Jmol – visualization of solution Gaussian – computing a spectrum of the solution Python/CCLIB – extracting spectrum info jqPlot – displaying plot Collaboration with computational chemists of ACC Cyfronet AGH and Department of Chemistry, Jagiellonian University, Dr. Mariusz Sterzel, Klemens Noga

22 Konkluzje Dostępność nowoczesnego sprzętu komputerowego, oprogramowania, metodologii daje nowe możliwości ale też wymaga „nowego myślenia” Moc obliczeniowa i ograniczenia pamięci nie są już tak wąskim gardłem w przeprowadzaniu obliczeń Potrzeba narzędzi umożliwiających korzystanie z infrastruktury i wielości dostępnego oprogramowania Potrzeba umożliwienia komponowania kompletnych scenariuszy przeprowadzających naukowe obliczenia od danych wejściowych aż po opracowanie rezultatów Możliwość nowych ekscytujących zastosowań PL-Grid (w szczególności GridSpace) otwarty i darmowy dla polskich naukowców

23 Referencje http://www.plgrid.pl http://wl.plgrid.pl
– kompletne źródło informacji o PL-Grid – wejdź do Wirtualnego Laboratorium GridSpace – dowiedz się więcej na temat technologii GridSpace Prośba o wspólne uzupełnienie ankiet, które pomogą nam lepiej spełniać Państwa oczekiwania