PL-Grid i jego Wirtualne Laboratorium dla nauk społeczno-gospodarczych Joanna Kocot, Eryk Ciepiela Akademickie Centrum Komputerowe Cyfronet AGH Szkoła Symulacji Systemów Gospodarczych Kudowa-Zdrój, 21 września 2010

Plan prezentacji Projekt PL-Grid Idea Gridu i e-Nauki Oferta PL-Grid dla naukowców Wirtualne Laboratorium GridSpace

PL-Grid Projekt finansowany w ramach Programu Operacyjnego Innowacyjna Gospodarka Cele: Utworzyć otwartą ogólnopolska infrastrukturę komputerową wspierająca uprawianie nauki w sposób umożliwiający integrację danych doświadczalnych i wyników zaawansowanych symulacji komputerowych Dostarczyć polskiej społeczności naukowej usług informatycznych opartych na infrastrukturze komputerowej służących e-nauce w różnych dziedzinach Umożliwić dołączanie lokalnych zasobów komputerowych uczelni, instytutów badawczych, centrów komputerowych czy platform technologicznych do wspólnej infrastruktury gridowej Europy i świata Wskaźniki: Ilość naukowców korzystających z usług PL-Grid (700) Ilość nowych dziedzin (grup naukowców) wspieranych przez PL-Grid (7)

Wyjaśnienie pojęć Infrastruktura sprzętowa – dedykowane komputery (serwery) pogrupowane w tzw. klastry, połączone szybką siecią, które są w stanie wykonywać (równoległe) programy, działająca w wyspecjalizowanych centrach komputerowych, z zapewniająca łączność z jej użytkownikami poprzez sieć Internet Oprogramowanie – programy dla konkretnych domen nauki przystosowane do pracy na infrastrukturze sprzętowej (np. umiejące korzystać z możliwości obliczeń równoległych) współdzielone przez społeczność użytkowników Grid – idea łączenia komputerów z jedną infrastrukturę sprzętową wygodnie dostępną z każdej lokalizacji poprzez sieć komputerową (analogia: elektrownie – sieć energetyczna – gniazdka) e-Nauka – nauka wspomagana technologiami informatycznymi, wykorzystująca możliwości obliczeń, gromadzenia, analizy danych itp. (?)

Wyjaśnienie pojęć Narzędzia – programy komputerowe, portale internetowe itp. umożliwiające i ułatwiające korzystanie z infrastruktury (gridu) jej końcowym użytkownikom oraz wspierające czynności wykonywane w trakcie przeprowadzania badań naukowych z użyciem szeroko rozumianych technologii informatycznych Wirtualne laboratoria – szczególny typ narzędzi stanowiących środowisko pracy naukowców korzystających z infrastruktury (gridu) umożliwiający korzystanie z infrastruktury i wielości dostępnego oprogramowania oraz komponowanie z nich kompletnych scenariuszy przeprowadzających naukowe obliczenia od danych wejściowych aż po opracowanie rezultatów czyli tzw. wirtualnych eksperymentów GridSpace – wirtualne laboratorium, które rozwijamy w ACK Cyfronet AGH w ramach projektu PL-Grid

Konsorcjum PL-Grid Akademickie Centrum Komputerowe CYFRONET AGH – koordynator Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS) Wrocławskie Centrum Sieciowo – Superkomputerowe (WCSS) Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej (TASK) Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego (ICM)

Europejska Inicjatywa Gridowa EGI

EGEE EGEE Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance Fusion Geophysics High Energy Physics Life Sciences Multimedia Material Sciences … >250 sites 48 countries >150,000 CPUs >50 PetaBytes >15,000 users >150 VOs >200,000 jobs/day Mariusz Sterzel CGW'08 Kraków, 13 October 2008 8

Oferta PL-Grid Wzrost udostępnianej mocy obliczeniowej do ok. 215 TFLOP (5000 procesorów 4-rdzeniowych, 38 rdzeni na użytkownika non-stop) Wzrost pamięci dyskowej o ok. 2500 TB (2,5 mln GB, 3571 GB na użytkownika) Zestaw zaawansowanych narzędzi do organizacji programów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji naukowych na rozległych zasobach obliczeniowych Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid Założenie: 700 użytkowników Wtedy średnio: Pamięć 25 000 moich laptopów Procesory mocy 19 moich laptopów non-stop 285 rdzeni na wyłączność na cały dzień co tydzień – system kolejkowy W Cyfonecie ok. 1/5 z tych zasobów już udostępniona na klastrze Zeus. Na dzień dzisiejszy ACK Cyfronet AGH udostępnia 1/5 z tych zasobów w ramach klastra Zeus

Dostępne Oprogramowaie Każda aplikacja środowiska Unix/Linux może być dostosowana do infrastruktury PL-Grid Oferujemy: Pakiety QM ADF, Gaussian, Turbomole, GAMESS, Molcas, Pakiety MD, MM NAMD, Amber (wkrótce) Pakiety do dokowania AutoDock Zestaw typowych narzędzi kompilatory, biblioteki numeryczne, MPI Czekamy na propozycje Państwa programów

Jak zostać użytkownikiem PL-Grid Osoba prowadząca działalność naukową, związana z jednostką naukową w rozumieniu ustawy z dnia 8 października 2004r. o zasadach finansowania nauki. Współpracownicy osoby prowadzącej działalność naukową (doktoranci, studenci, współpracownicy zagraniczni) Jak się zarejestrować? Procedura w pełni on-line System rejestracji i zarządzania kontem użytkownika PL-Grid https://konto.plgrid.pl/ Wymagany aktualny, własny wpis w bazie „Ludzie Nauki” OPI bądź wpis opiekuna naukowego Weryfikacja zgłoszenia przez stronę internetową jednostki bądź telefonicznie Podziękowania: T. Szepieniec, M. Radecki

Co uzyskam dzięki rejestracji w PL-Grid Konto na maszynie „dostępowej” w Cyfronecie ui.cyfronet.pl Z tej maszyny dostęp do: gLite – oprogramowanie zapewniające dostęp do gridu UNICORE – oprogramowanie zapewniające dostęp do gridu system kolejkowy PBS – oprogramowanie zapewniające dostęp do własnego cyfronetowego klastra Zeus (w dalszej kolejności kolejne klastry) Żądanie obliczenia (tzw. zadania) jest umieszczane w kolejce zadań i harmonogramowane gdy wymagane dla tego zadania zasoby (ilość procesorów, pamięci itp.) są dostępne Pełny dostęp do systemu pomocy „Helpdesk PL-Grid” Dane o wykorzystaniu zasobów (wkrótce) System grantów obliczniowych Grant podstawowy Granty przyznawane Jedno konto, jedno hasło wszędzie Podziękowania: T. Szepieniec, M. Radecki

System pomocy „Helpdesk” PL-Grid Jeden punkt kontaktu do ekspertów od wszystkich aspektów działania infrastruktury PL-Grid Procedury zapewniające przekazywanie spraw (np. w czasie urlopowym) Zgłoszenia nie giną i nie są zapominane: użytkownik może zgłaszać i śledzić proces rozwiązywania problemu monitorowanie czasu rozwiązywania sprawy Zgłoszenia tworzone są poprzez: interfejs graficzny https://helpdesk.plgrid.pl (dla zarejestrowanych użytkowników) e-mail helpdesk@plgrid.pl Użytkownik otrzymuje identyfikator zgłoszenia umożliwiający późniejsze śledzenie statusu sprawy Istotne powiadomienia o stanie problemu wysyłane są e-mailem Zgłaszającemu Podziękowania: T. Szepieniec, M. Radecki

www.plgrid.pl

Zapraszamy do rejestracji na: https://konto.plgrid.pl/

Motywacja Złożone aplikacje naukowe działające na zasobach komputerowych Klastry, gridy, cloud Bogactwo pakietów oprogramowania Aplikacje (Gaussian, NAMD,…) Dostępne w sieci usługi – Web Services Języki skryptowe do przetwarzania danych: Perl, Python, Ruby Różne klasy użytkowników Eksperci domenowi (konsultanci) Programiści aplikacji (producenci) Końcowi użytkownicy (konsumenci) Eksplozja zbiorów danych, digitalizacja danych Pliki, bazy danych, … Eksploracyjne programowanie Odzwierciedlające naturę pracy badacza Krok po kroku realizowanie kolejnych etapów obliczeń, gdzie kolejny krok silnie zależy od wyników poprzedniego Współdziałanie Zespoły, społeczności (wirtualne)

Możliwości Dostępność niespotykanej do tej pory mocy obliczeniowej Metody analityczne → metody numeryczne Heurystyki → współbieżne przeszukiwanie szerszej przestrzeni rozwiązań Bardziej szczegółowe modele Złożone modele Większe rozmiary problemów Zrównoleglanie obliczeń Symulacje wykorzystujące systemy agentowe Wsparcie naukowców w tworzeniu lub adaptacji istniejącego oprogramowania Wsparcie programistów Szkolenia Wspólne tworzenie aplikacji Utrzymywanie aplikacji Storage Gnuplot Files Clusters Scientist Ruby Bash SSH Supercomputers Zakup, utrzymywanie i udostępnianie (komercyjnego) oprogramowania Szkolenia Korzystanie z zainstalowanego oprogramowania Pisanie własnego oprogramowania

Praca z GridSpace2 Experiment Workbench Experiment Host Portal WWW Środowisko do eksploracyjnego programowania i uruchamiania aplikacji (eksperymentu) Experiment Host Serwer na którym wykonywane są eksperymenty Infrastruktrura komputerowa Klastry, gridy, cloud, na których wykonuje się zadania pamięciowo i/lub obliczeniowo intensywne

Experiment Workbench

Binding sites in proteins Comparison of Services for Predicting Ligand Binding Sites Multiple services available on the Web Conversions between data formats Visualization scripts (Jmol, Gnuplot) Single access based on experiments developed in Virtual Laboratory Calculation of hydrophobicity profiles Multiple scales, parameters, input data Computed using PL-Grid resources – easy access to Zeus cluster at Cyfronet Management of experiment results: ~ 1 Million output files Using semantic integration framework for metadata management Collaboration with Department of Bioinformatics and Telemedicine, Jagiellonian University, Prof. Irena Roterman-Konieczna, Katarzyna Prymula

Analysis of water solutions of aminoacids Involving multiple steps realized with many tools, languages and libraries used for Packmol – molecular dynamics simulations of packing molecules in a defined regions of space Jmol – visualization of solution Gaussian – computing a spectrum of the solution Python/CCLIB – extracting spectrum info jqPlot – displaying plot Collaboration with computational chemists of ACC Cyfronet AGH and Department of Chemistry, Jagiellonian University, Dr. Mariusz Sterzel, Klemens Noga

Konkluzje Dostępność nowoczesnego sprzętu komputerowego, oprogramowania, metodologii daje nowe możliwości ale też wymaga „nowego myślenia” Moc obliczeniowa i ograniczenia pamięci nie są już tak wąskim gardłem w przeprowadzaniu obliczeń Potrzeba narzędzi umożliwiających korzystanie z infrastruktury i wielości dostępnego oprogramowania Potrzeba umożliwienia komponowania kompletnych scenariuszy przeprowadzających naukowe obliczenia od danych wejściowych aż po opracowanie rezultatów Możliwość nowych ekscytujących zastosowań PL-Grid (w szczególności GridSpace) otwarty i darmowy dla polskich naukowców

Referencje http://www.plgrid.pl http://wl.plgrid.pl – kompletne źródło informacji o PL-Grid http://wl.plgrid.pl – wejdź do Wirtualnego Laboratorium GridSpace http://dice.cyfronet.pl/gridspace – dowiedz się więcej na temat technologii GridSpace Prośba o wspólne uzupełnienie ankiet, które pomogą nam lepiej spełniać Państwa oczekiwania