Tutorial QCG Poznańskie Centrum Superkomputerowo-Sieciowe K.Kurowski, T. Piontek, P. Kopta, B. Bosak Spotkanie PLGrid NG, Racławice, 3 września 2014.

Prezentacja na temat: "Tutorial QCG Poznańskie Centrum Superkomputerowo-Sieciowe K.Kurowski, T. Piontek, P. Kopta, B. Bosak Spotkanie PLGrid NG, Racławice, 3 września 2014."— Zapis prezentacji:

1 Tutorial QCG Poznańskie Centrum Superkomputerowo-Sieciowe K.Kurowski, T. Piontek, P. Kopta, B. Bosak Spotkanie PLGrid NG, Racławice, 3 września 2014

2 2

3 INFRASTRUKTURA QCG

4 Infrastruktura QCG Zestaw narzędzi pozwalających na uruchamianie i zarzadzanie zadaniami w środowisku PL-Grid. Dostarcza globalny interfejs dostępowy do wszystkich maszyn infrastruktury PL-Grid. Zawiera zarówno tekstowe, graficzne, jak i portalowe narzędzia dostępowe.

5 Wymagania

6 Aplikowanie o dostęp do QCG Ramka Usługi w zakładce Moje Konto Umożliwia włączenie/wyłączenie dostępu lub uzyskanie informacji o usługach oferowanych w projekcie PLGrid Do zlecania zadań w przez nas prezentowany sposób należy aplikować o usługę Globalny dostęp QosCosGrid Czas propagowania się informacji na wszystkie systemy

7 Funkcjonalność QCG Posiada wsparcie m.in. dla zadań MPI, OpenMP, multi-scale, wieloklastrowych, parametrycznych, typu workflow oraz zadań interaktywnych. Możliwość tworzenia rezerwacji zasobów (QoS). Wsparcie dla grantów i zespołów użytkowników. Monitorowanie wykonywania aplikacji z poziomu dedykowanego portalu QCG-Monitoring oraz za pomocą wiadomości e-mail lub XMPP (Jabber).

8 NARZĘDZIA DOSTĘPOWE

9 QCG-SimpleClient Klient konsolowy Obsługa zbliżona do poleceń systemu kolejkowego, oparta na intuicyjnych dyrektywach #QCG Umożliwia większą kontrolę nad zleceniem zadania, transferem plików we/wy, wykorzystaniem modułów oraz ustawień środowiska. Wykorzystuje zaawansowane mechanizmy wyboru optymalnych zasobów do wykonania zadania. Możliwość uruchamiania zadań interaktywnych oraz „podłączania się” do aktualnie wykonywanych zadań Dokumentacja w podręczniku użytkownika http://docs.plgrid.pl/qcg-client

10 QCG-SimpleClient (dostęp) # ssh plgID@... Maszyny dostępowe: qcg.man.poznan.pl moss.man.poznan.pl ui.plgrid.wcss.wroc.pl ui.cyfronet.pl ui.grid.icm.edu.pl Certyfikaty pobierane automatycznie z usługi KeyFS 10

11 QCG-SimpleClient Polecenia qcg-cancel qcg-clean qcg-connect qcg-info qcg-list qcg-peek qcg-proxy qcg-refetch qcg-resub qcg-sub qcg-rcancel qcg-reserve qcg-rinfo qcg-rlist qcg-offer #!/bin/bash #QCG host=nova #QCG queue=plgrid #QCG note=Naphthalene #QCG output=${JOB_ID}.output #QCG error=${JOB_ID}.error #QCG stage-in-file=Naphthalene.gjf #QCG stage-in-file=gaussian.ntf #QCG stage-out-dir=.->result #QCG nodes=1:1 #QCG walltime=PT10M #QCG notify=xmpp:tomasz.piontek@plgrid.pl #QCG watch-output=mailto:tomasz.piontek@plgrid.pl #QCG application=g09 #QCG argument=Naphthalene.gjf Dyrektywy #QCG application argument environment error/output grant host memory nodes / procs note notify / watch-output preprocess / postprocess queue reservation stage-in-dir/file stage-out-dir/file walltime … więcej

12 QCG-Icon Aplikacja graficzna napisana dla systemów Windows, Linux oraz Mac OS. Umożliwia zlecanie zadań w bardzo prosty i intuicyjny dla użytkownika sposób. Aktualnie obsługuje aplikacje: Matlab, Mathematica, Gamess, LAMMPS, Molpro, Ansys-Fluent, NAMD, Gaussian-09, Ansys-CFX, skrypty języka R, a także dowolne skrypty BASH. Istnieje możliwość dodania innych aplikacji w zależności od potrzeb użytkowników. Pozwala m.in. na podgląd plików wyjściowych w trakcie działania aplikacji, śledzenie zużycia pamięci i monitorowanie efektywności obliczeń. http://www.qoscosgrid.org/trac/qcg-icon/

13 QCG-Icon

14 QCG-Icon - instalacja Paczki instalacyjne programu QCG-Icon można pobrać ze strony http://www.qoscosgrid.org/trac/qcg-icon/downloadshttp://www.qoscosgrid.org/trac/qcg-icon/downloads Do używania QCG-Icon wymagane jest posiadanie zainstalowanego oprogramowania Java Runtime Environment >= 1.6 (http://www.java.com)http://www.java.com Sama procedura instalacji QCG-Icon jest zautomatyzowana, w zasadzie nie wymaga wiedzy informatycznej. Przy pierwszym uruchomieniu QCG-Icon należy wybrać odpowiednią domenę obliczeniową (domyślnie PLGrid) oraz zaimportować certyfikat użytkownika (z pliku lub z usługi KeyFS).

15 QCG-Icon – zlecanie Zlecenie zadania QCG-Icon sprowadza się do następujących kroków: Wybrania z menu aplikacji: Plik -> Zleć Zadanie… Wybrania odpowiedniego (głównego) pliku wejściowego dla aplikacji (np. pliku z rozszerzeniem *.namd dla aplikacji NAMD). Określenia parametrów dla zadania w oknie zlecania, takich jak: dodatkowe pliki, wymagania zasobowe, czas obliczeń itd. (większość jest ustawiona na wartości domyślne). Naciśnięcia przycisku Zleć zadanie. Stan zadań można śledzić korzystając z tabeli głównego okna programu. Po zakończeniu zadania, podwójne kliknięcie na odpowiadającym mu wierszu powoduje przejście do katalogu z wynikami

16 QCG-Icon - informacje o zadaniu

17 QCG-Monitoring Serwis wyświetlający aktualny stan obliczeń aplikacji Predefiniowane style zawierające tabele, wykresy, obrazy dla wybranych aplikacji (aktualnie gaussian oraz piernik) Możliwość wyświetlania dowolnego tekstu z każdej aplikacji Dostępny on-line pod adresem: https://qcg-monitoring.man.poznan.pl

18 QCG-Monitoring (widok użytkownika) 18

19 QCG-Reservation 19 W uzasadnionych przypadkach możliwe jest uzyskanie gwarancji dostępu do zasobów obliczeniowych w określonym przedziale czasowym (rezerwacja). Rezerwacja zasobów możliwa jest przy użyciu: QCG-SimpleClient Usługi QCG-Reservation

20 QCG-Reservation (widok użytkownika) 20

21 Sposoby integracji Użycie QCG-Icon Użycie QCG-Client Integracja na poziomie WebService (API Java, API Python) 21 Możliwe wsparcie w procesie integracji

22 CZĘŚĆ PRAKTYCZNA https://www.qoscosgrid.org/trac/qcg-icon/downloads https://docs.plgrid.pl/qcg-pobierz (qcg.man.poznan.pl) /home/plgrid-groups/plggqoscos/simple-client-examples.tgz

23 Gdzie znaleźć informacje Strona główna QCG: http://www.qoscosgrid.org/ http://www.qoscosgrid.org/ QCG-SimpleClient: http://docs.plgrid.pl/qcg-client http://docs.plgrid.pl/qcg-client QCG-Icon : http://www.qoscosgrid.org/trac/qcg-icon http://www.qoscosgrid.org/trac/qcg-icon Podręcznik PL-Grid: http://www.plgrid.pl/podrecznik_uzytkownika http://www.plgrid.pl/podrecznik_uzytkownika qcg@plgrid.pl