OOn Scientific Research using Scalarm Platform for Modeling and Simulation Dzień dobry, Nazywam się Jakub Liput, jestem pracownikiem ACK Cyfronet AGH i chciałem przedstawić Państwu platformę wspomagającą eksperymenty z użyciem modelowania i symulacji w prezentacji On Scientific Research using Scalarm Platform for Modeling and Simulation. J. Liput, D. Krol, R. Slota, J. Kitowski ACC Cyfronet AGH Department of Computer Science, AGH UST Cybernetic Modeling of Biological Systems Kraków, Poland, May 14-15, 2015 *

Agenda A common research case - assumptions Data farming methodology Interactive data farming process with Scalarm Example of Immunological Evolutionary Multi-Agent System optimization Summary and future works Na początku chciałbym przedstawić często spotykany sposób prowadzenia badań naukowych i wyjaśnić czym jest metodologia Data Farming, by następnie pokazać przykładowy sposób prowadzenia takich badań w platformie Scalarm i pokazać korzyści z tego płynące. *

Research assumptions Simulations Goals An example Simulation as a “black box” Behavior study in various configurations Goals Interesting results discovery Optimal simulation configuration discovery Simulation model and implementation optimization An example Validation and search for optimal configuration of developed algorithm Dzięki stale rosnącej mocy obliczeniowej komputerów, coraz więcej badań prowadzi się w oparciu o symulacje, dzięki którym można badać zachowanie danego zjawiska w różnych konfiguracjach. Celem takiego działania jest nie tylko znalezienie ciekawych wyników symulacji, ale także dążenie do znalezienia optymalnej konfiguracji takiej symulacji. Przykładem może być proces tworzenia pewnego algorytmu i badanie jego zachowania dla różnych danych wejściowych.

Experiment Example: Optimization and Testing of IEMAS Evolutionary Multi-Agent System (EMAS) Intelligent Information Systems Group AGH Multi-agent metaheuristics without global control An agent represents a solution of optimization problem Immunological Evolutionary Multi-Agent System (IEMAS) dr hab. inz. M. Kisiel-Dorohinicki, D. Kluba, D. Wojciechowski Extension of EMAS with immunological mechanisms Research goals Validation and efficiency check of IEMAS in various configurations Evaluation of IEMAS implementation extensions Przykładowym badaniem realizowanym przy użyciu Scalarma było tworzenie oraz badanie zachowania algorytmu immunologicznego ewolucyjnego systemu wieloagentowego. Jest to praca badawcza, realizowana w ramach pracy magisterskiej w Katedrze Informatyki AGH w grupie Inteligentnych systemów informacyjnych mająca na celu rozszerzenie ewolucyjnego systemu wielo-agentowego o mechanizmy immunologiczne. Scalarm wykorzystany był dla ułatwienia uruchamiania wielu różnych konfiguracji algorytmu IEMAS, zbieranie wyników i ich analizy, celem walidacji i sprawdzenia efektywności wprowadzanego rozwiązania.

Data Farming Process with The Scalarm Platform Experiment creation by parameter space specification Simulation implementation Experiment plan New experiment creation Simulation model creation Tasks execution and monitoring on HPC Grid Grid Cloud Cloud Simulation implementation modification Experiment plan modification Server Server Simulation model idea Scalarm umożliwia prowadzenie badań zgodnie z metodologią Data Farming. Na diagramie został przedstawiony schemat procesu Data Farming, który omówię w oparciu o przykładowy eksperyment. ? Analysis and visualization Answer or modification On-line results gathering Initial question

Data Farming in Scalarm Platform: Simulation creation Experiment creation by parameter space specification Simulation implementation Experiment plan New experiment creation Simulation model creation Tasks execution and monitoring on HPC Grid Grid Cloud Cloud Simulation implementation modification Experiment plan modification Server Server Simulation model idea Pierwszym etapem w prowadzeniu eksperymentu Data Farming jest stworzenie modelu badanego zjawiska - w tym przypadku algorytmu. ? Analysis and visualization Answer or modification On-line results gathering Initial question

Data Farming in Scalarm Platform: Simulation creation Definition of input Your simulation binaries Poprzez interfejs w przeglądarce internetowej, Scalarm umożliwia użycie dowolnych plików binarnych do uruchomienia modelu oraz specyfikację parametrów wejściowych i sposobu uruchomienia modelu. Script to run simulation

Data Farming in Scalarm Platform: Experiment Creation Experiment creation by parameter space specification Simulation implementation Experiment plan New experiment creation Simulation model creation Tasks execution and monitoring on HPC Grid Grid Cloud Cloud Simulation implementation modification Experiment plan modification Server Server Simulation model idea Kolejnym etapem jest zapoczątkowanie eksperymentu na podstawie zdefiniowanego modelu. ? Analysis and visualization Answer or modification On-line results gathering Initial question

Data Farming in Scalarm Platform: Experiment Creation 3 tabs: basic DoE constraints Single value parameter Polega to na określeniu przestrzeni parametrycznej, czyli zestawów parametrów, dla których model będzie uruchamiany. Scalarm umożliwia użycie nie tylko podstawowe metody parametryzacji jak np. iloczyn kartezjański, ale także metody projektowania eksperymentu ograniczającego w efektywny sposób liczbę uruchomień aplikacji oraz dodakowe warunki. Range parameter

Data Farming in Scalarm Platform: Experiment Creation Warto dodać, że istnieje także możliwość importowania przestrzeni parametrycznej z pliku CSV, jeśli sposób doboru parametrów jest skomplikowany.

Data Farming in Scalarm Platform: Simulations execution Experiment creation by parameter space specification Simulation implementation Experiment plan New experiment creation Simulation model creation Tasks execution and monitoring on HPC Grid Grid Cloud Cloud Simulation implementation modification Experiment plan modification Server Server Simulation model idea Posiadając plan eksperymentu można rozpocząć wykonywanie obliczeń. ? Analysis and visualization Answer or modification On-line results gathering Initial question

Data Farming in Scalarm Platform: Simulations execution Scalarm umożliwia w wygodny sposób uruchomienie obliczeń na architekturach takich jak gridy i cloudy.

Data Farming in Scalarm Platform: Simulations execution A następnie monitorowanie stanu zasobów...

Data Farming in Scalarm Platform: Experiment Progress ...oraz obliczeń.

Data Farming in Scalarm Platform: Progress Information Scalarm zajmuje się zbieraniem wyników, które możemy przeglądać np. w tabelach...

Data Farming in Scalarm Platform: Simulation Details Input parameters Measures of Effectiveness …i wyświetlać szczegóły pojedynczego uruchomienia. Binary output Standard output

Data Farming in Scalarm Platform: Analysis and Visualization Experiment creation by parameter space specification Simulation implementation Experiment plan New experiment creation Simulation model creation Tasks execution and monitoring on HPC Grid Grid Cloud Cloud Simulation implementation modification Experiment plan modification Server Server Simulation model idea Przeglądanie i analiza pojedynczych wyników nie jest jednak wygodna, szczególnie w przypadku ogromnej liczby wykonanych symulacji, dlatego Scalarm zawiera wbudowane metody masowej analizy i wizualizacji wyników. ? Analysis and visualization Answer or modification On-line results gathering Initial question

Data Farming in Scalarm Platform: Analysis and Visualization W łatwy sposób można obserwować zależności między parametrami i wynikami na wykresach punktych dwuwymiarowych....

Data Farming in Scalarm Platform: Analysis and Visualization ...oraz trójwymiarowych,

Data Farming in Scalarm Platform: Analysis and Visualization lub na wykresach liniowych.

Data Farming in Scalarm Platform: Analysis and Visualization W badaniu statystycznym wyników przydatne są także histogramy.

Data Farming in Scalarm Platform: Analysis and Visualization Do platformy wprowadzane są także metody analizy wpływu parametrów na wyniki, jak widoczny wykres Pareto

Data Farming in Scalarm Platform: Analysis and Visualization Oraz wykresy interakcji.

Data Farming in Scalarm Platform: Analysis and Visualization Experiment creation by parameter space specification Simulation implementation Experiment plan New experiment creation Simulation model creation Tasks execution and monitoring on HPC Grid Grid Cloud Cloud Simulation implementation modification Experiment plan modification Server Server Simulation model idea Dzięki informacjom uzyskanym w trakcie analizie i wizualizacji, użytkownik jest w stanie zmodyfikować wykonujący się eksperyment albo zdecydować o modyfikacjach modelu. ? Analysis and visualization Answer or modification On-line results gathering Initial question

Data Farming in Scalarm Platform: Experiment Plan Modification Experiment creation by parameter space specification Simulation implementation Experiment plan New experiment creation Simulation model creation Tasks execution and monitoring on HPC Grid Grid Cloud Cloud Simulation implementation modification Experiment plan modification Server Server Simulation model idea Modyfikacja wykonującego eksperymentu może przykładowo polegać na... ? Analysis and visualization Answer or modification On-line results gathering Initial question

Data Farming in Scalarm Platform: Experiment Plan Modification Rozszerzeniu przestrzen parametrycznej o dodatkowe zakresy parametrów.

Data Farming w platformie Scalarm: Experiment Plan Modification Po takim rozszerzeniu, możemy przykładowo uzskać dodatkowe informacje o wpływie pewnego parametru na wyniki symulacji.

Data Farming in Scalarm Platform: Simulation modification Experiment creation by parameter space specification Simulation implementation Experiment plan New experiment creation Simulation model creation Tasks execution and monitoring on HPC Grid Grid Cloud Cloud Simulation implementation modification Experiment plan modification Server Server Simulation model idea Akcją podjętą po analizie może być także zmiana samego modelu symulacji. Przykładowo w trakcie badań nad algorytmem IEMAS zaproponowane zostało rozszerzenie związane z przepływem tzw. energii do nowo powstałych agentów. W tym przypadku, dzięki ponownemu uruchomieniu eksperymentu hipoteza, czy wprowadzenie tej funkcjonalności wpłynie w istotny sposób na lepsze wyniki zwracane przez algorytm, została obalona, dzięki czemu zmienono priorytety rozwoju algorytmu. ? Analysis and visualization Answer or modification On-line results gathering Initial question

Summary https://scalarm.plgrid.pl The Scalarm Platform introduces considerable ease in parameter study and Data Farming experiments conduction Interactivity allows faster response for emerging results Podsumowując, platforma Scalarm stanowi znaczne ułatwienie w prowadzeniu badań parametrycznych oraz w metodologii Data Farming, a dzięki interaktywności całego procesu możliwa jest szybka reakcja na napływące wyniki. Scalarm może być także wykorzystywane przez zewnętrzne aplikacje dzięki API REST-owemu, tworząc w ten sposób środowiska dziedzinowe. https://scalarm.plgrid.pl

Future Works Extension with more generic analysis and visualisation methods Clustering methods Decision trees Support for semi-automatic experiment conduction Optimization Advanced analysis W publicznej usłudze Sclarm dostępne są obecnie niektóre z pokazanych metod wizualizacji - obecnie pracujemy nad wdrożeniem większej liczby metod analizy i wizualizacji, na przykład metody klasteryzacji wyników oraz drzewa decyzyjne. Trwa także integracja Scalarma z algorytmami automatyzującymi proces prowadzenia eksperymentu, takimi jak autonomiczna optymalizacja oraz zaawansowane metody analizy, co ma odciążyć użytkownika od niektórych zadań przeprowadzanych w tym momencie przez interfejs graficzny.

https://scalarm.plgrid.pl http://scalarm.com Thank you! https://scalarm.plgrid.pl http://scalarm.com Contact us: j.liput@cyfronet.pl dkrol@agh.edu.pl Dziękuję bardzo za uwagę, na slajdzie widnieją adresy - usługi Scalarm, dostępnej dla użytkowników PL-Grid, oraz strona informacyjna. Zapraszam do zadawania pytań - także podczas kolacji konferencyjnej. *