Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

IFJ w chmurach Wykorzystanie technologii obliczeń elastycznych w rozległych sieciach komputerów, w badaniach naukowych i gospodarce Henryk Pałka, Mariusz.

Podobne prezentacje


Prezentacja na temat: "IFJ w chmurach Wykorzystanie technologii obliczeń elastycznych w rozległych sieciach komputerów, w badaniach naukowych i gospodarce Henryk Pałka, Mariusz."— Zapis prezentacji:

1 IFJ w chmurach Wykorzystanie technologii obliczeń elastycznych w rozległych sieciach komputerów, w badaniach naukowych i gospodarce Henryk Pałka, Mariusz Witek czyli o projekcie POIG ( ):

2 H. Pałka, M. Witek 2 Termin Cloud Computing zawojował świat (oddziałuje na wyobraźnię marketing), choć nie oddaje zasadniczej cechy technologii Elastic Computing nazywa wprost adaptowalność środowiska obliczeniowego elastyczność i skalowalność, z punktu widzenia użytkownika i administratora Wobec tego, def.: –Obliczenia w chmurach = obliczenia elastyczne ( używamy naprzemiennie) Obliczenia elastyczne a IFJ w chmurach?

3 H. Pałka, M. Witek 3 Współczesny krajobraz IT : Skomplikowane, heterogeniczne środowisko, trudne do opanowania: mnogość systemów operacyjnych, proliferacja różnych technologii, utrudnia współpracę (interoperability) Konieczna abstrakcja zasobów (hard i soft) Obliczenia jako artykuł (spożywczy): Data Centers (Cloud)

4 H. Pałka, M. Witek 4 Plan Motywacje Wprowadzenie do elastycznych obliczeń Cele i harmonogram projektu Gdzie jesteśmy obecnie

5 H. Pałka, M. Witek 5 Motywacje Potencjał i zalety środowiska elastycznych obliczeń zauważyliśmy wiosną 2008 (ISGC-2008) Obecnie jest to dominujący trend obliczeń rozproszonych: Google trends (październik 09), –Cloud computing vs Grid –(zalecana ostrożność interpretacji!)

6 H. Pałka, M. Witek 6 Czy aby nie przemijająca moda? czy tu? Jesteśmy tutaj? czy tu? Krzywa cyklu przereklamowania nowej technologii(Gartner Hype Cycle) Ten sam Gartner prognozuje, że wartość światowego rynku Cloud Computing (komercyjne wykorzystanie) potroi się do 2014 r (56mld $ 150 mld $).

7 H. Pałka, M. Witek 7 Motywacje: model obliczeniowe eksperymentów HEP Wyspecjalizowana, sformalizowana i złożona struktura Wymaga specjalnych zabiegów przykrywających heterogeniczność systemu W praktyce ograniczenie do mono-systemu operacyjnego Wieloletnim wysiłkiem zapewniono potrzebne zasoby obliczeniowe LHC (WLCG – World-wide LHC Computing Grid) Ogromne zasługi w popularyzacji i udostępnieniu rozproszonych zasobów innym dziedzinom nauki (EGEE) Tier-3 _ general purpose research networks

8 H. Pałka, M. Witek 8 Możliwe wykorzystanie elementów środowiska elastycznych obliczeń w GRID B. pozytywne doświadczenia w zastosowaniu wirtualizacji do instalacji oprogramowania LCG (Uniwersytet w Melbourne) Wiele nowych projektów: wykorzystanie wirtualizacji węzłów do przetwarzania wsadowego, a nawet wirtualizacja pełnego EGEE (StratusLab) Zachęcające wyniki próby wykorzystania EC2 (Amazon) do masowej symulacji MC w eksperymencie Belle (Belle II): koszt porównywalny z kosztem zakupu i utrzymania własnego sprzętu Interesujące rozwiązanie dla absorpcji szczytów zapotrzebowania na moc obliczeniową

9 H. Pałka, M. Witek 9 Motywacje c.d. Środowisko obliczeń elastycznych umożliwi: –Wykonywanie aplikacji pod wieloma systemami operacyjnymi dostęp do dużych zasobów obliczeniowych dla użytkowników dotychczas wykonujących aplikacje pod Windows na pojedynczych PC lub małych klastrach PC –Integrację istniejącego sprzętu w IFJ (niższe koszty operacyjne) –Oszczędność energii –Wyższy stopień wykorzystania sprzętu, w porównaniu z izolowanymi klastrami wg badań IBM wykorzystanie izolowanych klastrów <30% Integracja w IFJ Integracja z zewnętrznymi instytucjami (listy intencyjne z PK, URz, UJK) (poza zakresem projektu, ale możliwa ponad-regionalna integracja – PL-Grid) –Propagowanie technologii obliczeń elastycznych wśród małych i średnich, firm IT (tzw. MŚ - misie) które nie chcą inwestować (ryzyko bankructwa), nie mogą inwestować (brak zdolności kredytowej) we własną infrastrukturę

10 H. Pałka, M. Witek 10 Środowisko elastycznych obliczeń: wirtualizacja Popularyzując, wirtualizacja to: oszukiwanie systemu operacyjnego (i działającej w nim aplikacji) poprzez dostarczenie nierozróżnialnej iluzji dostępu do fizycznego sprzętu Hardware Virtual Machine Monitor Linux Linux (devel) XP Win7 MacOS 100 core Tilera 4 core Intel Pełna wirtualizacja (1970 IBM 370 CP/CMS) (VmWare <2005) Osobny VMM dla każdego nowego Hardwaru Renesans: pełna wirt. wspomagana sprzętowo (> 2005: Intel VT, AMD-V)

11 H. Pałka, M. Witek 11 Korzyści z wirtualizacji Perspektywa użytkownika: –Oddzielenie aplikacji od sprzętu (uniezależnienie od systemu operacyjnego) –Pełne wykorzystanie wielo-rdzeniowych CPU –Jednolite środowisko lokalne i w systemie rozproszonym Perspektywa administratora systemu: –Elastyczność zasobów –Łatwość zarządzania zasobami

12 H. Pałka, M. Witek 12 Bezpośrednie korzyści z projektu : Nowoczesna serwerownia –zasilanie dwupunktowe + UPS, chłodzenie, system przeciwpożarowy, podłoga techniczna. Klaster (~ rdzeni, ~50TB HD) do obliczeń elastycznych umożliwiający efektywne wykorzystanie zasobów –rozmaite dystrybucje Linux-a + Windows –przyjazny interfejs rezerwacji zasobów Modernizacja sieci wewnętrznej i podniesienie przepustowości na zewnątrz (2 Gb/s 4-10 Gb/s)

13 H. Pałka, M. Witek 13 Kryteria dla maszyny wirtualnej Trzy warunki dla maszyny wirtualnej (Kryteria Popka-Goldberga 1974) –Odpowiedniość – program działający na maszynie wirtualnej musi zachowywać się w dokładnie taki sam sposób, jak na rzeczywistym sprzęcie –Kontrola zasobów – system zarządzajacy VMM (Virtual Machine Manager) powinien w pełni kontrolować wszystkie zasoby, które są wirtualizowane –Wydajność – większa część instrukcji musi być wykonywana bez udziału maszyny wirtualnej... an abstraction layer that allows multiple virtual [computers], with heterogeneous operating systems to run in isolation, side-by-side on the same physical machine. - VMWare

14 H. Pałka, M. Witek 14 Typy wirtualizacji (w kontekście x86) Pełna emulacja sprzętu –Umożliwia wirtualizacje pewnej architektury (procesor, urządzenia, …) w środowisku innej architektury. –Np. Emulacja procesora Motorola na x86 –Dynamiczna translacja kodu binarnego –Znacznie mniejsza szybkość w stosunku do bezpośredniego wykonania zadania na rzeczywistym sprzęcie. Parawirtualizacja –W obrębie jednej architektury. –Wymaga modyfikacji oryginalnego systemu operacyjnego do przechwytywania instrukcji uprzywilejowanych. –Niewielkie straty wydajności Pełna wirtualizacja wspierana sprzętowo – HVM –W obrębie jednej architektury –Od momentu pojawienia się procesorów wspierających wirtualizację (2005 r.). Technologie Intel VM, AMD-V –Pozwala na wirtualizację niezmodyfikowanych OS przy minimalnej stracie wydajności.

15 H. Pałka, M. Witek 15 Wirtualizacja x86 Ze względu na specyfikę architektury wirtualizacja x86 była trudna. W uproszczeniu dwa poziomy –Poziom uprzywilejowany (Ring-0) Wszystkie rozkazy dostępne –Poziom aplikacji (Ring-3) Ograniczony zestaw rozkazów Dostęp do zastrzeżonych rozkazów za pomocą dedykowanego mechanizmu (zapewniającego bezpieczeństwo) Problem: –nadzór nad VM z poziomu Ring-0 ale OS na każdej z uruchomionych VM wymaga pełnej kontroli nad Ring-0 Rozwiązanie: –technologie Intel VM, AMD-V –efektywnie dodatkowy nadrzędny Ring Guest OS ma udostępniony Ring-0 Intel VM, AMD-V

16 H. Pałka, M. Witek 16 Wirtualizacja a wydajność Niewielki spadek wydajności CPU Możliwy, w pewnych przypadkach, spadek wydajności z powodu szybkości I/O Wiele maszyn wirtualnych współdzieli urządzenia na tej samej fizycznej maszynie (dysk, karty sieciowe)

17 H. Pałka, M. Witek 17 Przykłady systemów EC Systemy komercyjne –Public Cloud Amazon – interfejs EC2 –Płatny dostęp (moc obliczeniowa, przestrzeń dysków, transfer sieciowy) –Private Cloud IBM – CloudBurst Gotowe rozwiazanie do wykorzystania w firmie –sprzęt, oprogramowanie do zarządzania i interfejs do rezerwacji zasobów Systemy OpenSource –Eucalyptus, OpenNebula, Nimbus,…

18 H. Pałka, M. Witek 18 Przykład systemu elastycznego

19 H. Pałka, M. Witek 19 Harmonogram projektu – Zakończenie modernizacji serwerowni – Uruchomienie pierwszej partii klastra (~400 rdzeni), macierz dyskowa 30 TB oraz modernizacja sieci – Uzupełnienie klastra, kolejne ~400 rdzeni + rozszerzenie macierzy o dodatkowe 30 TB.

20 H. Pałka, M. Witek 20 Serwerownia obecnie

21 H. Pałka, M. Witek 21 Plan nowej serwerowni Nadmiarowa klimatyzacja Podtrzymanie napięcia Nowoczesny System ppoż 10 Gb router

22 H. Pałka, M. Witek 22 Serwerownia za 3 miesiące (wizualizacja)

23 H. Pałka, M. Witek 23 Zad nr 4. - Rozwój środowiska elastycznych obliczeń Testowe instalacje pakietów OpenSource dla środowisk elastycznych obliczeń, wybór najlepszego rozwiązania Przygotowanie narzędzi do generacji obrazów systemów operacyjnych dla maszyn wirtualnych (obrazów VM). Instalacja wybranego pakietu elastycznych obliczeń na zakupionym sprzęcie i jego testy. Przygotowanie pierwszej wersji systemu elastycznych obliczeń w obrębie pojedynczego klastra i jego testy Udostępnienie systemu dla wybranych użytkowników. Opracowanie pierwszej wersji interfejsu dla użytkowników aplikacji w IFJ PAN. Opracowanie metod do generacji obrazów VM wraz z aplikacjami i ich składowania w centralnym katalogu. Testy systemu pod maksymalnym obciążeniem w trybie wielu użytkowników. Opracowanie systemu do monitorowania obciążenia Udoskonalanie uniwersalnego interfejsu rezerwacji zasobów i ich wykorzystania. Rozwój interfejsów dla poszczególnych aplikacji IFJ PAN. Udostępnienie systemu dla wszystkich użytkowników IFJ PAN. Optymalizacja w celu maksymalnego wykorzystania zasobów. Opracowanie procedur identyfikowania problemów i ich usuwania Utrzymywanie produkcyjnej jakości rozproszonego systemu elastycznych obliczeń. Udoskonalanie interfejsu dostępowego oraz interfejsów aplikacji. Implementacja interfejsów dla nowych aplikacji. Pilotowe nieodpłatne udostępnienie systemu dla małych firm , IFJ PAN.

24 H. Pałka, M. Witek 24 Zad nr 5 - Integracja środowiska rozproszonego H Utworzenie dwóch niezależnych klastrów w obrębie sieci lokalnej IFJ PAN. Instalacja dwóch odrębnych systemów elastycznych obliczeń i ich integracja jako systemu rozproszonego. Testy jednoczesnej rezerwacji zasobów obu klastrów przez pojedynczego użytkownika. Testy mechanizmów nadrzędnej warstwy zarządzania systemami rozproszonymi. Testy przydziału zasobów dyskowych Przygotowanie procedury do instalacji systemu elastycznych obliczń. Instalacja w zainteresowanych instytucjach zewnętrznych. Integracja wszystkich instalacji w ramach jednolitego systemu zarządzającego. Testy skalowalności funkcjonalności w zakresie sieci WAN.

25 H. Pałka, M. Witek 25 Aktualny stan projektu Przetarg na modernizację serwerowni przygotowany do ogłoszenia. R&D dostępnych systemów EC –Grupa 8 entuzjastycznie nastawionych studentów informatyki (AGH,PK) –Mini klaster Jednostka zarządzająca + 2 serwery (łącznie 16 rdzeni) –Testy systemów EC Open Source: Eucalyptus. OpenNebula, Nimbus Instalacje, przegląd funkcjonalności interfejsów, systemów do zarządzania i monitorowania Opracowanie specyfikacji sprzętowej pierwszej partii klastra –Scenariusze obliczeń zespołów naukowych w IFJ PAN Rezerwacja pojedynczej maszyny wirtualnej (Linux/Windows) Rezerwacja wirtualnego klastra (Linux) –Dopiero w początkowej fazie rozwoju nawet w systemach komercyjnych –Konfiguracja: system kolejkowy, dostęp do dysku grupy z preinstalowanym oprogramowaniem… (pierwsza wersja opracowywana w ramach R&D) –Emulacja maszyny SMP (czy są takie potrzeby)

26 H. Pałka, M. Witek 26 Podsumowanie Technologia wirtualizacji OS spowodowała burzliwy rozwój sytemów typu Elastic Computing w ostatnich dwóch latach. Projekt POIG w IFJ PAN Wykorzystanie technologii obliczeń elastycznych w rozległych sieciach komputerów, w badaniach naukowych i gospodarce pozwoli na zastosowanie tej technologii w obliczeniach naukowych w IFJ PAN i ułatwi jej upowszechnienie w środowisku naukowym i firmach komercyjnych (MŚ).


Pobierz ppt "IFJ w chmurach Wykorzystanie technologii obliczeń elastycznych w rozległych sieciach komputerów, w badaniach naukowych i gospodarce Henryk Pałka, Mariusz."

Podobne prezentacje


Reklamy Google