02.04.2014 Debiut systemu NEC HYDRAstor w Polsce HYDRAstor – backup, który rośnie z firmą Najwydajniejszy system do backupu danych Michał Kaczmarczyk.

Prezentacja na temat: "02.04.2014 Debiut systemu NEC HYDRAstor w Polsce HYDRAstor – backup, który rośnie z firmą Najwydajniejszy system do backupu danych Michał Kaczmarczyk."— Zapis prezentacji:

1 02.04.2014 Debiut systemu NEC HYDRAstor w Polsce HYDRAstor – backup, który rośnie z firmą Najwydajniejszy system do backupu danych Michał Kaczmarczyk

2 02.04.20142 Czym jest ?

3 02.04.20143 HYDRAstor: Przestrzeń na dane backupowe NFS / CIFS / OST Aplikacja backupowa: Backup storage Ethernet 1GbE / 10GbE Sieć inteligentnych węzłów działających jako całość...

4 02.04.20144 HYDRAstor: Skalowanie przy pomocy węzłów SKALOWANIE WYDAJNOŚCI I POJEMNOŚCI SKALOWANIE POJEMNOŚCI Węzły hybrydowe Węzły pojemnościowe Wysokiej klasy serwery Elastyczna konfiguracja przy użyciu dwóch typów węzłów Możliwe łączenie różnych generacji sprzętu w jednej sieci

5 02.04.20145 HYDRAstor: Inteligentne oprogramowanie Całkowicie rozproszone Samo-organizujące się Zapewnia globalną deduplikację Dostarcza usługi zarządzające danymi Węzły hybrydowe Węzły pojemnościowe + =

6 02.04.20146 Problemy z backupem i system HYDRAstor jako ich rozwiązanie

7 02.04.20147 Problem: Ograniczone skalowanie

8 02.04.20148 Problemy ze skalowalnością ▐Istniejące systemy skalują się do niewielkich rozmiarów Wiele produktów z różnymi architekturami Wiele osobnych wysp do zarządzania ▐Nieelastyczna skalowalność wydajności i pojemności Ograniczone możliwości skalowania wydajności wraz ze zwiększającą się ilością danych do backupu Appliance Throughput Capacity Clients

9 02.04.20149 Skalowanie wydajności i pojemności Rozwiązanie :

10 02.04.201410 Skalowalność jako rozwiązanie istniejących problemów Clients Pojemność Wydajność 48TB (efektywnie 624TB*) 7920TB (efektywnie 103PB*) 802TB/godz. 4,9TB/godz.

11 02.04.201411 Skalowalność we wszystkich aspektach Konkurencyjne rozwiązania HYDRAstor Każdy węzeł wykonuje zadania tylko dla przydzielonej do niego pojemności. Jeden kontroler wykonuje pracę dla całej pojemności systemu. Wiele kontrolerów Jeden kontroler ▐Rozproszona architektura wszystkich rodzajów zadań zarządzanie usuwanie danych replikacja odbudowa danych zapis/deduplikacja/szyfrowanie

12 02.04.201412 Problem: Ograniczona możliwość rozbudowy

13 02.04.201413 Problemy z aktualizacją i rozbudową ▐Wymuszona wymiana sprzętu Osiągnięty limit wydajności lub pojemności Nowa wersja systemu niekompatybilna ze starą ▐Ryzyko i koszty Zmiana infrastruktury sieciowej i konfiguracji aplikacji Ograniczony dostęp do backupu w czasie migracji danych (downtime) Forklift upgrade

14 02.04.201414 Rozbudowa i aktualizacja w trakcie działania systemu Rozwiązanie :

15 02.04.201415 Przestrzeń backupowa na długie lata ▐Aktualizacja oprogramowania w miejscu bez migracji danych ▐Wydajniejsze komponenty oraz większą gęstością danych z nową generacją ▐Ciągła dostępność danych ▐Obniżone wydatki inwestycyjne i operacyjne dzięki deduplikacji ▐Skalowanie bez przerw w działaniu systemu i rezerwacji miejsca Rozbudowa/aktualizacja online także z węzłami z różnych generacji Usunięcie więzła podczas działania Rozbudowa/aktualizacja podczas działania V2 + V3 + V4 + Vx = 1 System

16 02.04.201416 Problem: Z góry ustalona odporność na awarie dla całego systemu

17 02.04.201417 Niska i ustalona odporność na awarie macierzy RAID 5 6 7 8 2 3 4 1 Jakie dane mogą być odtworzone w przypadku utraty bloku #1? Żadne! 1 4 6 2 1 7 1 4 6 1 3 6 4 6 1 7 6 8 1 4 7 5 1 Dzień 1: Pełny Dzień 2: Przyrostowy …Dzień 7: Pełny Dzień 3: Przyrostowy 1 RAID (nawet poziomu 6go) jest niewystarczający dla zdeduplikowanych danych

18 02.04.201418 Wielopoziomowa odporność na awarie w jednym systemie Rozwiązanie :

19 02.04.201419 Distributed Resilient Data TM ▐Konfigurowalny poziom ochrony danych Wiele, dostępnych jednocześnie, poziomów odporności w jednym systemie (1- 6) Dynamicznie przydzielany poziom ochrony danych dla różnych aplikacji i backupów Typowy RAID 6 HYDRAstor DRD TM dysk z danymi dysk zapewniający odporność na awarie 1) 2) 3) 6) 5) 4) dysk zapasowy ▐Lepsza ochrona, ten sam koszt Domyślna ochrona przeciwko trzem równoczesnym awariom dysków (1.5x lepsza ochrona niż typowy RAID 6) Brak dysków zapasowych Legenda:

20 02.04.201420 DRD TM : Wydajna i efektywna ochrona danych w szczegółach

21 02.04.201421 DRD TM vs RAID-6 – odbudowa po awarii RAID-6 Odbudowa z wielu na wiele dysków ▐Wydajny, samo-uzdrawiający się system Odbudowa tylko danych, zamiast całego dysku Dane są rekonstruowane równomiernie na wielu dyskach X Jeden dysk wąskim gardłem odbudowy HYDRAstor DRD TM

22 02.04.201422 RepliGrid TM – zoptymalizowana replikacja Replikacja wiele do jednego Replikacja wiele do wielu ▐Asynchroniczna replikacja z klastra do klastra zoptymalizowana do sieci rozległej dla zabezpieczenia przed poważnymi awariami ▐Deduplikacja pomiędzy wszystkimi replikowanymi gridami Minimalizuje wymagania na przepustowość sieci (przesyłanie tylko nowych bloków) Minimalizuje wymagania na pojemność zdalnego systemu ▐Szyfrowanie danych w locie

23 02.04.201423 Problem: Sztywny podział zasobów

24 02.04.201424 Problem z zarządzaniem dużą ilością sprzętu Backup maili Rozmiar: 10TB Zajętość miejsca: 100% Wydajność: 50MB/s Rok produkcji: 2009 Odporność na awarie: 2 dyski Backup katalogów roboczych Rozmiar: 100TB Zajętość miejsca: 10% Wydajność: 300MB/s Rok produkcji: 2012 Odporność na awarie: 1 dysk Backup baz danych Rozmiar: 1000TB Zajętość miejsca: 30% Wydajność: 200MB/s Rok produkcji: 2005 - koniec linii Odporność na awarie: 2 dyski Backup danych kluczowych Rozmiar: 100TB Zajętość miejsca: 30% Wydajność: 500MB/s Rok produkcji: 2012 Odporność na awarie: 6 dysków ▐Syndrom wielu wysp Pojemność/przepustowość podzielona na stałe pomiędzy wiele systemów Ograniczona możliwość konfiguracji backupów różnych danych według ich priorytetów Duża liczba systemów do monitorowania (niezależna konfiguracja)

25 02.04.201425 Elastyczne przydzielanie zasobów Rozwiązanie :

26 02.04.201426 DynamicStor TM : Dynamiczne przydzielanie zasobów Tradycyjny backup storage HYDRAstor zarządzaniewiele wyspjeden system pojemnośćustalona dla systemu, podział na partycje rozszerzalna/dynamicznie dzielona, jedna pula zasobów wydajnośćustalona dla systemurozszerzalna/dynamicznie dzielona rozbudowabrak lub ograniczonapodczas działania/różne generacje odporność na awarie ustalonakonfigurowalna

27 02.04.201427 Problem: Lokalna deduplikacja

28 02.04.201428 Lokalność deduplikacji ▐Ograniczony obszar deduplikacji (w ramach jednego węzła) Ograniczona skalowalność powoduje wielokrotną obecność tych samych danych w wielu systemach Niższy wskaźnik deduplikacji w dużych środowiskach A A B B C C D D B B C C D D A A C C D D A A B B C C D D B B A A C C D D Deduplikacja Bloki unikalne tylko w ramach węzła B B D D C C Plik_A Plik_CPlik_B A A Plik_C

29 02.04.201429 Globalna deduplikacja Rozwiązanie :

30 02.04.201430 DataRedux™ - globalna deduplikacja ▐Globalna deduplikacja podczas backupu Deduplikacja danych pomiędzy WSZYSTKIMI danymi na WSZYSTKICH węzłach Zwiększa efektywność wykorzystania przestrzeni na dane ▐Inteligentny i równomierny rozkład danych Dane automatycznie przekazywane do właściwego węzła Deduplikacja skaluje się liniowo z liczbą węzłów B B Deduplikacja Plik_APlik_C A A B B C C D D Plik_B Tylko bloki unikalne A A B B C C D D B B D D C C A A C C D D A A Plik_A Plik_B Plik_C

31 02.04.201431 Sprawdzona i nagradzana technologia

32 02.04.201432 Wyróżnienia rynkowe Best in class (w tym trzy pierwsze miejsca) w przewodniku rozwiązań do backupu dla klientów średniej wielkości (DCIG 2013) Najbardziej skalowalny i najszybszy system z deduplikacją na świecie (2010 – niezależny analityk rynku Curtis W. Preston) Product Innovation Award Winner (2008 - Network Products Guide) Produkt Roku w kategorii “Backup and Disaster Recovery Hardware” (2007 - Storage Magazine and SearchStorage.com) The big winner here is NEC, coming in more than three times as fast as their closest competitor. W. Curtis Preston (28.10.2010)

33 02.04.201433 Prace badawcze "Fuzzy adaptive control for heterogeneous tasks in high-performance storage systems" – SYSTOR'13, Haifa, Izrael "Concurrent Deletion in a Distributed Content - Addressable Storage System with Global Deduplication" – FAST'13, San Jose, USA "Reducing Impact of Data Fragmentation Caused By In-Line Deduplication" – SYSTOR'12, Haifa, Izrael "Anchor-driven subchunk deduplication" – SYSTOR'11, Haifa, Izrael "Bimodal Content Defined Chunking for Backup Streams" – FAST'10, San Jose, USA "HydraFS: A High-Throughput File System for the HYDRAstor Content- Addressable Storage System" – FAST'10, San Jose, USA "HYDRAstor: a Scalable Secondary Storage" – FAST'09, San Francisco, USA "FPN: A Distributed Hash Table for Commercial Applications" – HPDC'04, Honolulu, USA... + 19 patentów przyznanych i 24 oczekujące (w USA i Japonii)

34 02.04.201434 Szczegóły konfiguracji

35 02.04.201435 HS3-410 – Węzeł typu mini (nierozszerzalny) ▐Najmniejszy rozmiar systemu HYDRAstor dla małych i średnich firm HS3-410 Przepustowość (Standardowa)3.2 TB/godz. Przepustowość (OST Express I/O)3.6 TB/godz. Rzeczywista Pojemność24 TB Efektywna Pojemność312 TB Dyski12x 3.5” SATA 2TB HDD (7,200rpm) Porty NIC6 x 1GbE lub 2/4 x 10GbE + 4/2 x 1GbE

36 02.04.201436 HS8-4000 – węzeł hybrydowy ▐ Węzeł hybrydowy (HN) Dodaje wydajność i pojemność do systemu HYDRAstor HS8-4000 HN Przepustowość (Standardowa)4.9 TB/godz. Przepustowość (OST Express I/O)6.3 TB/godz. Rzeczywista Pojemność48 TB Efektywna Pojemność624 TB Dyski12x 3.5” SATA 4TB HDD (7,200rpm) Porty NIC6 x 1GbE lub 2/4 10GbE + 2 x 1GbE

37 02.04.201437 HS8-4000 SN Rzeczywista Pojemność48 TB Efektywna Pojemność624 TB Dyski12x 3.5” SATA 4TB HDD (7,200rpm) HS8-4000 – węzeł pojemnościowy ▐ Węzeł pojemnościowy (SN) Dodaje pojemność do systemu HYDRAstor

38 02.04.201438 HYDRAstor 4-tej generacji HS8-4001 4.9TB/godz. 12-48TB (Efektywna 156-624TB) HS8-4002-96 9.7TB/godz. 96TB (Efektywna 1.2PB) HS8-4001-96 4.9TB/godz. 96TB (Efektywna 1.2PB) HS8-4002-192 9.7TB/godz. 192TB (Efektywna 2.5PB) HS8-4006-720 29.2TB/godz. 720TB (Efektywna 9.4PB) HS8-4165-7920 802TB/godz. 7,920TB (Efektywna 103PB) Model rozszerzalny Pojemność Wydajność Hybrydowy Pojemnościowy Rodzaje węzłów HS3-410 3.2TB/godz. 24TB (Efektywna 312TB) Model nierozszerzalny

39 02.04.201439 Wspólny kod i funkcjonalność ▐Wszystkie cechy oprogramowania HYDRAstor wspólne dla całej linii produktowej: Distributed Resilient Data TM DataRedux TM Cloning/Snapshot RepliGrid TM DynamicStor TM Dynamic Data Shredding Front-end automatic failover No single point of failure HYDRAlock TM (WORM) Encryption at rest HYDRAstor OpenStorage Suite Opcjonalne: Podstawowe:

40 02.04.201440 HYDRAstor: typowa konfiguracja 1 PB/hr100 PB

41 02.04.201441 Podsumowanie

42 02.04.201442 HYDRAstor - więcej niż system do backupu danych Liniowa skalowalność (wydajności i pojemności) Elastyczne przydzielanie zasobów Rozbudowa i aktualizacja podczas działania Wielopoziomowa odporność na awarie Globalna deduplikacja

43 02.04.201443 Przypadki użycia u klientów

44 02.04.201444 Duży szpital (Japonia) – wymagania Zastąpienie kosztownego i pracochłonnego transportowania taśm z repliką danych backupowych Umożliwienie przeprowadzania backupu każdego dnia

45 02.04.201445 Duży szpital (Japonia) – rozwiązanie Automatyzacja replikacji i łatwa jej weryfikacja Wysoka wydajność zmniejszająca okno backupu danych (umożliwienie codziennego backupu)

46 02.04.201446 Agencja rządowa (USA) - wymagania Wydajny backup z ponad 1000 serwerów operacyjnych Efektywna replikacja do innego stanu Zapewnienie możliwości nieprzerwanego wzrostu systemu na poziomie 5% rocznie

47 02.04.201447 Agencja rządowa (USA) - rozwiązanie 12AN+33SN Rozszerzony z 12AN+24SN 12AN+24SN Replikacja Ponad 1000 serwerów operacyjnych Duża wydajność backupów: nawet 32TB/godz (ok. 9GB/s) Efektywna replikacja tylko nowych danych Skalowalny i rozszerzalny system Globalna deduplikacja danych

48 2/4/201448 Duża korporacja (USA) – wymagania Zaproponowanie rozwiązania do wydajnego backupu dla całej organizacji 5 oddziałów: Filipiny, Kanada, Wielka Brytania, 2x USA 3 centra danych

49 2/4/201449 Duża korporacja (USA) - rozwiązanie 3AN+12SN 2AN+16SN FilipinyKanadaUSA UK Replikacja 7AN+47SN Rozszerzony z 3+12

50 02.04.201450 Pytania?

51 Dziękuję :) hydrastor@9livesdata.com