Debiut systemu NEC HYDRAstor w Polsce HYDRAstor – backup, który rośnie z firmą Najwydajniejszy system do backupu danych Michał Kaczmarczyk

Czym jest ?

HYDRAstor: Przestrzeń na dane backupowe NFS / CIFS / OST Aplikacja backupowa: Backup storage Ethernet 1GbE / 10GbE Sieć inteligentnych węzłów działających jako całość...

HYDRAstor: Skalowanie przy pomocy węzłów SKALOWANIE WYDAJNOŚCI I POJEMNOŚCI SKALOWANIE POJEMNOŚCI Węzły hybrydowe Węzły pojemnościowe Wysokiej klasy serwery Elastyczna konfiguracja przy użyciu dwóch typów węzłów Możliwe łączenie różnych generacji sprzętu w jednej sieci

HYDRAstor: Inteligentne oprogramowanie Całkowicie rozproszone Samo-organizujące się Zapewnia globalną deduplikację Dostarcza usługi zarządzające danymi Węzły hybrydowe Węzły pojemnościowe + =

Problemy z backupem i system HYDRAstor jako ich rozwiązanie

Problem: Ograniczone skalowanie

Problemy ze skalowalnością ▐Istniejące systemy skalują się do niewielkich rozmiarów Wiele produktów z różnymi architekturami Wiele osobnych wysp do zarządzania ▐Nieelastyczna skalowalność wydajności i pojemności Ograniczone możliwości skalowania wydajności wraz ze zwiększającą się ilością danych do backupu Appliance Throughput Capacity Clients

Skalowanie wydajności i pojemności Rozwiązanie :

Skalowalność jako rozwiązanie istniejących problemów Clients Pojemność Wydajność 48TB (efektywnie 624TB*) 7920TB (efektywnie 103PB*) 802TB/godz. 4,9TB/godz.

Skalowalność we wszystkich aspektach Konkurencyjne rozwiązania HYDRAstor Każdy węzeł wykonuje zadania tylko dla przydzielonej do niego pojemności. Jeden kontroler wykonuje pracę dla całej pojemności systemu. Wiele kontrolerów Jeden kontroler ▐Rozproszona architektura wszystkich rodzajów zadań zarządzanie usuwanie danych replikacja odbudowa danych zapis/deduplikacja/szyfrowanie

Problem: Ograniczona możliwość rozbudowy

Problemy z aktualizacją i rozbudową ▐Wymuszona wymiana sprzętu Osiągnięty limit wydajności lub pojemności Nowa wersja systemu niekompatybilna ze starą ▐Ryzyko i koszty Zmiana infrastruktury sieciowej i konfiguracji aplikacji Ograniczony dostęp do backupu w czasie migracji danych (downtime) Forklift upgrade

Rozbudowa i aktualizacja w trakcie działania systemu Rozwiązanie :

Przestrzeń backupowa na długie lata ▐Aktualizacja oprogramowania w miejscu bez migracji danych ▐Wydajniejsze komponenty oraz większą gęstością danych z nową generacją ▐Ciągła dostępność danych ▐Obniżone wydatki inwestycyjne i operacyjne dzięki deduplikacji ▐Skalowanie bez przerw w działaniu systemu i rezerwacji miejsca Rozbudowa/aktualizacja online także z węzłami z różnych generacji Usunięcie więzła podczas działania Rozbudowa/aktualizacja podczas działania V2 + V3 + V4 + Vx = 1 System

Problem: Z góry ustalona odporność na awarie dla całego systemu

Niska i ustalona odporność na awarie macierzy RAID Jakie dane mogą być odtworzone w przypadku utraty bloku #1? Żadne! Dzień 1: Pełny Dzień 2: Przyrostowy …Dzień 7: Pełny Dzień 3: Przyrostowy 1 RAID (nawet poziomu 6go) jest niewystarczający dla zdeduplikowanych danych

Wielopoziomowa odporność na awarie w jednym systemie Rozwiązanie :

Distributed Resilient Data TM ▐Konfigurowalny poziom ochrony danych Wiele, dostępnych jednocześnie, poziomów odporności w jednym systemie (1- 6) Dynamicznie przydzielany poziom ochrony danych dla różnych aplikacji i backupów Typowy RAID 6 HYDRAstor DRD TM dysk z danymi dysk zapewniający odporność na awarie 1) 2) 3) 6) 5) 4) dysk zapasowy ▐Lepsza ochrona, ten sam koszt Domyślna ochrona przeciwko trzem równoczesnym awariom dysków (1.5x lepsza ochrona niż typowy RAID 6) Brak dysków zapasowych Legenda:

DRD TM : Wydajna i efektywna ochrona danych w szczegółach

DRD TM vs RAID-6 – odbudowa po awarii RAID-6 Odbudowa z wielu na wiele dysków ▐Wydajny, samo-uzdrawiający się system Odbudowa tylko danych, zamiast całego dysku Dane są rekonstruowane równomiernie na wielu dyskach X Jeden dysk wąskim gardłem odbudowy HYDRAstor DRD TM

RepliGrid TM – zoptymalizowana replikacja Replikacja wiele do jednego Replikacja wiele do wielu ▐Asynchroniczna replikacja z klastra do klastra zoptymalizowana do sieci rozległej dla zabezpieczenia przed poważnymi awariami ▐Deduplikacja pomiędzy wszystkimi replikowanymi gridami Minimalizuje wymagania na przepustowość sieci (przesyłanie tylko nowych bloków) Minimalizuje wymagania na pojemność zdalnego systemu ▐Szyfrowanie danych w locie

Problem: Sztywny podział zasobów

Problem z zarządzaniem dużą ilością sprzętu Backup maili Rozmiar: 10TB Zajętość miejsca: 100% Wydajność: 50MB/s Rok produkcji: 2009 Odporność na awarie: 2 dyski Backup katalogów roboczych Rozmiar: 100TB Zajętość miejsca: 10% Wydajność: 300MB/s Rok produkcji: 2012 Odporność na awarie: 1 dysk Backup baz danych Rozmiar: 1000TB Zajętość miejsca: 30% Wydajność: 200MB/s Rok produkcji: koniec linii Odporność na awarie: 2 dyski Backup danych kluczowych Rozmiar: 100TB Zajętość miejsca: 30% Wydajność: 500MB/s Rok produkcji: 2012 Odporność na awarie: 6 dysków ▐Syndrom wielu wysp Pojemność/przepustowość podzielona na stałe pomiędzy wiele systemów Ograniczona możliwość konfiguracji backupów różnych danych według ich priorytetów Duża liczba systemów do monitorowania (niezależna konfiguracja)

Elastyczne przydzielanie zasobów Rozwiązanie :

DynamicStor TM : Dynamiczne przydzielanie zasobów Tradycyjny backup storage HYDRAstor zarządzaniewiele wyspjeden system pojemnośćustalona dla systemu, podział na partycje rozszerzalna/dynamicznie dzielona, jedna pula zasobów wydajnośćustalona dla systemurozszerzalna/dynamicznie dzielona rozbudowabrak lub ograniczonapodczas działania/różne generacje odporność na awarie ustalonakonfigurowalna

Problem: Lokalna deduplikacja

Lokalność deduplikacji ▐Ograniczony obszar deduplikacji (w ramach jednego węzła) Ograniczona skalowalność powoduje wielokrotną obecność tych samych danych w wielu systemach Niższy wskaźnik deduplikacji w dużych środowiskach A A B B C C D D B B C C D D A A C C D D A A B B C C D D B B A A C C D D Deduplikacja Bloki unikalne tylko w ramach węzła B B D D C C Plik_A Plik_CPlik_B A A Plik_C

Globalna deduplikacja Rozwiązanie :

DataRedux™ - globalna deduplikacja ▐Globalna deduplikacja podczas backupu Deduplikacja danych pomiędzy WSZYSTKIMI danymi na WSZYSTKICH węzłach Zwiększa efektywność wykorzystania przestrzeni na dane ▐Inteligentny i równomierny rozkład danych Dane automatycznie przekazywane do właściwego węzła Deduplikacja skaluje się liniowo z liczbą węzłów B B Deduplikacja Plik_APlik_C A A B B C C D D Plik_B Tylko bloki unikalne A A B B C C D D B B D D C C A A C C D D A A Plik_A Plik_B Plik_C

Sprawdzona i nagradzana technologia

Wyróżnienia rynkowe Best in class (w tym trzy pierwsze miejsca) w przewodniku rozwiązań do backupu dla klientów średniej wielkości (DCIG 2013) Najbardziej skalowalny i najszybszy system z deduplikacją na świecie (2010 – niezależny analityk rynku Curtis W. Preston) Product Innovation Award Winner ( Network Products Guide) Produkt Roku w kategorii “Backup and Disaster Recovery Hardware” ( Storage Magazine and SearchStorage.com) The big winner here is NEC, coming in more than three times as fast as their closest competitor. W. Curtis Preston ( )

Prace badawcze "Fuzzy adaptive control for heterogeneous tasks in high-performance storage systems" – SYSTOR'13, Haifa, Izrael "Concurrent Deletion in a Distributed Content - Addressable Storage System with Global Deduplication" – FAST'13, San Jose, USA "Reducing Impact of Data Fragmentation Caused By In-Line Deduplication" – SYSTOR'12, Haifa, Izrael "Anchor-driven subchunk deduplication" – SYSTOR'11, Haifa, Izrael "Bimodal Content Defined Chunking for Backup Streams" – FAST'10, San Jose, USA "HydraFS: A High-Throughput File System for the HYDRAstor Content- Addressable Storage System" – FAST'10, San Jose, USA "HYDRAstor: a Scalable Secondary Storage" – FAST'09, San Francisco, USA "FPN: A Distributed Hash Table for Commercial Applications" – HPDC'04, Honolulu, USA patentów przyznanych i 24 oczekujące (w USA i Japonii)

Szczegóły konfiguracji

HS3-410 – Węzeł typu mini (nierozszerzalny) ▐Najmniejszy rozmiar systemu HYDRAstor dla małych i średnich firm HS3-410 Przepustowość (Standardowa)3.2 TB/godz. Przepustowość (OST Express I/O)3.6 TB/godz. Rzeczywista Pojemność24 TB Efektywna Pojemność312 TB Dyski12x 3.5” SATA 2TB HDD (7,200rpm) Porty NIC6 x 1GbE lub 2/4 x 10GbE + 4/2 x 1GbE

HS – węzeł hybrydowy ▐ Węzeł hybrydowy (HN) Dodaje wydajność i pojemność do systemu HYDRAstor HS HN Przepustowość (Standardowa)4.9 TB/godz. Przepustowość (OST Express I/O)6.3 TB/godz. Rzeczywista Pojemność48 TB Efektywna Pojemność624 TB Dyski12x 3.5” SATA 4TB HDD (7,200rpm) Porty NIC6 x 1GbE lub 2/4 10GbE + 2 x 1GbE

HS SN Rzeczywista Pojemność48 TB Efektywna Pojemność624 TB Dyski12x 3.5” SATA 4TB HDD (7,200rpm) HS – węzeł pojemnościowy ▐ Węzeł pojemnościowy (SN) Dodaje pojemność do systemu HYDRAstor

HYDRAstor 4-tej generacji HS TB/godz TB (Efektywna TB) HS TB/godz. 96TB (Efektywna 1.2PB) HS TB/godz. 96TB (Efektywna 1.2PB) HS TB/godz. 192TB (Efektywna 2.5PB) HS TB/godz. 720TB (Efektywna 9.4PB) HS TB/godz. 7,920TB (Efektywna 103PB) Model rozszerzalny Pojemność Wydajność Hybrydowy Pojemnościowy Rodzaje węzłów HS TB/godz. 24TB (Efektywna 312TB) Model nierozszerzalny

Wspólny kod i funkcjonalność ▐Wszystkie cechy oprogramowania HYDRAstor wspólne dla całej linii produktowej: Distributed Resilient Data TM DataRedux TM Cloning/Snapshot RepliGrid TM DynamicStor TM Dynamic Data Shredding Front-end automatic failover No single point of failure HYDRAlock TM (WORM) Encryption at rest HYDRAstor OpenStorage Suite Opcjonalne: Podstawowe:

HYDRAstor: typowa konfiguracja 1 PB/hr100 PB

Podsumowanie

HYDRAstor - więcej niż system do backupu danych Liniowa skalowalność (wydajności i pojemności) Elastyczne przydzielanie zasobów Rozbudowa i aktualizacja podczas działania Wielopoziomowa odporność na awarie Globalna deduplikacja

Przypadki użycia u klientów

Duży szpital (Japonia) – wymagania Zastąpienie kosztownego i pracochłonnego transportowania taśm z repliką danych backupowych Umożliwienie przeprowadzania backupu każdego dnia

Duży szpital (Japonia) – rozwiązanie Automatyzacja replikacji i łatwa jej weryfikacja Wysoka wydajność zmniejszająca okno backupu danych (umożliwienie codziennego backupu)

Agencja rządowa (USA) - wymagania Wydajny backup z ponad 1000 serwerów operacyjnych Efektywna replikacja do innego stanu Zapewnienie możliwości nieprzerwanego wzrostu systemu na poziomie 5% rocznie

Agencja rządowa (USA) - rozwiązanie 12AN+33SN Rozszerzony z 12AN+24SN 12AN+24SN Replikacja Ponad 1000 serwerów operacyjnych Duża wydajność backupów: nawet 32TB/godz (ok. 9GB/s) Efektywna replikacja tylko nowych danych Skalowalny i rozszerzalny system Globalna deduplikacja danych

2/4/ Duża korporacja (USA) – wymagania Zaproponowanie rozwiązania do wydajnego backupu dla całej organizacji 5 oddziałów: Filipiny, Kanada, Wielka Brytania, 2x USA 3 centra danych

2/4/ Duża korporacja (USA) - rozwiązanie 3AN+12SN 2AN+16SN FilipinyKanadaUSA UK Replikacja 7AN+47SN Rozszerzony z 3+12

Pytania?

Dziękuję :)