Nowoczesne systemy dyskowe i sieci pamięci masowych Warsztaty „Usługa powszechnej archiwizacji” Rafał Mikołajczak, PCSS Maciej Brzeźniak, PCSS

Agenda Pamięci dyskowe – wprowadzenie Dyski twarde – uniwersalne medium przyszłości (?) Cechy i ograniczenia napędów dyskowych Macierze dyskowe – więcej niż Just Bunch of Disks (JBoD) Techniki konsolidacji pamięci masowej SAN (FCP, iSCSI) NAS (CIFS, NFS, ftp, http…)

Dysk twardy uniwersalne medium przyszłości (?) Źródło: Wikipedia: http://en.wikipedia.org/wiki/Hard_disk_drive

Dysk twardy – uniwersalne medium przyszłości? (1) Krótka historia (pojemność) 1956: IBM 350 - disk storage unit: Pierwszy „dysk twardy” Pojemność: ok. 4.4 MB 1000 kg, talerze 24”, obudowa 140 x 172 x 74 [cm] 1980: Seagate ST4053 Pojemność: ok. 5 MB talerze 5 1/4” 1986: Conner Peripherals CP340 Pojemność: ok. 40 MB talerze 3.5” 1991: Zapis magnetorezystywny (IBM) Przełamanie bariery pojemności 1 GB! 8 talerzy 3.5”, czas dostępu 7.5 ms IBM 0664 „Corsair” Źródło: IBM 350 disk storage unit, http://www-03.ibm.com/ibm/history/exhibits/storage/storage_350.html Conner Peripherals was a company that manufactured hard drives for personal computers. Conner Peripherals was originally started in 1985[1] by Seagate Technology co-founder Finis Conner[2] but it didn't produce a product in its first year of existence. In 1996 Conner Peripherals merged with Seagate. http://en.wikipedia.org/wiki/Conner_Peripherals http://www.businessintelligencelowdown.com/2007/02/top_10_largest_.html http://overlandstorage.dciginc.com/2010/04/two-tips-to-help-businesses.html http://bits.blogs.nytimes.com/2009/12/09/the-american-diet-34-gigabytes-a-day/ http://hmi.ucsd.edu/howmuchinfo.php http://www.dailytech.com/Worlds+Data+to+Reach+18+Zettabytes+by+2011/article11055.htm 4

Dysk twardy – uniwersalne medium przyszłości? (2) Krótka historia (pojemność) 2005: Perpendicular recording Technologia zapisu „poprzecznie” do ścieżki Znaczny wzrost gęstości zapisu! 2007: Hitachi (w 2003 wykupił IBM HDD Devision) Pierwszy dysk 1 TB 5 talerzy 3.5”, 7200 RPM, czas dostępu: 8.7 ms, 2009: Western Digital / Seagate Pierwszy dysk 2 TB: WD: 5400 obr./min., 2 talerze Seagate: 7 200 obr./min, seek <8,5 ms 2010: Seagate zapowiada pierwszy dysk 3 TB: SSD.... http://www.businessintelligencelowdown.com/2007/02/top_10_largest_.html http://overlandstorage.dciginc.com/2010/04/two-tips-to-help-businesses.html http://bits.blogs.nytimes.com/2009/12/09/the-american-diet-34-gigabytes-a-day/ http://hmi.ucsd.edu/howmuchinfo.php http://www.dailytech.com/Worlds+Data+to+Reach+18+Zettabytes+by+2011/article11055.htm 5

SSD – realna sytuacja Krótka historia SSD: 2010 – pamięci SSD: 1970 & 1980: Pierwsze prace nad SSD (IBM, Cray, Amdahl) 1995 – pierwsze SSD oparte o pamięci flash (Texas Memory Systems, CERAM) 2003 – pierwsze dyski 1TB SSD – (2 szafy rack, 5kW mocy, 2mln IOPS, Texas Memory Systems) 2009 – pamięci flash osiągają tą samą gęstość zapisu co dyski twarde... np. 1TB w dysku 3,5” SATA (Foremay Jaguar Series) 2010 – pamięci SSD: 4 TB na karcie PCIE, 1.5-1.6GB/s (Foremay EC188) Wiele linii i typów SSD: wydajność, pojemność, niezawodność, Ceny: rozpiętość 1-200x w zależności od parametrów 1 TB - OCZ Technology 3.5” SATAII: $4,076.99 (amazon.com) Sustained write: 220MB/s (dysk „do PC”) 146 GB – dysk do macierzy IBM DS8000, List price: 57,722$ Brak danych dot. wydajności  za drogie jako medium do kopii zapasowych/archiwizacji Pamięć flash - Jest to pamięć stała (nieulotna) – po odłączeniu zasilania nie traci swej zawartości. Pamięć flash – rodzaj pamięci EEPROM (ang. Electrically-Erasable Programmable Read-Only Memory), pozwalającej na zapisywanie lub kasowanie wielu komórek pamięci podczas jednej operacji programowania. Jedno z ograniczeń flash: „By można było zapisać komórkę pamięci flash, należy ją wcześniej skasować. Nie jest możliwe ponowne zapisanie danych do już zapisanej komórki. Jakkolwiek można odczytać i zapisać dowolną komórkę pamięci, to operacja kasowania umożliwia skasowanie tylko całych bloków komórek. Nie można skasować pojedynczej komórki. Z tego powodu zapis danych nie jest w pełni swobodny. Pamięci te umożliwiają odczyt i zapis dowolnej komórki, ale już nie swobodne kasowanie i nadpisanie zawartości. Powyższe ograniczenia powodują pewne trudności w obsłudze dostępu do danych w pamięciach masowych. Zapis plików musi być skoordynowany z operacją kasowania bloków pamięci. Zazwyczaj jeśli plik ma zostać zaktualizowany lub nadpisany, system zarządzania pamięcią tworzy nową kopię pliku w innym miejscu, oznaczając tylko poprzednią wersję jako bezużyteczną. Taka wersja pliku nadal zajmuje wolne miejsce, jest ono zwalniane jeśli operacja kasowania jest możliwa, czyli w danym bloku pamięci nie ma fragmentu innego pliku. W celu efektywniejszego kasowania bloków pamięci możliwe jest też przenoszenie części innych plików (nie wymagających modyfikacji) w inne miejsce, tak by blok nadawał się do skasowania. Dodatkową komplikacją jest fakt, że operacja kasowania jest znacznie dłuższa niż operacja zapisu i odczytu.” http://www.micronblogs.com/2009/02/ history-of-digital-storage-part-6-the-ram-ssd-and-nand/ http://www.businessintelligencelowdown.com/2007/02/top_10_largest_.html http://overlandstorage.dciginc.com/2010/04/two-tips-to-help-businesses.html http://bits.blogs.nytimes.com/2009/12/09/the-american-diet-34-gigabytes-a-day/ http://hmi.ucsd.edu/howmuchinfo.php http://www.dailytech.com/Worlds+Data+to+Reach+18+Zettabytes+by+2011/article11055.htm Na podstawie: SSD Market History – Charting the 30 Year Rise of the Solid State Disk Market (http://www.storagesearch.com/chartingtheriseofssds.html) 6

Dysk twardy – uniwersalne medium przyszłości? (1) + Dysk 3TB Seagate, 3-4Q2010 http://www.businessintelligencelowdown.com/2007/02/top_10_largest_.html http://overlandstorage.dciginc.com/2010/04/two-tips-to-help-businesses.html http://bits.blogs.nytimes.com/2009/12/09/the-american-diet-34-gigabytes-a-day/ http://hmi.ucsd.edu/howmuchinfo.php http://www.dailytech.com/Worlds+Data+to+Reach+18+Zettabytes+by+2011/article11055.htm Wzrost pojemności dysków twardych w komputerach osobistych. Źródło: Wikipedia: http://en.wikipedia.org/wiki/Hard_disk_drive 7

Dysk twardy – ograniczenia dysków twardych (1) Dyski nie rozwijają się tak szybko jak procesory liczba tranzystorów w podwaja się co 24 miesięce (trend wykładniczy) Prawo Moore’a – wzrost liczby tranzystorów w procesorach komputerów. Źródło: Wikipedia: http://en.wikipedia.org/wiki/Moore%27s_law 8

Dysk twardy – ograniczenia dysków twardych (2) Dyski nie rozwijają się tak szybko jak procesory ewolucja napędów „desktopowych” i serwerowych (2001-2007) http://www.businessintelligencelowdown.com/2007/02/top_10_largest_.html http://overlandstorage.dciginc.com/2010/04/two-tips-to-help-businesses.html http://bits.blogs.nytimes.com/2009/12/09/the-american-diet-34-gigabytes-a-day/ http://hmi.ucsd.edu/howmuchinfo.php http://www.dailytech.com/Worlds+Data+to+Reach+18+Zettabytes+by+2011/article11055.htm Read access time: 12.3-14.4 ms Read access time: 5.5-5.9 ms 9

Dysk twardy – ograniczenia dysków twardych (3) Dyski są urządzeniami mechanicznymi czyli podlegają prawom fizyki... Czas dostępu jest ograniczony koniecznością przesuwania głowic Transfer jest ograniczony gęstością zapisu i prędkością obrotową talerzy http://www.businessintelligencelowdown.com/2007/02/top_10_largest_.html http://overlandstorage.dciginc.com/2010/04/two-tips-to-help-businesses.html http://bits.blogs.nytimes.com/2009/12/09/the-american-diet-34-gigabytes-a-day/ http://hmi.ucsd.edu/howmuchinfo.php http://www.dailytech.com/Worlds+Data+to+Reach+18+Zettabytes+by+2011/article11055.htm 10

Dysk twardy – ograniczenia dysków twardych (4) Dyski są urządzeniami mechanicznymi: co oznacz, że niestety psują się... => Czas życia dysku: 5-10 lat – w zależności od obciążenia MTBF: Jest często „zawyżany” Typowe wartości: 300 000 h – dyski do stacji roboczych 1 000 000 h – dyski do serwerów i macierzy dyskowych S.M.A.R.T.: ma ograniczoną skuteczność Dyski podlegają m.in.: Wibracjom Zmianom temperatury Włączaniu/wyłączaniu częsta przyczyna awarii 300k godzin  35 lat 1 mln godzin  115 lat MTBF (ang. Mean Time Between Failures) S.M.A.R.T. (ang. Self-Monitoring, Analysis and Reporting Technology) – system monitorowania i powiadamiania o błędach działania twardego dysku. 11

Dysk twardy – ograniczenia dysków twardych (5) MTBF – fakty a mity: MTBF - Mean Time Between Failures - średni czas między awariami Co mówi MTBF?, np. 300 000 h (34 lata)? Jest miarą statystyczną określa prawdopodobieństwo awarii dysku w dużej populacji napędów Nic nie mówi o niezawodności pojedynczego dysku!!! Np. MTBF=300 000 h mówi, że: w dużej populacji dysków, połowa dysków ulegnie awarii po pierwszych 300 000 h użytkowania w populacji 100 dysków średnio 2,92 dysku „zepsuje” się w ciągu roku Jak obliczany jest MTBF? Często jest zawyżany! Najczęściej na podstawie dysków, które trafiają w trybie serwisowym do producentów, z których ok. 20-30% po testach określana jest jako „brak błędów” – co nie oznacza, że w praktyce wytrzymałyby obciążenie produkcyjne Awaryjność w praktyce jest ok. 3-5x większa niż wynikałoby to z kalkulacji opartych na MTBF (patrz prace Google *) Za: http://storagemojo.com/2007/02/19/googles-disk-failure-experience/ http://www.businessintelligencelowdown.com/2007/02/top_10_largest_.html http://overlandstorage.dciginc.com/2010/04/two-tips-to-help-businesses.html http://bits.blogs.nytimes.com/2009/12/09/the-american-diet-34-gigabytes-a-day/ http://hmi.ucsd.edu/howmuchinfo.php http://www.dailytech.com/Worlds+Data+to+Reach+18+Zettabytes+by+2011/article11055.htm 12

Dysk twardy – ograniczenia dysków twardych (6) SMART – ograniczenia skuteczności: SMART: Self-Monitoring, Analysis, and Reporting Technology Monitoruje wiele parametrów dysków twardych, m.in.: Liczniki błędów: błędy CRC/odczytu/zapisu, błędne sektory, błędy pozycjonowania głowic, itp. Parametry fizyczne pracy dysku: temperatura, wibracje, stabilność głowic Praktyczna skuteczność SMART: m.in. prace Google z 2007 *) dot. dużych populacji dysków twardych pokazały, że: O ile wiele dysków, dla których SMART sygnalizował problemy (np. tzw. surface scan errors lub bad sectors) uległo awarii w ciągu 60 dni o tyle wiele dysków, które uległy awarii nie wykazywało żadnych błędów SMART => wystąpienie błędu SMART jest ostrzeżeniem => niewystąpienie błędu SMART nie powinno usypiać naszej czujności *) Failure Trends in a Large Disk Drive Population, 5th USENIX Conference on File and Storage, Technologies (FAST’07), February 2007, San Jose, CA, USA http://www.businessintelligencelowdown.com/2007/02/top_10_largest_.html http://overlandstorage.dciginc.com/2010/04/two-tips-to-help-businesses.html http://bits.blogs.nytimes.com/2009/12/09/the-american-diet-34-gigabytes-a-day/ http://hmi.ucsd.edu/howmuchinfo.php http://www.dailytech.com/Worlds+Data+to+Reach+18+Zettabytes+by+2011/article11055.htm 13

Dysk twardy – ograniczenia - podsumowanie Pojemność: Do 2TB / dysk Wydajność: Do 140 MB/sek Czas życia dysku: 5-10 lat MTBF: XXX godzin S.M.A.R.T.: nie na 100% skuteczny Bad sector’y: na każdym dysku Wiele dysków Pojemność: zależy od liczby dysków Wydajność: nie ograniczona wydajnością pojedynczego dysku Potencjalnie zwiększona niezawodność: redundancja => Just Bunch of Disks (JBoD) 14

coś więcej niż Just Bunch of Disks (JBoD) Macierze dyskowe coś więcej niż Just Bunch of Disks (JBoD) Źródło: IBM

Macierze dyskowe Wiele dysków (JBoD) Macierze dyskowe: Pojemność: nie ograniczona pojemność pojedynczego dysku Wydajność: skalowalna Potencjalnie zwiększona niezawodność: redundancja Macierze dyskowe: Pojemność: nie ograniczona pojemność pojedynczego dysku Wydajność: skalowalna Niezawodność: zwiększona awarie „maskowane” dzięki większej liczbie dysków redundancja dodatkowe techniki macierzowe: RAID analiza informacji S.M.A.R.T. aktywna kontrola mediów ‘autorskie’ algorytmy Kontroler macierzowy 16

Macierze dyskowe – techniki macierzowe: RAID (1) ang. Redundant Array of Independent Disks Technika zwiększenia wydajności lub niezawodności za pomocą kombinacji napędów dyskowych 17

Macierze dyskowe – techniki macierzowe: RAID (2) ang. Striping Zwiększenie wydajności (głównie zapisy) RAID1: ang. Mirroring Redundancja danych (tolerowana jest awaria 1 dysku z pary) Wydajne odczyty Duży koszt vs pojemność Zastosowanie RAID 0 Rozwiązanie do budowy tanich i wydajnych macierzy, służących do przetwarzania dużych plików multimedialnych. Przechowywanie danych na macierzy RAID 0 wiąże się jednak ze zwiększonym ryzykiem utraty tych danych - w przypadku awarii jednego z dysków tracimy wszystkie dane. Podobne korzyści kosztem mniejszej wydajności możemy uzyskać stosując technologię LVM, która charakteryzuje się mniejszym ryzykiem utraty danych - w przypadku awarii jednego z dysków istnieje teoretyczna możliwość odzyskania danych znajdujących się na sprawnym dysku, gdyż - w przeciwieństwie do RAID 0 - LVM nie przeplata danych pomiędzy wieloma dyskami. RAID 1 Polega na replikacji pracy dwóch lub więcej dysków fizycznych. Powstała przestrzeń ma rozmiar najmniejszego nośnika. RAID 1 jest zwany również lustrzanym (ang. mirroring). Szybkość zapisu i odczytu zależy od zastosowanej strategii: Zapis: zapis sekwencyjny na kolejne dyski macierzy - czas trwania operacji równy sumie czasów trwania wszystkich operacji zapis równoległy na wszystkie dyski macierzy - czas trwania równy czasowi trwania operacji na najwolniejszym dysku Odczyt: odczyt sekwencyjny z kolejnych dysków macierzy (ang. round-robin) - przy pewnej charakterystyce odczytów możliwe osiągnięcie szybkości takiej jak w RAID 0 odczyt wyłącznie ze wskazanych dysków - stosowane w przypadku znacznej różnicy w szybkościach odczytu z poszczególnych dysków Korzyści: odporność na awarię N - 1 dysków przy N-dyskowej macierzy możliwe zwiększenie szybkości odczytu możliwe zmniejszenie czasu dostępu Wady: możliwa zmniejszona szybkość zapisu utrata pojemności (całkowita pojemność jest taka jak pojemność najmniejszego dysku) RAID 0+1 Macierz realizowana jako RAID 1, którego elementami są macierze RAID 0. Macierz taka posiada zarówno zalety macierzy RAID 0 - szybkość w operacjach zapisu i odczytu - jak i macierzy RAID 1 - zabezpieczenie danych w przypadku awarii pojedynczego dysku. Pojedyncza awaria dysku powoduje, że całość staje się w praktyce RAID 0. Potrzebne są minimum 4 dyski o tej samej pojemności. szybkość macierzy RAID 0 bezpieczeństwo macierzy RAID 1 - w szczególnym wypadku nawet większa (awaria więcej niż jednego dysku tego samego mirrora) znacznie prostsza w implementacji niż RAID 3, 5 i 6 18

Macierze dyskowe – techniki macierzowe: RAID (3) ang. striping + distributed parity Redundancja danych (tolerowana jest awaria 1 dysku) Wydajne odczyty, akceptowalna wydajność zapisów Optymalny kosztowo (mała nadmiarowość n+1) RAID 5 [edytuj] Poziom piąty pracuje bardzo podobnie do poziomu czwartego z tą różnicą, iż bity parzystości nie są zapisywane na specjalnie do tego przeznaczonym dysku, lecz są rozpraszane po całej strukturze macierzy. RAID 5 umożliwia odzyskanie danych w razie awarii jednego z dysków przy wykorzystaniu danych i kodów korekcyjnych zapisanych na pozostałych dyskach (zamiast tak jak w 3. na jednym specjalnie do tego przeznaczonym, co nieznacznie zmniejsza koszty i daje lepsze gwarancje bezpieczeństwa). RAID 5 oferuje większą prędkość odczytu niż lustrzany (ang. mirroring) ale przy jego zastosowaniu nieznacznie spada prędkość zapisu. Poziom piąty jest całkowicie bezpieczny dla danych - w razie awarii system automatycznie odbuduje utracone dane, tak by mogły być odczytywane, zmniejszając jednak bieżącą wydajność macierzy. Spowolnienie jest chwilowe. Po zamontowaniu nowego dysku i odtworzeniu danych wydajność macierzy wraca do normy. Macierz składa się z 3 lub więcej dysków. Przy macierzy liczącej N dysków jej objętość wynosi N - 1 dysków. Przy łączeniu dysków o różnej pojemności otrzymujemy objętość najmniejszego dysku razy N - 1. Sumy kontrolne danych dzielone są na N części, przy czym każda część składowana jest na innym dysku, a wyliczana jest z odpowiedniego fragmentu danych składowanych na pozostałych N-1 dyskach. Korzyści: odporność na awarię jednego dysku zwiększona szybkość odczytu - porównywalna do macierzy RAID 0 złożonej z N-1 dysków Wady: zmniejszona szybkość zapisu z powodu konieczności kalkulowania sum kontrolnych (eliminowana poprzez zastosowanie sprzętowego kontrolera RAID5) w przypadku awarii dysku dostęp do danych jest spowolniony z powodu obliczeń sum kontrolnych odbudowa macierzy po wymianie dysku jest operacją kosztowną obliczeniowo i powoduje spowolnienie operacji odczytu i zapisu 19

Macierze dyskowe – techniki macierzowe: RAID (4) ang. striping + dual distributed parity Jeszcze większa redundancja danych (tolerowana jest awaria 2 dysków) Wydajne odczyty Optymalne kosztowy dla dużej liczby dysków (nadmiarowość n+2) 20

Macierze dyskowe – techniki macierzowe: RAID (5) Aktywna kontrola dysków: Wykorzystanie informacji S.M.A.R.T Zbieranie i wizualizacja informacji nt. stanu dysków Ostrzeganie administratorów o przekroczeniu progów (np. liczby błędów) Automatyczne „odłączanie” dysków, dla których wykryto dużo błędów i odbudowa RAID z użyciem nowego dysku (hot spare) Inne techniki, np. tzw. ang. scrubbing tj. Próbne wykonywanie zapisów / odczytów na dyskach w okresach mniejszej aktywności Jakość prognozowania uszkodzeń/stanu dysków zależna jest od: logiki firmware macierzy – dobre macierze mają często zaawansowane techniki wsparcia tych funkcji przez napędy dyskowe i firmware w nich obecny http://www.businessintelligencelowdown.com/2007/02/top_10_largest_.html http://overlandstorage.dciginc.com/2010/04/two-tips-to-help-businesses.html http://bits.blogs.nytimes.com/2009/12/09/the-american-diet-34-gigabytes-a-day/ http://hmi.ucsd.edu/howmuchinfo.php http://www.dailytech.com/Worlds+Data+to+Reach+18+Zettabytes+by+2011/article11055.htm 21

Konsolidacja pamięci masowej

Konsolidacja Pamięci Masowej lata ‘60 lata ‘90 XXI wiek lata ‘80 konsolidacja klient - serwer IBM 1440 tania jednostka przetwarzania danych dla małych przedsiębiorstw na przełomie lat 80. i 90., fascynując się nową technologią instalowano komputery PC wszędzie tam, gdzie tylko było to możliwe i gdzie posiadano niezbędne środki finansowe. Następnie, w miarę wzrostu mocy mikroprocesorów i postępu technologii sieciowych, zaczęto tworzyć sieci lokalne, których centralnym punktem były pojedyncze serwery. Kolejnym etapem było budowanie wielowarstwowych sieci korporacyjnych, udostępniających znacznie większą funkcjonalność i obejmujących duże obszary. W latach 90. lansowana była architektura typu klient–serwer. Jednak wszystkie te rozwiązania bazowały w zasadzie na zasobach przypisanych lokalnie do serwerów i stacji roboczych, co powodowało coraz większe problemy związane z zarządzaniem, dostępnością, wydajnością, bezpieczeństwem, a zwłaszcza efektywnym wykorzystywaniem zainstalowanej pojemności dyskowej Data Center konsolidacja serwerów konsolidacja przestrzeni dyskowej Kompter PC zdobywa każdą przestrzeń w przedsiębiostwach

Konsolidacja Pamięci Masowej Problem duża liczba serwerów  każdy serwer potrzebuje przestrzeni dyskowej najprostsze rozwiązanie: serwer <–> macierz SCSI ograniczenia pojemnościowe wydajnościowe koszty Efektywne wykorzystanie zasobów dyskowych, czy taśmowych zapewnienie większej wydajności oraz elastyczności uproszczenie zarządzania dynamicznie rosnącą ilością danych wymierne oszczędności ekonomiczne zmniejszenie TCO (Total Cost of Ownership) Zakup nowoczesnych urządzeń i zaawansowanych technologii możliwy dzięki współdzieleniu urządzeń w ramach heterogenicznych systemów komputerowych Konsolidacja dotyczy zarówno przestrzeni dyskowej jak i bibliotek taśmowych Tradycyjne sieci wykorzystywały urządzenia pamięci masowych SCSI, gdzie każdy serwer był połączony z jednym urządzeniem SCSI. W miarę powiększania się liczby aplikacji i serwerów, małe problemy tej architektury stawały się wielkimi. Sieć SAN oparta na technologii Fibre Channel oferuje skalowalne rozwiązanie, gdzie dowolny serwer posiada dostęp do dowolnego urządzenia pamięci masowej. Ta niezależność pomiędzy serwerami i pamięciami masowymi pozwala na optymalną pracę urządzeń oraz zwiększa wydajność przesyłu danych na dużych odległościach.

NAS – urządzenia plikowe Scentralizowany serwer Udostępnia pliki Zarządza dostępem równoległym z wielu klientów

NAS – urządzenia plikowe Stosujemy do współdzielenie zasobów dyskowych: przystępna cena zadowalająca wydajność technologia trafia do domów – ceny od 500 zł Dostęp do zasobów przy użyciu protokołów: NFS (Network File System) CIFS (Common Internet File System) WWW, ftp Realizacja na różne sposoby: zastosowanie zwykłych serwerów, które pełnią rolę serwerów plików korzystając poprzez SAN ze wspólnych zasobów dyskowych „filery” z własnymi dyskami, bramy SAN-NAS korzystające z zewnętrznych macierzy NetApp, BlueArc, OnStor, …… Dostępne rozwiązania dla wysokowydajnych usług plikowych: klastry serwerów NFS  pNFS CXFS  system plików sprzedawany przez SGI  czyli RACKABLE GPFS  system plików sprzedawany przez IBM’a lustre – wysokowydajny klastrowy system plików sprawdza się dla dużych bloków (blok 1MB) działająca „proteza” zanim pojawi się pNFS

SAN – kolejny krok po NAS iFC, FCIP, FCoE itp

SAN – kolejny krok po NAS L A N S A N Serwery S/390 HP Sun RS/6000 xSeries Klienci nie korzystają bezpośrednio z dobrodziejstw SAN, ale widzą, że serwery szybciej odpowiadają bo mają większe i szybsze dyski do dyspozycji

S A N SAN L A N SAN to dedykowana sieć, której zadaniem jest: łączyć urządzenia w sieci „każdy z każdym” urządzenia: serwery/stacje robocze pamięci masowe: macierze dyskowe, biblioteki taśmowe biblioteki optyczne (na wymarciu) zapewnić wydajną transmisję danych pomiędzy urządzeniami pracującymi w sieci: Wydajność dzięki: Zoptymalizowanemu protokołowi (FCP) Sieci transportowej o małym opóźnieniu Pięć razy S: Servers SAN Fabric Storage Software Services L A N S A N Serwery S/390 HP Sun RS/6000 xSeries

SAN – urządzenia blokowe Technologia SAN (Storage Area Network): odciąża sieci korporacyjne (LAN) wykorzystuje protokół Fibre Channel Protocol (FCP), zasoby dyskowe są widziane przez system operacyjny jako „lokalne”, bez względu na to gdzie się fizycznie znajdują umożliwia wydajniejszy backup danych (snapshot, LAN-free backup) umożliwia replikacji danych z macierzy produkcyjnej na macierz zapasową w centrum zapasowym (mirroring) wirtualizacja zasobów fizyczne napędy dyskowe -> struktury RAID struktury RAID -> wolumeny łączenie „resztówek” ... Technologia NAS (Network Attached Storage) pozwala współdzielić ten sam system plików (wolumen) między wieloma systemami – klientami UNIX, Windows – protokoły NFS, pNFS, CIFS dostęp realizowany poprzez tradycyjną sieć LAN/WAN

Biblioteki taśmowe/magnetooptyczne SAN - infrastruktura Macierze dyskowe modularne półka kontrolerów + półki z dyskami: OEM LSI: IBM, SUN, SGI monolityczne duża liczba kontrolerów (procesorów IO), portów, redundancja połączeń Biblioteki taśmowe/magnetooptyczne Przełączniki FC / urządzenia typu Director problemy przy aktualizacji firmware przełączników problemy z budową „fabric” dla wielu przełączników Karty HBA (Host Bus Adapter) System nadzoru i zarządzania Przełączniki 8, 16, 32 porty Director – czyli przełącznik o dużej liczbie portów, zintegrowane urządzenia zapewniające wysoką dostępność i niezawodność

SAN – zalety/wady Zalety: Wady: Elastyczność: dostęp do zasobów i możliwość dowolnej ich konfiguracji bez konieczności zmian w fizycznej strukturze urządzeń i okablowaniu Separacja zasobów: na poziomie macierzy - LUN masking interfejsy serwerów reprezentowane są w macierzy poprzez unikalne numery WWN numerowi WWN przypisany jest wolumen logiczny w macierzy (utworzony w ramach grupy RAID), co umożliwia współdzielenie portów macierzy przez różne serwery, bez ryzyka przejęcia "cudzych" zasobów na poziomie przełączników - podział na strefy (WWN zoning, port zoning) ograniczenie ruchu pomiędzy wybrane porty przełącznika FC Funkcjonalność podobna do VLAN w sieciach Ethernet na poziomie kart HBA serwera - persistent binding. definicja zasobów widzianych przez interfejsy HBA serwera Wady: wysoka cena wdrożenia problemy przy rozbudowie/aktualizacji oprogramowania dawniej występowały problemy przy wdrożeniach w środowisku heterogenicznym (np. brak wsparcia dla rzadkich serwerów np. SGI, Cray) Przełączniki 8, 16, 32 porty Direcotr – czyli przełącznik o dużej liczbie portów, zintegrowane urządzenia zapewniające wysoką dostępność i niezawodność

Fibre Channel Na początku był HIPPI, łączył superkomputery przy pomocy 50 parowych przewodów na krótką odległość, więc trzeba było to uprościć. FC jest protokołem hybrydowym – kanałowo-sieciowym Kanałowym: ponieważ potrafi zestawić kanały z zamkniętym i przewidywalnym mechanizmem transmisji pomiędzy ograniczoną liczbą urządzeń. Raz ustanowiony kanał potrzebuje bardzo niewielkiego nakładu pracy na obsługę transferów, co skutkuje ich wysoką efektywnością. Protokoły kanałowe są z tego powodu bardzo chętnie wykorzystywane do łączenia macierzy dyskowych, napędów taśmowych z serwerami. Sieciowym ponieważ potrafi obsłużyć bardziej skomplikowane struktury połączeń urządzeń, ustalać trasy pomiędzy nimi, a więc podejmować większą liczbę decyzji. W sieciach duża część tych decyzji jest wykonywana programowo co spowalnia ich pracę. W Fibre Channel ilość decyzji jest ograniczona i realizowana w dużej mierze na poziomie sprzętowym Fizyczny transport odbywa się poprzez łącza światłowodowe miedziane Typy połączeń: Pętla arbitrażowa (arbitrated loop) sieć szeregowa z przełącznikami w różnych topologiach mesh, core-edge oraz mieszanych. Możliwość łączenia urządzeń oddalonych o ponad 100 kilometrów (w trybie synchronicznym) FC-Arbitrated Loop FC-Switched Fabric

FC a inne protokoły FCIP – wyłącznie tunelowanie ramek FC w ramkach TCP/IP pomiędzy dwoma punktami! w celu zestawienia łącza pomiędzy odległymi geograficznie lokalizacjami iFCP – przełączniki lub routery transmituje ramki w sieci IP i co ważne nadaje własne nazwy WWN iSCSI – protokół przesyłania danych w sieci IP w oparciu o protokół SCSI - wykorzystuje transportowanie standardowych komend SCSI za pomocą protokołu TCP/IP (zazwyczaj po łączu Ethernetowym) iSER – przesyłanie SCSI po Infiniband

iSCSI Protokół przesyłania danych w sieci IP w oparciu o protokół SCSI: wykorzystuje transportowanie standardowych komend SCSI przenosi je za pomocą protokołu TCP/IP (zazwyczaj po sieci Ethernet) Zalety: Łatwość implementacji: używamy NIC a nie HBA interfejs SCSI służy do wymiany danych, bez ograniczenia na odległość od macierzy protokół iSCSI kapsułkuje i transferuje polecenia zapisu odczytu danych protokół iSCSI komunikuje się bezpośrednio z protokołem SCSI obsługiwanych przez system operacyjny niskie koszty rozbudowy (sterowniki bezpłatne) Linux-iSCSI Project tgtadm - Linux SCSI Target Administration Utility Wady: zbyt wolne dla niektórych rozwiązań (zalecane używanie Jumbo Frames) znaczne obciążenie CPU klientów

Podsumowanie (1) Dysk twardy: Macierze dyskowe: Sieci SAN/NAS: Ciągły rozwój technologii: Rosnąca pojemność (4.4 MB / 1956 -> 3 TB / 2010) Postępy dot. wydajności (nie tak szybkie jak CPU, ale są...) Pojawia się „wszędzie” – serwery, laptopy, telewizory..., samochody Ale ... ograniczenia: Wydajność (200MB/s), pojemność (3 TB), niezawodność (MTBF itp.) Macierze dyskowe: Pokonują ograniczenia pojedynczych dysków twardych: Wydajność: akomodacja wydajności poszczególnych dysków Niezawodność: maskowanie błędów/awarii Skalowalność: wydajność, pojemność Sieci SAN/NAS: Dalsza konsolidacja zasobów pozwala na: Elastyczność zarządzania Dalsze skalowanie wydajności i pojemności zasobów (poza ograniczenia macierzy) na przełomie lat 80. i 90., fascynując się nową technologią instalowano komputery PC wszędzie tam, gdzie tylko było to możliwe i gdzie posiadano niezbędne środki finansowe. Następnie, w miarę wzrostu mocy mikroprocesorów i postępu technologii sieciowych, zaczęto tworzyć sieci lokalne, których centralnym punktem były pojedyncze serwery. Kolejnym etapem było budowanie wielowarstwowych sieci korporacyjnych, udostępniających znacznie większą funkcjonalność i obejmujących duże obszary. W latach 90. lansowana była architektura typu klient–serwer. Jednak wszystkie te rozwiązania bazowały w zasadzie na zasobach przypisanych lokalnie do serwerów i stacji roboczych, co powodowało coraz większe problemy związane z zarządzaniem, dostępnością, wydajnością, bezpieczeństwem, a zwłaszcza efektywnym wykorzystywaniem zainstalowanej pojemności dyskowej

Podsumowanie (2) Nowoczesne systemy dyskowe i sieci pamięci masowych: Zalety: Stosowane w dużej skali pozwalają na zbudowanie, wydajnego, pojemnego i niezawodnego systemu przechowywania danych Efekt skali pozwala na: relatywne zmniejszenie jednostkowych kosztów przechowywania, optymalną realizację technik takich jak: replikacja danych, maskowanie błędów, itp.. wydajność operacji efektywne kosztowo oferowanie usług: kopii zapasowych archiwizacji Trudności: Wymagają know-how i doświadczenia Wymagają sporych nakładów inwestycyjnych i na utrzymanie Wniosek: Warto korzystać z dużych systemów, w których „ktoś” bierze na siebie w/w trudności Użytkownik korzysta z „wysokiej jakości” przestrzeni przechowywania za rozsądne pieniądze (lub za darmo ) na przełomie lat 80. i 90., fascynując się nową technologią instalowano komputery PC wszędzie tam, gdzie tylko było to możliwe i gdzie posiadano niezbędne środki finansowe. Następnie, w miarę wzrostu mocy mikroprocesorów i postępu technologii sieciowych, zaczęto tworzyć sieci lokalne, których centralnym punktem były pojedyncze serwery. Kolejnym etapem było budowanie wielowarstwowych sieci korporacyjnych, udostępniających znacznie większą funkcjonalność i obejmujących duże obszary. W latach 90. lansowana była architektura typu klient–serwer. Jednak wszystkie te rozwiązania bazowały w zasadzie na zasobach przypisanych lokalnie do serwerów i stacji roboczych, co powodowało coraz większe problemy związane z zarządzaniem, dostępnością, wydajnością, bezpieczeństwem, a zwłaszcza efektywnym wykorzystywaniem zainstalowanej pojemności dyskowej

Pytania ? Dziękujemy za uwagę http://royal.pingdom.com