Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Nowoczesne systemy dyskowe i sieci pamięci masowych Warsztaty „Usługa powszechnej archiwizacji” Rafał Mikołajczak, PCSS Maciej Brzeźniak, PCSS.

Podobne prezentacje


Prezentacja na temat: "Nowoczesne systemy dyskowe i sieci pamięci masowych Warsztaty „Usługa powszechnej archiwizacji” Rafał Mikołajczak, PCSS Maciej Brzeźniak, PCSS."— Zapis prezentacji:

1 Nowoczesne systemy dyskowe i sieci pamięci masowych Warsztaty „Usługa powszechnej archiwizacji” Rafał Mikołajczak, PCSS Maciej Brzeźniak, PCSS

2 Agenda Pamięci dyskowe – wprowadzenie – Dyski twarde – uniwersalne medium przyszłości (?) – Cechy i ograniczenia napędów dyskowych – Macierze dyskowe – więcej niż Just Bunch of Disks (JBoD) Techniki konsolidacji pamięci masowej – SAN (FCP, iSCSI) – NAS (CIFS, NFS, ftp, http…)

3 Dysk twardy uniwersalne medium przyszłości (?) Źródło: Wikipedia:

4 Dysk twardy – uniwersalne medium przyszłości? (1) Krótka historia (pojemność) 1956: IBM disk storage unit: Pierwszy „dysk twardy” Pojemność: ok. 4.4 MB 1000 kg, talerze 24”, obudowa 140 x 172 x 74 [cm] 1980: Seagate ST4053 Pojemność: ok. 5 MB talerze 5 1/4” 1986: Conner Peripherals CP340 Pojemność: ok. 40 MB talerze 3.5” 1991: Zapis magnetorezystywny (IBM) Przełamanie bariery pojemności 1 GB! 8 talerzy 3.5”, czas dostępu 7.5 ms IBM 0664 „Corsair” Źródło: IBM 350 disk storage unit,

5 Dysk twardy – uniwersalne medium przyszłości? (2) Krótka historia (pojemność) 2005: Perpendicular recording Technologia zapisu „poprzecznie” do ścieżki Znaczny wzrost gęstości zapisu! 2007: Hitachi (w 2003 wykupił IBM HDD Devision) Pierwszy dysk 1 TB 5 talerzy 3.5”, 7200 RPM, czas dostępu: 8.7 ms, 2009: Western Digital / Seagate Pierwszy dysk 2 TB: WD: 5400 obr./min., 2 talerze Seagate: obr./min, seek <8,5 ms 2010: Seagate zapowiada pierwszy dysk 3 TB: SSD....

6 SSD – realna sytuacja Krótka historia SSD: 1970 & 1980: Pierwsze prace nad SSD (IBM, Cray, Amdahl) 1995 – pierwsze SSD oparte o pamięci flash (Texas Memory Systems, CERAM) 2003 – pierwsze dyski 1TB SSD – (2 szafy rack, 5kW mocy, 2mln IOPS, Texas Memory Systems) 2009 – pamięci flash osiągają tą samą gęstość zapisu co dyski twarde... np. 1TB w dysku 3,5” SATA (Foremay Jaguar Series) 2010 – pamięci SSD: 4 TB na karcie PCIE, GB/s (Foremay EC188) Wiele linii i typów SSD: wydajność, pojemność, niezawodność, Ceny: rozpiętość 1-200x w zależności od parametrów 1 TB - OCZ Technology 3.5” SATAII: $4, (amazon.com) Sustained write: 220MB/s (dysk „do PC”) 146 GB – dysk do macierzy IBM DS8000, List price: 57,722$ Brak danych dot. wydajności  za drogie jako medium do kopii zapasowych/archiwizacji Na podstawie: SSD Market History – Charting the 30 Year Rise of the Solid State Disk Market (http://www.storagesearch.com/chartingtheriseofssds.html)

7 Dysk twardy – uniwersalne medium przyszłości? (1) Wzrost pojemności dysków twardych w komputerach osobistych. Źródło: Wikipedia: + Dysk 3TB Seagate, 3-4Q2010

8 Dysk twardy – ograniczenia dysków twardych (1) Prawo Moore’a – wzrost liczby tranzystorów w procesorach komputerów. Źródło: Wikipedia: Dyski nie rozwijają się tak szybko jak procesory liczba tranzystorów w podwaja się co 24 miesięce (trend wykładniczy)

9 Dyski nie rozwijają się tak szybko jak procesory ewolucja napędów „desktopowych” i serwerowych ( ) Read access time: msRead access time: ms Dysk twardy – ograniczenia dysków twardych (2)

10 Dyski są urządzeniami mechanicznymi czyli podlegają prawom fizyki... Czas dostępu jest ograniczony koniecznością przesuwania głowic Transfer jest ograniczony gęstością zapisu i prędkością obrotową talerzy Dysk twardy – ograniczenia dysków twardych (3)

11 Dyski są urządzeniami mechanicznymi: co oznacz, że niestety psują się... => Czas życia dysku: 5-10 lat – w zależności od obciążenia MTBF: Jest często „zawyżany” Typowe wartości: h – dyski do stacji roboczych h – dyski do serwerów i macierzy dyskowych S.M.A.R.T.: ma ograniczoną skuteczność Dyski podlegają m.in.: Wibracjom Zmianom temperatury Włączaniu/wyłączaniu częsta przyczyna awarii Dysk twardy – ograniczenia dysków twardych (4)

12 MTBF – fakty a mity: MTBF - Mean Time Between Failures - średni czas między awariami Co mówi MTBF?, np h (34 lata)? Jest miarą statystyczną określa prawdopodobieństwo awarii dysku w dużej populacji napędów Nic nie mówi o niezawodności pojedynczego dysku!!! Np. MTBF= h mówi, że: w dużej populacji dysków, połowa dysków ulegnie awarii po pierwszych h użytkowania w populacji 100 dysków średnio 2,92 dysku „zepsuje” się w ciągu roku Jak obliczany jest MTBF? Często jest zawyżany! Najczęściej na podstawie dysków, które trafiają w trybie serwisowym do producentów, z których ok % po testach określana jest jako „brak błędów” – co nie oznacza, że w praktyce wytrzymałyby obciążenie produkcyjne Awaryjność w praktyce jest ok. 3-5x większa niż wynikałoby to z kalkulacji opartych na MTBF (patrz prace Google *) Za: Dysk twardy – ograniczenia dysków twardych (5)

13 SMART – ograniczenia skuteczności: SMART: Self-Monitoring, Analysis, and Reporting Technology Monitoruje wiele parametrów dysków twardych, m.in.: Liczniki błędów: błędy CRC/odczytu/zapisu, błędne sektory, błędy pozycjonowania głowic, itp. Parametry fizyczne pracy dysku: temperatura, wibracje, stabilność głowic Praktyczna skuteczność SMART: m.in. prace Google z 2007 *) dot. dużych populacji dysków twardych pokazały, że: O ile wiele dysków, dla których SMART sygnalizował problemy (np. tzw. surface scan errors lub bad sectors) uległo awarii w ciągu 60 dni o tyle wiele dysków, które uległy awarii nie wykazywało żadnych błędów SMART => wystąpienie błędu SMART jest ostrzeżeniem => niewystąpienie błędu SMART nie powinno usypiać naszej czujności *) Failure Trends in a Large Disk Drive Population, 5th USENIX Conference on File and Storage, Technologies (FAST’07), February 2007, San Jose, CA, USA Dysk twardy – ograniczenia dysków twardych (6)

14 Dysk twardy – ograniczenia - podsumowanie Wiele dysków Pojemność: zależy od liczby dysków Wydajność: nie ograniczona wydajnością pojedynczego dysku Potencjalnie zwiększona niezawodność: redundancja 1 dysk: Pojemność: Do 2TB / dysk Wydajność: Do 140 MB/sek Czas życia dysku: 5-10 lat MTBF: XXX godzin S.M.A.R.T.: nie na 100% skuteczny Bad sector’y: na każdym dysku => Just Bunch of Disks (JBoD)

15 Macierze dyskowe coś więcej niż Just Bunch of Disks (JBoD) Źródło: IBM

16 Macierze dyskowe Wiele dysków (JBoD) Pojemność: nie ograniczona pojemność pojedynczego dysku Wydajność: skalowalna Potencjalnie zwiększona niezawodność: redundancja Kontroler macierzowy Macierze dyskowe: Pojemność: nie ograniczona pojemność pojedynczego dysku Wydajność: skalowalna Niezawodność: zwiększona awarie „maskowane” dzięki większej liczbie dysków redundancja dodatkowe techniki macierzowe: RAID analiza informacji S.M.A.R.T. aktywna kontrola mediów ‘autorskie’ algorytmy

17 RAID: ang. Redundant Array of Independent Disks Technika zwiększenia wydajności lub niezawodności za pomocą kombinacji napędów dyskowych Macierze dyskowe – techniki macierzowe: RAID (1)

18 RAID0: ang. Striping Zwiększenie wydajności (głównie zapisy) Macierze dyskowe – techniki macierzowe: RAID (2) RAID1: ang. Mirroring Redundancja danych (tolerowana jest awaria 1 dysku z pary) Wydajne odczyty Duży koszt vs pojemność

19 Macierze dyskowe – techniki macierzowe: RAID (3) RAID5: ang. striping + distributed parity Redundancja danych (tolerowana jest awaria 1 dysku) Wydajne odczyty, akceptowalna wydajność zapisów Optymalny kosztowo (mała nadmiarowość n+1)

20 Macierze dyskowe – techniki macierzowe: RAID (4) RAID6: ang. striping + dual distributed parity Jeszcze większa redundancja danych (tolerowana jest awaria 2 dysków) Wydajne odczyty Optymalne kosztowy dla dużej liczby dysków (nadmiarowość n+2)

21 Macierze dyskowe – techniki macierzowe: RAID (5) Aktywna kontrola dysków: Wykorzystanie informacji S.M.A.R.T Zbieranie i wizualizacja informacji nt. stanu dysków Ostrzeganie administratorów o przekroczeniu progów (np. liczby błędów) Automatyczne „odłączanie” dysków, dla których wykryto dużo błędów i odbudowa RAID z użyciem nowego dysku (hot spare) Inne techniki, np. tzw. ang. scrubbing tj. Próbne wykonywanie zapisów / odczytów na dyskach w okresach mniejszej aktywności Jakość prognozowania uszkodzeń/stanu dysków zależna jest od: logiki firmware macierzy – dobre macierze mają często zaawansowane techniki wsparcia tych funkcji przez napędy dyskowe i firmware w nich obecny

22 Konsolidacja pamięci masowej

23 Konsolidacja Pamięci Masowej IBM 1440 tania jednostka przetwarzania danych dla małych przedsiębiorstw lata ‘60 Kompter PC zdobywa każdą przestrzeń w przedsiębiostwach lata ‘80 XXI wiek Data Center - konsolidacja serwerów - konsolidacja przestrzeni dyskowej dyskowej lata ‘90 konsolidacja klient - serwer klient - serwer

24 Konsolidacja Pamięci Masowej Problem –duża liczba serwerów  każdy serwer potrzebuje przestrzeni dyskowej –najprostsze rozwiązanie: serwer macierz SCSI ograniczenia –pojemnościowe –wydajnościowe koszty Efektywne wykorzystanie zasobów dyskowych, czy taśmowych –zapewnienie większej wydajności oraz elastyczności uproszczenie zarządzania dynamicznie rosnącą ilością danych –wymierne oszczędności ekonomiczne zmniejszenie TCO (Total Cost of Ownership) Zakup nowoczesnych urządzeń i zaawansowanych technologii możliwy dzięki współdzieleniu urządzeń w ramach heterogenicznych systemów komputerowych Konsolidacja dotyczy zarówno przestrzeni dyskowej jak i bibliotek taśmowych

25 NAS – urządzenia plikowe

26 Stosujemy do współdzielenie zasobów dyskowych: – przystępna cena – zadowalająca wydajność – technologia trafia do domów – ceny od 500 zł Dostęp do zasobów przy użyciu protokołów: – NFS (Network File System) – CIFS (Common Internet File System) – WWW, ftp Realizacja na różne sposoby: – zastosowanie zwykłych serwerów, które pełnią rolę serwerów plików korzystając poprzez SAN ze wspólnych zasobów dyskowych – „filery” z własnymi dyskami, – bramy SAN-NAS korzystające z zewnętrznych macierzy NetApp, BlueArc, OnStor, …… Dostępne rozwiązania dla wysokowydajnych usług plikowych: klastry serwerów NFS  pNFS CXFS  system plików sprzedawany przez SGI  czyli RACKABLE GPFS  system plików sprzedawany przez IBM’a lustre – wysokowydajny klastrowy system plików  sprawdza się dla dużych bloków (blok 1MB)  działająca „proteza” zanim pojawi się pNFS

27 SAN – kolejny krok po NAS

28 L A N S A N Serwery S/390 HP SunRS/6000 xSeries

29 SAN SAN to dedykowana sieć, której zadaniem jest: – łączyć urządzenia w sieci „każdy z każdym” – urządzenia: serwery/stacje robocze pamięci masowe: – macierze dyskowe, – biblioteki taśmowe – biblioteki optyczne (na wymarciu) – zapewnić wydajną transmisję danych pomiędzy urządzeniami pracującymi w sieci: Wydajność dzięki: – Zoptymalizowanemu protokołowi (FCP) – Sieci transportowej o małym opóźnieniu Pięć razy S: – Servers – SAN Fabric – Storage – Software – Services L A N S A N Serwery S/390 HP SunRS/6000 xSeries

30 SAN – urządzenia blokowe Technologia SAN (Storage Area Network): – odciąża sieci korporacyjne (LAN) – wykorzystuje protokół Fibre Channel Protocol (FCP), – zasoby dyskowe są widziane przez system operacyjny jako „lokalne”, bez względu na to gdzie się fizycznie znajdują – umożliwia wydajniejszy backup danych (snapshot, LAN-free backup) – umożliwia replikacji danych z macierzy produkcyjnej na macierz zapasową w centrum zapasowym (mirroring) – wirtualizacja zasobów fizyczne napędy dyskowe -> struktury RAID struktury RAID -> wolumeny łączenie „resztówek”... Technologia NAS (Network Attached Storage) – pozwala współdzielić ten sam system plików (wolumen) między wieloma systemami – klientami UNIX, Windows – protokoły NFS, pNFS, CIFS – dostęp realizowany poprzez tradycyjną sieć LAN/WAN

31 SAN - infrastruktura Macierze dyskowe – modularne półka kontrolerów + półki z dyskami: OEM LSI: IBM, SUN, SGI – monolityczne duża liczba kontrolerów (procesorów IO), portów, redundancja połączeń Biblioteki taśmowe/magnetooptyczne Przełączniki FC / urządzenia typu Director – problemy przy aktualizacji firmware przełączników – problemy z budową „fabric” dla wielu przełączników Karty HBA (Host Bus Adapter) System nadzoru i zarządzania

32 SAN – zalety/wady Zalety: – Elastyczność: dostęp do zasobów i możliwość dowolnej ich konfiguracji bez konieczności zmian w fizycznej strukturze urządzeń i okablowaniu – Separacja zasobów: na poziomie macierzy - LUN masking – interfejsy serwerów reprezentowane są w macierzy poprzez unikalne numery WWN – numerowi WWN przypisany jest wolumen logiczny w macierzy (utworzony w ramach grupy RAID), co umożliwia współdzielenie portów macierzy przez różne serwery, bez ryzyka przejęcia "cudzych" zasobów na poziomie przełączników - podział na strefy (WWN zoning, port zoning) – ograniczenie ruchu pomiędzy wybrane porty przełącznika FC – Funkcjonalność podobna do VLAN w sieciach Ethernet na poziomie kart HBA serwera - persistent binding. – definicja zasobów widzianych przez interfejsy HBA serwera Wady: – wysoka cena wdrożenia – problemy przy rozbudowie/aktualizacji oprogramowania – dawniej występowały problemy przy wdrożeniach w środowisku heterogenicznym (np. brak wsparcia dla rzadkich serwerów np. SGI, Cray)

33 Fibre Channel Na początku był HIPPI, łączył superkomputery przy pomocy 50 parowych przewodów na krótką odległość, więc trzeba było to uprościć. FC jest protokołem hybrydowym – kanałowo-sieciowym – Kanałowym: ponieważ potrafi zestawić kanały z zamkniętym i przewidywalnym mechanizmem transmisji pomiędzy ograniczoną liczbą urządzeń. Raz ustanowiony kanał potrzebuje bardzo niewielkiego nakładu pracy na obsługę transferów, co skutkuje ich wysoką efektywnością. Protokoły kanałowe są z tego powodu bardzo chętnie wykorzystywane do łączenia macierzy dyskowych, napędów taśmowych z serwerami. – Sieciowym ponieważ potrafi obsłużyć bardziej skomplikowane struktury połączeń urządzeń, ustalać trasy pomiędzy nimi, a więc podejmować większą liczbę decyzji. W sieciach duża część tych decyzji jest wykonywana programowo co spowalnia ich pracę. W Fibre Channel ilość decyzji jest ograniczona i realizowana w dużej mierze na poziomie sprzętowym Fizyczny transport odbywa się poprzez – łącza światłowodowe – miedziane Typy połączeń: – Pętla arbitrażowa (arbitrated loop) – sieć szeregowa z przełącznikami w różnych topologiach mesh, core-edge oraz mieszanych. Możliwość łączenia urządzeń oddalonych o ponad 100 kilometrów (w trybie synchronicznym) FC-Arbitrated Loop FC-Switched Fabric

34 FC a inne protokoły

35 iSCSI Protokół przesyłania danych w sieci IP w oparciu o protokół SCSI: – wykorzystuje transportowanie standardowych komend SCSI – przenosi je za pomocą protokołu TCP/IP (zazwyczaj po sieci Ethernet) Zalety: – Łatwość implementacji: używamy NIC a nie HBA interfejs SCSI służy do wymiany danych, bez ograniczenia na odległość od macierzy protokół iSCSI kapsułkuje i transferuje polecenia zapisu odczytu danych protokół iSCSI komunikuje się bezpośrednio z protokołem SCSI obsługiwanych przez system operacyjny – niskie koszty rozbudowy (sterowniki bezpłatne) Linux-iSCSI Project tgtadm - Linux SCSI Target Administration Utility Wady: – zbyt wolne dla niektórych rozwiązań (zalecane używanie Jumbo Frames) – znaczne obciążenie CPU klientów

36 Podsumowanie (1) Dysk twardy: – Ciągły rozwój technologii: Rosnąca pojemność (4.4 MB / > 3 TB / 2010) Postępy dot. wydajności (nie tak szybkie jak CPU, ale są...) Pojawia się „wszędzie” – serwery, laptopy, telewizory..., samochody – Ale... ograniczenia: Wydajność (200MB/s), pojemność (3 TB), niezawodność (MTBF itp.) Macierze dyskowe: – Pokonują ograniczenia pojedynczych dysków twardych: Wydajność: akomodacja wydajności poszczególnych dysków Niezawodność: maskowanie błędów/awarii Skalowalność: wydajność, pojemność Sieci SAN/NAS: – Dalsza konsolidacja zasobów pozwala na: Elastyczność zarządzania Dalsze skalowanie wydajności i pojemności zasobów (poza ograniczenia macierzy)

37 Podsumowanie (2) Nowoczesne systemy dyskowe i sieci pamięci masowych: – Zalety: Stosowane w dużej skali pozwalają na zbudowanie, wydajnego, pojemnego i niezawodnego systemu przechowywania danych Efekt skali pozwala na: – relatywne zmniejszenie jednostkowych kosztów przechowywania, – optymalną realizację technik takich jak: » replikacja danych, » maskowanie błędów, itp.. » wydajność operacji – efektywne kosztowo oferowanie usług: » kopii zapasowych » archiwizacji – Trudności: Wymagają know-how i doświadczenia Wymagają sporych nakładów inwestycyjnych i na utrzymanie – Wniosek: Warto korzystać z dużych systemów, w których „ktoś” bierze na siebie w/w trudności Użytkownik korzysta z „wysokiej jakości” przestrzeni przechowywania za rozsądne pieniądze (lub za darmo )

38 Dziękujemy za uwagę Pytania ? Dziękujemy za uwagę

39


Pobierz ppt "Nowoczesne systemy dyskowe i sieci pamięci masowych Warsztaty „Usługa powszechnej archiwizacji” Rafał Mikołajczak, PCSS Maciej Brzeźniak, PCSS."

Podobne prezentacje


Reklamy Google