Usługa powszechnej archiwizacji w sieci PIONIER (U4)

PLATON-U4 Plan prezentacji Dotychczasowe prace: Planowanie konfiguracji, analiza Spotkania firmowe, prezentacje Konfigruacje dla węzłów: Architektura, Komponenty Warianty implementacji konfiguracji Produkty i ceny Dopasowanie do budżetu Stan SIWZ: Części SIWZ do zatwierdzenia Kwestie otwarte: LTO4 vs LTO5 Technologia wirtualizacji Access Node (vmware vs open source/Xen/Citrix) 2

Budżet K1 - Poznań PCSS - 2.290.400,00 zł K3 - Kraków CK Cyfronet - 2.577.616,16 zł K5 - Lublin LUBMAN - 948.638,08 zł K6 - Białystok BIAMAN - 964.288,00 zł K7 – Częstochowa - 964.288,00 zł K8 - Gdańsk TASK - 2.794.288,00 zł K10 - Lodź LODMAN - 910.382,72 zł K15 - Kielce - 964.288,00 zł (zwiększone decyzją koordynatora) K16 - Wrocław WCSS - 2.750.000,00 zł (na podstawie e-maila Pawła D.) K20 - Warszawa ICM - 2.693 510,40 zł Przyznany budżet traktować można jako brutto - możliwe są przesunięcia kwoty przeznaczonej na VAT na rzecz większej konfiguracji, jeżeli ktoś zdecyduje się na 0 VAT. Polityka powinna być jednak spójna w obrębie tych samych komponentów: przelaczniki sieciowe - 0% VAT komputery z macierzami wraz z okablowaniem - 0% VAT Aktualne ustalenia są takie, że wszyscy mają: biblioteka taśmowa - 22% VAT usługa integracji - 22% VAT software - 22% VAT 3

PLATON-U4 Dotychczasowe prace (1) Planowanie konfiguracji, analiza: Przygotowanie konfiguracji (PCSS): 2Q2009-4Q2009 Prezentacja i dyskusje (PCSS i partnerzy): prezentacja, dyskusja: 24.VII.2009, Gdańsk - podczas spotkania KMD/PLATON-U4) brainstorming: 30.IX.2009, Poznań - przed spotkaniem KMD: PCSS, Cyfronet, LubMAN, PCz, WCSS 1.X.2009, Poznań - podczas spotkania KMD/PLATON-U4) brainstorming-2: 27.X.2009, Poznań – PCSS, WCSS Opracowanie SIWZ i umieszczenie na wiki KMD/PLATON-U4: 4

PLATON-U4 Dotychczasowe prace (2) Spotkania firmowe, prezentacje: Spotkanie ogólne: 9-10 lipca 2009, Poznań wszyscy uczestnicy projektu vendorzy: DDN, EMC, Fujitsu, HDS, HP, IBM, SGI, SUN integratorzy: Comtegra (NetApp, Fujitsu), Polcom (3PAR, Quantum, Xyratex, NexSAN), Spotkania ogólne: z firmą IBM – analiza i ustalenia dot. oprogramowania TSM: 26.VIII.2009, Poznań – PCSS, Cyfronet, LubMAN, WCSS 30.IX.2009, Poznań – przed spotkaniem KMD: PCSS, Cyfronet, LubMAN, PCz, WCSS 27.X.2009, Poznań – PCSS, WCSS Prezentacja filerów NetApp (Comtegra): PCSS, LodMAN, LubMAN, PCz, WCSS 13.X.2009, Warszawa Spotkanie z firmą Polcom (3PAR, Quantum, Xyratex, NexSAN): 22.X.2009, Poznań – PCSS 26.XI.2009, Poznań – PCSS Spotkania z firmami: Sun, Brocade, Extreme Networks, HP, Polcom (3PAR, Xyratex...): 4-6.XI.2009 - podczas konferencji I3 Spotkania z firmami: Sun, Brocade, DDN, IBM, LSI, Bluearc 16-18.XI.2009 - podczas konferencji SC09 Spotkania z firmami: EMC 7.XII.2009 - planowe Spotkania z firmami: Sun 8.XII.2009 - planowane Seria telekonferencji: Sun, SGI, HDS, 3PAR, Quantum, Xyratex, NexSAN, Brocade, EMC 3Q2009-4Q2009 5

PLATON-U4 Architektura systemu 6

PLATON-U4 Węzły dyskowo-taśmowe Część B Część A 7

PLATON-U4 Węzły dyskowo-taśmowe Komponenty: Biblioteka taśmowa: 12-16 napędów LTO4/LTO5, 2,5 PB taśm Wybór technologii LTO4 czy LTO5 i implementacja zakupów Macierz dyskowa – FC-SATA (cache HSM) Pojemność: 120-200 TB dysków SATA 1TB Przepustowość: 2GB/sek - 50%/50% read/write (vide LFP SPC2), benchmark w SIWZ Oprogramowanie TSM: 2x serwer TSM Enterprise Edition, 2x klient HSM, 2x GPFS funkcjonalność LAN-FREE - ze względu na ilość ruchu przewidywaną w systemie Serwery pod TSM/HSM: Duże wymagania na przepustowość Ograniczenie liczby CPU wynikające z wysokich kosztów licencji TSM Serwery dla Access Node / DataBase (4+2 sztuki): Duża liczba: core/CPU (koszty licencji na np. VMware) Wirtualizacja: wymagane oprogramowanie (Xen lub VMware) oraz współdzielony storage Siec SAN i 10Gbit Eth LAN 2x40 portów 8Gbits FC 2x16 portów 10Gbits Eth 8

PLATON-U4 Węzły dyskowe Część C Część A 9

PLATON-U4 Węzły dyskowe Komponenty: Serwer plików lub (serwery + macierz dyskowa + software NAS) Pojemność: 200 TB na dyskach SATA 1TB Przepustowość: 1GB/sek 50%/50% read/write (vide LFP SPC2), benchmark w SIWZ Serwery dla Access Node / DataBase (2+2 sztuki): Duża liczba core/CPU (koszty licencji na np. VMware) Wirtualizacja: wymagane oprogramowanie (Xen lub VMware) oraz współdzielony storage Siec 10Gbit Eth LAN 2x12 portów 10Gbits Eth 10

PLATON-U4 Biblioteka taśmowa - wymagania punkty w SIWZ za szerokość biblioteki Spectra Logic T9500 (1.985 tys. zł netto): 2,31 m/LTO4; 1,54 m/LTO5 IBM TS3500 (840 tys. zł netto): 3,16 m/LTO4; 2,31 m/LTO5 Quantum Scalar i6000 (912 tys. zł netto): 4,96 m/LTO4; 3,1 m/LTO5 Sun StorageTek SL3000 (820 tys. zł netto): 4,62 m/LTO4; 2,31 m/LTO5 punkty za liczbę licencjonowanych slotów w ramach dostawy 12-16 napędów LTO4 lub LTO5 wymiana napędów z LTO4 w LTO5 w ramach dostawy 3125 taśm w technologii LTO4 lub 1670 taśm LTO5 (dostawa 4Q10) - pojedynczy robot o dostępie do wszystkich taśm i napędów - redundantne zasilanie LTO 4 LTO 5 Native Data Capacity 800 GB 1,50 TB Max Speed 120 MB/s 150 MB/s Platon 2,5 PB 3125 tapes 1670 tapes Drive Price X X * 1,2 Tape Price X * 2 Availability Now April ’10 11

Dostępne produkty spełniające kryteria technologiczne 12

Porównanie wdrożenia produktów Miejsce Cena 13

PLATON-U4 Węzły dyskowo-taśmowe. Macierz. Szczegółowe wymagania: Przepustowość: Wymagana: 2 GB/s Pożądany zapas! – cache HSM wąskim gardłem wydajnościowym (wynik analizy) Przewidujemy umieszczenie benchmarku w SIWZ Pojemność: Wymagana: 200TB - surowa (we wniosku 120 TB) Technologia: Kontrolery FC (redundantne) Konieczne wsparcie funkcji cache-mirroring (eliminuje część produktów) Konieczne wsparcie hot-spare, hot-swap i fail-over Dyski SATA Porty do hostów: Min. 8x 4Gbit FC lub 4x 8 Gbit FC ~ min. 3.2 GBajta/sek Nie dopuszczamy macierzy wspierających tylko iSCSI RAID: Wsparcie co najmniej RAID5 i RAID6 Inne: Pożądane duże upakowanie Pożądane sprawdzone na rynku rozwiązanie 14

PLATON-U4 Węzły dyskowo-taśmowe. Macierz. Poza budżetem, formalnie OK Optymalny Poza budżetem, formalnie OK Najkorzystniejszy wybór: LSI 7900 i OEM-y Duży zapas przepustowości (4-5 GB/s vs wymagane 2Gb/s), potwierdzone benchmarkiem SPC2 (Oct2009) 4 producentów/oferentów, wsparcie przez duże korporacje Duże upakowanie – 60 dysków / 4U - półki „HD” -> 4x4U (półki) + 4U (kontroler) = 200 TB w 20U Ogólnie: 13+ produktów spełnia kryteria techniczne! z tego 7 mieści się w budżecie 15

PLATON-U4 Węzły dyskowo-taśmowe. Macierz LSI7900 Cechy: Zapas przepustowości (4-5 GB/s vs wymagane 2Gb/s): potwierdzone benchmarkiem SPC2 (Oct2009): 4 producentów/oferentów: wsparcie przez duże korporacje „formalnie bezpieczna” Duże upakowanie – 60 dysków / 4U -> 4x4U (półki) + 4U (kontroler) = 20U – 200 TB 16

PLATON-U4 Węzły dyskowo-taśmowe. Macierz. Nie spełniają wymagań: DDN: Techniczne: brak cache mirroring dla zapisu Modele: S2A9900 i 6620 HDS AMS 2000: Wydajność: pojedyncza macierz max. 0.7GB/sek + wysoka cena macierzy HP EVA (np. 8400): Wydajność: za mała (max. 0,8 GB) Inne: NetApp (nie dopuszamy emulacji FC over WAFL) Xyratex (za małe) NexSAN (za małe) 17

PLATON-U4 Węzły dyskowo-taśmowe. Oprogramowanie TSM. Wymagane: 2x serwer TSM Enterprise Edition 2x klient HSM + 2x GPFS funkcjonalność LAN-FREE Możliwość zapisu danych na taśmy z klienta HSM lub B/A z pominięciem serwera TSM ze względu na ilość ruchu przewidywaną w systemie Koszty: Licencja IBM akademicka: 33 200 EUR na węzeł = ok. 103 000 PLN net = ok. 125 650 PLN z VAT 18

PLATON-U4 Węzły dyskowo-taśmowe. Macierz. Szczegółowe wymagania: Przepustowość: Wymagana: 1 GB/s (read/write 50%/50%) Możemy „minimalnie” obniżyć wymagania dla optymalizacji kosztów ~0,8 GB/s Przewidujemy umieszczenie benchmarku w SIWZ Pojemność: Wymagana: 200TB Rozbudowywalny pow. 200 TB (min. do 250 TB) Technologia: Kontrolery redundantne, wsparcie dla fail-over NFS Dyski SATA Wspierane protokoły: NFS Opcjonalnie możemy wymagać iSCSI (do sprawdzenia) Implementacja funkcjonalności NAS: Pożądane dedykowane urządzenie typu appliance: Dedykowana, sprzętowo wspomagana technologia Technologie typu n x server + software nie sprawdzone w naszym środowisku Min. 2 porty 10 Gbit Ethernet Obecność na liście supportowej VMware i Xen/Citrix 19

PLATON-U4 Węzły dyskowe. Serwer plików. Bezpieczna inwestycja Tanie ale niesprawdzone technologie (de facto serwery + software) Być może w budżecie Duża wydajność Poza budżetem, formalnie OK Filer NetApp V3160 + 1x macierz NetApp lub 2x macierz LSI 4900 Sprawdzone technologie – filery NetApp i macierze LSI HDS i EMC – na granicy budżetu – negocjacje trwają – duża wydajność Testy planowane na 7-11.XII.2009 -> Kryteria techniczne powinny dopuszczać: NetApp, NetApp+LSI, Bluearc+HDS/LSI, EMC 20

PLATON-U4 Serwery Koszty: ~10k$ - Access Node z 2x 10Gbit Eth DISK&TAPE STORAGE NODES per server   NODE TYPE sztuk przepustowość każdego [GB/s] LAN 1Gbit LAN 10Gbit LAN 10Gbit (active) LAN band. FCHBA 8Gbit/s FCHBA 8Gbit/s (active) FC band. [GB/s] cores ACCESS NODES - disk&tape nodes 4-6 0,78 4 2 1 8-16 STORAGE NODE - HSM: 2,00 0,55 1,45 STORAGE NODE - TSM (TSM-SERVER): 1,20 0 (LAN FREE) 0 (LAN-FREE) 8 DISK STORAGE NODES per server   NODE TYPE sztuk przepustowość każdego [GB/s] LAN 1Gbit LAN 10GB LAN 10Gbit (active) FCHBA8G FCHBA8G (active) FC band. [GB/s] cores ACCESS NODES - disk storage node 2-4 0,69 4 2 1 0,6875 8 Koszty: ~10k$ - Access Node z 2x 10Gbit Eth ~15k$ - Storage Node z 2x 10Gbit Eth + 2-4x 8Gbit FC Przetarg: Wielu potencjalnych oferentów Pożądane „markowe” serwery (np. Sun, Dell, IBM...) support, zarządzanie itp. -- do implementacji w SIWZ 21

PLATON-U4 Węzły dyskowo-taśmowe PLATON-U4 Węzły dyskowo-taśmowe. Oprogramowanie wirtualizacyjne dla Access Node. Oprogramowanie VMware? Wymagana licencja na ESXi Advanced + na konsole zarządzającą (vCenter) m.in. funkcjonalność Vmotion i fault-tolerance niższy poziom licencji nie ma sensu Wysoka cena!!! ~ 3 000 $ za serwer – już po rabacie akademickim 50% (zawiera ESXi i konsolę) Negocjacje trwają: obiecane ok. 20-25% dalszego upustu – cena ~ 1 500/ 2 000 (spotkanie 1.X.2009) nadal drogo vs ~ 10 000 $ za zakup samego serwera ostateczna cena znana będzie do 4.XII.2009 Opcje: Rezygnacja z zakupu: Wirtualizacja oparta o darmowe wersje: np. VMware ESXi Rozwiązania open source + ręczna obsługa awarii (np. Xen) Alternatywa komercyjna: Citrix/XenServer – ceny sprawdzimy do 11.XII.2009 22

PLATON-U4 Sieć FC i 10 Gbit Ethernet Wymagania: Węzły dyskowo-taśmowe: Sieć SAN: 2x40 port 8Gbits FC Sieć LAN: 2x16 port 10Gbits Eth Węzły dyskowe: Sieć LAN: 2x12 port 10Gbits Eth Produkty: Węzły dyskowo-taśmowe: Brocade 5100 (45k$) lub Brocade 5300 (90 k$) Brocade TurboIron 24x / Extreme Networks Summit x650 (18-19k$) Brocade TurboIron 24x / Extreme Networks (21-23k$) Przetarg -- potencjalnie wielu oferentów: FC: Brocade i OEMy (IBM, HP, Sun, SGI...) 10Gbit Eth: Brocade (ex-Foundry) i OEMy, Extreme Networks + inni (Jupiter,....) 23

Ustalenia formalne

Zagrożenia, problemy Wybór technologii LTO4 vs. LTO5 Wady i zalety Termin dostępności Konfiguracja nadmiarowa Protesty Na etapie SIWZ, złożenia ofert Możliwe opóźnienia wdrożenia skomplikowanej infrastruktury Podział konfiguracji sprzętowo-programowej na części 25

Harmonogram prac 7.12 - Propozycja konfiguracji węzłów dostępowych i składowania danyc 23.12 – Potwierdzenie konfiguracji ilościowej i jakościowej przez jednostki 8.01 - Udostępnienie SIWZ 15.01 - Potwierdzenie zapisów SIWZ przez jednostki 29.01 – Uruchomienie przetargu 10.03 – Otwarcie ofert 20.03 – Podpisanie umowy 4.06 – Dostawa i zamknięcie – podpisanie protokołu odbioru (10 tygodni) 3Q2010 – Ogłoszenie przetargu na zakup taśm LTO5 4Q2010 – Dostawa taśm LTO5 Kwota około 1,5 mln zł + VAT 26

Usługa Powszechnej Archiwizacji Dziękuję za uwagę Pytania?