J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Konstrukcja prototypu archiwum długoterminowego w projekcie CLARIN.

Prezentacja na temat: "J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Konstrukcja prototypu archiwum długoterminowego w projekcie CLARIN."— Zapis prezentacji:

1 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Konstrukcja prototypu archiwum długoterminowego w projekcie CLARIN

2 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Czas przechowania zasobów Administracyjne od 3 lat do bezterminowo Medyczne do 50 lat Kultura i nauka bezterminowo

3 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Wymagania konstrukcyjne archiwów elektronicznych Konstrukcja długoterminowa Fizyka i technologie materiałowe Elektronika Struktura informatyczna i programowanie Skalowalność Rozległość i rozproszenie Autentyczność zasobów i ich ochrona Odporność na proces „Technology flow” Dostępność długoterminowego serwisu

4 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Gdzie można zapoznać się z teoretycznymi aspektami prezentowanej konstrukcji?

5 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 http://www.nina.gov.pl/baza-wiedzy/d%C5%82ugoterminowa-archiwizacja-danych-cyfrowych /

6 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Podstawowe cechy proponowanego systemu Wymienione postulaty spełnione są w archiwum o następujących cechach: Dane dostępne są na zamówienie, ale nie on-line Archiwum głębokie Dane przechowywane są w „inteligentnych” zasobnikach Archiwum ma budowę strukturalną i sieciową Archiwum realizuje swoje funkcje poprzez wyspecjalizowane podsystemy DODATKOWO: Efektywność energetyczna

7 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Konstrukcja zasobnika KontrolerBufor HPS Zasilacz Elementy sterujące i bufor Węzły danych (max. 30) …

8 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Budowa węzła danych Inteligentny zasilacz 10 dysków twardych

9 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Zasobnik - cechy Lokalna regeneracja zapisu regeneracja migracja Redundancja danych lokalna holistyczna Optymalizacja zasilania aktywność tylko gdy potrzeba Rozwiązanie problemu trwałości zapisu danych Rozwiązanie problemu migracji danych Rozwiązanie problemu efektywności energetycznej

10 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 od 0,3 do 3,2 PB 2 m Rozmiary zasobnika

11 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Parametry zasobnika Objętość1m 2 x 2m = 2m 3 Masaok. 200 kg Roboczy pobór mocy400 W Liczba dysków twardych300 Całkowita pojemność Dyski 2 TB0,6 PB Dyski 4 TB1,2 PB Dyski 10 TB3,0 PB

12 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Prototyp ARCHI – CLARIN Gotowy do praktycznego użycia

13 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Struktura archiwum Serwer Kolejki Zleceń Z1Z2Z3Z4 Bufor … Jedno archiwum lokalne obsługuje do 10 000 zasobników Zasobniki mogą być dołączane w trakcie pracy archiwum

14 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Praca z archiwum Serwer Kolejki Zleceń Z1Z2Z3Z4 Bufor … Archiwum udostępnia zasoby na zamówienie Komunikacja z zasobnikami zawsze przechodzi przez bufor 2. Realizacja 1. Zamówienie

15 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Korzyści Archiwum jest bardzo energooszczędne: elementy zasobnika są zasilane stosownie do zamówień Całkowita izolacja przechowywanych danych od sieci publicznej Wewnętrzna regeneracja stanu zapisu Brak potrzeby migracji danych przy awarii sprzętu Prosta rozbudowa archiwum Mechanizm robotów programowych umożliwia wewnętrzne przetwarzanie danych

16 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Archiwum rozproszone ARCHI 1 Witryna dostępowa ARCHI 2 Witryna dostępowa ARCHI 3 Witryna dostępowa 1.Klient loguje się do dowolnego węzła sieci 2.Przekierowanie do archiwum z danymi klienta 3.Przekierowanie do archiwum z potrzebnym plikiem 4. Transfer Wszystkie ARCHI 1,2,3,… działają pod nadzorem jednolitego, rozproszonego systemu operacyjnego

17 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Redundancja ARCHI 4 ARCHI 2 Zapisywane zasoby są automatycznie przesyłane do lokalizacji redundantnych ARCHI 3 ARCHI 1 ARCHI 5 ARCHI R1 ARCHI R2 Nowy zasób

18 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Czym aktualnie dysponujemy Archiwum zasobów cyfrowych Projekt całego systemu ARCHI Prototyp zasobnika „Know how” już częściowo opatentowane (USA, EU, PL) Elementy organizacji - produkcyjnej - R&D - wdrożeniowej Cel wykorzystania - archiwa medyczne - archiwa audiowizualne Perspektywa rozwoju systemu i wykorzystania technologii w innych zastosowaniach

19 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Co uzyskujemy przez stosowanie naszej konstrukcji (1) redukcja kosztów okresowego i koniecznego serwisu danych dzięki regeneracji stanu zapisu Inwestycja3-5 lat Inwestycja + migracja Inwestycja 45 lat Inwestycja+ migracja Konstrukcja niededykowana (adaptowana z innych rozwiązań technicznych np. ‘backup taśmowy’) Nasza konstrukcja dedykowana dla elektronicznego archiwum

20 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Co uzyskujemy przez stosowanie naszej konstrukcji (2) Zastosowanie mechanizmu sterowania zasilaniem Zapis danych Zasilanie potrzebne tylko dla określonych procesów Odczyt danychAutomatyczny serwis

21 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Co uzyskujemy przez stosowanie naszej konstrukcji (3) Zastosowanie technologii „Industrial Standard” (dla kluczowych elementów zasobnika ARCHI) Brak kosztów związanych z budową i eksploatacją tzw. serwerowni

22 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Porównanie kosztów przechowywania 1 PB na 45 lat Pamięć taśmowa Macierz dyskowa heavy-duty (low-end) ARCHI Koszt zakupu$407,000 $1,620,000 ($250,000) $150,000 Koszty operacyjne $1,850,500$5,161,644$1,500 Koszty zasilania i chłodzenia $191,700$1,605,096$800 SUMA$2,449,200 $8,386,740 (7,016,740) $152,300 searchdatabackup.techtarget.com + Oracle + własne Petabajt (1 PB) = 2 15 bajtów

23 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Podsumowanie - perspektywy Dane mogą być przetwarzane lokalnie, a nie w dużym systemie centralnym Jednolitość systemu rozproszonego terytorialnie Dostęp do danych rozproszonych geograficznie Dyslokacja zwiększa bezpieczeństwo danych Zlecone statystyki i analizy są przeprowadzane równolegle w wielu lokalizacjach. Obszar analizy może być zawężony do wybranych regionów Swobodna rozbudowa systemu na poziomie ogólnopolskim

24 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Dziękuję za uwagę!

25 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Wymogi prawne USTAWA z dnia 14 lipca 1983 r. o narodowym zasobie archiwalnym i archiwach Rozdział 1 Przepisy ogólne Art. 1. Materiałami archiwalnymi wchodzącymi do narodowego zasobu archiwalnego, zwanymi dalej „materiałami archiwalnymi”, są wszelkiego rodzaju akta i dokumenty, korespondencja, dokumentacja finansowa, techniczna i statystyczna, mapy i plany, fotografie, filmy i mikrofilmy, nagrania dźwiękowe i wideofonowe, dokumenty elektroniczne w rozumieniu przepisów ustawy z dnia 17 lutego 2005 r. o informatyzacji działalności podmiotów realizujących zadania publiczne (Dz. U. z 2014 r. poz. 1114) oraz inna dokumentacja, bez względu na sposób jej wytworzenia, mająca znaczenie jako źródło informacji o wartości historycznej o działalności Państwa Polskiego, jego poszczególnych organów i innych państwowych jednostek organizacyjnych oraz o jego stosunkach z innymi państwami, o rozwoju życia społecznego i gospodarczego, o działalności organizacji o charakterze politycznym, społecznym i gospodarczym, zawodowym i wyznaniowym, o organizacji i rozwoju nauki, kultury i sztuki, a także o działalności jednostek samorządu terytorialnego i innych samorządowych jednostek organizacyjnych – powstała w przeszłości i powstająca współcześnie. (Dz.U.2015.1446 t.j.)

26 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Ustawa o prawach pacjenta i Rzeczniku Praw Pacjenta Art. 29. 1. Podmiot udzielający świadczeń zdrowotnych przechowuje dokumentację medyczną przez okres 20 lat, licząc od końca roku kalendarzowego, w którym dokonano ostatniego wpisu, z wyjątkiem: 1) dokumentacji medycznej w przypadku zgonu pacjenta na skutek uszkodzenia ciała lub zatrucia, która jest przechowywana przez okres 30 lat, licząc od końca roku kalendarzowego, w którym nastąpił zgon; 2) zdjęć rentgenowskich przechowywanych poza dokumentacją medyczną pacjenta, które są przechowywane przez okres 10 lat, licząc od końca roku kalendarzowego, w którym wykonano zdjęcie; 3) skierowań na badania lub zleceń lekarza, które są przechowywane przez okres 5 lat, licząc od końca roku kalendarzowego, w którym udzielono świadczenia będącego przedmiotem skierowania lub zlecenia; 4) dokumentacji medycznej dotyczącej dzieci do ukończenia 2. roku życia, która jest przechowywana przez okres 22 lat. 2. Po upływie okresów wymienionych w ust. 1 podmiot udzielający świadczeń zdrowotnych niszczy dokumentację medyczną w sposób uniemożliwiający identyfikację pacjenta, którego dotyczyła. 3. Po upływie okresów, o których mowa w ust. 1, do postępowania z dokumentacją medyczną będącą materiałem archiwalnym w rozumieniu przepisów ustawy z dnia 14 lipca 1983 r. o narodowym zasobie archiwalnym i archiwach (Dz. U. z 2011 r. Nr 123, poz. 698 i Nr 171 poz. 1016), stosuje się przepisy wydane na podstawie art. 5 ust. 2 i 2b tej ustawy.

27 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Ustawa o prawach pacjenta i Rzeczniku Praw Pacjenta Art. 5 ust. 2b. Minister właściwy do spraw informatyzacji, po zasięgnięciu opinii Naczelnego Dyrektora Archiwów Państwowych, określi, w drodze rozporządzenia, szczegółowy sposób postępowania z dokumentami elektronicznymi w podmiotach, o których mowa w ust. 1, w szczególności zasady ewidencjonowania, klasyfikowania i kwalifikowania dokumentów elektronicznych oraz zasady i tryb ich brakowania, uwzględniając potrzebę zapewnienia integralności dokumentów elektronicznych i długotrwałego ich przechowywania.

28 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 Dokument elektroniczny w ochronie zdrowia Tworzenie dokumentów: Gabinety lekarskie, kliniki, szpitale i inne przedsiębiorstwa (niezależnie od tego, kto jest ich właścicielem czy podmiotem tworzącym). Przechowywanie tymczasowe: Przedsiębiorstwa podmiotów leczniczych przechowują dokumentację w miejscu wytworzenia lub - w wyniku umowy o outsourcingu - przekazują zadanie przechowywania dokumentacji medycznej wyspecjalizowanym podmiotom, posiadającym warunki techniczne umożliwiające wieloletnie przechowywanie dokumentów. Wiąże się to z opłatami za przechowywanie i zabezpieczenie powierzonych zasobów. Długoletnie przechowywanie dokumentów elektronicznych (archiwa): Brak!

29 J.P. Walczak, K. Marasek, P. Sobótka 2016-04-26 System informacji w ochronie zdrowia System obejmuje funkcjonalnie rejestry centralne oraz zasoby lokalne; widoczne są powiązania i współpraca między elementami systemu. Wszystko to są jednak zasoby oparte o relacyjne bazy danych. Brakuje elektronicznych archiwów wieloletnich. Tymczasem muszą one istnieć z uwagi na konieczność przechowywania dokumentów elektronicznych w okresie kilkudziesięciu lat! Schemat dostępny jest na stronie http://csioz.gov.pl/