Elektroniczne Archiwum Wieczyste J.P. Walczak, ATM SA K. Marasek, PJWSTK.

Prezentacja na temat: "Elektroniczne Archiwum Wieczyste J.P. Walczak, ATM SA K. Marasek, PJWSTK."— Zapis prezentacji:

1 Elektroniczne Archiwum Wieczyste J.P. Walczak, ATM SA K. Marasek, PJWSTK

2 Plan prezentacji Potrzeby archiwizacyjne Zarys rozwiązania Propozycja ram organizacyjnych Harmonogram i wnioski 18-11-2007 J.P. Walczak, K. Marasek

3 Co to są archiwa wieczyste? Zasoby archiwalne – wytwory kultury materialnej – artefakty, dokumenty, rejestry, … – dane cyfrowe (wytworzone komputerowo) Cyfryzacja – Zapis własności zasobu archiwalnego – separacja informacji od jej materialnego nośnika i jego zmiennych właściwości Zapis w postaci pliku cyfrowego Przechowywanie danych cyfrowych w perspektywie co najmniej 100 lat

4 Aktualny stan wiedzy Nie udało nam się znaleźć materiałów proponujących całościowe rozwiązanie problemu przechowywania wieczystego danych Inicjatywy (zwykle zawężone do potrzeb specjalnej grupy odbiorców) lub bardzo ogólne – SNIA (Storage Networking Industry Association) 100 Yr Archive Task Force – zbiór dobrych praktyk – NARA (National Archive and Records Administration), Sedona Conference – zasady migracji danych – OAIS (Open Archival Information System) ISO data reference model – Dublin Core Metadata Set, Pittsburgh Metadata, ICA Guide for Managing, DLM Forum Guide, ISAD(G), UBC-MAS Project, ISO 15489 – formaty danych i metadanych Brak konkretnych propozycji rozwiązań, ale jest rosnąca świadomość problemu

5 Ilości danych źródło: How much information 2003, UCLA, Berkeley Storage Medium 2002 Terabytes Upper Estimate 2002 Terabytes Lower Estimate 1999-2000 Upper Estimate 1999-2000 Lower Estimate % Change Upper Estimates Paper1,6343271,20024036% Film420,25476,69431,69058,209-3% Magnetic5,187,1303,416,2302,779,7602,073,76087% Optical10351812928% TOTAL:5,609,1213,416,2813,212,7312,132,23874.5% Worldwide production of original information, if stored digitally, in terabytes circa 2002. Upper estimates assume information is digitally scanned, lower estimates assume digital content has been compressed.

6 Ilości danych 2 National Archive and Records Administration W jaki sposób przechowywać w sposób trwały takie ilości danych Migracja danych z nośnika na nośnik, rekomendacje NARA – raz na 3 lata w przypadku dysków – raz na 5 lat w przypadku taśm Jak to robić w przypadku takich ilości danych? Ile to może kosztować? Nadchodzi kryzys archiwów cyfrowych (SNIA white paper, 2007)

7 Świadomość potrzeb

8 Przechowywanie wieczyste jest złożonym zagadnieniem Wyzwania technologiczne – Harvesting źródeł danych – Zapewnienie odczytu fizycznego – Zapewnienie odczytu logicznego – Migracja wielkich repozytoriów danych – Emulacja formatów – Zapewnienie działania historycznych aplikacji i czytników – Ochrona przed zmianami – Ochrona przed utratą lub zniszczeniem – Bezpieczeństwo fizyczne i logiczne danych – Automatyzacja dostępu – Wyszukiwanie i udostępnianie – Testowanie/audyt Wyzwania organizacyjne – Wspólne ustalenie wymagań – Ramy prawne działań – Klasyfikacja danych – Zapewnienie odpowiednich metadanych – Działania standardyzujące

9 Projekty stowarzyszone Podstawowe problemy do rozwiązania Długookresowa opieka nad zasobem archiwalnym (wieczystość zapisu) Redukcja zapotrzebowania energetycznego Organizacja dostępu do archiwum wieczystego Cyfryzacja zasobów archiwalnych Danych analogowych Zmiana formatu danych cyfrowych Zagadnienia prawne i organizacyjne

10 Podstawowe elementy proponowanego systemu Dane dostępne są na żądanie, ale nie on-line Dane przechowyewane są w „inteligentnych” zasobnikach Archiwum ma budowę strukturalną Archiwum realizuje swoje funkcje poprzez wyspecjalizowane podsystemy

11 Zasobnik Lokalna regeneracja zapisu regeneracja migracja Redundancja danych lokalna holistyczna Optymalizacja zasilania aktywność tylko gdy potrzeba

12 Zasobnik 2 Lokalna regeneracja zapisu regeneracja migracja Redundancja danych lokalna holistyczna Optymalizacja zasilania aktywność tylko gdy potrzeba Rozwiązanie problemu trwałości zapisu danych Rozwiązanie problemu migracji danych Rozwiązanie problemu efektywności energetycznej

13 Podstawowe obiekty archiwum Wewnętrzna część archiwum Zasobnik Elektroniczna kartoteka oraz Witryna udostępniająca Elektroniczna kartoteka oraz Witryna udostępniająca Zespół przygotowania treści do ich składowania w Archiwum Podsystem administracji Archiwum Zewnętrzny podsystem realizacji usług specjalnych Podsystem komunikacji pomiędzy Zasobnikiem a jego otoczeniem Podsystem zoptymalizowanego i adresowanego zasilania oraz kontroli stanu aktywności Zasobnika

14 Dostęp do zasobów Uaktywnianie na żądanie Struktura adresowania zasobnika Integralnie związane z zasobem Ustalające prawa dostępu Powiązane z kartotekami Dowiązane do treści dynamiczne metadane Kartoteki tematyczne Kartoteki o wybranym formacie Elektroniczna kartoteka Realizacja zleceń Witryna udostępniająca

15 Bazowa konfiguracja systemu

16 Problemy cyfryzacji Kodowanie bezstratne – Lepsze wykorzystanie bitów i bajtów Metody statystyczne Modelowanie danych – mniejsza kompresja, ale brak utraty jakości Kodowanie stratne – Kodowanie perceptualne wykorzystuje ograniczenia ludzkich zmysłów – Zorientowane na potrzeby transmisji danych Maksymalne upakowanie Szybkość kompresji Kody kontrolne – Mniejsza zajętość pamięci kosztem jakości JPEG

17 Problemy cyfryzacji cd. Cyfryzacja zapisów analogowychRedukcja danych nadmiarowychSzyfrowanie danych i metadaneSzybkość kodowania i dekodowaniaKody kontrolne

18 Kodowanie na potrzeby przechowywania wieczystego Dane archiwalne wymagają kompresji maksymalnie bezstratnej Konieczne jest opracowanie nowej klasy kodeków archiwizacyjnych Maksymalna wierność Kody kontrolne Prędkość i upakowanie mniej istotne Zachowanie odpowiedniej staranności i procedur przy cyfryzacji zbiorów archiwalnych

19 Propozycja ram organizacyjnych Rozbicie zagadnienia na projekt główny i stowarzyszone Projekt celowy zgłoszony przez konsorcjum zamawiające i konsorcjum wykonujące Koordynator konsorcjum zamawiającego rozlicza pracę Projekty badawcze Projekty badawczo-rozwojowe (np. „Patefon” zgłoszenie 15377 4 konkurs MNiSW) Patronat instytucji normującej (np. KRRiTV) B+R Model Wdrożenie Eksploatacja

20 Harmonogram Grudzień 2007: seminarium w KRRiTV Luty 2008: wniosek do MNiSW o projekt celowy Maj 2008: wnioski do MNISW o projekty rozwojowe stowarzyszone z projektem Czerwiec 2008: początek realizacji

21 Podsumowanie Proponujemy poważny i nowatorski projekt ujmujący całość nowej klasy zagadnień: archiwów wieczystych Szczególnie interesujące i nowatorskie elementy prezentowanego podejścia to: – mechanizmy samokontroli urządzeń zapewniające regenerację zapisu danych (automatyzacja opieki nad zgromadzonymi zasobami); – efektywne energetycznie rozwiązania przechowywania danych; – rozdzielenie funkcji wewnętrznych i zewnętrznych archiwum; – zintegrowane zarządzanie zasobami archiwalnymi i meta-danymi; – skalowalność rozwiązań, zarówno w aspekcie pojemności archiwum jak i zarządzania zasobami.