Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Metadane Rodzaje metadanych Metadane w procesie ETL Podsumowanie.

Podobne prezentacje


Prezentacja na temat: "Metadane Rodzaje metadanych Metadane w procesie ETL Podsumowanie."— Zapis prezentacji:

1

2 Metadane Rodzaje metadanych Metadane w procesie ETL Podsumowanie

3 Metadane - dane opisujące system i przechowywane w nim dane. - wszystkie informacje w środowisku hurtowni danych, które nie są samymi danymi Metadane powinny zawierać: opis danych zawartych w hurtowni danych opis dostępności danych nazwę systemu, z którego pochodzą dane opis operacji poczynionych na danych, podczas zasilania hurtowni historia ładowań i awarii

4 wersję metadanych metryki dotyczące danych (np. liczby wierszy w tablicach) prawach autorskich, własności

5 Odpowiednio opracowane, przechowywane (ułatwia zrozumienie informacyjnych zbiorów danych, ich ocenę) Centralne repozytorium metadanych - zawiera merytoryczny opis kolekcjonowanych danych oraz zbiór dodatkowych informacji o danych

6 Metadane biznesowe Metadane techniczne Metadane operacyjne

7 Szeroko opisujące wielowymiarowe dane systemu hurtowni. Przechowywane informacje Nazwa tabeli hurtowni danych Nazwa kolumny hurtowni danych Nazwa biznesowa Szczegółowa definicja biznesowa pola Typ, długość pola

8 Użytkownicy – hurtowni danych, autorzy raportów, osoby tworzące kostki OLAP, testerzy, itd..

9 Metadane operacyjne - procesach zachodzących w hurtowni Przechowywane informacje: Nazwa procesu Czas wykonania procesu Liczba wierszy Wynik wykonania - status czas startu i zakończenia

10 Metadane procesu ETL, Metadane transformacyjne – ukazują mapowania i transformacje danych Opis struktury i zawartość źródeł danych, Opis metody dostępu, Dane dla optymalizacji zapytań opis schematu hurtowni danych opis struktur fizycznych hurtowni danych

11 Użytkownicy – developerzy, specjaliści procesu ETL, analitycy techniczni

12 Extract Transform Load

13 ImięNazwiskoWiek JanKowalski40 Metadane Dane

14 Biznesowe: słowniki pojęć biznesowych odwzorowania pojęć biznesowych w obiekty HD reguły biznesowe jakość danych

15 Sterujące wykonaniem ETL harmonogramy skrypty logi z wykonania monitorowanie

16 Metadane techniczne - opis źródeł (lokalizacja, struktura, zawartość) rodzaj źródła (relacyjna bd, obiektowa bd, xml, html, arkusz kalkulacyjny,...) struktura/schemat metody dostępu użytkownicy i prawa dostępu wyniki analizy (profilowania) źródeł dzienny przyrost danych rozmiary danych przyrost danych w czasie (np. dzienny) średnia długość wiersza

17 Metadane techniczne - opis HD Schemat struktury fizyczne statystyki dot. danych organizacja przestrzeni dyskowej ODS i HD charakterystyki danych zasilających (gotowy zbiór zasilający) statystyki dla optymalizacji implementacje algorytmów (transformacje, czyszczenie, eliminowanie duplikatów) słowniki transformacji (np. nazwy miast) techniki odświeżania (pełne/przyrostowe, okresy) statystyki dot. odświeżania (liczba rekordów przesłanych, rekordy błędne) nazwy zadań ETL korzystające z danej struktury

18 Opisujące proces ETL struktura przepływu pracy odwzorowania źródło HD odwzorowania rekordów źródłowych w docelowe (lineage) definicje transformacji (nazwa, realizowany cel, wejście, wyjście, algorytm) skrypty i zadania (nazwa, realizowany cel, źródło, struktury docelowe, pliki logów, pliki sterujące, statystyki efektywnościowe z wykonania, obsługa wyjątków/awarii) harmonogram uruchamiania ETL (częstotliwość, obsługa wyjątków/awarii, pliki logów, statystyki efektywnościowe z wykonania) logi z pracy ETL charakterystyka danych fizyczna organizacja przestrzeni dyskowej

19 Teradata Metadata Services Erwin Data modeller Microsoft Repository IBM (Ascential) MetaStage Pentaho Metadata AbInitio EME (Enterpise Metadata Environment)

20 Open Information Model (OIM) Common Warenhouse Metadata (CWM)

21 Ułatwienie zarządzania zasobami danych w ramach organizacji odpowiedzialnej za dane Możliwość uniknięcia budowy zbiorów danych które zawierają informacje zgromadzone już przez inne organizacje Łatwe uzyskanie informacji o wszystkich zbiorach danych dostępnych interesującego obszaru Lepsze planowanie działań dotyczących pozyskiwania i aktualizacji danych

22 ane.pdf ane.pdf ktykaPDF/DWS_wykl07_metadane.pdf ktykaPDF/DWS_wykl07_metadane.pdf ktykaPDF/DWS_wykl04_etl.pdf ktykaPDF/DWS_wykl04_etl.pdf


Pobierz ppt "Metadane Rodzaje metadanych Metadane w procesie ETL Podsumowanie."

Podobne prezentacje


Reklamy Google