Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Opracowanie studium przypadku w SAS ETL Studio Systemy baz danych i hurtowni danych Ludmiła Binek Katarzyna Rafalska

Podobne prezentacje


Prezentacja na temat: "Opracowanie studium przypadku w SAS ETL Studio Systemy baz danych i hurtowni danych Ludmiła Binek Katarzyna Rafalska"— Zapis prezentacji:

1 Opracowanie studium przypadku w SAS ETL Studio Systemy baz danych i hurtowni danych Ludmiła Binek Katarzyna Rafalska

2 Plan prezentacji Cele i wymagania projektu Realizacja projektu Ekstrakcja danych Odświeżanie danych

3 Cele i wymagania projektu Celem projektu jest przygotowanie studium przypadku dla hurtowni danych z zastosowaniem ekstrakcji danych z kilku zewnętrznych źródeł i opracowanie metody odświeżania hurtowni. Projekt ma również umożliwiać wykonanie kilku prostych raportów-analiz. Wykorzystanie co najmniej dwóch heterogenicznych źródeł danych, Rozpoznanie i omówienie co najmniej dwóch techniki odświeżania hurtowni.

4 Schemat bazy danych Wykorzystano dane z serwisu Allegro udostępnione przez Macieja Wajchta

5 Źródła danych Auctions - Access Userg - xml Callendar - Excel Comment_buyer - Access Comment_seller - PostgreSQL

6 Ekstrakcja danych z pliku.txt

7

8

9

10

11

12

13 Ekstrakcja danych z pliku.xls

14

15

16

17

18

19

20

21

22

23

24

25

26

27 Ekstrakcja danych z pliku.xml

28

29

30

31

32

33

34

35

36 Ekstrakcja danych z pliku.mdb

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51 Ekstrakcja danych z bazy danych - PostgreSQL

52

53

54

55

56

57

58

59

60

61

62

63 Connection String Access: Driver={Microsoft Access Driver (*.mdb)};Dbq=C:\mydatabase.mdb;Uid=Admin;Pwd=; Excel: Driver={Microsoft Excel Driver (*.xls)};DriverId=790;Dbq=C:\MyExcel.xls;DefaultDir=c:\my path; PostgreSQL: Driver={PostgreSQL};Server=IP address;Port=5432;Database=myDataBase;Uid=myUsernam e;Pwd=myPassword;

64 Schemat bazy danych

65 Schemat gwiazdy Tabelą faktów jest auction_fact Tabelami wymiarów są: callendar_target i userg_target AUCTION_FACT USERG_TARGET CALLENDAR_TARGET

66 Tabela faktów

67 Job_Auction_Fact

68 Odświeżanie hurtowni Rodzaje odświeżania: Pierwsze – zasilenie pustej hurtowni Okresowe – odświeżanie w trakcie eksploatacji Jak odświeżać: W pełni Przyrostowo Kiedy odświeżać: Automatycznie Na żądanie Rodzaje przesyłanych obiektów: Dane Polecenia modyfikujące

69 Odświeżanie hurtowni Przykład: W jednej tabeli wymiarów są informacje o sprzedawcach. Co zrobić jeśli pracownik zostanie przeniesiony do innego oddziału firmy, a badamy wydajność oddziałów? Odświeżanie jest podobne do procesu ETL. Często odbywa się równolegle z ładowaniem nowych danych.

70 Odświeżanie hurtowni Wolno zmieniające się wymiary Proces SCD Type 2 Loader - transormacja pozwalająca ładować dane i utrzymywać zmieniające się dane 3 typy SCD

71 Typ 1 SCD Przechowuje jeden wiersz dla każdego członka w wymiarze. Każdy członek ma unikalne ID. Nowa dana nadpisuje starą i historia nie jest pamiętana.

72 Typ 2 SCD Przechowuje wiele wierszy dla jednego obiektu Jeden wiersz przechowuje aktualne wartości Pozostałe są historią zmian

73 Typ 3 SCD Występuje specjalna kolumna, która zawiera różne wersje tej samej kolumny. Tak samo jak w typie 1 SCD występuje tylko jeden wiersz dla obiektu.

74 Odświeżanie hurtowni Tabele ładowane przy pomocy SCD Type 2 Loader zawierają oprócz klucza głównego klucz biznesowy Klucz biznesowy jest stały dla obiektu, klucz główny jest generowany dla każdego wiersza Używa się też daty początkowej i końcowej dla określenia okresu, w którym wiersz był aktualny.

75 Odświeżanie hurtowni

76

77

78

79

80

81

82 Odświeżanie tabeli faktów Fact Table Lookup Tabela faktów musi być odświażana po wymiarach Looup table służy do znalezienia połączenia między kluczem w tabeli źródłowej a kluczem w tabeli wymiarów.

83 Podsumowanie Proces ETL umożliwia ekstrakcję heterogonicznych typów plików Nie tylko ekstrakcja, transformacja i ładowanie danych Obejmuje też odświeżanie danych SAS ETL Studio ma wiele funkcji, ale czasami szybciej byłoby napisać kod niż używać kreatorów Więcej informacji na stronie:

84 Pytania Dziękujemy za uwagę


Pobierz ppt "Opracowanie studium przypadku w SAS ETL Studio Systemy baz danych i hurtowni danych Ludmiła Binek Katarzyna Rafalska"

Podobne prezentacje


Reklamy Google