Opracowanie studium przypadku w SAS ETL Studio Systemy baz danych i hurtowni danych Ludmiła Binek Katarzyna Rafalska

Prezentacja na temat: "Opracowanie studium przypadku w SAS ETL Studio Systemy baz danych i hurtowni danych Ludmiła Binek Katarzyna Rafalska"— Zapis prezentacji:

1 Opracowanie studium przypadku w SAS ETL Studio Systemy baz danych i hurtowni danych Ludmiła Binek ludekb@o2.pl Katarzyna Rafalska rafalska.katarzyna@gmail.com

2 Plan prezentacji Cele i wymagania projektu Realizacja projektu Ekstrakcja danych Odświeżanie danych

3 Cele i wymagania projektu Celem projektu jest przygotowanie studium przypadku dla hurtowni danych z zastosowaniem ekstrakcji danych z kilku zewnętrznych źródeł i opracowanie metody odświeżania hurtowni. Projekt ma również umożliwiać wykonanie kilku prostych raportów-analiz. Wykorzystanie co najmniej dwóch heterogenicznych źródeł danych, Rozpoznanie i omówienie co najmniej dwóch techniki odświeżania hurtowni.

4 Schemat bazy danych Wykorzystano dane z serwisu Allegro udostępnione przez Macieja Wajchta

5 Źródła danych Auctions - Access Userg - xml Callendar - xls Comment_buyer - Access Comment_seller - PostgreSQL

6 Ekstrakcja danych z pliku.txt

7

8

9

10

11

12

13 Ekstrakcja danych z pliku.xls

14

15

16

17

18

19

20

21

22

23

24

25

26

27 Ekstrakcja danych z pliku.xml

28

29

30

31

32

33

34

35

36 Ekstrakcja danych z pliku.mdb

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51 Ekstrakcja danych z bazy danych - PostgreSQL

52

53

54

55

56

57

58

59

60

61

62

63 Connection String Access: Driver={Microsoft Access Driver (*.mdb)};Dbq=C:\mydatabase.mdb;Uid=Admin;Pwd=; Excel: Driver={Microsoft Excel Driver (*.xls)};DriverId=790;Dbq=C:\MyExcel.xls;DefaultDir=c:\my path; PostgreSQL: Driver={PostgreSQL};Server=IP address;Port=5432;Database=myDataBase;Uid=myUsernam e;Pwd=myPassword; http://www.connectionstrings.com/

64 Schemat bazy danych

65 Schemat gwiazdy Tabelą faktów jest „Popularity_Auction” Tabelami wymiarów są: „Callendar” i „Userg” POPULARITY_AUCTION USERG CALLENDAR

66 Odświeżanie hurtowni Rodzaje odświeżania: Pierwsze – zasilenie pustej hurtowni Okresowe – odświeżanie w trakcie eksploatacji Jak odświeżać: W pełni Przyrostowo Kiedy odświeżać: Automatycznie Na żądanie Rodzaje przesyłanych obiektów: Dane Polecenia modyfikujące

67 Odświeżanie hurtowni Przykład: W jednej tabeli wymiarów są informacje o sprzedawcach. Co zrobić jeśli pracownik zostanie przeniesiony do innego oddziału firmy, a badamy wydajność oddziałów? Odświeżanie jest podobne do procesu ETL. Często odbywa się równolegle z ładowaniem nowych danych.

68 Odświeżanie hurtowni Wolno zmieniające się wymiary Proces „SCD Type 2 Loader” - transormacja pozwalająca ładować dane i utrzymywać zmieniające się dane 3 typy SCD

69 Typ 1 SCD Przechowuje jeden wiersz dla każdego członka w wymiarze. Każdy członek ma unikalne ID. Nowa dana nadpisuje starą i historia nie jest pamiętana.

70 Typ 2 SCD Przechowuje wiele wierszy dla jednego obiektu Jeden wiersz przechowuje aktualne wartości Pozostałe są historią zmian

71 Typ 3 SCD Występuje specjalna kolumna, która zawiera różne wersje tej samej kolumny. Tak samo jak w typie 1 SCD występuje tylko jeden wiersz dla obiektu.

72 Odświeżanie hurtowni Tabele ładowane przy pomocy SCD Type 2 Loader zawierają oprócz klucza głównego klucz biznesowy Klucz biznesowy jest stały dla obiektu, klucz główny jest generowany dla każdego wiersza Używa się też daty początkowej i końcowej dla określenia okresu, w którym wiersz był aktualny.

73 Odświeżanie hurtowni Odświeżanie tabeli faktów Fact Table Lookup Tabela faktów musi być odświażana po wymiarach Looup table służy do znalezienia połączenia między kluczem w tabeli źródłowej a kluczem w tabeli wymiarów.

74 Podsumowanie Proces ETL umożliwia ekstrakcję heterogonicznych typów plików Nie tylko ekstrakcja, transformacja i ładowanie danych Obejmuje też odświeżanie danych SAS ETL Studio ma wiele funkcji Więcej informacji na stronie: www.sas.com

75 Pytania Dziękujemy za uwagę