Slowly changing dimension w SSIS

Prezentacja na temat: "Slowly changing dimension w SSIS"— Zapis prezentacji:

1 Slowly changing dimension w SSIS
Karol Kuryło

2 Agenda Co to jest wymiar ? Co to jest wymiar SCD ? Typy wymiarów SCD
Metody implementacji w SSIS Demo

3 Co to jest wymiar Wymiar pozwala grupować, filtrować i nazywać fakty, np.: Wymiar Pracownik Wymiar Produkt Wymiar Region Wymiar Czas Każdy wymiar posiada atrybuty np. w przypadku wymiaru pracownika mogą to być: Imię Nazwisko Oddział Płeć

4 Co to jest wymiar SCD To wymiary zawierające atrybuty zmieniające się w czasie Wymiary gdzie atrybuty zmieniają się bardzo często, dynamiczne, w regularnych interwałach czasowych to nie jest SCD.

5 Typy wymiarów SCD Typ 0 – bez zmian Typ 1 – zmiany są nadpisywanie
Typ 2 – dodanie nowego wiersza, oznaczenie starego Typ 3 – wykorzystanie dodatkowej kolumny w tabeli Typ 4 – dodatkowa tabela z danymi historycznymi Hybrydy

6 SCD Type 1 Nadpisuje stare dane nowymi Brak historii ID
Numer_pracownika Imie Nazwisko Miasto Plec 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K ID Numer_pracownika Imie Nazwisko Miasto Plec 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Kowalska K

7 SCD Type 2 Tworzy nowy rekord Stary oznacza jako nieaktualny
Nieograniczona historia ID Numer_pracownika Imie Nazwisko Miasto Plec IsCurrent 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K ID Numer_pracownika Imie Nazwisko Miasto Plec IsCurrent 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K 3 Kowalska

8 SCD Type 2 ID Numer_pracownika Imie Nazwisko Miasto Plec DateFrom
DateTo 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K ID Numer_pracownika Imie Nazwisko Miasto Plec DateFrom DateTo 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K 3 Kowalska

9 SCD Type 2 & Type 1 ID Numer_pracownika Imie Nazwisko Miasto Plec
IsCurrent DateFrom DateTo 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow ID Numer_pracownika Imie Nazwisko Miasto Plec IsCurrent DateFrom DateTo 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow 3 Kowalska ID Numer_pracownika Imie Nazwisko Miasto Plec IsCurrent DateFrom DateTo 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow 3 Kowalska K

10 SCD Type 3 Wykorzystanie dodatkowych kolumn na dane historyczne
Historia ograniczona do liczby dodatkowych kolumn ID Numer_pracownika Imie Nazwisko Miasto Plec Miasto_archiw 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K ID Numer_pracownika Imie Nazwisko Miasto Plec Miasto_archiw 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak K Krakow

11 Metody implementacji DEMO

12 SCD Wizard Standardowy komponent SSIS Wolny
Niewielka możliwość konfiguracji Case sensitive, trailing spaces sensitive Próba ponownego uruchomienia wizarda – zupełnie niszczy dotychczasowy data flow Nie wspiera generowania kluczy podstawowych Domyślnie wstawia NULL w pole daty wygaśnięcia rekordu (zmiana tego i ponowne uruchomienie wizarda, niszczy data flow) Nie można oznaczyć usuniętych wierszy

13 Merge Dużo szybszy niż SCD Wizard Elastyczny
Mało przejrzysty w konfiguracji

14 Cheksum Transformation
Dużo szybszy niż SCD Wizard Wspierane algorytmy: Original checksum – depreciated od SQL 2005 RTM .Net Framework Cheksum – różne wartości na systemach 32/64 bitowych CRC32 – domyślny (problemy z unikalnością) Do ściągnięcia:

15 Multiple Hash Dużo szybszy niż SCD WIzard Wspierane algorytmy: MD5,
SHA1, SHA256, SHA384, SHA512 Możliwość generowania kilku skrótów w jednej transformacji Do ściągnięcia:

16 Dimension Merge SCD Dużo szybszy niż SCD Wizard
Stanowczo najbardziej rozbudowane narzędzie Szybki, bardzo dużo opcji Na początku może być trudny w konfiguracji Do ściagnięcia:

17 Dziękuję za uwagę!