Hurtownia danych: (ang. data warehouse) to: uporządkowany tematycznie

Prezentacja na temat: "Hurtownia danych: (ang. data warehouse) to: uporządkowany tematycznie"— Zapis prezentacji:

1 Hurtownia danych: (ang. data warehouse) to: uporządkowany tematycznie
zintegrowany zawierający wymiar czasowy nieulotny zbiór danych wspomagających podejmowanie decyzji. Często dodaje się jeszcze jeden punkt: Hurtownia danych ma wspomagać przetwarzanie informacji dla celów strategicznych i analitycznych (w przeciwieństwie do systemów transakcyjnych realizujących przetwarzanie dla celów operacyjnych)

2 Hurtownia danych – rodzaj bazy danych, która jest zorganizowana i zoptymalizowana pod kątem pewnego wycinka rzeczywistości. Hurtownia danych jest wyższym szczeblem abstrakcji niż zwykła relacyjna baza danych (choć do jej tworzenia używane są także podobne technologie). W skład hurtowni wchodzą zbiory danych zorientowanych tematycznie (np. hurtownia danych klientów). Dane te często pochodzą z wielu źródeł, są one zintegrowane i przeznaczone wyłącznie do odczytu.

3 W praktyce hurtownie są bazami danych integrującymi wszystkie pozostałe systemy bazodanowe w firmie.
Polega ona na cyklicznym zasilaniu hurtowni danymi systemów produkcyjnych. Może być tych baz lub systemów dużo i mogą być rozproszone - dla każdego z nich niezbędne jest więc odpowiednie przeformatowanie danych i ich oczyszczenie, tylko wówczas dane zgromadzone w hurtowni będą stanowiły solidną podstawę do wykonywania miarodajnych analiz.

4 Architektura hurtowni danych:
W hurtowniach danych możemy wyróżnić nastepujące architektury: - schemat gwiazdy:

5 Schemat gwiazdy jest najprostszym modelem hurtowni danych
Schemat gwiazdy jest najprostszym modelem hurtowni danych. Jego nazwa wzięła się z wyglądu schematu danych, w którym w centralnym miejscu znajduje się tabela faktów otoczona przez tabele wymiarów. Dane w tabeli faktów powinny być znormalizowane do trzeciej postaci normalnej, natomiast tabele wymiarów są zwykle zdenormalizowane przy czym dla każdego z wymiarów może występować tylko jedna zdenormalizowana tabela. Tabela faktów składa się z dwóch typów kolumn: - kolumy zawierające wartości numeryczne o danym fakcie tzw. miary - kolumny z kluczami obcymi do tablic wymiarów

6 Klucz główny tabeli faktów składa się z jej wszystkich kolumn z wyłączeniem kolumn opisujących miary. Tabela faktów może zawierać informacje o faktach na poziome detalicznym lub zagregowanym. Tabele wymiarów są strukturami złożonymi często z jednej lub więcej hierarchii, które służą do kategoryzowania danych. Oprócz kluczy głównych tabele faktów zawierają pola z atrybutami opisującymi dany wymiar. Wielkość tabeli faktów jest znacznie większa od tabel wymiarów. Architektura gwiazdy umożliwia przeglądanie poszczególnych danych z podziałem na kategorie, agregację, sumowanie, oraz filtrowanie.

7 Schemat gwiazdy dla sprzedaży nieruchomości w firmie WymarzonyDom:

8 - schemat płatka śniegu
Schemat płatka śniegu jest bardziej złożoną wersja schematu gwiazdy ponieważ tabele które opisują wymiary są znormalizowane - każdy wymiar może mieć kilka własnych wymiarów. Używany przede wszystkim w sytuacjach gdy mamy do czynienia z bardzo złożonymi wymiarami oraz aby lepiej odzwierciedlić sposób myślenia użytkowników o danych. W praktyce często stosuje się kombinacje schematu płatka śniegu i gwiazdy poprzez normalizacje jednych wymiarów i denormalizację innych (jak w schemacie konstelacji faktów).

9

10 - schemat konstelacji faktów
Schemat konstelacji faktów stanowi rozwiązanie pośrednie między gwiazdą a płatkiem śniegu. W schemacie tym część tabel wymiarów jest znormalizowanych a część zdenormalizowanych oraz zwykle występuje więcej niż jedna tabela faktów. Ponadto tabele faktów są ze sobą powiązane w relacji 1:1 lub 1:n oraz mogą współdzielić te same tabele wymiarów.

11 Miara a wymiar: różnica między nimi polega na tym, że miara zawiera wartości liczbowe, natomiast wymiar wartości opisowe (tekstowe) danej charakterystyki. Np. jeśli chcemy opisać sprzedaż samochodów to ilość sprzedanych samochodów to miara, natomiast marka to wymiar. Wymiary są informacjami referencyjnymi i określają kontekst analiz miar. W modelu wielowymiarowym każda miara jest powiązana z kilkoma wymiarami. Wymiar najczęściej posiada strukturę hierarchiczną, określającą sposób agregacji wartości skojarzonych z nim miar.

12 Najbardziej typową hierarchią wymiaru jest hierarchia bazująca na poziomach, posiada powiązania referencyjne typu parent-child pomiędzy wystąpieniami wymiaru, które umożliwiają grupowanie członków wymiaru w poziomy, np. dni tygodnia przypisujemy do jednego poziomu, tygodnie do drugiego a miesiące do trzeciego. W sytuacji gdy hierarchia posiada powiązania typu parent-child ale nie posiada poziomów mamy do czynienia z wymiarem bazującym na wartościach, np. dla każdego pracownika możemy wyznaczyć jego kierownika, jednak grupowanie tak wyznaczonych kierowników nie będzie miało większego sensu bo kierownika załóżmy zespołu zajmującego się sprzedażą nie można porównać z kierownikiem dyrektora regionu sprzedaży. Jeśli wymiar nie posiada hierarchii i poziomów, nosi nazwę wymiaru płaskiego lub listy.

13 Architektura bazy hurtowni jest zorientowana na optymalizację szybkości wyszukiwania i jak najefektywniejszą analizę zawartości. Stąd bywa, że hurtownie danych nie są realizowane za pomocą relacyjnych baz danych, gdyż takie bazy ustępują szybkością innym rozwiązaniom.  W zależności od rodzaju hurtowni dane w jej rekordach mogą być zagregowane lub zawierać nawet informacje szczątkowe. Oznacza to, że pewne dane w hurtowni nie są przechowywane w postaci rozdrobnionej a tylko jako ich suma. 

14 Architektura hurtowni danych wg. motorów baz danych
Silniki baz danych hurtowni danych opartych na koncepcji wielowymiarowej kostki OLAP możemy podzielić na: - ROLAP-Relational OLAP. W rozwiązaniu tym dane odczytywane są z zewnętrznych tablic relacyjnych przez co polecenia użytkownika w postaci zapytań SQL do danych elementarnych i zagregowanych muszą zawsze trafić do RDBMS. Serwer analityczny (kostka) wykorzystywany jest wyłącznie jako warstwa pośrednia między klientem a RDBMS. Struktura ROLAP zapewnia wolniejszy dostęp do danych w porównaniu do MOLAP i HOLAP. Wykorzystywana dla dużych zbiorów danych o stosunkowo rzadkim użyciu.

15 - MOLAP-Multidimensional OLAP
- MOLAP-Multidimensional OLAP. Charakteryzuje się tym, że dane są przechowywane w wielowymiarowej bazie danych w postaci wielowymiarowych tablic – kostek (ang. multidimensional array, datacube) zawierających dane o różnym stopniu agregacji. Wielowymiarowa struktura jest w stanie zapewnić najszybszy dostęp do danych. Jest najbardziej odpowiednia dla danych o częstym użyciu i wysokich wymaganiach odnośnie czasu odpowiedzi. - HOLAP-Hybrid OLAP. Kobinacja rozwiązań ROLAP i MOLAP. Wykorzystuje się tu jednocześnie wielowymiarowe(dane zagregowane) oraz relacyjne(dane elementarne, bez dublowania) bazy danych. Zapytania drążące są wykonywane wolniej ponieważ działają na strukturze relacyjnej. Dane w HOLAP mają zwykle mniejszy rozmiar. Struktury HOLAP są przeznaczone dla potrzeb szybkiego dostępu do agragacji bazujących na dużych zbiorach danych.

16 Kostka wielowymiarowa (Multidimensional OLAP Cube)
Wielowymiarowa kostka OLAP (cube) jest podstawową strukturą danych w każdym systemie OLAP działającym w środowisku Hurtowni Danych. Cube składa się z Miar (Measures), Wymiarów (Dimensions) i Poziomów (Levels) i jest zoptymalizowany pod kątem szybkiego i bezpiecznego dostępu do danych wielowymiarowych. Miary to wskaźniki numeryczne (ile?), natomiast wymiary reprezentują dane opisowe (kto? co? kiedy? gdzie?). Wymiary są pogrupowane za pomocą poziomów, które odzwierciedlają hierarchię funkcjonującą w organizacji i pozwalają użytkownikom końcowym zwiększać lub zmniejszać poziom szczegółowości analizowanego wymiaru.

17 Z reguły w hurtowni danych jest zdefiniowanych co najmniej kilkanaście wymiarów, a najczęściej spotykanym i wymiarami są: Czas Klient Produkt Lokalizacja Biuro Sprzedaży Hierarchia każdego z wymiarów ustawiona jest za pomocą Poziomów. Przykładowo, hierarchia poziomów może być ułożona w następujący sposób: wymiar Czas: Rok -> Kwartał -> Miesiąc -> Tydzień -> Dzień Klient: Grupa klientów -> Nazwa klienta Produkt: Linia Produktu -> Grupa Produktu -> Produkt Lokalizacja: Obszar -> Region -> Kraj

18 Kategorie to elementy danych które opisują poziomy w wymiarach.
Przykładowo, dla wymiaru Lokalizacji, w hurtowni danych zostały ustawione poziomy obszaru, regionu i kraju. W tym przykładzie dla Polski kategoriami będą: Obszar - Europa Region - Europa Środkowa Kraj - Polska Typowe, najczęściej występujące Miary w hurtowniach danych to: Przychód netto Przychód brutto Waga Ilość Koszt Upust

19 Hurtownie danych - spotykane najczęściej w średnich i dużych firmach, gdzie ilości składowanych informacji liczone są w dziesiątkach, setkach gigabajtów. Głównym celem ich tworzenia jest wspomaganie przetwarzania informacji dla celów strategicznych i analitycznych (systemy wspomagające podejmowanie decyzji). Dobrze zaprojektowana hurtownia danych to solidna podstawa dla systemów analitycznych i źródło informacji do podejmowania decyzji w przedsiębiorstwie. Błędy w projekcie hurtowni spowodują natomiast załamanie całego systemu informowania, a ich późniejsze usunięcie może być bardzo kosztowne.

20 Przedsiębiorstwo: Współczesne, sprawnie funkcjonujące przedsiębiorstwo powinno umieć odpowiedzieć na kilka zasadniczych pytań dotyczących swej działalności.   Przygotowanie odpowiednich raportów prezentujących całościowy obraz działalności firmy jest jednym z najważniejszych aspektów sprawnego funkcjonowania przedsiębiorstwa. Na podstawie takich zbiorczych danych można właściwie planować działalność firmy i podejmować decyzje na przyszłość.

21 Hurtownie danych stały się również istotnym narzędziem wspomagającym sprzedaż, marketing, promocje a nawet sposób wystawiania towarów w sektorze handlu. Wykorzystując analizę danych dziesiątek tysięcy nawet setek tysięcy transakcji dla tysięcy oferowanych produktów, można ściśle określić preferencje klientów i zależności pomiędzy produktami. Wszystkie te działania przekładają się na wymierne wyniki finansowe, znacznie przewyższające koszty wdrożenia hurtowni danych.

22 Hurtownia danych gromadzi dane ze wszystkich systemów działających w obrębie organizacji, stanowi więc źródło analiz w kontekście całej działalności. Dane zorganizowane są pod kątem dostarczania w jak najkrótszym czasie rzetelnych informacji o aktualnym stanie firmy.

23 Hurtownia danych nie jest więc systemem, który można kupić "z półki"
Hurtownia danych nie jest więc systemem, który można kupić "z półki". Skoro ma wspomagać realizację strategicznych celów organizacji - musi być zaprojektowana ze szczególnym położeniem nacisku na strategię firmy. Głównym beneficjentem takiego systemu jest kadra zarządzająca oraz kierownictwo średniego szczebla, analitycy. To przede wszystkim ich potrzeby powinna zaspokajać hurtownia danych. Zasadniczym motywatorem projektu hurtowni danych jest możliwość śledzenia najistotniejszych z punktu widzenia organizacji wskaźników (rentowność produktów czy klientów, ryzyko kredytowe, poziom zadowolenia klienta, rotacja klientów, jakość procesu produkcyjnego itd.), a nie objęcie zakresem systemu zadań wynikających z realizacji w przedsiębiorstwie pewnych konkretnych procesów gospodarczych.

24 Zbierane dane są uzgadniane, konsolidowane i przechowywane w jednolitej formie w hurtowni danych, gdzie otrzymują zrozumiałe i intuicyjne nazwy oraz opisy tworząc proste i czytelne informacje. Informacje w hurtowni mogą być uzupełnione o plany lub prognozy, a także złożone wskaźniki automatycznie wyliczane z informacji bazowych. Odpowiednie narzędzia przekształcają te informacje w wiedzę prezentowana w postaci raportów, wykresów, tabel, kostek danych. Wiedza ta trafia za pośrednictwem sieci lokalnych lub Internetu do odpowiednich użytkowników.

25 Przepływ informacji w hurtowni danych:

26 Przykłady pytań na jakie można odpowiedzieć dzięki zastosowaniu hurtowni danych:
Jak kształtuje się sprzedaż w poszczególnych okresach czasu; na tej podstawie można sprawdzić czy sprzedaż rośnie czy maleje, kiedy była największa, a kiedy najmniejsza i wyciągnąć odpowiednie wnioski. Który z klientów kupuje najwięcej, a który najmniej w wybranych okresach czasu. Pozwoli to na zastosowanie odpowiednich promocji, skierowanie ofert do określonych klientów. Który z oddziałów firmy prosperuje najlepiej, a który najgorzej.

27 Jak pracują akwizytorzy, który może pochwalić się największą sprzedażą.
Jak kształtuje się sprzedaż w rozbiciu na grupy towarowe w poszczególnych okresach czasu z uwzględnieniem konkretnych klientów. Którzy klienci płacą regularnie, a którzy zalegają z płatnościami, ile zalegają, ile zalegają z uwzględnieniem naliczonych odsetek. W którym mieście sprzedaż jest największa. Które produkty sprzedają się najlepiej.

28 Czy też inne: Jaki był ogólny dochód w województwie małopolskim w trzecim kwartale 2015 roku? Jaki był ogólny dochód ze sprzedaży nieruchomości dla każdego typu nieruchomości w całym kraju w 2015 roku? Jakie trzy dzielnice były najbardziej popularne wśród wynajmujących nieruchomości w każdym mieście w 2015 roku i jakie zaszły zmiany w stosunku do wyników z poprzednich dwóch lat? Jakie rodzaje nieruchomości sprzedawane są powyżej średnich cen sprzedaży nieruchomości w głównych miastach i jakie są tu korelacje z danymi demograficznymi?

29 Korzyści z korzystania z hurtowni danych:
Korzystanie z odpowiednio skonstruowanej hurtowni danych i stworzonych na jej podstawie raportów pozwala na: zwiększenie obrotów dla produktów; ograniczenie promocji towarów, które dobrze się sprzedają; zmniejszenie stanów lub usunięcie towarów wolno rotujących na półkach; zmniejszenie odpływu klientów mało aktywnych (poprzez zastosowanie w odpowiednim momencie promocji lub określonej atrakcyjnej oferty); zmniejszenie wszelkich zadłużeń; tworzenie 'inteligentnych' kampanii, dzięki którym można zmniejszyć koszty marketingowe.

30 Ryzyko projektu budowy Hurtowni Danych:
Hurtownia danych obejmuje całą działalność firmy - jest więc systemem bardzo złożonym. Praktyka wskazuje, że wraz ze złożonością systemu rośnie ryzyko niepowodzenia przedsięwzięcia. Jak można zatem sobie pomóc, aby minimalizować ryzyko niepowodzenia projektu, czyli jakie podjąć działania aby osiągnąć zakładane korzyści w zakładanym czasie? Są to przede wszystkim: ścisła współpraca z użytkownikami, sensowne planowanie przedsięwzięcia zarówno od strony merytorycznej, jak i technicznej, oraz iteracyjny cykl wdrażania systemu.

31 Czynniki sukcesu: Kiedy warto myśleć o budowie hurtowni danych?
Warunkiem koniecznym jest istnienie systemu (lub systemów) stanowiących źródło danych dla hurtowni danych, czyli wspomnianych Systemów Zarządzania Przedsiębiorstwem. Określa się jeszcze kilka czynników pozwalających ocenić poziom przygotowania organizacji do uruchomienia projektu budowy hurtowni danych. Wśród najważniejszych należy wymienić cztery:

32 1. Dostępność źródeł danych.
Ideałem byłoby, gdyby w organizacji istniało jedno, udokumentowane, wewnętrzne, zautomatyzowane źródło danych odpowiadających potrzebom informacyjnym organizacji. Niestety zazwyczaj mamy do czynienia z wieloma nieudokumentowanymi, zewnętrznymi, niezautomatyzowanymi źródłami. Nie uniemożliwia to jeszcze budowy hurtowni danych - jedynie podnosi ryzyko takiego przedsięwzięcia i zapewne jeśli tylko mamy wybór warto w pierwszej kolejności zająć się budową rozwiązań automatyzujących codzienną pracę, a dopiero później myśleć o hurtowni danych.

33 2. Świadomość odbiorców systemu co do informacji, które chcą z niego otrzymywać i jasne powiązanie tych informacji z potencjalnymi korzyściami gospodarczymi dla organizacji. Bez takiego powiązania możemy zbudować "fantastyczny" system, ale nie wnoszący żadnej wartości dodanej. 3. Zakres – którym można zarządzać i tak go dzielić na kolejne fragmenty systemu aby były one wykonalne w czasie 3-4 miesięcy oraz były ściśle powiązane z korzyściami dla organizacji.

34 4. Umocowanie projektu – Budowa hurtowni danych jest w gruncie rzeczy przedsięwzięciem biznesowym i do tego sterowanym potrzebami informacyjnymi o strategicznym znaczeniu. W związku z tym bez zaangażowania ze strony kierownictwa organizacji trudno będzie mówić o powodzeniu projektu. Zazwyczaj sytuacja odbiega nieco od ideału. Analiza organizacji pod kątem powyższych czynników jest sposobem zwrócenia uwagi na istotne problemy, mogące wystąpić podczas budowy hurtowni danych.

35 Dodatkowym problemem, jakże często występującym w wielu organizacjach jest niska jakość danych.
Jakość informacji uzyskiwanych z hurtowni danych zawsze będzie adekwatna do jakości danych źródłowych. Nie oznacza to oczywiście, że "wyczyszczenie" danych źródłowych nie jest możliwe - oczywiście, w większości przypadków daje się to zrobić, często jednak wymaga to dodatkowej pracy użytkowników jak również zespołu realizującego hurtownię danych.

36 Projektowanie hurtowni danych:
Metoda dziewięciu kroków: Wybór procesu; Wybór poziomu szczegółowości; Identyfikacja i uzgodnienie wymiarów; Wybór faktów; Umieszczenie wstępnych obliczeń w tabeli faktów Zaokrąglanie tabeli wymiarów Wybór zakresu czasowego bazy danych; Śledzenie wolno zmieniających się wymiarów; Określenie priorytetów zapytań i trybów zapytań.

37 Schemat gwiazdy dla sprzedaży nieruchomości w firmie WymarzonyDom:

38 Model związków encji dla rozszerzonej wersji projektu WymarzonyDom:

39 Model wielowymiarowy dla hurtowni danych WymarzonyDom:

40 Inne przykłady hurtowni danych:
Comarch: Projekt „Elektroniczna Platforma Gromadzenia, Analizy i Udostępniania zasobów cyfrowych o Zdarzeniach Medycznych" (P1):

41 Rozproszone bazy danych
Rozproszona baza danych to zbiór powiązanych baz danych, które rozproszone są w sieci komputerowej. Rozproszony system baz danych to zbiór oprogramowania, które umożliwia administrowanie rozproszoną bazą danych. Rozproszeniem jest również połączenie kilku komputerów klienckich do jednej bazy danych.

42 Schemat połączenia oddziałów firmy

43 Architektura klient – serwer

44 Technika replikacji w rozproszonej bazie danych
Replikacja danych - kopia całości lub jakiejś części danych przechowywanych w innej części całej bazy danych, co zwiększa dostępność danych. Kopia całej bazy danych jest przechowywana w każdym węźle rozproszonej bazy danych. Jest to szczególnie bezpieczne rozwiązanie, ponieważ w razie awarii jednego z węzłów dane mogą zostać szybko odzyskane z innego węzła. Przykładem zastosowania replikacji danych jest wymiana i wzajemne uzupełnianie się danych pomiędzy centralną przychodnią, a jej oddziałami. Wszystkie dane powstające i przechowywane w centrali i filiach przychodni podlegają nieustannym zmianom.

45 Zastosowanie replikacji w medycynie

46 Zastosowanie replikacji w medycynie
W każdej z filii do bazy danych dopisywane są nowe indeksy. Siedziby tych przychodni znajdują się w różnych miejscach, więc każda z nich ma swoją bazę danych. Istnieje tyle baz danych, ile jest filii przychodni. Ich bazy danych różnią się zawartością danych. Replikacja danych integruje wszystkie dane z oddziałów przychodni, aby w każdy węźle była taka sama zawartość bazy danych. Dzięki takiemu rozwiązaniu zastosowaniu uzyskujemy zwiększenie szybkości przetwarzania zapytań, ponieważ są one przetwarzane w lokalnym węźle. Nie ma potrzeby wysyłania zapytań poza przychodnię.

47 Technika replikacji w rozproszonej bazie danych
Największą wadą replikacji jest częste przeprowadzanie aktualizacji, ponieważ zawartość bazy danych musi być taka sama w każdym węźle rozproszonej bazy danych. Powoduje to spowolnienie całego systemu, szczególnie, gdy jest wiele węzłów. Aby replikacja mogła poprawnie pracować wymagana jest jednolita struktura danych. Centrala i wszystkie oddziały firmy muszą przechowywać dane według identycznego schematu.

48 Bezpieczeństwo baz danych:
Mechanizm zabezpieczający bazę danych przed przypadkowym lub celowym zagrożeniem, jak np.: kradzież i defraudacja; utrata poufności (tajności) danych (dane o kluczowym znaczeniu dla instytucji); utrata prywatności (dane osób prywatnych); brak integralności (powstanie niespójnych lub błędnych danych); uniemożliwienie dostępu.

49 Zabezpieczenia systemowe:
Uprawnienia; Perspektywy (użytkownik nie jest świadom istnienia atrybutów i wierszy, które nie znajdują się w perspektywie – bardziej ograniczony dostęp niż do relacji z odpowiednimi prawami); Składowanie (wykonywany okresowo proces tworzenia kopii bazy danych i pliku dziennika na dodatkowych nośnikach pamięci) i odtwarzanie (w razie awarii kopia archiwalna i szczegóły zapisane w dzienniku służą do odtworzenia spójnego, jak najbardziej aktualnego stanu bazy danych ); Integralność (więzy integralności zapobiegają wystąpieniu niepoprawnych danych, które mogłyby spowodować wygenerowanie); Szyfrowanie (symetryczne i niesymetryczne);