Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

ETL – wymiana danych Michał Jabłonka 2007-01-12. Plan prezentacji Wstęp do zagadnienia wymiany danych między systemami informatycznymi ETL – wprowadzenie.

Podobne prezentacje


Prezentacja na temat: "ETL – wymiana danych Michał Jabłonka 2007-01-12. Plan prezentacji Wstęp do zagadnienia wymiany danych między systemami informatycznymi ETL – wprowadzenie."— Zapis prezentacji:

1 ETL – wymiana danych Michał Jabłonka

2 Plan prezentacji Wstęp do zagadnienia wymiany danych między systemami informatycznymi ETL – wprowadzenie ETL – najczęstsze problemy Próby implementacji własnego narzędzia ETL Wyniki komercyjnych narzędzi ETL EAI – jako uzupełnienie rozwiązań ETL

3 Wymiana danych pomiędzy systemami informatycznymi Obszary biznesu zainteresowane wymianą danych Wszystko w jednym systemie, czy architektura rozproszona ? Koszty głównym argumentem Problem utrzymania i eksploatacji systemów

4 ETL - wprowadzenie ETL = Extract, transform, and load Extract – wyładowanie danych z systemów źródłowych Transform – przekształcenie danych do wymaganej postaci Load – załadowanie danych do systemu docelowego

5 ETL - wprowadzenie

6 Extract Transform - selekcja atrybutów - dekodowanie wartości - wyliczanie nowych atrybutów - złączenia danych z różnych systemów - agregacja danych - transpozycja Load

7 Extract – problemy Podłączenie do źródła Szybkość wyładowania danych Zapewnienie kompletności wyładowanych danych Zapewnienie spójności czasowej wyładowanych danych Mechanizmy automatycznej obsługi błędów (nie chodzi o błędy w danych)

8 Transform – problemy Uniwersalny model danych Narzędzia do skomplikowanych transformacji Czasochłonność operacji Mechanizm wycofywania zmian Punkty kontrolne

9 Load - problemy Podłączenie do odbiorcy Czasochłonność ładowania – ograniczenia sprzętowe (n.. 1) Problem spójności danych Wycofywanie zmian Mechanizmy automatycznej obsługi błędów (nie chodzi o błędy w danych)

10 Własny ETL Najprostszy ETL dla baz Oracle - E – spool lub przekierowanie stdout do pliku - T – skrypty SED, AWK - L – SQLLoader, insert into table (bardzo mało wydajne) Wersja ulepszona - E – program w C++ lub Java komunikujący się z Oracle poprzez OCI, wyładowania przyrostowe - T – wczytanie do bazy Oracle (bez audytu, noarchivelog) dedykowanej dla ETL-a – funkcje agregujące, analityczne - L – SQLLoader w trybie direct load, aplikowanie przyrostów PL/SQL

11 Narzędzia komercyjne Bogata biblioteka connectorów Własny scheduler Designer Metadane – impact analysis Monitoring Raporty Olbrzymia wydajność Olbrzymi koszt

12 Rynek ETL

13 Wyniki narzędzi ETL Środowisko testowe SunSolaris 16CPU (8x2 core), 32 GB RAM, Macierz dyskowa Symetrix, OS - Solaris 9 Zadanie testowe Plik z danymi z transakcjami finansowymi (data, kontoA, kontoB, waluta, kwota, id_transakcji) 30 milionów rekordów dziennie (10GB). Należy zbudować agregaty dla każdego z kontynentów: trunc(data), kontoB, waluta, sum(kwota) i załadować je do bazy Oracle

14 Wyniki ETL – zadanie uproszczone Najprostszy własny ETL - E – 4 h - T – - L – 1,5 h Wersja ulepszona - E – 1,5 h - T – - L – 1h Możliwe ulepszenia: partycjonowanie, wątki.

15 EAI – transfery on-line EAI = Enterprise Application Integration - Transfery on-line - Transakcyjność - Małe wolumeny danych – pojedyncze rekordy - Zapewnienie spójności danych pomiędzy wszystkimi aplikacjami - Tryb pracy synchroniczny i asynchroniczny

16 Dziękuje za uwagę


Pobierz ppt "ETL – wymiana danych Michał Jabłonka 2007-01-12. Plan prezentacji Wstęp do zagadnienia wymiany danych między systemami informatycznymi ETL – wprowadzenie."

Podobne prezentacje


Reklamy Google