Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Używanie eksploracji danych w systemach IT Rafal Lukawiecki Strategic Consultant, Project Botticelli Ltd

Podobne prezentacje


Prezentacja na temat: "Używanie eksploracji danych w systemach IT Rafal Lukawiecki Strategic Consultant, Project Botticelli Ltd"— Zapis prezentacji:

1 Używanie eksploracji danych w systemach IT Rafal Lukawiecki Strategic Consultant, Project Botticelli Ltd

2 2 Cele Rozwiązywanie typowych scenariuszy biznesowych i IT Zrozumienie sposobu używania środowiska BIDS Zobaczmy działanie (ok. 70% popołudnia na pokazy) Rozwiązywanie problemów DM przez wybieranie i parametryzację właściwych algorytmów DM Podane tu informacje mają wyłącznie cel ilustracyjny i stanowią opinie i poglądy firmy Botticelli i/lub Rafała Lukawieckiego. Zaprezentowane materiały nie są pewne i mogą się zmieniać w zależności od kilku czynników. Firma Microsoft nie udziela żadnych gwarancji, wyrażonych wprost, dorozumianych ani ustawowych odnośnie do informacji zawartych w tej prezentacji. © 2007 Project Botticelli Ltd & Microsoft Corp. Niektóre slajdy zawierają cytaty z chronionych prawem autorskim materiałów innych autorów wskazanych za każdym razem. Wszelkie prawa zastrzeżone. Microsoft, Windows, Windows Vista i inne nazwy produktów są lub mogą być zarejestrowanymi znakami handlowymi i/lub znakami handlowymi w Stanach Zjednoczonych i innych krajach. Podane tu informacje mają wyłącznie cel ilustracyjny i stanowią aktualne poglądy firmy Project Botticelli Ltd w dniu tej prezentacji. Ponieważ firmy Project Botticelli & Microsoft muszą reagować na zmiany sytuacji rynkowej, nie można interpretować tych poglądów jako zobowiązanie składane w imieniu firmy Microsoft, a firmy Microsoft i Project Botticelli nie mogą zagwarantować dokładności jakichkolwiek informacji po dacie tej prezentacji. Firma Project Botticelli nie udziela żadnych gwarancji, wyrażonych wprost, dorozumianych ani ustawowych odnośnie do informacji zawartych w tej prezentacji. Możliwe, że prezentacja zawiera błędy i pominięcia. To seminarium bazuje na książce Data Mining autorstwa ZhaoHui Tang i Jamie MacLennan, oraz na prezentacjach Jamiego. Dziękuję Jamiemu i Donaldowi Farmerowi za pomoc podczas przygotowywania tej sesji. Dziękuję Roni Karassik za slajd. Dziękuję Mike'owi Tsalidisowi, Oldze Londer i Marinowi Bezicowi za wszelką pomoc. Dziękuję Maciejowi Pileckiemu za pomoc przy pokazach.

3 3 Program Przegląd technik Scenariusze: Segmentacja i klasyfikacja klientów Analiza sprzedaży Zyskowność i ryzyko Analiza potrzeb klientów Prognozowanie Inne scenariusze

4 4 Techniki

5 5 Algorytmy DM firmy Microsoft Przeznaczone do szerokiego stosowania Automatyczne dostrajanie i parametryzowanie Po prostu działają przy niewielkim zaangażowaniu użytkownika Spójny i prosty interfejs Dlaczego Microsoft xxx? Jak dotąd jest zaledwie kilka prawdziwie standardowych algorytmów Każdy producent DM ma własne odmienne wersje Firma Microsoft wymyśliła kilka technik Np. użycie drzew regresji i zagnieżdżonych przypadków Można łatwo dodać algorytmy innych firm i własne

6 6 Algorytmy eksploracji danych AlgorytmOpis Drzewa decyzyjne Określa szanse wyniku na podstawie wartości w zestawie treningowym Reguły asocjacyjne Określa relacje między przypadkami KlastrowanieKlasyfikuje przypadki na odrębne grupy na podst. zbiorów atrybutów Naiwny klasy- fikator Bayesa Wyraźnie przedstawia różnice w konkretnej zmiennej dla różnych elementów danych Klastrowanie sekwencyjne Grupuje lub klastruje dane na podstawie sekwencji poprzednich zdarzeń Szeregi czasowe Analizuje i prognozuje dane czasowe łącząc możliwości rozwiązania ARTXP (opracowanego przez zespół Microsoft Research) do krótkoterminowych przewidywań z metodą ARIMA (w SQL 2008) w celu osiągnięcia precyzji w dłuższej perspektywie. Sieci neuronowe Szuka nieznanych nieintuicyjnych relacji w danych Regresja liniowa Określa relację między kolumnami w celu przewidywania wyniku Regresja logistyczna Określa relację między kolumnami w celu oceny prawdopodobieństwa, że kolumna będzie zawierać konkretny stan

7 7 Macierz algorytmów Szeregi czasowe Klastrowanie sekwencyjne Sieci neuronowe Naiwny klasy- fikator Bayesa Regresja logistyczna Regresja liniowa Drzewa decyzyjne Klastrowanie Reguły asocjacyjne Klasyfikacja Szacowanie Segmentacja Asocjacja Prognozowanie Analiza tekstu Zaawansowana ekspl. danych

8 8 SCENARIUSZ 1: KLASYFIKAJCA I SEGMENTACJA KLIENTÓW Kim są nasi klienci? Czy istnieją jakieś relacje między danymi demograficznymi klientów a ich chęcią kupowania u nas? Na kim należy się bardziej skoncentrować?

9 9 Poznajemy środowisko BIDS Business Intelligence Development Studio Tryby offline i online Wszystko, co robimy, pozostaje na serwerze Wdrożenie trybu offline wymaga uprawnień administratora serwera Proces: 1.Zdefiniowanie źródeł danych i widoków źródeł danych 2.Zdefiniowanie struktury i modeli eksploracji 3.Trenowanie (proces) struktur 4.Weryfikacja dokłdności 5.Eksploracja i wizualizacji 6.Przewidywania 7.Wdrażanie dla innych użytkowników 8.Regularna aktualizacja i ponowna walidacja modelu

10 Pokaz 1.Używanie środowiska BIDS do przygotowań na potrzeby eksploracji danych

11 11 Data Mining Designer 1.Budowa struktury eksploracji i jej pierwszy model eksploracji 2.Trenowanie (proces) modelu 3.Walidacja modelu na karcie Accuracy Chart 4.Eksploracja i wizualizacja 5.Przewidywania

12 12 Drzewa decyzyjne firmy Microsoft Służą do: Klasyfikacji: analiza odejść i ryzyka Regresji: przewidywanie zysku lub dochodu Analizy asocjacyjnej opartej na wielu przewidywalnych zmiennych Jedno drzewo dla każdego przewidywalnego atrybutu Szybkie

13 13 Parametry drzewa decyzyjnego COMPLEXITY_PENALTY FORCE_REGRESSOR MAXIMUM_INPUT_ATTRIBUTES MAXIMUM_OUTPUT_ATTRIBUTES MINIMUM_SUPPORT SCORE_METHOD SPLIT_METHOD

14 Pokaz 1.Tworzenie modelu eksploracji danych na potrzeby klasyfikacji klientów przy użyciu drzew decyzyjnych firmy Microsoft 2.Eksploracja drzewa decyzyjnego

15 15 Naiwny klasyfikator Bayesa firmy Microsoft Służy do: Klasyfikacji Asocjacji z wieloma przewidywalnymi atrybutami Zakłada, że wszystkie dane wejściowe są niezależne Prosta technika klasyfikacji na podstawie prawdopodobieństwa warunkowego

16 16 Parametry naiwnego klasyfikatora Bayesa MAXIMUM_INPUT_ATTRIBUTES MAXIMUM_OUTPUT_ATTRIBUTES MAXIMUM_STATES MINIMUM_DEPENDENCY_PROBABILITY

17 17 Klastrowanie Stosowane do Segmentacji: grupowanie klientów, kampanie mailingowe Także: do klasyfikacji i regresji Wykrywania anomalii Dyskretne i ciągłe Uwaga: Atrybuty Predict Only nie są używane w klastrowaniu

18 18 Klastrowanie

19 19 Klastrowanie Wykrywanie anomalii Mężczyzna Kobieta Syn Córka Rodzic Wiek

20 20 Parametry klastrowania CLUSTER_COUNT CLUSTER_SEED CLUSTERING_METHOD MAXIMUM_INPUT_ATTRIBUTES MAXIMUM_STATES MINIMUM_SUPPORT MODELLING_CARDINALITY SAMPLE_SIZE STOPPING_TOLERANCE

21 21 Sieć neuronowa firmy Microsoft Stosowana do: Klasyfikacji Regresji Znakomita do znajdowania skomplikowanych relacji między atrybutami Trudne do interpretacji wyniki Metoda spadku gradientu WiekWykształceniePłećPrzychód Warstwa wejścia Warstwy ukryte Warstwa wyjścia Lojalność

22 22 Parametry sieci neuronowej HIDDEN_NODE_RATIO HOLDOUT_PERCENTAGE HOLDOUT_SEED MAXIMUM_INPUT_ATTRIBUTES MAXIMUM_OUTPUT_ATTRIBUTES MAXIMUM_STATES SAMPLE_SIZE

23 Pokaz 1.Rozwinięcie klasyfikacji i segmentacji klientów za pomocą rozwiązań klastrowania, naiwnego klasyfikatora Bayesa i sieci neuronowych firmy Microsoft 2.Eksploracja i wizualizacja wykrytych układów za pomocą powyższych metod

24 24 Walidacja wyników Karty Accuracy Viewer umożliwiają wykonanie pełnego przewidywania w oparciu o dane wydzielone Wyniki są porównywan e ze znanymi wydzielonymi wartościami i wizualizowane: Macierz klasyfikacji – żmudna, ale dokładna Wykresy wzrostu pokazują porównanie modelu z losowymi pozbawionymi podstaw domysłami Porównanie wyników wielu algorytmów Dwa typy wykresów: rodzajowy i charakterystyczny dla przewidywanej wartości (np. [Całkowita liczba zakupów samochodów] = 2) Wykres zysku to prosta odmiana wykresu wzrostu Nie jest faktyczną prognozą zysku. To tylko nazwa

25 Pokaz 1.Weryfikacja wyników przy użyciu macierzy klasyfikacji 2.Walidacja dokładności modelu przy użyciu dwóch typów wykresów wzrostu

26 26 Poprawianie modeli Podejścia: Zmiana algorytmu Zmiana parametrów modelu Zmiana wejść/wyjść w celu uniknięcia złych korelacji Czyszczenie zestawu danych Być może dane nie zawierają dobrych układów Weryfikacja statystyk (Data Explorer)

27 Pokaz 1.Poprawa wyników klastrowania przez parametryzację 2.Ponowna walidacja modeli klasyfikacji klientów

28 28 SCENARIUSZ 2: ANALIZA SPRZEDAŻY Dlaczego niektóre nasze produkty odnoszą większy sukces? Dlaczego niektóre grupy klientów preferują pewien model lub pewną markę? Czy możemy automatycznie polecić dodatkowe produkty w naszej witrynie sieci Web, nie irytując klientów?

29 29 Przede wszystkim zastosować: Drzewa decyzyjne Zwłaszcza w przypadkach zagnieżdżonych To powoduje subtelną zmianę, umożliwiającą znajdowanie asocjacji Klastrowanie Naiwny klasyfikator Bayesa Sieci neuronowe oraz...

30 30 Reguły asocjacyjne firmy Microsoft Używane do: Analiza koszykowa Sprzedaż krzyżowa i rekomendacje Zaawansowana eksploracja danych Umożliwia wyszukiwanie częstych zestawów elementów i reguł Wrażliwe na parametry

31 31 Parametry reguł asocjacyjnych MINIMUM_SUPPORT MINIMUM_PROBABILITY MINIMUM_IMPORTANCE MINIMUM_ITEMSET_SIZE MAXIMUM_ITEMSET_COUNT MAXIMUM_ITEMSET_SIZE MAXIMUM_SUPPORT

32 Pokaz 1.Analiza potrzeb klientów przy użyciu drzew decyzyjnych i bez zagnieżdżania i drzew decyzyjnych z przypadkami zagnieżdżonymi 3.Używanie reguł asocjacyjnych do szukania preferencji zakupowych

33 33 SCENARIUSZ 3: ZYSKOWNOŚĆ I RYZYKO Kim są klienci zapewniający największe zyski? Czy na podstawie danych demograficznych można przewidywać, kim będą klienci w przyszłości? Czy należy im już dziś przyznać Platynową kartę?

34 34 Zyskowność i ryzyko Kolejny przykład klasyfikacji to wykrywanie, co powoduje, że klient zapewnia zyski Z reguły używane podejścia do rozwiązania problemu: Drzewa decyzyjne (regresja), regresja liniowa i sieci neuronowe lub regresja logistyczna Często używana do przewidywania Ważne w przewidywaniu prawdopodobieństwa przewidywanych lub spodziewanych zysków Ocena ryzyka Regresja logistyczna i sieci neuronowe

35 35 Funkcje Funkcji DMX można używać do tworzenia bardziej rozbudowanych wyrażeń przewidywań Przewidywanie miar statystycznych: PredictProbability PredictHistogram Użycie ma kluczowe znaczenie podczas przewidywania dowolnych wartości, w szczególności zysku lub ryzyka

36 36 PredictProbability Podobnie jak PredictAdjustedProbability itp.

37 Pokaz 1.Analiza i przewidywanie ryzyka pożyczki za pomocą kwerend nazwanych 2.Analiza zyskowności przy użyciu wielu algorytmów 3.Wykonywanie przewidywań w środowisku BIDS 4.Przewidywanie w programie Excel przy użyciu wcześniej wdrożonych modeli i karty Data Mining

38 38 Walidacja krzyżowa wyników: wiarygodność SQL Server 2008 X iteracji ponownego treningu i testowania modelu Wyniki poszczególnych testów pogrupowane statystycznie Model jest uznawany za dokładny (i prawdopodobnie wiarygodny), gdy wariancja jest niska, a wyniki zgodne z oczekiwaniami

39 Pokaz 1.Walidacja krzyżowa wiarygodności modelu

40 40 SCENARIUSZ 4: ANALIZA POTRZEB KLIENTÓW Jak się zachowują? Co najprawdopodobniej zrobią, gdy już naprawdę drogi samochód? Czy mam podjąć jakieś kroki?

41 41 Co to jest sekwencja? Aby wykryć najbardziej prawdopodobne początki, trasy i zakończenia podróży klientów po naszej domenie należy wziąć pod uwagę użycie: Reguł asocjacyjnych Klastrowania sekwencyjnego

42 42 Klastrowanie sekwencyjne firmy Microsoft Analiza: Zachowań klientów Układów transakcji Strumieni kliknięć Segmentacji klientów Przewidywanie sekwencji Mieszanka technologii klastrowania i sekwencjonowania Grupowanie osób na podstawie ich profili w tym dane sekwencyjne

43 43 Dane sekwencyjne ID klienta Wiek Stan cywilny Zakupy samochodów ID sekwMarka 135ZŻ1Porch-A 2Bamborgini 3Kexus 220W1Wagen 2Voovo 3 357ZŻ1Voovo 2T-Yota

44 44 Parametry klastrowania sekwencyjnego CLUSTER_COUNT MAXIMUM_SEQUENCE_STATES MAXIMUM_STATES MINIMUM_SUPPORT

45 Pokaz 1.Analiza zachowań transakcyjnych klientów przy użyciu klastrowania sekwencyjnego 2.Analiza zdarzeń prowadzących do utraty klienta przy użyciu klastrowania sekwencyjnego

46 46 SCENARIUSZ 5: PROGNOZOWANIE Jak będzie się kształtować sprzedaż w ciągu kilku najbliższych miesięcy? Czy wystąpią problemy kredytowe? Czy serwer będzie wymagał uaktualnienia wciągu następnych 3 miesięcy?

47 47 Szacowanie przyszłości Prognozowanie Ale: dane są bardzo sezonowe Sezonowość wykrywana za pomocą szybkiej transformacji Fouriera Szeregi czasowe W programie SQL Server 2005 jest używany algorytm ARTXP (drzewa autoregresyjne z predykcją krzyżową) Do prognozowania krótkoterminowego W programie SQL Server 2008 jest używana hybryda poprawionego algorytmu ARTXP standardowego algorytmu ARIMA (scałkowana autoregresja i średnia ruchoma) Znakomite do prognozowania krótko- i długoterminowego

48 48 Szeregi czasowe firmy Microsoft Zastosowania: Prognozowanie sprzedaży Przewidywanie zapasów Przewidywanie odwiedzin witryny Szacowanie wartości akcji Technologia drzewa regresji do opisywania i przewidywania wartości szeregu Drzewa umożliwiają stosowanie wielu regresorów

49 49 Autoregresja

50 50 Drzewo regresji Wszystko Chleb(t-2) >110 Chleb(t-2) <=110 Mleko(t-1) >120 Mleko(t-1) <=120 Mleko = 3,02 + 0,72*Chleb(t-1) +0,31*Mleko(t-1)

51 51 Dane wejściowe Format AFormat B

52 52 Parametry szeregów czasowych AUTO_DETECT_PERIODICITY COMPLEXITY_PENALTY HISTORIC_MODEL_COUNT HISTORIC_MODEL_GAP MAXIMUM_SERIES_VALUE MINIMUM_SERIES_VALUE MINIMUM_SUPPORT MISSING_VALUE_SUBSITUTION PERIODICITY_HINT

53 Pokaz 1.Prognozowanie sprzedaży przy użyciu modelu klienta i środowiska BIDS 2.Prognozowanie sprzedaży przy użyciu narzędzi analizy tabel w programie Excel

54 54 Monitorowanie wydajności Problem: Co jest przyczyną problemów z serwerami? Czy daje się zaobserwować powtarzający się schemat awarii? Sugerowane rozwiązanie: 1.Szeregi czasowe licznika wydajności z dziennika, uśrednione i znormalizowane 2.Klastrowanie sekwencyjne zdarzeń występujących w dzienniku aplikacji dla każdej transakcji

55 Pokaz 1.Przewidywanie potrzeb dotyczących użycia dysku w serwerze za pomocą szeregów czasowych

56 56 INNE SCENARIUSZE

57 57 Poprawa danych w procesach ETL Problem: Niespójne lub brakujące dane w procesie ETL (hurtownie danych). Sugerowane rozwiązanie: 1.Model drzewa decyzyjnego (lub klastrowanie, naiwny klasyfikator Bayesa) do istniejących danych 2.Zastosowanie przewidywania w czasie rzeczywistym, gdy ma miejsce proces ETL 3.Oznaczyć miarą prawdopodobieństwa każdy wiersz zawierający wiersz przewidywanych wartości (to nie jest fakt)

58 58 Wykrywanie zagrożeń Problem: Wykrywanie podejrzanych transakcji oraz intruzów. Sugerowane rozwiązanie: 1.Klastrowanie (lub sieć neuronowa) do wykrywania małych grup wydzieleń 2.Przewidywanie tylko jednego wiersza danych transakcyjnych, w celu stwierdzenia, czy należy do podejrzanego klastra lub 1.Klastrowanie sekwencyjne kliknięć w celu wykrycia znanych schematów ataku

59 59 Analiza opinii z witryny sieci Web i poczty Problem: Jakie są główne problemy wskazywane przez klientów? W jaki sposób można szybko wykryć zgłoszenia problemów wymagających reakcji? Sugerowane rozwiązanie: 1.Wyodrębnianie i atomizacja tekstu za pomocą SSIS 2.Reguły asocjacyjne (lub klastrowanie sekwencyjne) wyodrębnionych tokenów 3.Możliwe przewidzenie wcześniej sugerowanego rozwiązania lub po prostu klasyfikacja zgłoszenia

60 60 Zasoby Prezentacje i biuletyn: AdventureWorksDW: Książka autorstwa Jamiego MacLennana i ZhaoHui Tanga Data Mining with SQL Server 2005, Wiley 2005, ISBN A także: blogs.msdn.com/jamiemac forums.microsoft.com/MSDN/ShowForum.aspx?ForumID=81& SiteID=1forums.microsoft.com/MSDN/ShowForum.aspx?ForumID=81& SiteID=1 Pełna dokumentacja w witrynie SQL Server Books Online Znakomite seminaria

61 61 Podsumowanie Eksploracja danych to kluczowa technologia analizy predykcyjnej – główny trend Intuicyjna ze znakomitą wizualną prezentacją informacji zwrotnych gwarantującą wysoką jakość Dzięki niej użytkownik może awansować do rangi strażnika wiedzy Pozwala odkrywać i eksplorować ukrytą wiedzę, dzięki której firma może odnosić większe sukcesy

62 62 Pytania i odpowiedzi Dziękuję!

63 Microsoft Corporation & Project Botticelli Ltd. Wszelkie prawa zastrzeżone. Podane tu informacje mają wyłącznie cel ilustracyjny i stanowią opinie i poglądy firmy Botticelli i/lub Rafała Lukawieckiego. Zaprezentowane materiały nie są pewne i mogą się zmieniać w zależności od kilku czynników. Firma Microsoft nie udziela żadnych gwarancji, wyrażonych wprost, dorozumianych ani ustawowych odnośnie do informacji zawartych w tej prezentacji. © 2007 Project Botticelli Ltd & Microsoft Corp. Niektóre slajdy zawierają cytaty z chronionych prawem autorskim materiałów innych autorów wskazanych za każdym razem. Microsoft, Windows, Windows Vista i inne nazwy produktów są lub mogą być zarejestrowanymi znakami handlowymi i/lub znakami handlowymi w Stanach Zjednoczonych i innych krajach. Podane tu informacje mają wyłącznie cel ilustracyjny i stanowią aktualne poglądy firmy Project Botticelli Ltd w dniu tej prezentacji. Ponieważ firmy Project Botticelli & Microsoft muszą reagować na zmiany sytuacji rynkowej, nie można interpretować tych poglądów jako zobowiązanie składane w imieniu firmy Microsoft, a firmy Microsoft i Project Botticelli nie mogą zagwarantować dokładności jakichkolwiek informacji po dacie tej prezentacji. Firma Project Botticelli nie udziela żadnych gwarancji, wyrażonych wprost, dorozumianych ani ustawowych odnośnie do informacji zawartych w tej prezentacji. Możliwe, że prezentacja zawiera błędy i pominięcia.

64 64 SCENARIUSZ DODATKOWY: WALIDACJA WPROWADZANYCH DANYCH Jak można wykryć błędny wpis danych bez sztywnego kodowania reguł? Inteligentne aplikacje?

65 65 Co w tym niezwykłego? Zachowanie aplikacji ewoluuje i jest zgodne z modelem eksploracji danych Mają na nie wpływ zdarzenia powodowane przez aplikacje! Tworzy się sprzężenie zwrotne z aplikacji poprzez efekt i z powrotem do aplikacji Sztuczka tego połączenia polega na wykryciu nowo powstających układów i znikających starych – podstawowe zadanie eksploracji danych

66 66 Model eksploracji Inteligentna aplikacja Aparat DM Dane do przewidzenia Aparat DM Przewidziane dane Dane treningowe Model eksploracji Dane BD Dane klienta Dziennik apl. Tylko jeden wiersz Nowy wpis Nowy Txion

67 67 Inteligentna aplikacja – kroki Widok uproszczony 1.Przygotować bazę danych do eksploracji 2.Utworzyć i trenować model DM na danych składających się zarówno z danych wejściowych, jak i faktycznych wyników 3.Przetestować model. Jeśli OK... 4.Model przewiduje wyniki 5.Opracować logikę aplikacji w zależności od przewidywanych wyników (if, case itp.) 6.Okresowo aktualizować (i wykonywać walidację) model wraz z rozbudową danych

68 68 Inteligentna część aplikacji Instrukcja if będzie testować wartość zwracaną z przewidywania – na ogół przewidywane prawdopodobieństwo lub przewidywany wynik Kroki: 1.Zbudować przypadek (zbiór atrybutów) reprezentujący aktualnie przetwarzaną transakcję Np. koszyk zakupów klienta plus informacje o wysyłce 2.Wykonać instrukcję SELECT... PREDICTION JOIN na wstępnie załadowanym modelu eksploracji 3.Przeczytać zwrócone atrybuty, zwłaszcza prawdopodobieństwo przypadku dla pewnego wyniku Np. prawdopodobieństwo > 50%, że WynikTransakcji=NiepowodzenieDostawy 4.Aplikacja właśnie podjęła inteligentną decyzję! 5.Pamiętać, aby regularnie odświeżać i ponownie testować model – codziennie?

69 69 Zapraszam do pokazu pod adresem... Proszę poszukać mojej sesji zatytuowanej Build More Intelligent Applications Using Data Mining na konferencji Microsoft TechEd Developers 2007 w Barcelonie


Pobierz ppt "Używanie eksploracji danych w systemach IT Rafal Lukawiecki Strategic Consultant, Project Botticelli Ltd"

Podobne prezentacje


Reklamy Google