Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Wstęp do eksploracji danych Rafal Lukawiecki Strategic Consultant, Project Botticelli Ltd

Podobne prezentacje


Prezentacja na temat: "Wstęp do eksploracji danych Rafal Lukawiecki Strategic Consultant, Project Botticelli Ltd"— Zapis prezentacji:

1 Wstęp do eksploracji danych Rafal Lukawiecki Strategic Consultant, Project Botticelli Ltd

2 2 Cele Omówienie eksploracji danych Wprowadzenie typowych aplikacji i scenariuszy Wyjaśnienie niektórych pojęć z dziedziny eksploracji danych Przegląd szerszej platformy produktów Podane tu informacje mają wyłącznie cel ilustracyjny i stanowią opinie i poglądy firmy Botticelli i/lub Rafała Lukawieckiego. Zaprezentowane materiały nie są pewne i mogą się zmieniać w zależności od kilku czynników. Firma Microsoft nie udziela żadnych gwarancji, wyrażonych wprost, dorozumianych ani ustawowych odnośnie do informacji zawartych w tej prezentacji. © 2007 Project Botticelli Ltd & Microsoft Corp. Niektóre slajdy zawierają cytaty z chronionych prawem autorskim materiałów innych autorów wskazanych za każdym razem. Wszelkie prawa zastrzeżone. Microsoft, Windows, Windows Vista i inne nazwy produktów są lub mogą być zarejestrowanymi znakami handlowymi i/lub znakami handlowymi w Stanach Zjednoczonych i innych krajach. Podane tu informacje mają wyłącznie cel ilustracyjny i stanowią aktualne poglądy firmy Project Botticelli Ltd w dniu tej prezentacji. Ponieważ firmy Project Botticelli & Microsoft muszą reagować na zmiany sytuacji rynkowej, nie można interpretować tych poglądów jako zobowiązanie składane w imieniu firmy Microsoft, a firmy Microsoft i Project Botticelli nie mogą zagwarantować dokładności jakichkolwiek informacji po dacie tej prezentacji. Firma Project Botticelli nie udziela żadnych gwarancji, wyrażonych wprost, dorozumianych ani ustawowych odnośnie do informacji zawartych w tej prezentacji. Możliwe, że prezentacja zawiera błędy i pominięcia. To seminarium bazuje na książce Data Mining autorstwa ZhaoHui Tang i Jamie MacLennan, oraz na prezentacjach Jamiego. Dziękuję Jamiemu i Donaldowi Farmerowi za pomoc podczas przygotowywania tej sesji. Dziękuję Roni Karassik za slajd. Dziękuję Mikeowi Tsalidisowi, Oldze Londer i Marinowi Bezicowi za wszelką pomoc. Dziękuję Maciejowi Pileckiemu za pomoc przy pokazach.

3 3 Zanim przejdziemy do rzeczy... Abym mógł dobrać najodpowiedniejsze przykłady i demonstracje, powiedzcie mi Państwo coś o sobie Kto z Państwa jest: specjalistą IT i/lub biznesu, specjalistą w dziedzinie baz danych, programistą/deweloperem systemów?

4 4 Istota eksploracji danych jako części analizy biznesowej

5 5 Analiza biznesowa Poprawa rozumienia biznesu Szeroka kategoria aplikacji i technologii do zbierania, przechowywania, analizowania i współużytkowania danych oraz zapewniania dostępu do nich w celu umożliwienia użytkownikom w przedsiębiorstwach podejmowanie lepszych decyzji biznesowych. – Gartner

6 6 Relacje I akronimy...

7 7 Eksploracja danych Technologie do analizowania danych i wykrywania (bardzo) ukrytych układów Dość nowe (<20 lat), ale skuteczne algorytmy opracowane na drodze badań nad bazami danych Połączenie statystyki, analizy prawdopodobieństwa i technologii baz danych

8 8 Funkcje eksploracji danych Badanie danych Szukanie układów Sporządzanie prognoz

9 9 Eksploracja danych i analiza biznesowa Analiza biznesowa jest zorientowana na końcowego użytkownika, takiego jak właściciel firmy, pracownik opracowujący informacje itp. Eksploracja danych to technologia informatyczna na ogół przeznaczona dla bardziej zaawansowanych użytkowników – dzisiaj Przy okazji: kto ma dziś kwalifikacje do używania eksploracji danych?

10 10 Wczoraj i dziś eksploracji danych Tradycyjne podejście konkurentów firmy Microsoft jest przeznaczone dla ekspertów z dziedziny eksploracji danych: Statystycy w białych kitlach z tytułem doktora Narzędzia eksploracji danych są też dość drogie Pełne podejście firmy Microsoft adresowane do osób mających pewne umiejętności w dziedzinie baz danych Narzędzia typu T-SQL oraz Management Studio Eksploracja danych dostępna w programach Microsoft SQL Server 2005 oraz 2008 bez dodatkowych opłat Łatwa eksploracja danych jest adresowana do każdego użytkownika programu Excel

11 11 Analiza predykcyjna PrezentacjaEksploracjaOdkrywanie Pasywna Interaktywna Proaktywna Rola programu Rozumienie biznesu Zdefiniowane raporty Raportowanie ad-hoc OLAP Eksploracja danych DM umożliwia analizę predykcyjną

12 12 Aplikacje i scenariusze

13 13 Znaczenie analizy predykcyjnej Typowe zastosowania

14 14 Zaprzęganie DM do pracy Realizacja eksploracji danych Rozumienie biznesu Rozumienie danych Przygotowanie danych ModelowanieOcenaWdrożenie Dane Proces eksploracji danych CRISP-DM

15 15 Zyski zapewniane przez klientów Typowe postępowanie: 1.Klasyfikacja klientów w stosowny sposób Klastrowanie 2.Szukanie relacji między zyskiem a cechami klientów Drzewo decyzyjne 3.Rozpoznawanie preferencji klientów Reguły asocjacji 4.Badanie zachowań klientów Klastrowanie sekwencyjne oraz 1.Przewidywanie zysków zapewnianych przez potencjalnych klientów

16 16 Przewidywanie sprzedaży i zapasów Można: 1.Określić strukturę danych dotyczących sprzedaży i zapasów jako szeregi czasowe Być może, korzystając z hurtowni danych 2.Przewidywać sprzedaż i potrzeby Szeregi czasowe lub drzewa decyzyjne z regresją

17 17 Budowanie skutecznych kampanii marketingowych Postępowanie: 1.Segmentacja istniejących klientów Klastrowanie i drzewa decyzyjne 2.Badanie przyczyn reagowania klientów na kampanie Drzewo decyzyjne, naiwny klasyfikator Bayesa, klastrowanie, sieci neuronowe 3.Eksperymentowanie z kampaniami przez skupianie Wykresy wzrostu 4.Prowadzenie kampanii Przewidywanie odbiorców 5.Przeglądanie strategii w świetle obserwowanej reakcji Aktualizacja modeli

18 18 Wykrywanie oszustw i zapobieganie im Można: 1.Budować modele ryzyka do istniejących klientów lub transakcji Drzewo decyzyjne, klastrowanie, sieci neuronowe i często regresja logistyczna 2.Oceniać ryzyko nowej transakcji Przewidywanie ryzyka i jego prawdopod. na podstawie modelu Albo 1.Modelować sekwencje transakcji Klastrowanie sekwencyjne 2.Wykrywać nietypowe zjawiska (outliers) Badanie modelu eksploracji – sieci neuronowe, drzewa, klastrowanie 3.Uzyskiwać dostęp na bieżąco do nowych zdarzeń Przewidywanie za pomocą metamodelu

19 19 Nowa możliwość: Inteligentne aplikacje Przykłady Inteligentnych aplikacji: Walidacja wejścia na podstawie już zaakceptowanych danych, a nie sztywnych reguł Walidacja procesu biznesowego – wczesne wykrywanie awarii Adaptacyjny interfejs użytkownika na podstawie jego wcześniejszych zachowań Określane też jako programowanie predykcyjne Więcej informacji znajduje się w dokumencie Build More Intelligent Applications using Data Mining pod adresem

20 20 Produkty do eksploracji danych

21 21 Konkurencja rozwiązania Microsoft DM SAS, największy udział w rynku DM, specjalistyczne produkty dla tradycyjnych ekspertów SPSS (Clementine), silna pozycja w dziedzinie analizy statystycznej IBM (Intelligent Miner) związany z DB2, współpracuje z rozwiązaniem firmy Microsoft poprzez PMML Oracle (10g), obsługa interfejsów API języka Java Angoss (KnowledgeSTUDIO), wizualizacja wyników, współpraca z programem SQL Server KXEN, obsługa technologii OLAP i programu Excel

22 22 Pozyskiwanie i integracja danych z wielu źródeł Transformacja i synteza danych za pomocą eksploracji danych Wykrywanie wiedzy i układów za pomocą eksploracji danych Rozszerzanie danych za pomocą reguł logiki i widoków hierarchicznych Prezentacja i dystrybucja danych Publikowanie wyników eksploracji danych Integracja Analiza Raport SQL Server 2005 i 2008 Potrzeba czegoś więcej niż aparatu BD

23 23 Technologie DM w SQL Server 2005 Silne, opatentowane algorytmy z laboratoriów Microsoft Research Współdziałanie PMML (Predictive Model Markup Language) dla rozwiązań SAS, SPSS, IBM i Oracle Liczne narzędzia: Business Intelligence Development Studio (BIDS) Data Mining Extensions for Excel (i inne) DMX oraz OLE DB for Data Mining XML for Analysis (XMLA)

24 24 Nowości w SQL Server 2008 Ulepszenia eksploracji danych Ulepszone struktury eksploracji Łatwiejsze przygotowanie i testowanie modeli Modele umożliwiają walidację krzyżową Filtrowanie Aktualizacje algorytmów Ulepszone algorytmy szeregów czasowych łączące najlepsze cechy rozwiązań ARIMA i ARTXP Analiza co się stanie, jeżeli Infrastruktura Microsoft Data Mining Uzupełnia metodologię CRISP-DM

25 25 Dodatki DM do systemu Microsoft Office 2007

26 Pokaz 1.Używanie dodatku Data Mining Add-in Table Tools dla programu Microsoft Excel 2007

27 27 Serwer usług Analysis Services Model eksploracji Algorytm eksploracji danych Źródłodanych Architektura eksploracji serwera Excel/Visio/SSRS/Twoja aplikacja OLE DB/ADOMD/XMLA/AMO Wdrożenie BIDSExcelVisioSSMS Dane apl.

28 28 Wnioski

29 29 ABS-CBN Interactive (ABSi) Firma z branży usług bezprzewodowych podwaja współczynnik odpowiedzi dzięki rozwiązaniu eksploracjii danych w programie SQL Server 2005 Nasze kierownictwo było pod ogromnym wrażeniem, że udało nam się podwoić współczynnik odpowiedzi w wyniku zastosowania rozwiązania eksploracji danych w programie SQL Server 2005 … kierownicy innych usług prosili nas o zdradzenie im tajemnicy tego sukcesu to właśnie zrobimy, realizując pełne wdrożenie projektu - Grace Cunanan, Specjalista ds technicznych, ABS-CBN Interactive Filia największej na Filipinach firmy z branży medialno-rozrywkowej

30 30 Clalit Health Services Eksploracja danych służy ochronie zdrowia i życia Firma zapewnia opiekę zdrowotną dla 3,7 milionów ubezpieczonych, co stanowi 60 populacji Izraela W następnym roku lekarze będą otrzymywać opracowane przy użyciu modelu eksploracji danych listy pacjentów zagrożonych utratą zdrowia, co umożliwi podjęcie kroków w celu wyeliminowanie przewidywanego zagrożenia. - Mazal Tuchler, Menedżer hurtowni danych, Clalit Health Services

31 31.8 TB SS2005, hurt. danych do marketingu dzwonków telefonicznych Relacyjna BD, OLAP i eksploracja danych 3 TB, kompletny system BI wspomagania decyzji pokonane konkurencyjne rozwiązanie firmy Oracle Kompletna hurt. danych z SQL Server, w tym OLAP Szerokie zastosowanie drzew decyzyjnych DM 1.2 TB, 20 miliardów rekordów Wielka sieć sklepów spożywczych w Brazylii.8 TB, hurt. danych w głównej sieci TV we Włoszech Wzrost oglądalności dzięki rozpoznaniu trendów.5 TB, hurt. danych w firmie prod. kable w USA Kompletny system BI, analizy i raportowania Inni klienci eksploracji danych

32 32 Podsumowanie Eksploracja danych to technologia o ogromnych możliwościach wciąż niedoceniana przez wielu specjalistów IT i BD Przekształca dane w informacje Programy SQL Server 2005 i 2008 Analysis Services stworzono z myślą o Was Poszukajmy skarbów wiedzy w bazach danych!

33 Microsoft Corporation & Project Botticelli Ltd. Wszelkie prawa zastrzeżone. Podane tu informacje mają wyłącznie cel ilustracyjny i stanowią opinie i poglądy firmy Botticelli i/lub Rafała Lukawieckiego. Zaprezentowane materiały nie są pewne i mogą się zmieniać w zależności od kilku czynników. sFirma Microsoft nie udziela żadnych gwarancji, wyrażonych wprost, dorozumianych ani ustawowych odnośnie do informacji zawartych w tej prezentacji. © 2007 Project Botticelli Ltd & Microsoft Corp. sNiektóre slajdy zawierają cytaty z chronionych prawem autorskim materiałów innych autorów wskazanych za każdym razem. Wszelkie prawa zastrzeżone. Microsoft, Windows, Windows Vista i inne nazwy produktów są lub mogą być zarejestrowanymi znakami handlowymi i/lub znakami handlowymi w Stanach Zjednoczonych i innych krajach. Podane tu informacje mają wyłącznie cel ilustracyjny i stanowią aktualne poglądy firmy Project Botticelli Ltd w dniu tej prezentacji. Ponieważ firmy Project Botticelli & Microsoft muszą reagować na zmiany sytuacji rynkowej, nie można interpretować tych poglądów jako zobowiązanie składane w imieniu firmy Microsoft, a firmy Microsoft i Project Botticelli nie mogą zagwarantować dokładności jakichkolwiek informacji po dacie tej prezentacji. Firma Project Botticelli nie udziela żadnych gwarancji, wyrażonych wprost, dorozumianych ani ustawowych odnośnie do informacji zawartych w tej prezentacji. Możliwe, że prezentacja zawiera błędy i pominięcia..


Pobierz ppt "Wstęp do eksploracji danych Rafal Lukawiecki Strategic Consultant, Project Botticelli Ltd"

Podobne prezentacje


Reklamy Google