Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Eksploracja Danych Eksploracja danych (1) Podstawowe pojęcia Data Mining, przebieg procesu, zastosowania Krzysztof Regulski, WIMiIP, KISiM,

Podobne prezentacje


Prezentacja na temat: "Eksploracja Danych Eksploracja danych (1) Podstawowe pojęcia Data Mining, przebieg procesu, zastosowania Krzysztof Regulski, WIMiIP, KISiM,"— Zapis prezentacji:

1 Eksploracja Danych Eksploracja danych (1) Podstawowe pojęcia Data Mining, przebieg procesu, zastosowania Krzysztof Regulski, WIMiIP, KISiM, B5, pok. 408

2 2 KISIM, WIMiIP, AGH Plan wykładów 1. Wprowadzenie do Eksploracji Danych 2. Repetytorium z probabilistyki i statystyki 3. Przygotowanie i wstępna obróbka danych 4. Dobór, eliminacja i redukcja liczby zmiennych 5. Klasyfikacja. 6. Regresja. 7. Grupowanie. 8. Odkrywanie asocjacji. 9. Odkrywanie wzorców sekwencji. 10. Analiza szeregów czasowych. 11. Analiza przeżycia. 12. Eksploracja tekstu. 13. Eksploracja sieci Web.

3 3 KISIM, WIMiIP, AGH Literatura 1. Uczelnia on-line (http://wazniak.mimuw.edu.pl/) Projekt sfinansowano ze środków Europejskiego Funduszu Społecznego z programu Sektorowy Program Operacyjny Rozwój Zasobów Ludzkich StatSoft: Metody statystyki i data mining w badaniach naukowych, Statystyka i data mining w praktyce, Nowoczesne narzędzia gromadzenia, udostępniania i analizy danych: STATISTICA Data Miner i Sybase IQ 3. Morzy T., Eksploracja Danych. Metody i algorytmy, WN-PWN, Warszawa Larose D.T., Metody i modele eksploracji danych, WN-PWN, W-wa, Data Mining: Concepts and Techniques, J. Han, M. Kamber, Morgan Kaufman, Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations, I. H. Witten, E. Frank, Morgan Kaufman, Klosgen W., Żytkow J.M., Handbook of Data Mining and Knowledge discovery, Oxford University Press, J. Hand, H. Mannila, P. Smyth, Eksploracja danych, WNT, Warszawa P. Cichosz, Systemy uczące się, WNT, T. Morzy, Odkrywanie asocjacji: Algorytmy i struktury danych, OWN, 2004

4 4 KISIM, WIMiIP, AGH Zasady zaliczenia Laboratorium opracowanie danych (dobór zmiennych, selekcja, próba losowa, etc.) opracowanie modelu drzewa decyzyjnego opracowanie modelu grupowania (klasteryzacja) przygotowanie sprawozdania sprawozdanie oddane po terminie: stopień w dół każde zajęcia są oceniane KOLOKWIUM z wykładu (*) (*) obecność na wykładach oraz wysokie oceny z laboratoriów i projektu mogą zapewnić zwolnienie z kolokwium z wykładów

5 5 KISIM, WIMiIP, AGH Zasady zaliczenia Projekt każde zajęcia są punktowane ustalenie zbioru danych / źródeł np.: (własne, oryginalne dane + pkt) wybór modelu/techniki eksploracji danych postawienie problemu badawczego opracowanie danych (dobór zmiennych, selekcja etc) wybór algorytmów, narzędzi programistycznych (np. STATISTICA) (porównanie dwóch algorytmów/programów +pkt); - realizacja drzew decyzyjnych; - analiza skupień; - opracowanie wybranego przez siebie algorytmu data mining; opracowanie sprawozdania przygotowanie prezentacji na 5,0 (bdb) projekt oddany po terminie: stopień w dół prezentacja nie wygłoszona: kolejny stopień w dół

6 6 KISIM, WIMiIP, AGH Zasady zaliczenia Ocena końcowa (z syllabusa) Ocena końcowa (OK) to średnia ważona: Ocena z ćwiczeń laboratoryjnych (OL) + ocena projektu (OP) + ocena z kolokwium z wykładu (OW) (*) OK = 0,4*OP + 0,3*OL + 0,3*OW (*) Ocenę z projektu może obniżyć niedotrzymanie terminu realizacji (*) obecność na wykładach oraz wysokie oceny z laboratoriów i projektu mogą zapewnić zwolnienie z kolokwium z wykładów z uznaniem oceny z projektu, wtedy OK=0,6*OP+0,4*OL

7 Eksploracja Danych Data Mining

8 8 KISIM, WIMiIP, AGH Zalew danych Bez analizy przechowywanych danych przechowywanie takich wolumenów danych nie ma najmniejszego sensu. UC Irvine Machine Learning Repository

9 9 KISIM, WIMiIP, AGH Czym jest eksploracja danych? Eksploracja danych: proces automatycznego odkrywania nietrywialnych, dotychczas nieznanych, potencjalnie użytecznych reguł, zależności, wzorców, schematów, podobieństw lub trendów w dużych repozytoriach danych. Celem eksploracji danych jest analiza danych i procesów dla lepszego ich zrozumienia Odkrywane w procesie eksploracji danych wzorce mają najczęściej postać reguł logicznych, klasyfikatorów (np. drzew decyzyjnych), zbiorów skupień, wykresów, równań liniowych, itp. Eksploracja danych to etap odkrywania wiedzy w bazach danych KDD (Knowledge Discovery in Databases).

10 10 KISIM, WIMiIP, AGH Dane a wiedza Toniemy w danych, a brakuje nam wiedzy jaka jest w tych danych zawarta. Bez analizy przechowywanych danych przechowywanie takich wolumenów danych nie ma najmniejszego sensu. „Wiedza jest specyficznym rodzajem zasobów – w przeciwieństwie do wszystkich innych, przybywa jej w miarę używania” G.Probst

11 11 KISIM, WIMiIP, AGH KOMPONENTY KAPITAŁU INTELEKTUALNEGO KAPITAŁ LUDZKIKAPITAŁ KLIENCKI KAPITAŁ PROCESÓWKAPITAŁ INNOWACJI kompetencje pracowników rotacja pracowników poziom motywacji odbyte szkolenia wiedza zawarta w dokumentach liczbę zleceń na klienta lojalność (czas współpracy z klientem) liczbę utraconych klientów udział w rynku rozpoznawalność marki znaki handlowe inwestycje w marketing procedury i techniki produkcyjne systemy zarządzania jakością jakość produktów odsetek braków patenty: wartość, stan wykorzystania – korzyści płynące z patentu inwestycje w badania i rozwój odnawialność technologii IT

12 12 KISIM, WIMiIP, AGH Rodzaj kapitału a funkcja zarządzania

13 13 KISIM, WIMiIP, AGH Zarządzanie wiedzą (Knowledge Management) Zarządzanie wiedzą (KM) - pełni rolę koordynacyjną w przedsiębiorstwie. Tworzy warunki do tworzenia lub pozyskiwania wiedzy, dzielenia się nią i wykorzystywania zajmuje się wiedzą, czyli kapitałem ludzkim – jest jedną z „funkcji” zarządzania kapitałem intelektualnym. Rolą KM jest zapewnienie sprawnego przepływu informacji i wiedzy pomiędzy wszystkimi częściami organizacji. G.Probst, S.Raub, K. Romhardt

14 14 KISIM, WIMiIP, AGH Typy zapytań do repozytoriów danych Niestety, analiza porównawcza zagregowanych danych, która jest podstawa modelu OLAP, operuje na zbyt szczegółowym poziomie abstrakcji i nie pozwala na formułowanie bardziej ogólnych zapytań. OLAP można interpretować jako rozszerzenie standardu SQL o możliwość efektywnego przetwarzania złożonych zapytań zawierających agregaty.

15 15 KISIM, WIMiIP, AGH Zapytania eksploracyjne Eksploracja danych umożliwia analizę danych dla problemów, które, ze względu na swój rozmiar, są trudne do przeprowadzenia przez użytkownika, oraz tych problemów, dla których nie dysponujemy pełną wiedzą o przedmiocie analizy, co uniemożliwia sterowanie procesem analizy danych. Praktyczne pożytki ekstrahowania danych: prognozowanie (ang. prediction, forecasting), opis (ang. description).

16 16 KISIM, WIMiIP, AGH Zastosowania Eksploracji Danych — eksploracji danych o ruchu internetowym, — marketing, e-marketing — rozpoznawaniu sygnałów obrazu, mowy, pisma, — wspomaganiu diagnostyki medycznej, — badaniach genetycznych, — analizie operacji bankowych, — projektowaniu hurtowni danych, — tworzeniu reklam skierowanych (ang. Targeted ads), — prognozowaniu sprzedaży (ang. Sales forecast), — wdrażaniu strategii Cross-selling'owej, — wykrywaniu nadużyć (ang. Fraud detection), — ocenie ryzyka kredytowego, ubezpieczeniowego — segmentacji klientów.

17 17 KISIM, WIMiIP, AGH Zastosowanie w telekomunikacji* ZadanieZastosowane Metody Efekty Wyszukiwanie anomalii działania sieci na podstawie log ó w router ó w w sieci korporacyjnej reguły asocjacyjne, grupowanie Zbi ó r reguł (kt ó re potwierdziły wiedzę ekspert ó w) Przewidywanie ruchu w sieci kom ó rkowej Grupowanie, drzewa decyzyjne, regresja Model predykcyjny ruchu w sieci z akceptowalnym przez ekspert ó w błędem Przewidywanie anomalii w działaniu sieci kom ó rkowej; analiza w pojedynczych kom ó rkach reguły asocjacyjne, drzewa decyzyjne, wizualizacje Zbi ó r reguł :95% reguł znanych ekspertom – oczywistych, 4% potwierdzających ich intuicje, 1% interesujących Przewidywanie anomalii w działaniu sieci kom ó rkowej, z uwzględnieniem wpływu kom ó rek sąsiednich reguły asocjacyjne, drzewa decyzyjne, wizualizacje Zbi ó r reguł :90% reguł znanych ekspertom – oczywistych, 7% potwierdzających ich intuicje, 3% interesujących Wykrywanie sekwencji czasowych alarm ó w w sieci kom ó rkowej reguły asocjacyjne, własne metody badania sekwencji czasowych Eksperyment w toku * Muraszkiewicz, M.: "Eksploracja danych dla telekomunikacji", materiały konferencyjne - VI Konferencja PLOUG, Systemy informatyczne w dobie Internetu", Zakopane, listopada, 2000.

18 18 KISIM, WIMiIP, AGH Data Mining w bankowości — zarządzanie relacjami z klientem - wykorzystywane są do wyznaczania „ocen” poszczególnych klientów oraz przewidywania prawdopodobieństwa zachowania się klienta w określony sposób. Na przykład, mogą mierzyć skłonność klienta do posiadania określonej karty kredytowej lub do reagowania na produkty konkurencji. — segmentacja i profilowanie klientów - jak scharakteryzować klientów, którzy przynoszą największe zyski? Można na nie odpowiedzieć tworząc modele w oparciu o dane transakcyjne, geo-demograficzne, styl życia, profile sprzedażowe klientów oraz ich historię relacji z bankiem. — analiza dochodowości - umożliwiają ocenę bieżącej wartości klienta, jak i jej predykcję w oparciu o estymowaną krzywą przeżycia. — monitoring relacji z klientem - modele aktywacji klientów w zakresie wykorzystania posiadanych produktów oraz usług bankowych, które przede wszystkim analizują spadki trendów użycia produktu lub usługi. Zawierają również analizy ryzyka rezygnacji klienta z usług oraz analizy czasu przetrwania klienta. — zarządzanie ofertą - identyfikacja na podstawie danych historycznych najlepszych ofert dla poszczególnych klientów oraz identyfikacja grup produktów często kupowanych razem. Są one konstruowane w oparciu o analizy koszykowe, segmentacje klientów lub produktów oraz modele predykcyjne. — zarządzanie i optymalizacja kampanii marketingowych - optymalizacja procesu marketingowego ze względu na koszty stałe kampanii, alokację zasobów, koszty druku materiałów, koszty kontaktu z klientem itd. — zarządzanie ryzykiem - inwestorzy mają możliwość alokacji kapitału w te segmenty rynku lub instrumenty finansowe, które maksymalizują zysk lub minimalizują ryzyko, ponieważ dzięki nim mogą stworzyć szczegółowe analizy oparte na wielu scenariuszach uwzględniających oczekiwaną wartość aktywów lub oczekiwany zwrot z inwestycji kapitału oraz ryzyko. — wykrywanie oszustw;

19 19 KISIM, WIMiIP, AGH WebMining - zastosowania — Odkrywanie i analiza informacji gromadzonych w serwisie (web content mining): » wydzielenie tematów (przestrzenie tematyczne) » analiza tekstów (text mining) » katalogowanie zawartości na podstawie założonych kryteriów (crawlery) — Odkrywanie i analiza wzorców korzystania z serwisu przez użytkowników (web usage mining) » analiza logów » wykrywanie sesji w serwisach bez identyfikacji » wykrywanie ścieżek nawigacyjnych » wykrywanie „wzorców sposobów korzystania” » struktura obciążenia systemu — Analiza struktury serwisu - analiza korzystania z odsyłaczy (web structure mining) » wykrywanie nieużywanych, » błędnych, » ścieżki „na około”, » martwe końcówki

20 20 KISIM, WIMiIP, AGH Proces odkrywania wiedzy Hetoregeniczne źródła danych wybór zmiennych przekształcenia interpretacja i ocena odkrytych struktur

21 21 KISIM, WIMiIP, AGH Dziedziny naukowe eksploracji danych Eksploracja danych to zadanie interdyscyplinarne: » statystyka, » technologie bazodanowe, » uczenie maszynowe, » rozpoznawanie wzorców, » sztuczna inteligencja, » wizualizacja. “Eksploracja danych polega na torturowaniu danych tak długo, aż zaczną zeznawać”

22 22 KISIM, WIMiIP, AGH Metody eksploracji danych — klasyfikacja/regresja (classifications) — grupowanie/analiza skupień (clustering) — odkrywanie sekwencji (sequential patterns) — odkrywanie charakterystyk — analiza przebiegów czasowych (time-series similarities) — odkrywanie asocjacji (associations) — wykrywanie zmian i odchyleń (deviation detection) — eksploracja WWW — eksploracja tekstów

23 23 KISIM, WIMiIP, AGH Dobór metody data mining do zadań

24 24 KISIM, WIMiIP, AGH Klasy metod (techniki) eksploracji danych Odkrywanie asocjacji (kojarzenie, odkrywanie wzorców i reguł, opis zależności) - najszersza klasa metod obejmująca, najogólniej, metody odkrywania interesujących zależności lub korelacji, nazywanych ogólnie asocjacjami pomiędzy danymi w dużych zbiorach danych. Wynikiem działania metod odkrywania asocjacji są zbiory reguł asocjacyjnych lub wzorców sekwencji opisujących znalezione zależności i/lub korelacje.

25 25 KISIM, WIMiIP, AGH Klasy metod (techniki) eksploracji danych Klasyfikacja (modelowanie przewidujące) - obejmuje metody odkrywania modeli (tak zwanych klasyfikatorów) lub funkcji opisujących zależności pomiędzy zadaną klasyfikacją obiektów a ich charakterystyką. Odkryte modele klasyfikacji są, następnie, wykorzystywane do klasyfikacji nowych obiektów o nieznanej klasyfikacji. Klasyfikacja często korzysta z algorytmów opartych na drzewach decyzyjnych lub sieciach neuronowych. Użycie tych algorytmów rozpoczyna się od podania im w ramach uczenia się (treningu) zbioru przykładów już sklasyfikowanych. W wypadku wykrywania nadużyć, zbiór taki zawierałby przypadki (przykłady) gdzie wystąpiło nadużycie oraz przypadki „uczciwe”.

26 26 KISIM, WIMiIP, AGH Klasy metod (techniki) eksploracji danych Regresja (analiza regresji, modelowanie przewidujące) również korzysta z procesu uczenia się, z tą różnicą w stosunku do klasyfikacji, że powstaje tu funkcja (a nie odwzorowanie), która danemu elementowi przyporządkowuje konkretną wartość. Przykładem jej zastosowania jest przewidywanie popytu na nowy produkt w zależności od wydatków na reklamę. Jeśli zmienne wykorzystywane w modelach opartych na regresji mają złożoną naturę (np. wielkość sprzedaży, wskaźniki giełdowe), to zwykle do zaimplementowania regresji korzysta się z sieci neuronowych, a to z uwagi na ich przydatność w „sytuacjach nieliniowych”.

27 27 KISIM, WIMiIP, AGH Klasy metod (techniki) eksploracji danych Grupowanie (analiza skupień, klastrowanie, modelowanie opisowe, segmentacja) - obejmuje metody analizy danych i znajdowania skończonych zbiorów klas obiektów posiadających podobne cechy (podział na nieznane wcześniej grupy). Grupowanie polega na przyporządkowaniu branego pod uwagę elementu do jednej lub wielu grup, przy czym grupy te są wyznaczane na podstawie analizy danych, a nie jak w przypadku klasyfikacji, gdzie klasy są zadane.

28 28 KISIM, WIMiIP, AGH Klasy metod (techniki) eksploracji danych Wykrywanie punktów osobliwych - obejmuje metody wykrywania (znajdowania) obiektów osobliwych, które odbiegają od ogólnego modelu danych (klasyfikacja i predykcja) lub modeli klas (analiza skupień). Często, metody wykrywania punktów osobliwych stanowią integralną część innych metod eksploracji danych, na przykład, metod grupowania.

29 29 KISIM, WIMiIP, AGH Klasy metod (techniki) eksploracji danych Analiza przebiegów (szeregów) czasowych - obejmuje metody analizy przebiegów czasowych w celu znalezienia: trendów, podobieństw, anomalii oraz cykli. - możliwe cele: -zależność pomiędzy operacjami -zależność pomiędzy wystąpieniami -odkrywanie wzorców sekwencji -prognozowanie zjawisk

30 30 KISIM, WIMiIP, AGH Klasy metod (techniki) eksploracji danych Odkrywanie charakterystyk – opisy koncepcji/klas – obejmuje metody znajdowania zwięzłych opisów lub podsumowań ogólnych własności klas obiektów. Znajdowane opisy mogą mieć postać reguł charakteryzujących lub reguł dyskryminacyjnych. W tym drugim przypadku, opisują różnice pomiędzy ogólnymi własnościami klasy docelowej (klasy analizowanej) a własnościami klasy (zbioru klas) kontrastującej (klasy porównywanej). Analiza trendów i odchyleń – obejmuje metody analizy danych zmiennych w czasie w celu znalezienia różnic pomiędzy aktualnymi a oczekiwanymi wartościami danych, anomalnych zmian wartości danych w czasie, itp. Eksploracja tekstu, Eksploracja WWW – obejmuje wyszukiwanie według zawartości (podobnych wzorców)

31 31 KISIM, WIMiIP, AGH Przykładowe algorytmy z zakresu Data Mining analiza regresji liniowej i nieliniowej, regresja logistyczna, analiza przeżycia modele szeregów czasowych ARIMA analiza ANOVA analiza skupień analiza czynnikowa analiza rzetelności i pozycji analiza kanoniczna analiza korespondencji modele drzew decyzyjnych » (klasyfikacyjne/regresyjne, CART) Sztuczne Sieci Neuronowe metody klasyfikacji: » najbliższych sąsiadów, naiwny klasyfikator Bayesa algorytmy indukcji reguł analiza asosjacji analiza składowych głównych PCA skalowanie wielowymiarowe MOS metoda wektorów nośnych SVM algorytm NIPALS komponenty wariacyjne algorytm wstecznej propagacji algorytm Apriori Narzędzia: → STATISTICA - StatSoft → IBM- SPSS Statistics → środowisko R → Clementine - IBM → Oracle Data Mining → Enterprise Miner SAS → IBM DB2 Intelligent Miner → Mine Set - Silicon Graphics → Weka → RapidMiner → Data Mining Client for Excel → The Dap Project for Statistics and Graphics → GNU PSPP - a program for statistical analysis → OpenStat → Statistical Lab


Pobierz ppt "Eksploracja Danych Eksploracja danych (1) Podstawowe pojęcia Data Mining, przebieg procesu, zastosowania Krzysztof Regulski, WIMiIP, KISiM,"

Podobne prezentacje


Reklamy Google