III EKSPLORACJA DANYCH

Prezentacja na temat: "III EKSPLORACJA DANYCH"— Zapis prezentacji:

1 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Model jest globalnym, ogólnym opisem zbioru danych. Może być opisowy, podsumowujący dane w dogodny i zwięzły sposób, lub też indukcyjny, pozwalający formułować wnioski o populacji, z której pobrane zostały dane lub o prawdopodobnych wartościach przyszłych danych. Model (struktura modelu) mówi coś o każdym punkcie w całej przestrzeni pomiarowej. .

2 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Wzorzec jest lokalną cechą danych, obowiązującą być może jedynie dla kilku rekordów lub kilku zmiennych (lub obudwu tych rzeczy). Wzorce są interesujące, ponieważ odzwierciedlają odchylenia od ogólnej partii danych: para zmiennych mająca szczególnie wysoką korelację, zbiór elementów mających wyjątkowo duże wartości niektórych zmiennych, grupa rekordów, która zawsze daje ten sam wynik na jakichś zmiennych. Przykładem wzorca jest lokalna cecha w p-wymiarowej przestrzeni zmiennych, taka jak moda funkcji gęstości, lub punkt przegięcia krzywej regresji. .

3 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Reguły asocjacyjne przybierają postać „Jeżeli poprzednik, to następnik razem z miarą wsparcia i ufności reguły.

4 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Przy założeniu (upraszczającym), że wszystkie zmienne są binarne, reguła asocjacyjna przyjmuje następującą postać: IF A = 1 AND B = 1 THEN C = 1 z prawdopodobieństwem p, gdzie: p = p (C = 1│A = 1, B = 1) jest prawdopodobieństwem warunkowym, że C = 1 pod warunkiem, że A = 1 i B = 1

5 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Prawdopodobieństwo warunkowe p jest nazywane dokładnością, albo ufnością reguły. Zaś p = p (A = 1, B = 1, C = 1) jest nazywane wsparciem.

6 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Zbiór zdarzeń Częstość zbioru zdarzeń Zbiór częsty

7 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie

8 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Odkrywanie reguł asocjacyjnych jest procesem dwu etapowym: 1. Znajdź wszystkie częste zbiory zdarzeń; to znaczy znajdź zbiory zdarzeń o częstości ≥φ 2. Na podstawie częstych zdarzeń utwórz reguły asocjacyjne R, które spełniają warunek minimalnego wsparcia i poziomu ufności

9 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Algorytm A priori korzysta z właściwości A priori Właściwość A priori Jeżeli zbiór zdarzeń Z nie jest częsty, to dla dowolnego elementu A, Z  A nie będzie częste

10 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Przykład za: Daniel T. Larose „Odkrywanie wiedzy z danych” Wydawnictwo Naukowe PWN

11 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Przykład za: Daniel T. Larose „Odkrywanie wiedzy z danych” Wydawnictwo Naukowe PWN

12 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Przykład za: Daniel T. Larose „Odkrywanie wiedzy z danych” Wydawnictwo Naukowe PWN

13 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Zbiory zdarzeń są łączone, jeżeli mają wspólnych k-1 elementów Przykład za: Daniel T. Larose „Odkrywanie wiedzy z danych” Wydawnictwo Naukowe PWN

14 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Przykład za: Daniel T. Larose „Odkrywanie wiedzy z danych” Wydawnictwo Naukowe PWN

15 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Przykład za: Daniel T. Larose „Odkrywanie wiedzy z danych” Wydawnictwo Naukowe PWN

16 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Tworzenie reguł asocjacyjnych R 1. Utwórz wszystkie podzbiory ze zbiorów częstych 2. Utwórz zbiór/zbiory ss będące zbiorem niepustym. Rozważ regułę asocjacyjną R: ss⇒(s-ss) Stwórz i zwróć R, jeżeli R spełnia minimalne wymagania ufności.

17 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Z utworzonych zbiorów częstych dwuelementowych F2 i trzyelementowych F3 tworzymy zbiory ss

18 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie Niech s {szparagi, fasola, kabaczki} Wówczas ss {szparagi, fasola}, ss-s {kabaczki} Wsparcie i ufność

19 III EKSPLORACJA DANYCH
Zadania eksploracji danych: odkrywanie