Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Autor prezentacji: Mateusz Dudek

Podobne prezentacje


Prezentacja na temat: "Autor prezentacji: Mateusz Dudek"— Zapis prezentacji:

1 Autor prezentacji: Mateusz Dudek
Drzewa decyzyjne Autor prezentacji: Mateusz Dudek

2 Czym są drzewa decyzyjne?
Opisać atrybut, liście, połączenia – czyli ogólnie budowa drzewa i co jest czym Właściwości drzewa Typy drzew – drzewa regresji i drzewa klasyfikujace Mogą być zbudowane ze stosunkowo malej ilosci danych Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

3 Budowa drzew decyzyjnych
A co jeżeli mamy dwa takie same przyklady ale w jeden dzien gramy a w inny nie gramy? – Nie da rady tego rodzielić. Może mamy niewystarczająca reprezentację albo bla bla bla Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

4 Budowa drzew decyzyjnych
https://www.youtube.com/watch?v=eKD5gxPPeY0 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

5 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

6 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

7 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

8 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

9 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

10 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

11 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

12 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

13 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

14 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

15 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

16 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

17 Entropia Entropia w ramach teorii informacji jest definiowana jako średnia ilość informacji (liczba bitów), przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. E – entropia zbioru danych S – zbiór danych P – proporcja danej kategorii w zbiorze względem reszty kategorii Kryterium nieczystości. Niekoniecznie musi to być entropia, jednak w praktyce to wlasnie entropia jest najczesciej wykorzystywana. Własności entropii: • jest nieujemna • jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same • jest równa 0, gdy stany systemu przyjmują wartości 0 albo 1 • własność superpozycji - gdy dwa systemy są niezależne to entropia sumy systemów równa się sumie entropii. Alternatywy: GiniIndex, ClassificationError Pokaz weke! Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

18 Przyrost informacji (information gain)
Przyrost informacji może być rozumiany jako oczekiwane zmniejszenie entropii spowodowane znajomością wartości jednego z atrybutów. Jest on zdefiniowany następująco: G – przytost informacji E – entropia zbioru danych A – atrubut o znanej wartości S – zbiór danych Sv – zbiór pomniejszony o wektory z inną wartością atrybutu A Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

19 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

20 Przykład tworzenia drzewa decyzyjnego – algorytm ID3
Decyzja (kategoria) Liczba wystąpień Tak 9 Nie 5 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

21 Algorytm ID3 - przyrost informacji atrybutu pogody
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

22 Algorytm ID3 - przyrost informacji atrybutu pogody
Pogoda Liczba wystąpień Tak Nie Deszcz 5 3 2 Słonecznie Pochmurnie 4 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

23 Algorytm ID3 - przyrost informacji atrybutu pogody
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

24 Algorytm ID3 - przyrost informacji atrybutu temperatury
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

25 Algorytm ID3 - przyrost informacji atrybutu temperatury
Temperatura Liczba wystąpień Tak Nie Gorąco 4 2 Przyjemnie 6 Zimno 3 1 Wpakuj jeszcze przed tym pogrupowane dane jak chcesz gadac dluzej Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

26 Algorytm ID3 - przyrost informacji atrybutu temperatury
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

27 Algorytm ID3 - przyrost informacji atrybutu wilgotności
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

28 Algorytm ID3 - przyrost informacji atrybutu wilgotności
Liczba wystąpień Tak Nie Normalna 7 6 1 Wysoka 3 4 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

29 Algorytm ID3 - przyrost informacji atrybutu wilgotności
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

30 Algorytm ID3 - przyrost informacji atrybutu wiatru
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

31 Algorytm ID3 - przyrost informacji atrybutu wiatru
Liczba wystąpień Tak Nie Słaby 8 6 2 Silny 3 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

32 Algorytm ID3 - przyrost informacji atrybutu wiatru
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

33 Algorytm ID3 - przyrost informacji
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

34 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

35 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

36 Budowa drzew decyzyjnych
= Sslonecznie Decyzja (kategoria) Liczba wystąpień Tak 2 Nie 3 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

37 Algorytm ID3 - przyrost informacji atrybutu temperatury
Temperatura Liczba wystąpień Tak Nie Gorąco 2 Przyjemnie 1 Zimno Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

38 Algorytm ID3 - przyrost informacji atrybutu wilgotności
Liczba wystąpień Tak Nie Normalna 2 Wysoka 3 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

39 Algorytm ID3 - przyrost informacji atrybutu wiatru
Liczba wystąpień Tak Nie Słaby 3 1 2 Silny Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

40 Tytuł slajdu Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

41 Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

42 Budowa drzew decyzyjnych
Jak ci wyjdzie za malo czasu to rozpisz się dalej, obliczenia wzory etc, na razie niech to zostanie jak jest i przeskoczmy od razu do efektow koncowych Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

43 Budowa drzew decyzyjnych
I od razu wspomniec troche o wadach ID3 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

44 Współczynnik przyrostu informacji - Gain ratio
Podchodzi pod ID3 Problem z Information gain: faworyzuje atrybuty które rozdzielaja się na duzo wezlow. Przykład: Atrybut Dzien rozbije się na 14 wezlow. Problem w tym, ze to singletony i nigdy wiecej się nie pojawia. +Dodac jakas tabelke pokazujaca wartosci gain ratio vs information gain? iv – wartosc informacyjna https://www.youtube.com/watch?v=4qyK4YeHjnM Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

45 Information Gain i Gain Ratio - porównanie
Wspomnij, ze dzien i tak by wygral gdyby zostal ujety! Trzeba uwazac jakie atrybuty sa brane pod uwage. Pomimo tego Gain Ratio jest lepszy w wybieraniu atrybutow – strona 26 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

46 Gini gain Istnieje duzo alternatyw dla Gain Ratio/Information gain. Najopoularniejsza z nich jest Gini index. Uzywany W CART Można by zdefiniowac go podobnie do InformationGain, ale zawyczaj zamiast tego Gini Index jest maksymalizowany a nie minimalizowany Dokladne opisy alternatywnych wzorow decydujacych o doborze miejsca podzialu: Gdzie: Gini(S) – gini index, miara nieczystości (zamiast entropii) Gini(S,A) – gini gain Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

47 Maksymalizujemy: Kryterium Twoing
The philosophy of Twoing is far different than that of Gini. Rather than initially pulling out a single class, Twoing first segments the classes into two groups, attempting to find groups that together add up to 50 percent of the data. Twoing then searches for a split to separate the two subgroups. The diagram below shows the best possible split the Twoing rule could find. Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

48 Overfitting https://www.youtube.com/watch?v=Q4NVG1IHQOU
Overfitting: mogą być rozne bledy w danych (zaszumione dane) lub mogą istniec niepewnosci, np. dwa identyczne wktory uczace sa innej klasy Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

49 Usprawnienia względem algorytmu ID3: Przycinanie drzew
Algorytm C4.5 C4.5 jest algorytmem będącym rozwinięciem algorytmu ID3, tworzącym drzewa klasyfikujące. Usprawnienia względem algorytmu ID3: Przycinanie drzew Wsparcie atrybutów zarówno o wartościach ciągłych jak i dyskretnych Wsparcie wektorów uczących z nieznanymi wartościami Możliwość przypisania wag do poszczególnych atrybutów Algorytm ten także uzywa entropii oraz przyrostu informacji do wyboru atrybutow Metody obcienania drzewa – kryterium (research this) Wspomnij, że są różne metody ucienaia drzew – opisz je Atrubut z nieznana wartoscia albo nie jest brany pod uwage podczas liczenai przyrostu informacji albo przypisywana jest najpopularniejsza wartość Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

50 Metody przycinania drzew
Reduced error pruning Cost-complexity pruning – minimalizujemy funkcję: Reduced error pruning One of the simplest forms of pruning is reduced error pruning. Starting at the leaves, each node is replaced with its most popular class. If the prediction accuracy is not affected then the change is kept. While somewhat naive, reduced error pruning has the advantage of simplicity and speed. Cost complexity pruning Cost complexity pruning generates a series of trees T Tm where T0 is the initial tree and Tm is the root alone. At step i the tree is created by removing a subtree from tree i-1 and replacing it with a leaf node with value chosen as in the tree building algorithm. The subtree that is removed is chosen as follows. Define the error rate of tree T over data set S as err(T,S). The subtree that minimizes is chosen for removal. The function prune(T,t) defines the tree gotten by pruning the subtrees t from the tree T. Once the series of trees has been created, the best tree is chosen by generalized accuracy as measured by a training set or cross-validation. Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

51 Metody przycinania drzew – rule post-pruning
Pogoda-Słonecznie & Wilgotność-Wysoka → Nie Pogoda-Słonecznie & Wilgotność-Normalna → Tak Pogoda-Pochmurnie → Tak Pogoda-Deszcz & Wiatr-Słaby → Tak Pogoda-Deszcz & Wiatr-Silny → Nie Zaznaczone na czerwono fragmenty wyrazenia mogą zostac usuniete. Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

52 Koniec Dziękuję za uwagę 

53 Tytuł slajdu Uczenie Maszynowe i Datamining – Drzewa Decyzyjne


Pobierz ppt "Autor prezentacji: Mateusz Dudek"

Podobne prezentacje


Reklamy Google