Pobierz prezentację
Pobieranie prezentacji. Proszę czekać
1
Autor prezentacji: Mateusz Dudek
Drzewa decyzyjne Autor prezentacji: Mateusz Dudek
2
Czym są drzewa decyzyjne?
Opisać atrybut, liście, połączenia – czyli ogólnie budowa drzewa i co jest czym Właściwości drzewa Typy drzew – drzewa regresji i drzewa klasyfikujace Mogą być zbudowane ze stosunkowo malej ilosci danych Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
3
Budowa drzew decyzyjnych
A co jeżeli mamy dwa takie same przyklady ale w jeden dzien gramy a w inny nie gramy? – Nie da rady tego rodzielić. Może mamy niewystarczająca reprezentację albo bla bla bla Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
4
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
5
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
6
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
7
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
8
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
9
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
10
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
11
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
12
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
13
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
14
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
15
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
16
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
17
Entropia Entropia w ramach teorii informacji jest definiowana jako średnia ilość informacji (liczba bitów), przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. E – entropia zbioru danych S – zbiór danych P – proporcja danej kategorii w zbiorze względem reszty kategorii Kryterium nieczystości. Niekoniecznie musi to być entropia, jednak w praktyce to wlasnie entropia jest najczesciej wykorzystywana. Własności entropii: • jest nieujemna • jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same • jest równa 0, gdy stany systemu przyjmują wartości 0 albo 1 • własność superpozycji - gdy dwa systemy są niezależne to entropia sumy systemów równa się sumie entropii. Alternatywy: GiniIndex, ClassificationError Pokaz weke! Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
18
Przyrost informacji (information gain)
Przyrost informacji może być rozumiany jako oczekiwane zmniejszenie entropii spowodowane znajomością wartości jednego z atrybutów. Jest on zdefiniowany następująco: G – przytost informacji E – entropia zbioru danych A – atrubut o znanej wartości S – zbiór danych Sv – zbiór pomniejszony o wektory z inną wartością atrybutu A Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
19
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
20
Przykład tworzenia drzewa decyzyjnego – algorytm ID3
Decyzja (kategoria) Liczba wystąpień Tak 9 Nie 5 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
21
Algorytm ID3 - przyrost informacji atrybutu pogody
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
22
Algorytm ID3 - przyrost informacji atrybutu pogody
Pogoda Liczba wystąpień Tak Nie Deszcz 5 3 2 Słonecznie Pochmurnie 4 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
23
Algorytm ID3 - przyrost informacji atrybutu pogody
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
24
Algorytm ID3 - przyrost informacji atrybutu temperatury
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
25
Algorytm ID3 - przyrost informacji atrybutu temperatury
Temperatura Liczba wystąpień Tak Nie Gorąco 4 2 Przyjemnie 6 Zimno 3 1 Wpakuj jeszcze przed tym pogrupowane dane jak chcesz gadac dluzej Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
26
Algorytm ID3 - przyrost informacji atrybutu temperatury
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
27
Algorytm ID3 - przyrost informacji atrybutu wilgotności
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
28
Algorytm ID3 - przyrost informacji atrybutu wilgotności
Liczba wystąpień Tak Nie Normalna 7 6 1 Wysoka 3 4 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
29
Algorytm ID3 - przyrost informacji atrybutu wilgotności
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
30
Algorytm ID3 - przyrost informacji atrybutu wiatru
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
31
Algorytm ID3 - przyrost informacji atrybutu wiatru
Liczba wystąpień Tak Nie Słaby 8 6 2 Silny 3 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
32
Algorytm ID3 - przyrost informacji atrybutu wiatru
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
33
Algorytm ID3 - przyrost informacji
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
34
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
35
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
36
Budowa drzew decyzyjnych
= Sslonecznie Decyzja (kategoria) Liczba wystąpień Tak 2 Nie 3 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
37
Algorytm ID3 - przyrost informacji atrybutu temperatury
Temperatura Liczba wystąpień Tak Nie Gorąco 2 Przyjemnie 1 Zimno Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
38
Algorytm ID3 - przyrost informacji atrybutu wilgotności
Liczba wystąpień Tak Nie Normalna 2 Wysoka 3 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
39
Algorytm ID3 - przyrost informacji atrybutu wiatru
Liczba wystąpień Tak Nie Słaby 3 1 2 Silny Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
40
Tytuł slajdu Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
41
Budowa drzew decyzyjnych
Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
42
Budowa drzew decyzyjnych
Jak ci wyjdzie za malo czasu to rozpisz się dalej, obliczenia wzory etc, na razie niech to zostanie jak jest i przeskoczmy od razu do efektow koncowych Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
43
Budowa drzew decyzyjnych
I od razu wspomniec troche o wadach ID3 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
44
Współczynnik przyrostu informacji - Gain ratio
Podchodzi pod ID3 Problem z Information gain: faworyzuje atrybuty które rozdzielaja się na duzo wezlow. Przykład: Atrybut Dzien rozbije się na 14 wezlow. Problem w tym, ze to singletony i nigdy wiecej się nie pojawia. +Dodac jakas tabelke pokazujaca wartosci gain ratio vs information gain? iv – wartosc informacyjna Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
45
Information Gain i Gain Ratio - porównanie
Wspomnij, ze dzien i tak by wygral gdyby zostal ujety! Trzeba uwazac jakie atrybuty sa brane pod uwage. Pomimo tego Gain Ratio jest lepszy w wybieraniu atrybutow – strona 26 Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
46
Gini gain Istnieje duzo alternatyw dla Gain Ratio/Information gain. Najopoularniejsza z nich jest Gini index. Uzywany W CART Można by zdefiniowac go podobnie do InformationGain, ale zawyczaj zamiast tego Gini Index jest maksymalizowany a nie minimalizowany Dokladne opisy alternatywnych wzorow decydujacych o doborze miejsca podzialu: Gdzie: Gini(S) – gini index, miara nieczystości (zamiast entropii) Gini(S,A) – gini gain Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
47
Maksymalizujemy: Kryterium Twoing
The philosophy of Twoing is far different than that of Gini. Rather than initially pulling out a single class, Twoing first segments the classes into two groups, attempting to find groups that together add up to 50 percent of the data. Twoing then searches for a split to separate the two subgroups. The diagram below shows the best possible split the Twoing rule could find. Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
48
Overfitting https://www.youtube.com/watch?v=Q4NVG1IHQOU
Overfitting: mogą być rozne bledy w danych (zaszumione dane) lub mogą istniec niepewnosci, np. dwa identyczne wktory uczace sa innej klasy Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
49
Usprawnienia względem algorytmu ID3: Przycinanie drzew
Algorytm C4.5 C4.5 jest algorytmem będącym rozwinięciem algorytmu ID3, tworzącym drzewa klasyfikujące. Usprawnienia względem algorytmu ID3: Przycinanie drzew Wsparcie atrybutów zarówno o wartościach ciągłych jak i dyskretnych Wsparcie wektorów uczących z nieznanymi wartościami Możliwość przypisania wag do poszczególnych atrybutów Algorytm ten także uzywa entropii oraz przyrostu informacji do wyboru atrybutow Metody obcienania drzewa – kryterium (research this) Wspomnij, że są różne metody ucienaia drzew – opisz je Atrubut z nieznana wartoscia albo nie jest brany pod uwage podczas liczenai przyrostu informacji albo przypisywana jest najpopularniejsza wartość Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
50
Metody przycinania drzew
Reduced error pruning Cost-complexity pruning – minimalizujemy funkcję: Reduced error pruning One of the simplest forms of pruning is reduced error pruning. Starting at the leaves, each node is replaced with its most popular class. If the prediction accuracy is not affected then the change is kept. While somewhat naive, reduced error pruning has the advantage of simplicity and speed. Cost complexity pruning Cost complexity pruning generates a series of trees T Tm where T0 is the initial tree and Tm is the root alone. At step i the tree is created by removing a subtree from tree i-1 and replacing it with a leaf node with value chosen as in the tree building algorithm. The subtree that is removed is chosen as follows. Define the error rate of tree T over data set S as err(T,S). The subtree that minimizes is chosen for removal. The function prune(T,t) defines the tree gotten by pruning the subtrees t from the tree T. Once the series of trees has been created, the best tree is chosen by generalized accuracy as measured by a training set or cross-validation. Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
51
Metody przycinania drzew – rule post-pruning
Pogoda-Słonecznie & Wilgotność-Wysoka → Nie Pogoda-Słonecznie & Wilgotność-Normalna → Tak Pogoda-Pochmurnie → Tak Pogoda-Deszcz & Wiatr-Słaby → Tak Pogoda-Deszcz & Wiatr-Silny → Nie Zaznaczone na czerwono fragmenty wyrazenia mogą zostac usuniete. Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
52
Koniec Dziękuję za uwagę
53
Tytuł slajdu Uczenie Maszynowe i Datamining – Drzewa Decyzyjne
Podobne prezentacje
© 2024 SlidePlayer.pl Inc.
All rights reserved.