Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Drzewa decyzyjne Autor prezentacji: Mateusz Dudek.

Podobne prezentacje


Prezentacja na temat: "Drzewa decyzyjne Autor prezentacji: Mateusz Dudek."— Zapis prezentacji:

1 Drzewa decyzyjne Autor prezentacji: Mateusz Dudek

2 Czym są drzewa decyzyjne? 2Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

3 Budowa drzew decyzyjnych 3Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

4 Budowa drzew decyzyjnych 4Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

5 Budowa drzew decyzyjnych 5Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

6 Budowa drzew decyzyjnych 6Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

7 Budowa drzew decyzyjnych 7Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

8 Budowa drzew decyzyjnych 8Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

9 Budowa drzew decyzyjnych 9Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

10 Budowa drzew decyzyjnych 10Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

11 Budowa drzew decyzyjnych 11Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

12 Budowa drzew decyzyjnych 12Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

13 Budowa drzew decyzyjnych 13Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

14 Budowa drzew decyzyjnych 14Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

15 Budowa drzew decyzyjnych 15Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

16 Budowa drzew decyzyjnych 16Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

17 Entropia 17Uczenie Maszynowe i Datamining – Drzewa Decyzyjne E – entropia zbioru danych S – zbiór danych P – proporcja danej kategorii w zbiorze względem reszty kategorii Entropia w ramach teorii informacji jest definiowana jako średnia ilość informacji (liczba bitów), przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru.

18 Przyrost informacji (information gain) Przyrost informacji może być rozumiany jako oczekiwane zmniejszenie entropii spowodowane znajomością wartości jednego z atrybutów. Jest on zdefiniowany następująco: 18Uczenie Maszynowe i Datamining – Drzewa Decyzyjne G – przytost informacji E – entropia zbioru danych A – atrubut o znanej wartości S – zbiór danych S v – zbiór pomniejszony o wektory z inną wartością atrybutu A

19 Budowa drzew decyzyjnych 19Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

20 Przykład tworzenia drzewa decyzyjnego – algorytm ID3 20Uczenie Maszynowe i Datamining – Drzewa Decyzyjne Decyzja (kategoria)Liczba wystąpień Tak9 Nie5

21 Algorytm ID3 - przyrost informacji atrybutu pogody 21Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

22 Algorytm ID3 - przyrost informacji atrybutu pogody 22Uczenie Maszynowe i Datamining – Drzewa Decyzyjne PogodaLiczba wystąpieńTakNie Deszcz532 Słonecznie523 Pochmurnie440

23 Algorytm ID3 - przyrost informacji atrybutu pogody 23Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

24 Algorytm ID3 - przyrost informacji atrybutu temperatury 24Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

25 Algorytm ID3 - przyrost informacji atrybutu temperatury 25Uczenie Maszynowe i Datamining – Drzewa Decyzyjne TemperaturaLiczba wystąpieńTakNie Gorąco422 Przyjemnie642 Zimno431

26 Algorytm ID3 - przyrost informacji atrybutu temperatury 26Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

27 Algorytm ID3 - przyrost informacji atrybutu wilgotności 27Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

28 Algorytm ID3 - przyrost informacji atrybutu wilgotności 28Uczenie Maszynowe i Datamining – Drzewa Decyzyjne WilgotnośćLiczba wystąpieńTakNie Normalna761 Wysoka734

29 Algorytm ID3 - przyrost informacji atrybutu wilgotności 29Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

30 Algorytm ID3 - przyrost informacji atrybutu wiatru 30Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

31 Algorytm ID3 - przyrost informacji atrybutu wiatru 31Uczenie Maszynowe i Datamining – Drzewa Decyzyjne WiatrLiczba wystąpieńTakNie Słaby862 Silny633

32 Algorytm ID3 - przyrost informacji atrybutu wiatru 32Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

33 Algorytm ID3 - przyrost informacji 33Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

34 Budowa drzew decyzyjnych 34Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

35 Budowa drzew decyzyjnych 35Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

36 Budowa drzew decyzyjnych 36Uczenie Maszynowe i Datamining – Drzewa Decyzyjne = S slonecznie Decyzja (kategoria)Liczba wystąpień Tak2 Nie3

37 Algorytm ID3 - przyrost informacji atrybutu temperatury 37Uczenie Maszynowe i Datamining – Drzewa Decyzyjne TemperaturaLiczba wystąpieńTakNie Gorąco202 Przyjemnie211 Zimno110

38 Algorytm ID3 - przyrost informacji atrybutu wilgotności 38Uczenie Maszynowe i Datamining – Drzewa Decyzyjne WilgotnośćLiczba wystąpieńTakNie Normalna220 Wysoka303

39 Algorytm ID3 - przyrost informacji atrybutu wiatru 39Uczenie Maszynowe i Datamining – Drzewa Decyzyjne WiatrLiczba wystąpieńTakNie Słaby312 Silny211

40 Tytuł slajdu 40Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

41 Budowa drzew decyzyjnych 41Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

42 Budowa drzew decyzyjnych 42Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

43 Budowa drzew decyzyjnych 43Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

44 Współczynnik przyrostu informacji - Gain ratio 44Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

45 Information Gain i Gain Ratio - porównanie 45Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

46 Gini gain 46Uczenie Maszynowe i Datamining – Drzewa Decyzyjne Gdzie: Gini(S) – gini index, miara nieczystości (zamiast entropii) Gini(S,A) – gini gain

47 Kryterium Twoing 47Uczenie Maszynowe i Datamining – Drzewa Decyzyjne Maksymalizujemy:

48 Overfitting 48Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

49 Algorytm C4.5 C4.5 jest algorytmem będącym rozwinięciem algorytmu ID3, tworzącym drzewa klasyfikujące. Usprawnienia względem algorytmu ID3: Przycinanie drzew Wsparcie atrybutów zarówno o wartościach ciągłych jak i dyskretnych Wsparcie wektorów uczących z nieznanymi wartościami Możliwość przypisania wag do poszczególnych atrybutów 49Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

50 Metody przycinania drzew Reduced error pruning Cost-complexity pruning – minimalizujemy funkcję: 50Uczenie Maszynowe i Datamining – Drzewa Decyzyjne

51 Metody przycinania drzew – rule post-pruning Rule post-pruning 51Uczenie Maszynowe i Datamining – Drzewa Decyzyjne Pogoda-Słonecznie & Wilgotność-Wysoka → Nie Pogoda-Słonecznie & Wilgotność-Normalna → Tak Pogoda-Pochmurnie → Tak Pogoda-Deszcz & Wiatr-Słaby → Tak Pogoda-Deszcz & Wiatr-Silny → Nie

52 Koniec Dziękuję za uwagę

53 Tytuł slajdu 53Uczenie Maszynowe i Datamining – Drzewa Decyzyjne


Pobierz ppt "Drzewa decyzyjne Autor prezentacji: Mateusz Dudek."

Podobne prezentacje


Reklamy Google