SZTUCZNA INTELIGENCJA DIAGRAMY oraz DRZEWA DECYZYJNE i KLASYFIKUJĄCE Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii Biomedycznej Laboratorium Biocybernetyki 30-059 Kraków, al. Mickiewicza 30, paw. C3/205 horzyk@agh.edu.pl, Google: Adrian Horzyk Adrian Horzyk

DRZEWA DECYZYJNE DECISION TREES Wspomagają podejmowanie decyzji. Uwzględniają wyniki zdarzeń losowych, kosztów, zasobów, użyteczności itp. Umożliwiają określenie najbardziej prawdopodobnej lub korzystnej strategii osiągnięcia zaplanowanego celu. Są proste do zrozumienia oraz interpretacji wyników (biała skrzynka – white box), więc łatwe w stosowaniu. Nie wymagają wstępnej obróbki danych, normalizacji, standaryzacji ani konwersji na dane liczbowe.

Tworzenie i optymalizacja drzew decyzyjnych Przy konstrukcji drzew decyzyjnych stosujemy entropię. Entropia H to średnia ilość informacji przypadająca na znak symbolizujący zajście zdarzenia x z pewnego zbioru. Każde zdarzenie i w tym n-elementowym zbiorze ma przypisane pewne prawdopodobieństwo wystąpienia p(i):

Własności entropii Entropia H jest: Nieujemna. Maksymalna, gdy prawdopodobieństwa zajść wszystkich zdarzeń są takie same. Zerowa, gdy prawdopodobieństwa zajść zdarzeń przyjmują wartości tylko 0 lub 1. Sumą entropii, gdy zdarzenia są niezależne (zachodzi tzw. superpozycją).

Zbiór uczący „ Golf ” przykład tworzenia drzewa decyzyjnego Zbiór uczący Golf prezentuje decyzje członków klubu golfowego o obecności w klubie i podjęciu gry w golfa w zależności od pogody wyrażonej przez zachmurzenie, temperaturę, wilgotność i wietrzność:

Przykład drzewa decyzyjnego dla zbioru „ Golf ”

Tworzenie drzewa decyzyjnego z wykorzystaniem entropii dla zbioru uczącego „ Golf ” Najpierw liczymy entropię dla różnych przypadków określonych w zbiorze uczącym: Zachmurzenie = słonecznie: Zachumurzenie = deszczowo: Zachumurzenie = pochmurno: Jeśli entropia = 0, oznacza to utworzenie liścia w drzewie.

Tworzenie drzewa decyzyjnego z wykorzystaniem entropii dla zbioru uczącego „ Golf ” Następnie na podstawie określonych entropii potomków wyznaczamy wartość entropii węzła z wykorzystaniem prawdopodobieństwa LaPlace’a wystąpienia danego zdarzenia losowego:

Warunek stopu oparty o zysk informacyjny dla tworzenie drzewa decyzyjnego „ Golf ” Drzewa decyzyjne możemy budować tak długo, dopóki otrzymujemy pewien zysk informacyjny wynikający z dalszych podziałów, obliczony jako różnica pomiędzy entropią przed podziałem i po podziale:

Przycinanie drzew decyzyjnych Przycinanie drzew decyzyjnych ma na celu uzyskanie lepszej zdolności do uogólniania, szczególnie w sytuacjach, gdy dane są zaszumione lub mogą w nich występować błędy. Można też wykorzystać zbiór testowy lub walidację krzyżową w celu uzyskania optymalnej wielkości strukturę drzewa decyzyjnego. Przycinać możemy: Przez obcięcie (uniemożliwiając dalsze rozgałęzienia, zastępując węzeł liściem – etykietą klasy), jeśli węzeł reprezentuje generalnie wzorce jednej klasy. Przez zamianę (zastępowanie węzła jednym z jego potomków), jeśli potomek jest repzentatywny dla danej gałęzi drzewa.

Algorytm tworzenia drzewa decyzyjnego C4.5 Rossa Quilana Wybierz atrybut, który najbardziej różnicuje wartości wyjściowe atrybutów. Stwórz oddzielną gałąź w drzewie dla każdej wartości wybranego atrybutu. Podziel przypadki na podgrupy tak, aby odzwierciedlały wartości w wybranym węźle. Dla każdej podgrupy zakończ proces wybierania kolejnych atrybutów, jeśli: Wszystkie podgrupy mają taką samą wartość dla atrybutu wyjściowego. Podgrupa zawiera pojedynczy węzeł. Dla każdej podgrupy stworzonej w punkcie 3., która nie została określona jako liść, powtórz powyższy proces od punktu 1.

DRZEWA KLASYFIKUJĄCE CLASSIFICATION TREES Drzewa klasyfikujące to drzewa decyzyjne zastosowane do zadań klasyfikacji. W liściach drzew klasyfikujących znajdują się etykiety klas. W węzłach drzew klasyfikujących określone są reguły podziału podzbioru wzorców uczących względem jednego z atrybutów, który możliwie najbardziej różnicuje wzorce z tego podzbioru wzorców. Proces podziału drzewa klasyfikującego kończy się w momencie, gdy wzorce z podzbioru reprezentowanego przez dany węzeł reprezentują już tylko wzorce jednej klasy lub zasadniczo wzorce jednej klasy, a wtedy taki węzeł przekształcany jest na liść tego drzewa.

Wykorzystanie RapidMinera do budowy klasyfikującego drzewa decyzyjnego Wykorzystajmy teraz RapidMiner 6.5 Studio do zbudowania klasyfikującego drzewa decyzyjnego dla zbioru uczącego „ Golf ”.

Importowanie danych z Excela (*.xls) do RapidMiner 6.5 Studio:

Importowanie danych z Excela (*.xls) do RapidMiner 6.5 Studio:

Wykorzystanie RapidMinera do budowy klasyfikującego drzewa decyzyjnego Zaimportowane dane z Excela podłączamy do wyjścia res: Dane z uwzględnieniem określenia danych i identyfikacji klasy (label) możemy zapisać do lokalnego repozytorium: nadając nazwę plikowi danych w tym repozytorium.

Wykorzystanie RapidMinera do budowy klasyfikującego drzewa decyzyjnego

Wykorzystanie RapidMinera do budowy klasyfikującego drzewa decyzyjnego

Porównanie wyniku uzyskanego RapidMinera z modelowanym drzewem

Sprawdzenie poprawności zbudowanego modelu – drzewa decyzyjnego

Sprawdzenie efektywności i precyzji działania modelu – drzewa decyzyjnego W tym przypadku wszystkie dane uczące udało się poprawnie sklasyfikować, wykorzystując zbudowane drzewo decyzyjne i osiągając 100% poprawność modelu.

DIAGRAMY DECYZYJNE DECISION DIAGRAMS Diagramy decyzyjne tworzymy poprzez redukcję drzew decyzyjnych na skutek: łączenia (agregacji) liści o tych samych wartościach, następnie poprzez redukcję węzłów, których wszystkie połączenia prowadzą do tego samego następnika. W taki sposób powstaje graf, który jest diagramem decyzyjnym, oszczędniejszym niż analogiczne drzewo decyzyjne. Jeśli każdy węzeł drzewa decyzyjnego posiada dokładnie dwa następniki, wtedy w wyniku takiego przekształcenia otrzymujemy binarny diagram decyzyjny (binary decision diagram).

Tworzenie diagramu decyzyjnego z drzewa decyzyjnego

AI CZY JEST JUŻ BLISKO?