Inteligencja Obliczeniowa Indukcja reguł - modele. Wykład 25 Włodzisław Duch Uniwersytet Mikołaja Kopernika

Co było Reguły logiczne Drzewa decyzji Indukcja koncpcji - przestrzenie wersji

Co będzie Indukcja reguł AQ CN2

Uczenie się koncepcji Najprostsze reguły Jeśli pokrycie To konkluzja Pokrycie: najczęściej alternatywy kompleksów. Kompleks: koniunkcja selektorów < v1, v2, ... vn>. Selektor: atrybut = w (wartość); atrybut{w1, w2, ... wn,}; atrybut = ? (uniwersalny); atrybut =  (pusty). Kompleks zawierający pusty atrybut  jest pusty (sprzeczny).

Kompleksy Kompleks uniwersalny: <?,?, ... ?> Kompleks atomowy: <?, ... ?, v, ?, ...> Koniunkcja selektorów sip  siq dla kompleksów p, q:   siq =  oraz siq   =  ?  siq = siq oraz siq  ? = siq sip  siq {wip}  {wiq} (wspólne wartości) Koniunkcja kompleksów: p q = < s1p  s1q , s2p  s2q , ... snp  snq > Przecięcie zbioru kompleksów A i B: AB = {p  q | p  A, q  B}

Sekwencyjne pokrywanie Pokryj jak najwięcej przykładów z pożądanej kategorii i możliwie mało z innych kategorii. Zbiór reguł R =  Wybierz przykład x ze zbioru treningowego T. Jeśli R (x) należy do właściwej klasy wybierz następny lub zakończ jeśli nie ma więcej danych Zmodyfikuj istniejące kompleksy lub utwórz nowy p, pokrywający x i inne przypadki w okolicy x. Dodaj do R regułę IF p(x) THEN C = najczęstsza klasa wśród przykładów pokrywanych przez p.

AQ (Michalski) Popularny algorytm, rozwijany od 1969 roku, obecnie AQ-18! Strategia przeszukiwania p-ni kompleksów: Pokryj dany przykład x zwany ziarnem gwiazdy (zb. kompleksów kandydujących do reguły) i maks. dużo innych ze zbioru treningowego T . Zacznij od kompleksów najbardziej ogólnych, specjalizuj aż nie pozostanie żaden z niewłaściwej klasy. Stosuj szukanie wiązką (szerokość m1 jest par. programu). Używaj funkcji heurystycznej by wybrać m najlepszych kompleksów (przycinanie gwiazdy). F. heurystyczna: liczba poprawnie pokrytych, preferencje dla prostszych kompleksów (mniej atrybutów) itp.

AQ - algorytm Wybierz ziarno xz - przykład ze zbioru treningowego T nie pokryty przez żadną regułę. Utwórz gwiazdę jako zbiór m najlepszych, maksymalnie ogólnych kompleksów: 2.1 Inicjalizacja S = <?,?,...,?> 2.2 Powtarzaj aż S nie będzie pokrywać żadnego przykładu z x  T o C(xz) C(x). a) wybierz xn pokryty przez S dla którego C(xz)C(xn) b) generuj częściową gwiazdę S’, pokrywającą xz ale nie xn c) S <= S  S’ d) usuń z S kompleksy bardziej szczegółowe niż istniejące; pozostaw najlepszych m kompleksów w gwieździe.

AQ - ocena Przykład działania: Cichosz Podstawowy algorytm AQ: Nie radzi sobie z szumem; Przetrenowuje się na realnych danych (może działać dobrze na sztucznych). Liczne udoskonalenia: Przycinanie reguł: zamiana selektorów na ? AQ11 (1978) - wybór reprezentatywnych przykładów, umożliwia uczenie się dużych zbiorów danych. AQ18 - dane niekompletne i niepoprawne. Trudno znaleźć wyniki AQ dla znanych zbiorów. Brakuje naturalnej dyskretyzacji dla ciągłych danych

CN2 Clark, Niblett (1989) Podobny do AQ, ale kompleksy nie muszą być dokładne. Format reguł: IF (Warunki) THEN [p(C1), p(C2), ... p(Cn)] Pokrywaj tylko przykłady jeszcze nie uwzględniane. Efekt: hierarchiczna postać reguł. Zacznij od kompleksów najbardziej ogólnych. Stosuj szukanie wiązką najlepszych kompleksów. Używaj funkcji heurystycznej by wybrać m najlepszych kompleksów.

CN2 - algorytm S - zbiór wszystkich kompleksów atomowych. Wybór najlepszego kompleksu: inicjalizacja S = <?,?,...,?> oraz p* = <?,?,...,?> Powtarzaj dopóki S   S’ := S  S Usuń z S’ każdy kompleks sprzeczny i te, które są w S. Dla każdego p  S’ jeśli p jest statystycznie lepszy niż p* (ocena za pomocą f. heurystycznej) przyjmij p* = p Pozostaw w S’ nie więcej niż m najlepszych kompleksów. S = S’ Zwróć kompleks p*

CN2 - heurystyki CN2 - dobry kompleks, jeśli mało zróżnicowane kategorie. Minimalizacja entropii |P| - l. wszystkich pokrywanych przykładów, nie pokrytych przez wcześniejsze reguły. |Pc|- l. pokrywanych przykładów z klasy c. Statystycznie znaczące różnice gdy rozkład odległości między Pc i Rc jest odmienny: gdzie R to przykłady jeszcze nie pokryte; w przybliżeniu jest to rozkład 2 o |C|-1 stopniach swobody.

CN2 - wariant nieuporządkowany Wersja CN2 (Clark, Boswell 1991) dająca reguły nieuporządkowane w postaci: Klasa Ci Jeśli Warunki Uporządkowana sekwencja klas Dla każdej klasy Ci szukaj najlepszej reguły pokrywającej jak najwięcej przykładów z Ci jeśli znaleziona reguła (szukanie wiązką, od ogólnych do szczegółowych) jest dostatecznie dokładna usuń pokryte przykłady ze zbioru treningowego dodaj regułę do zbioru reguł dla klasy Ci skończ jeśli wszystkie przypadki pokryte lub osiągnięto wymaganą dokładność zbioru reguł Do oceny stosowane są wszystkie reguły, głosowanie większościowe Jeśli żadna reguła się nie stosuje to klasa domyślna.

Indukcja i drzewa decyzji Pokrycia - podział na hiperprostopadłościany, ale nie w wyniku dzielenia, tylko nakrywania. AQ, CN2 ID3/C4.5/CART CN2 - zbliżone rezultaty do drzew decyzji. Statlog - CN2 raz 1, raz 2, raz 3, dwa razy 5. Inne reguły: associatywne, klasą może być dowolny atrybut.

Koniec wykładu 25 Dobra jeszcze nie noc !