Inteligencja Obliczeniowa Indukcja reguł - modele.

Slides:



Advertisements
Podobne prezentacje
METODA PODZIAŁU I OGRANICZEŃ (Branch and Bound Method)
Advertisements

Data Mining w e-commerce
Włodzisław Duch Katedra Informatyki Stosowanej,
Mechanizm wnioskowania rozmytego
ALGORYTMY GRAFOWE.
Grażyna Mirkowska PJWSTK 15 listopad 2000
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Wykład 06 Metody Analizy Programów System Hoare
Inteligencja Obliczeniowa Metody oparte na podobieństwie do wzorców.
Inteligencja Obliczeniowa Sieci RBF.
Inteligencja Obliczeniowa Otwieranie czarnej skrzynki.
Katedra Informatyki Stosowanej UMK
Inteligencja Obliczeniowa Drzewa Decyzji.
Katedra Informatyki Stosowanej UMK
Uczenie konkurencyjne.
Inteligencja Obliczeniowa Zbiory rozmyte, modelowanie wiedzy.
Inteligencja Obliczeniowa Sieci dynamiczne.
Inteligencja Obliczeniowa Metody probabilistyczne.
Inteligencja Obliczeniowa Systemy neurorozmyte.
Wykład 28 Włodzisław Duch Uniwersytet Mikołaja Kopernika
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Inteligencja Obliczeniowa Sieci o zmiennej strukturze.
Inteligencja Obliczeniowa Feature Space Mapping.
Inteligencja Obliczeniowa Indukcja reguł - przestrzenie wersji. Wykład 24 Włodzisław Duch Uniwersytet Mikołaja Kopernika.
Sztuczne sieci neuronowe
KNW- Wykład 8 Wnioskowanie rozmyte.
Sztuczna Inteligencja 2.1 Metody szukania na ślepo
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
ZŁOŻONOŚĆ OBLICZENIOWA
Sztuczna Inteligencja Reprezentacja wiedzy II Systemy produkcyjne Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch.
Zastosowanie pamięci semantycznej we wspomaganiu decyzji medycznych
Inteligencja Obliczeniowa Klasteryzacja i uczenie bez nadzoru.
Wykład 2: Upraszczanie, optymalizacja i implikacja
Instrukcje 1 Definicje wstępne Formalny opis akcji wykonywanej przez komputer nazywamy instrukcją ( statement), Każda instrukcja kończona jest średnikiem.
Klasyfikacja Obcinanie drzewa Naiwny klasyfikator Bayes’a kNN
Klasyfikacja Sformułowanie problemu Metody klasyfikacji
Algorytmy grafowe Reprezentacja w pamięci
SZTUCZNA INTELIGENCJA ARTIFICIAL INTELLIGENCE
Algorytmika w drugim arkuszu maturalnym. Standardy wymagań I. WIADOMOŚCI I ROZUMIENIE I. WIADOMOŚCI I ROZUMIENIE II.KORZYSTANIE Z INFORMACJI II.KORZYSTANIE.
Bazy Danych II prowadzący: mgr inż. Leszek Siwik
Zależności funkcyjne.
I. Informacje podstawowe
strukturalizacja powtarzalnych reguł postępowania
Metody reprezentacji wiedzy – cz. 2.
PODSTAWOWE WŁASNOŚCI PRZESTRZENI
Wykład 10 typ zbiorowy rekurencja.
DMBO Branch and bound.
SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA
III EKSPLORACJA DANYCH
Politechniki Poznańskiej
Podstawy Techniki Cyfrowej
Łódź 2008 Banki danych WYKŁAD 2 dr Łukasz Murowaniecki T-109.
ALGORYTMY I STRUKTURY DANYCH WYKŁAD 03 cd. Wyszukiwanie Grażyna Mirkowska PJWSTK, 2003/2004.
Systemy wspomagające dowodzenie twierdzeń
Metody Sztucznej Inteligencji – technologie rozmyte i neuronowe Wnioskowanie Mamdani’ego - rozwinięcia  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii.
I T P W ZPT 1 Minimalizacja funkcji boolowskich c.d. Pierwsze skuteczne narzędzie do minimalizacji wieloargumentowych i wielowyjściowych funkcji boolowskich.
Wybrane zagadnienia inteligencji obliczeniowej Zakład Układów i Systemów Nieliniowych I-12 oraz Katedra Mikroelektroniki i Technik Informatycznych proponują.
© Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania Modelowanie i podstawy identyfikacji 2015/2016 Modelowanie rozmyte – podstawy,
T ESTY JEDNOSTKOWE W C# Alicja Majka, A GENDA Wprowadzenie do środowiska Czym są testy jednostkowe i po co je stosować? XUnit, NUnit Pokrycie.
Pojęcia podstawowe c.d. Rachunek podziałów Elementy teorii grafów
GeneracjeTechnologia Architektura przetwarzania 0. Przekaźniki elektromechaniczne 1. Lampy elektronowe 2. Tranzystory 3. Układy scalone 3.5.Układy dużej.
Metody sztucznej inteligencji - Technologie rozmyte i neuronowe 2015/2016 Systemy rozmyte – wnioskowanie Mamdani’ego II © Kazimierz Duzinkiewicz, dr hab.
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Podstawowe rodzaje modeli rozmytych
Metody sztucznej inteligencji
Włodzisław Duch Katedra Informatyki Stosowanej,
Systemy Ekspertowe i Sztuczna Inteligencja trudne pytania
Sztuczna Inteligencja Gry i programy oparte na szukaniu
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Zapis prezentacji:

Inteligencja Obliczeniowa Indukcja reguł - modele. Wykład 25 Włodzisław Duch Uniwersytet Mikołaja Kopernika

Co było Reguły logiczne Drzewa decyzji Indukcja koncpcji - przestrzenie wersji

Co będzie Indukcja reguł AQ CN2

Uczenie się koncepcji Najprostsze reguły Jeśli pokrycie To konkluzja Pokrycie: najczęściej alternatywy kompleksów. Kompleks: koniunkcja selektorów < v1, v2, ... vn>. Selektor: atrybut = w (wartość); atrybut{w1, w2, ... wn,}; atrybut = ? (uniwersalny); atrybut =  (pusty). Kompleks zawierający pusty atrybut  jest pusty (sprzeczny).

Kompleksy Kompleks uniwersalny: <?,?, ... ?> Kompleks atomowy: <?, ... ?, v, ?, ...> Koniunkcja selektorów sip  siq dla kompleksów p, q:   siq =  oraz siq   =  ?  siq = siq oraz siq  ? = siq sip  siq {wip}  {wiq} (wspólne wartości) Koniunkcja kompleksów: p q = < s1p  s1q , s2p  s2q , ... snp  snq > Przecięcie zbioru kompleksów A i B: AB = {p  q | p  A, q  B}

Sekwencyjne pokrywanie Pokryj jak najwięcej przykładów z pożądanej kategorii i możliwie mało z innych kategorii. Zbiór reguł R =  Wybierz przykład x ze zbioru treningowego T. Jeśli R (x) należy do właściwej klasy wybierz następny lub zakończ jeśli nie ma więcej danych Zmodyfikuj istniejące kompleksy lub utwórz nowy p, pokrywający x i inne przypadki w okolicy x. Dodaj do R regułę IF p(x) THEN C = najczęstsza klasa wśród przykładów pokrywanych przez p.

AQ (Michalski) Popularny algorytm, rozwijany od 1969 roku, obecnie AQ-18! Strategia przeszukiwania p-ni kompleksów: Pokryj dany przykład x zwany ziarnem gwiazdy (zb. kompleksów kandydujących do reguły) i maks. dużo innych ze zbioru treningowego T . Zacznij od kompleksów najbardziej ogólnych, specjalizuj aż nie pozostanie żaden z niewłaściwej klasy. Stosuj szukanie wiązką (szerokość m1 jest par. programu). Używaj funkcji heurystycznej by wybrać m najlepszych kompleksów (przycinanie gwiazdy). F. heurystyczna: liczba poprawnie pokrytych, preferencje dla prostszych kompleksów (mniej atrybutów) itp.

AQ - algorytm Wybierz ziarno xz - przykład ze zbioru treningowego T nie pokryty przez żadną regułę. Utwórz gwiazdę jako zbiór m najlepszych, maksymalnie ogólnych kompleksów: 2.1 Inicjalizacja S = <?,?,...,?> 2.2 Powtarzaj aż S nie będzie pokrywać żadnego przykładu z x  T o C(xz) C(x). a) wybierz xn pokryty przez S dla którego C(xz)C(xn) b) generuj częściową gwiazdę S’, pokrywającą xz ale nie xn c) S <= S  S’ d) usuń z S kompleksy bardziej szczegółowe niż istniejące; pozostaw najlepszych m kompleksów w gwieździe.

AQ - ocena Przykład działania: Cichosz Podstawowy algorytm AQ: Nie radzi sobie z szumem; Przetrenowuje się na realnych danych (może działać dobrze na sztucznych). Liczne udoskonalenia: Przycinanie reguł: zamiana selektorów na ? AQ11 (1978) - wybór reprezentatywnych przykładów, umożliwia uczenie się dużych zbiorów danych. AQ18 - dane niekompletne i niepoprawne. Trudno znaleźć wyniki AQ dla znanych zbiorów. Brakuje naturalnej dyskretyzacji dla ciągłych danych

CN2 Clark, Niblett (1989) Podobny do AQ, ale kompleksy nie muszą być dokładne. Format reguł: IF (Warunki) THEN [p(C1), p(C2), ... p(Cn)] Pokrywaj tylko przykłady jeszcze nie uwzględniane. Efekt: hierarchiczna postać reguł. Zacznij od kompleksów najbardziej ogólnych. Stosuj szukanie wiązką najlepszych kompleksów. Używaj funkcji heurystycznej by wybrać m najlepszych kompleksów.

CN2 - algorytm S - zbiór wszystkich kompleksów atomowych. Wybór najlepszego kompleksu: inicjalizacja S = <?,?,...,?> oraz p* = <?,?,...,?> Powtarzaj dopóki S   S’ := S  S Usuń z S’ każdy kompleks sprzeczny i te, które są w S. Dla każdego p  S’ jeśli p jest statystycznie lepszy niż p* (ocena za pomocą f. heurystycznej) przyjmij p* = p Pozostaw w S’ nie więcej niż m najlepszych kompleksów. S = S’ Zwróć kompleks p*

CN2 - heurystyki CN2 - dobry kompleks, jeśli mało zróżnicowane kategorie. Minimalizacja entropii |P| - l. wszystkich pokrywanych przykładów, nie pokrytych przez wcześniejsze reguły. |Pc|- l. pokrywanych przykładów z klasy c. Statystycznie znaczące różnice gdy rozkład odległości między Pc i Rc jest odmienny: gdzie R to przykłady jeszcze nie pokryte; w przybliżeniu jest to rozkład 2 o |C|-1 stopniach swobody.

CN2 - wariant nieuporządkowany Wersja CN2 (Clark, Boswell 1991) dająca reguły nieuporządkowane w postaci: Klasa Ci Jeśli Warunki Uporządkowana sekwencja klas Dla każdej klasy Ci szukaj najlepszej reguły pokrywającej jak najwięcej przykładów z Ci jeśli znaleziona reguła (szukanie wiązką, od ogólnych do szczegółowych) jest dostatecznie dokładna usuń pokryte przykłady ze zbioru treningowego dodaj regułę do zbioru reguł dla klasy Ci skończ jeśli wszystkie przypadki pokryte lub osiągnięto wymaganą dokładność zbioru reguł Do oceny stosowane są wszystkie reguły, głosowanie większościowe Jeśli żadna reguła się nie stosuje to klasa domyślna.

Indukcja i drzewa decyzji Pokrycia - podział na hiperprostopadłościany, ale nie w wyniku dzielenia, tylko nakrywania. AQ, CN2 ID3/C4.5/CART CN2 - zbliżone rezultaty do drzew decyzji. Statlog - CN2 raz 1, raz 2, raz 3, dwa razy 5. Inne reguły: associatywne, klasą może być dowolny atrybut.

Koniec wykładu 25 Dobra jeszcze nie noc !