Inteligencja Obliczeniowa Reguły logiczne i ich stosowanie.

Slides:



Advertisements
Podobne prezentacje
Zakład Mechaniki Teoretycznej
Advertisements

Planowanie bezkolizyjnego ruchu w środowisku wielu robotów z wykorzystaniem gier niekooperacyjnych OWD
Metody numeryczne część 1. Rozwiązywanie układów równań liniowych.
Metody Sztucznej Inteligencji 2012/2013Zastosowania systemów rozmytych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Zastosowania.
Mechanizm wnioskowania rozmytego
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Inteligencja Obliczeniowa Metody oparte na podobieństwie do wzorców.
Inteligencja Obliczeniowa Sieci dynamiczne cd.
Inteligencja Obliczeniowa Indukcja reguł - modele.
Inteligencja Obliczeniowa Sieci RBF.
Inteligencja Obliczeniowa Otwieranie czarnej skrzynki.
Katedra Informatyki Stosowanej UMK
Inteligencja Obliczeniowa Drzewa Decyzji.
Katedra Informatyki Stosowanej UMK
Uczenie konkurencyjne.
Inteligencja Obliczeniowa Zbiory rozmyte, modelowanie wiedzy.
Inteligencja Obliczeniowa Sieci dynamiczne.
Inteligencja Obliczeniowa Metody probabilistyczne.
Inteligencja Obliczeniowa Systemy neurorozmyte.
Wykład 28 Włodzisław Duch Uniwersytet Mikołaja Kopernika
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Inteligencja Obliczeniowa Perceptrony
Inteligencja Obliczeniowa Feature Space Mapping.
Sztuczne sieci neuronowe
Sztuczna Inteligencja Uczenie maszynowe
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Zagadnienie niedokładności w GIS
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wykład 3 Sparametryzowane rodziny funkcji
Dzisiaj na wykładzie Regresja wieloraka – podstawy i założenia
Sztuczna Inteligencja Uczenie maszynowe
Sztuczna Inteligencja Reprezentacja wiedzy I Logika rozmyta
Inteligencja Obliczeniowa Klasteryzacja i uczenie bez nadzoru.
Model Takagi – Sugeno – Kang’a - TSK
Niepewności przypadkowe
Wykład 6 Standardowy błąd średniej a odchylenie standardowe z próby
Wykład 4 Rozkład próbkowy dla średniej z rozkładu normalnego
SZTUCZNA INTELIGENCJA ARTIFICIAL INTELLIGENCE
Korelacje, regresja liniowa
Hipotezy statystyczne
Analiza współzależności cech statystycznych
Wykład 25 Regulatory dyskretne
formalnie: Rozmyte systemy wnioskujące
II. Matematyczne podstawy MK
SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA
Ekonometryczne modele nieliniowe
WYNIKI EGZAMINU MATURALNEGO W ZESPOLE SZKÓŁ TECHNICZNYCH
Jak Jaś parował skarpetki Andrzej Majkowski 1 informatyka +
Co to jest dystrybuanta?
Zagadnienia AI wykład 2.
Zagadnienia AI wykład 5.
Elementy geometryczne i relacje
Regresja liniowa Dany jest układ punktów
Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe
Metody Sztucznej Inteligencji – technologie rozmyte i neuronowe Wnioskowanie Mamdani’ego - rozwinięcia  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii.
 Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Metody sztucznej inteligencji – Technologie rozmyte i neuronoweSystemy.
Statystyczna analiza danych
Metody sztucznej inteligencji - Technologie rozmyte i neuronowe 2015/2016 Systemy rozmyte – wnioskowanie Mamdani’ego II © Kazimierz Duzinkiewicz, dr hab.
STATYSTYKA – kurs podstawowy wykład 11
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Systemy neuronowo – rozmyte
H.L.A. Hart uważał, iż pod terminem „pozytywizm” kryje się we współczesnej literaturze brytyjskiej i amerykańskiej zbiór następujących twierdzeń:
MATEMATYCZNE MODELOWANIE PROCESÓW BIOTECHNOLOGICZNYCH
Perceptrony o dużym marginesie błędu
Metody sztucznej inteligencji
Perceptrony o dużym marginesie błędu
Inteligencja Obliczeniowa Sieci RBF.
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Zapis prezentacji:

Inteligencja Obliczeniowa Reguły logiczne i ich stosowanie. Wykład 22 Włodzisław Duch Uniwersytet Mikołaja Kopernika

Co było Neuro-fuzzy Feature Space Mapping - motywacje Funkcje transferu

Co będzie Stosowanie reguł: niepewność pomiaru. Dokładność - prostota reguł. Odrzucanie i stopień zaufania do reguł. Od danych do systemu ekspertowego.

Stosowanie reguł Dane: obarczone nieznanym błędem; zakładamy Gaussowski rozkład: x - liczba rozmyta, z Gaussowską funkcją przynależności. Zestaw reguł logicznych R zastosowany do liczb rozmytych: jeśli wykonać symulacje Monte Carlo da p(Ci|X). Analityczna ocena p(C|X) oparta jest na f. kumulującej: dokładność przybliżenia f. błędu logistyczną < 0.02

Rozmywanie reguł Reguła Ra(x) = {x>a} spełniona jest przez Gx z prawd. F. błędu jest przybliżoną f. logistyczną; odpowiada to założeniu rozkładu błędu typu s(x)(1- s(x)), dla s2=1.7 przybliża f. Gaussa z dokładnością <3.5% Różnica dwóch sigmoid, f. przynależności typu miękkiego trapezoidu. Wniosek: logika rozmyta z f. przynależności s(x) - s(x-b) jest równoważna klasycznej przy założeniu Gaussowskich niepewności rozkładu.

Optymalizacja reguł Fuzzy: duże pola recepcyjne, ocena „z grubsza”. Gx - niepewność pomiaru, małe pola recepcyjne. Minimalizacja liczby błędów dla klasyfikatora regułowego: trudna, metody niegradientowe, wolno zbieżne. Minimalizacja z uwzględnieniem niepewności: Optymalizacja gradientowa, działa nawet dla >1000 parametrów (opisujących kształt i położenie przedziałów dla przesłanek). Najprościej: wspólny parametr sx dla grupy cech. Możliwe inne funkcje błędu.

Zalety 1) Zbiór ciągłych prawd. zamiast 0,1 ocen; 2) Niesklasyfikowane wektory mają niezerowe prawd. 3) Dyspersje sx mogą być parametrami adaptacyjnymi. Obliczanie prawdopodobieństw dla wielu przesłanek. Dla koniunkcji przesłanek R=r1(x1)  r2 (x2)  .. rk (xk) jeśli ri są niezależne (ortogonalne) wystarczy iloczyn p(ri). Jeśli reguły się nakrywają nie można dodawać p bo policzymy wielokrotnie to samo. Odtworzenie symulacji Monte Carlo wymaga: (RC - reguły dla klasy C)

Odrzucanie Prostota reguł vs. dokładność. Zaufanie do reguł vs. wektory odrzucone. Zdefiniujmy macierz rozrzutu F(Ci,Cj|M) = Nij/N częstość przypisania klasy Cj do klasy Ci przez reguły M. Dla 2 klas: Wrażliwość reguł: Se=F++/(F+++F+-)[0,1] Specyficzność: Sp=F--/(F--+F-+) [0,1] Se=1 klasa - nigdy nie jest przypisywana do + Sp=1 klasa + nigdy nie jest przypisywana do - Minimalizacja l. pomyłek: możliwe wektory odrzucone, węższe przedziały. Max. liczby poprawnych wektorów.

Zastosowania Szczegółowy przykład dla danych Iris. Przykłady rzeczywistych zastosowań: Grzyby: dane czysto symboliczne. 3 Mnichów: sztuczne dane symboliczne. Dane Medyczne: Rak piersi - nawroty (Ljubliana) Rak piersi - złośliwość (Wisconsin) Badania przesiewowe tarczycy. Badania psychometryczne Dane techniczne: NASA Shuttle

Grzyby Dane z książki, w której wyraźnie napisano: „nie ma łatwego sposobu odróżnienia jadalnych od niejadalnych i trujących. 8124 przypadki, 22 cechy symboliczne, razem 118 wartości logicznych, czyli 2118=3.1035 możliwych wektorów binarnych. 2480 brakujących wartości cechy „stalk-root” 51.8% jadalnych, 48.2% niejadalnych. Grzyb jest jadalny jeśli: odor = (almond Ú anise Ú none) Ù spore-print-color = Ø green 48 błędów, 99.41% dokładności Węch - najważniejszy zmysł; Jakie receptory pozwalają odróżnić zapach anyżu i migdałów? Reguła z MLP2LN. Prosta sieć, automatyczna analiza funkcji logicznych i sprawdzania ich poprawności (program w Prologu).

Grzyby - reguły Reguły dla grzybów trujących R1) odor = Ø (almond Ú anise Ú none); 120 błędów, 98.52% R2) spore-print-color = green 48 błędów, 99.41% R3) odor = none Ù stalk-surface-below-ring = scaly Ù       stalk-color-above-ring = Ø brown 8 błędów, 99.90% R4) habitat = leaves Ùcap-color = white 0 błędów! R1 + R2 stabilne, wychodzą nawet na 10% danych; R3 i R4 można zamienić na: R'3): gill-size = narrow Ù stalk-surface-above-ring = (silky Ú scaly) R'4): gill-size = narrow Ù population = clustered Wystarczy 5 cech! 100% dokładności w testach CV. Dane całkowicie zrozumiałe.

Rak piersi - nawroty (Ljubliana) Po wycięciu guza zdarzają się nawroty: czy można je przewidzieć? 286 przypadków, 201 bez nawrotów (70.3%), 85 z nawrotami (29.7%) 9 cech symbolicznych, 2 do 13 wartości: wiek (9 przedziałów), wielkość guza (12 przedziałów), liczba guzów (13 przedziałów), złośliwość (1,2,3), kwadrant lub centrum; napromieniowanie itd. Reguła: Jeśli (l. guzów > [0,2] Ù złośliwość = 3 To nawrót ELSE brak nawrotu ma dokładność 77% na całym zbiorze; najlepsze systemy nie dają więcej niż 78% przy bardziej złożonym opisie. Cała wiedza zawarta w tej bazie to: Złośliwe raki z przerzutami dają nawroty. Problem: jak znaleźć jedną, stabilną regułę w kroswalidacji?

Budowa systemów regułowych System analizy danych i indukcji reguł pozwalający na wspomaganie decyzji - IDSS (Intelligent Decision Support System) Analiza psychometrycznych kwestionariuszy: jak zbudować system wspomagający diagnozy w oparciu o interpretację danych tekstowych?

Psychometria Test: kwestionariusz, odpowiedzi na pytania. MMPI (Minnesota Multiphasic Personality Inventory) - typowy test. Skanowanie formularzy. Odpowiedzi na 550 pytań - czyste dane. Rezultaty kombinuje się liniowo z współczynnikami ustalonymi przez psychometrów, tworząc 14 „skal”. Każda skala mierzy tendencje do oszukiwania, unikania odpowiedzi, hipochondrii, depresji, paranoi, schizofrenii itp. Interpretacji podlega „psychogram”, czyli histogram skal. Interpretacja zależy od intuicji i doświadczenia psychometry. Czy można zrobić sztucznego psychometrę? Dokładność interpretacji: < 70% zgodności pomiędzy dwoma ekspertami?

Dane do analizy. Około 1600 przypadków dla kobiet i tyle samo dla mężczyzn. 27 klas: norma, psychopatia, zespół urojeniowy, schizofrenia, paranoja, nerwica, stan maniakalny, symulacja, dyssymulacja, alkoholizm, narkomania, skłonności przestępcze, zmiany organiczne w mózgu ... Etap tworzenia reguł: przesłanki to wartości ciągłe, 14 skal. FSM, MLP2LN, drzewo decyzji - około 2-3 reguł/klasę. System Dane L. reguł Dokładność % Po rozmyciu % C 4.5 ♀ 55 93.0 93.7 ♂ 61 92.5 93.1 FSM 69 95.4 97.6 98 95.9 96.9 10-CV daje 82-85% z FSM i 79-84% z C4.5. Rozmycie poprawia wyniki dla FSM do 90-92%

Wyniki Prawdopodobieństwa przynależności do klas. Analiza dopasowania reguł i szczegółowa analiza przyczyn. Werbalne interpretacje przypadków. Prezentacja danego przypadku w relacji do pozostałych.

Koniec wykładu 22 Dobranoc !