Inteligencja Obliczeniowa Reguły logiczne i ich stosowanie. Wykład 22 Włodzisław Duch Uniwersytet Mikołaja Kopernika

Co było Neuro-fuzzy Feature Space Mapping - motywacje Funkcje transferu

Co będzie Stosowanie reguł: niepewność pomiaru. Dokładność - prostota reguł. Odrzucanie i stopień zaufania do reguł. Od danych do systemu ekspertowego.

Stosowanie reguł Dane: obarczone nieznanym błędem; zakładamy Gaussowski rozkład: x - liczba rozmyta, z Gaussowską funkcją przynależności. Zestaw reguł logicznych R zastosowany do liczb rozmytych: jeśli wykonać symulacje Monte Carlo da p(Ci|X). Analityczna ocena p(C|X) oparta jest na f. kumulującej: dokładność przybliżenia f. błędu logistyczną < 0.02

Rozmywanie reguł Reguła Ra(x) = {x>a} spełniona jest przez Gx z prawd. F. błędu jest przybliżoną f. logistyczną; odpowiada to założeniu rozkładu błędu typu s(x)(1- s(x)), dla s2=1.7 przybliża f. Gaussa z dokładnością <3.5% Różnica dwóch sigmoid, f. przynależności typu miękkiego trapezoidu. Wniosek: logika rozmyta z f. przynależności s(x) - s(x-b) jest równoważna klasycznej przy założeniu Gaussowskich niepewności rozkładu.

Optymalizacja reguł Fuzzy: duże pola recepcyjne, ocena „z grubsza”. Gx - niepewność pomiaru, małe pola recepcyjne. Minimalizacja liczby błędów dla klasyfikatora regułowego: trudna, metody niegradientowe, wolno zbieżne. Minimalizacja z uwzględnieniem niepewności: Optymalizacja gradientowa, działa nawet dla >1000 parametrów (opisujących kształt i położenie przedziałów dla przesłanek). Najprościej: wspólny parametr sx dla grupy cech. Możliwe inne funkcje błędu.

Zalety 1) Zbiór ciągłych prawd. zamiast 0,1 ocen; 2) Niesklasyfikowane wektory mają niezerowe prawd. 3) Dyspersje sx mogą być parametrami adaptacyjnymi. Obliczanie prawdopodobieństw dla wielu przesłanek. Dla koniunkcji przesłanek R=r1(x1)  r2 (x2)  .. rk (xk) jeśli ri są niezależne (ortogonalne) wystarczy iloczyn p(ri). Jeśli reguły się nakrywają nie można dodawać p bo policzymy wielokrotnie to samo. Odtworzenie symulacji Monte Carlo wymaga: (RC - reguły dla klasy C)

Odrzucanie Prostota reguł vs. dokładność. Zaufanie do reguł vs. wektory odrzucone. Zdefiniujmy macierz rozrzutu F(Ci,Cj|M) = Nij/N częstość przypisania klasy Cj do klasy Ci przez reguły M. Dla 2 klas: Wrażliwość reguł: Se=F++/(F+++F+-)[0,1] Specyficzność: Sp=F--/(F--+F-+) [0,1] Se=1 klasa - nigdy nie jest przypisywana do + Sp=1 klasa + nigdy nie jest przypisywana do - Minimalizacja l. pomyłek: możliwe wektory odrzucone, węższe przedziały. Max. liczby poprawnych wektorów.

Zastosowania Szczegółowy przykład dla danych Iris. Przykłady rzeczywistych zastosowań: Grzyby: dane czysto symboliczne. 3 Mnichów: sztuczne dane symboliczne. Dane Medyczne: Rak piersi - nawroty (Ljubliana) Rak piersi - złośliwość (Wisconsin) Badania przesiewowe tarczycy. Badania psychometryczne Dane techniczne: NASA Shuttle

Grzyby Dane z książki, w której wyraźnie napisano: „nie ma łatwego sposobu odróżnienia jadalnych od niejadalnych i trujących. 8124 przypadki, 22 cechy symboliczne, razem 118 wartości logicznych, czyli 2118=3.1035 możliwych wektorów binarnych. 2480 brakujących wartości cechy „stalk-root” 51.8% jadalnych, 48.2% niejadalnych. Grzyb jest jadalny jeśli: odor = (almond Ú anise Ú none) Ù spore-print-color = Ø green 48 błędów, 99.41% dokładności Węch - najważniejszy zmysł; Jakie receptory pozwalają odróżnić zapach anyżu i migdałów? Reguła z MLP2LN. Prosta sieć, automatyczna analiza funkcji logicznych i sprawdzania ich poprawności (program w Prologu).

Grzyby - reguły Reguły dla grzybów trujących R1) odor = Ø (almond Ú anise Ú none); 120 błędów, 98.52% R2) spore-print-color = green 48 błędów, 99.41% R3) odor = none Ù stalk-surface-below-ring = scaly Ù       stalk-color-above-ring = Ø brown 8 błędów, 99.90% R4) habitat = leaves Ùcap-color = white 0 błędów! R1 + R2 stabilne, wychodzą nawet na 10% danych; R3 i R4 można zamienić na: R'3): gill-size = narrow Ù stalk-surface-above-ring = (silky Ú scaly) R'4): gill-size = narrow Ù population = clustered Wystarczy 5 cech! 100% dokładności w testach CV. Dane całkowicie zrozumiałe.

Rak piersi - nawroty (Ljubliana) Po wycięciu guza zdarzają się nawroty: czy można je przewidzieć? 286 przypadków, 201 bez nawrotów (70.3%), 85 z nawrotami (29.7%) 9 cech symbolicznych, 2 do 13 wartości: wiek (9 przedziałów), wielkość guza (12 przedziałów), liczba guzów (13 przedziałów), złośliwość (1,2,3), kwadrant lub centrum; napromieniowanie itd. Reguła: Jeśli (l. guzów > [0,2] Ù złośliwość = 3 To nawrót ELSE brak nawrotu ma dokładność 77% na całym zbiorze; najlepsze systemy nie dają więcej niż 78% przy bardziej złożonym opisie. Cała wiedza zawarta w tej bazie to: Złośliwe raki z przerzutami dają nawroty. Problem: jak znaleźć jedną, stabilną regułę w kroswalidacji?

Budowa systemów regułowych System analizy danych i indukcji reguł pozwalający na wspomaganie decyzji - IDSS (Intelligent Decision Support System) Analiza psychometrycznych kwestionariuszy: jak zbudować system wspomagający diagnozy w oparciu o interpretację danych tekstowych?

Psychometria Test: kwestionariusz, odpowiedzi na pytania. MMPI (Minnesota Multiphasic Personality Inventory) - typowy test. Skanowanie formularzy. Odpowiedzi na 550 pytań - czyste dane. Rezultaty kombinuje się liniowo z współczynnikami ustalonymi przez psychometrów, tworząc 14 „skal”. Każda skala mierzy tendencje do oszukiwania, unikania odpowiedzi, hipochondrii, depresji, paranoi, schizofrenii itp. Interpretacji podlega „psychogram”, czyli histogram skal. Interpretacja zależy od intuicji i doświadczenia psychometry. Czy można zrobić sztucznego psychometrę? Dokładność interpretacji: < 70% zgodności pomiędzy dwoma ekspertami?

Dane do analizy. Około 1600 przypadków dla kobiet i tyle samo dla mężczyzn. 27 klas: norma, psychopatia, zespół urojeniowy, schizofrenia, paranoja, nerwica, stan maniakalny, symulacja, dyssymulacja, alkoholizm, narkomania, skłonności przestępcze, zmiany organiczne w mózgu ... Etap tworzenia reguł: przesłanki to wartości ciągłe, 14 skal. FSM, MLP2LN, drzewo decyzji - około 2-3 reguł/klasę. System Dane L. reguł Dokładność % Po rozmyciu % C 4.5 ♀ 55 93.0 93.7 ♂ 61 92.5 93.1 FSM 69 95.4 97.6 98 95.9 96.9 10-CV daje 82-85% z FSM i 79-84% z C4.5. Rozmycie poprawia wyniki dla FSM do 90-92%

Wyniki Prawdopodobieństwa przynależności do klas. Analiza dopasowania reguł i szczegółowa analiza przyczyn. Werbalne interpretacje przypadków. Prezentacja danego przypadku w relacji do pozostałych.

Koniec wykładu 22 Dobranoc !