Inteligencja Obliczeniowa Metody probabilistyczne. Wykład 27 Włodzisław Duch Uniwersytet Mikołaja Kopernika
Co było Odkrywanie wiedzy metodami neuronowymi Stosowanie reguł Drzewa decyzji
Co będzie Modele probabilistyczne Klasyfikator Bayes’owski Statystyczna teoria decyzji Przykład z rozkładem normalnym
Podstawy probabilistyczne Wektory XÎX należące do K klas w1 ... wK. Pk = P(wk), prawd. a priori (bezwarunkowe) wystąpienia X z klasy wk. Jeśli brakuje innych danych o obiekcie to należy stosować klasyfikator większościowy, czyli: Zwykle znane są również prawd. warunkowe: Pk(X) = P(X|C=wk) = P(X|wk), rozkład wektorów w klasie wk Prawd. łączne: P(X,wk) = P(X|wk) P(wk) Prawd. a posteriori: P(wk|X) nieznane: dane X, z jakiej klasy?
Bayes dla dwóch klas Prawd. posterioryczne (warunkowe) P(wk|X) są unormowane. Dla dwóch klas reguła Bayes’a mówi: p(X) = bezwarunkowe p. obserwacji wektora X Dla P1=2/3 i P2 =1/3 p. posterioryczne obliczone z reguły Bayesa:
Własności klasyfikatora Bayes’a Dla jednakowych P(wk) reguła Bayes’a sprowadza się do maksymalizacji p. warunkowych P(X|wk). Dla dwóch klas reguła Bayes’a wybiera klasę 1 gdy: L(X) nazywany jest ilorazem szans (likelihood ratio); Reguła Bayesa minimalizuje średnie p. błędnej klasyfikacji e.
Decyzje w 2D Dla dwóch Gaussowskich rozkładów: Granice decyzji są hiperbolami.
Statystyczna Teoria Decyzji Konsekwencje decyzji: straty, koszty lub ryzyko. Ĉ: X ® {1.. K, D, O}, procedura klasyfikacyjna D - brak zaufania do klasyfikacji (odrzucone), O - wyjątki (outliers). Ryzyko: oczekiwane straty Bezwarunkowe prawdopodobieństwo błędnej klasyfikacji klasy wk: Prawdopodobieństwo braku klasyfikacji dla wektorów z klasy wk
Ryzyko klasyfikacji Najprostsza funkcja kosztów (loss function) L(k,l), gdzie k to klasa prawdziwa a l to klasa przypisana (pomijając wyjątki) to: d - koszt braku klasyfikacji. Ryzyko klasyfikatora dla klasy k, zakładając l=K+1 jako klasę D, wynosi:
Całkowite ryzyko klasyfikatora Uśredniając po wszystkich klasach: Ryzyko warunkowe: Reguła Bayes’a: wybór klasy dla minimalnego ryzyka. Równoważna wyborowi klasy k dla której dla wszystkich jk.
Funkcje dyskryminacyjne P. posterioryczne pełnią rolę f. dyskryminacyjnych, czyli f. di(X) > dj(X) w obszarze wektorów X odpowiadającym klasie wi. Granice decyzji dla di(X) = dj(X) Dowolna monotoniczna f (dj(X)) jest równie dobra, np.: dla klas. większościowego dla MPA dla maks. szansy dla minimalnego ryzyka Dychotomizator dla pary klas:
Przesunięte rozkłady Gaussa Jeśli założyć Gaussowskie rozkłady f. dyskryminujące są kwadratowe. Przypadek najprostszy: różne średnie, ta sama wariancja Dychotomizator w tym przypadku: Po przekształceniu i uwzględnieniu jednakowych wariancji s : Granica decyzji d(X)=0 dla jednakowych p. apriorycznych jest pośrodku.
Gaussy w wielu wymiarach Ogólny rozkład Gaussa w n wymiarach: Niediagonalna macierz kowariancji obraca rozkład Gaussa. Nietrudno jest wyliczyć funkcję dyskryminującą Granica decyzji to f. drugiego stopnia w n wymiarach.
Przypadki szczególne Człon kwadratowy to odległość Mahalanobisa pomiędzy X i m Dla jednakowych macierzy kowariancji f. dyskryminująca jest liniowa. gdzie: Jeśli macierze kowariancji i p. a priori są identyczne to wystarczy: F. dyskryminujące równoważne są klasyfikatorowi minimalnoodległo-ściowemu (nie ma takich!). Jeśli macierz kowariancji jest diagonalna to
COLT, teoria uczenia COLT, Computational Learning Theory PAC, Probably Approximately Correct Rezultaty oszacowań błędu klasyfikatora dla danych testowych T o rozkładzie W; jeśli |T|>30 to z prawd. 0.95 mamy: Dla małych błędów niepewność oszacowania dla całego rozkładu z dużym prawd. zmierza do zera jak pierwiastek z e/|T| Wymiar VC (Vapnika-Chervonenkisa): charakteryzuje złożoność p-ni hipotez: VC(H) = d, l. przykładów, które można przypisać do dwóch klas na 2d sposobów, i wszystkie dają się zrealizować za pomocą hipotez H Np. dla hiperpłaszczyzny, N wymiarów, VC(H)=N+1
Koniec wykładu 27 Dobra - jeszcze nie noc !