Linear Methods of Classification T. Hastie, R. Tibshirani, J. Friedman „The Element of Statistical Learning” Chapter 4 Linear Methods of Classification

Metody klasyfikacji liniowej Wyznaczanie liniowej funkcji dyskryminacyjnej dla każdej z klas: Regresja liniowa Liniowa analiza dyskryminacyjna Regresja logistyczna Wyznaczanie liniowych hiperpłaszczyzn rozdzielających klasy: ‘Separating Hyperplanes’

Funkcja dyskryminacyjna k(x) Postać funkcji dyskryminacyjnej k(x): W zależności od modelu: regresja liniowa analiza dyskryminacyjna regresja logistyczna Hiperpłaszczyzna rozgraniczająca klasy k oraz l: Nowa obserwacja zaklasyfikowana do grupy o największej wartości k(x)

Regresja liniowa Estymacja modelu liniowego (MNK): (1) (2) Wartości funkcji dla nowej obserwacji (K wektor): (3) Reguła dyskryminacyjna: (4)

Maskowanie klas Gdy K > 2 istnieje niebezpieczeństwo maskowania klas.

Estymacja za pomocą funkcji kwadratowej, zamiast liniowej. Generalnie, dla k klas wymagany wielomian stopnia k-1. Duża złożoność obliczeniowa.

Liniowa analiza dyskryminacyjna Liniowa i kwadratowa analiza dyskryminacyjna ‘Regularized discriminant analysis’ ‘Reduced-rank linear discriminant’

Reguła Bayesa Funkcja gęstości (wiarygodność): oraz Prawdopodobieństwo a priori: oraz Prawdopodobieństwo a posteriori: (5)

Funkcja gęstości Zmienne mają łącznie wielowymiarowy rozkład normalny. (6) Wspólna macierz wariancji i kowariancji  dla wszystkich klas. (7)

Estymacja parametrów Prawdopodobieństwo a piori: (8) Wektor wartości średnich: (9) Macierz wariancji i kowariancji: (10)

Dyskryminacja liniowa a regresja Klasyfikacja binarna: hiperpłaszczyzny są równoległe. Więcej niż dwie klasy: różnica pomiędzy rozwiązaniami. Nie występuje problem maskowania klas [Hastie et al, 1994].

Dyskryminacja kwadratowa Dwa podejścia: Brak założenia o równości macierzy wariancji i kowariancji. Zwiększenie wymiaru przestrzeni cech: X1, X2  X1, X2, X1X2 , X12, X22 Podobne rezultaty.

‘Regularized discriminant analysis’ Kompromis pomiędzy dyskryminacją liniową a kwadratową [Friedman, 1989]. Postać macierzy kowariancji: (11)

‘Reduced-rank linear discriminant’ Redukcja wymiaru przestrzeni cech pozwala na lepszą identyfikację istotnych różnic między klasami. Redukcja ta jest możliwa dopóki liczba cech P  K-1. Analiza głównych składowych.

Regresja logistyczna Liniowe logarytmy ilorazów wiarygodności: (12) Rozwiązanie: (13) (14)

Estymacja parametrów  Metoda największej wiarygodności Funkcja wiarygodności: (15) Logarytm funkcji wiarygodności (względy obliczeniowe): (16) Szukamy maksimum L().

Przykład: klasyfikacja binarna Wskaźnik y = 1 dla klasy 1 oraz y = 0 dla klasy 2 Prawdopodobieństwo a posteriori: p1(x; ) = p(x;) p2(x;) = 1-p(x;) Logarytm funkcji wiarygodności: (17)

Obliczanie  (18) P+1 równań nieliniowych względem  Iteracyjna metoda wyznaczania  - algorytm Newton-Raphson: (19)

Dyskryminacja liniowa: (20) Regresja logistyczna: (21)

‘Separating Hyperplanes’ Metoda perceptronowa [Rosenblatt, 1958] ‘Optimal Separating Hyperplanes’

Metoda perceptronowa Rosenblatta Kryterium perceptronowe: Minimalizacja odległości pomiędzy źle sklasyfikowanymi obiektami a hiperpłaszczyzną. (22) Algorytm: metoda najszybszego spadku (23)

Wady Zadania liniowo separowalne: wiele rozwiązań w zależności od punktu startowego. Algorytm może zbiegać w bardzo długim czasie. Zadania nieseparowalne liniowo: algorytm nie jest zbieżny.

‘Optimal Separating Hyperplane’ Kryterium: Maksymalizacja odległości pomiędzy hiperpłaszczyzną a najbliższymi obiektami. Jedno rozwiązanie. Lepsza klasyfikacja elementów zbioru testowego.

W skrócie... Regresja liniowa i problem maskowania klas Dyskryminacja liniowa z założeniem normalnego rozkładu funkcji gęstości Regresja logistyczna ‘Separating Hyperplanes’