Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 SVM cz.2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Plan wykładu Przypomnienie i demonstracja Klasyfikacja wieloklasowa Zastosowania w rozpoznawaniu twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 SVM jako klasyfikator Cel: możliwość przyporządkowania elementu do jednej z klas Dwa etapy: nauka klasyfikacja próbek Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 SVM – charakterystyka Rozwiązywanie problemów separowalnych liniowo Zwiększenie liczby wymiarów danych wejściowych Znajdowanie optymalnej hiperpłaszczyzny maksymalizacja marginesu rozdzielającego próbki Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Dodanie wymiarów Funkcja: Konieczna zamiana x(x) Wykorzystywany iloczyn skalarny Iloczyn skalarny = jądro przekształcenia Zbędna znajomość funkcji  Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Jądra przekształceń Liniowe Wielomianowe RBF (radial basis functions) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Hiperpłaszczyzna Optymalna hiperpłaszczyzna: w0 • x + b0 = 0 dla przykładu 2D jest to prosta Optymalna szerokość marginesu: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Wektory wspierające Margines: Optymalna hiperpłaszczyzna: yi – identyfikator klasy i – mnożniki Lagrange’a Problem: znaleźć i Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rezultat optymalizacji Współczynniki : niezerowe dla wektorów wspierających równe zeru dla reszty wektorów Próbka treningowa po nauce: wektory wspierające współczynniki  dla każdego wektora liczba wektorów zdecydowanie mniejsza Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Nauka 1 ... n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Klasyfikacja SVM Obliczenie y dla dowolnego wektora: xr, xs – wektory wspierające z obydwu klas Wybór klasy i moc przynależności Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Miękki margines Nauka z błędem: Minimalizacja liczby błędów Modyfikacja optymalizowanej funkcji Parametr C: 1/C – tolerancja błędu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Bez miękkiego marginesu Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Z miękkim marginesem Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Prezentacja... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Klasyfikacja wieloklasowa Przedstawienie problemu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Klasyfikacja wieloklasowa Punkt wyjścia – klasyfikacja dwuklasowa Próbka treningowa – N klas Możliwe podejścia: wykorzystanie klasy bazowej porównywanie 1 – N porównywanie 1 – 1 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Metoda klasy bazowej Jedna z klas traktowana jako klasa bazowa Klasyfikacja każdej z klas z wybraną klasą bazową Wygrywa najmocniejsza odpowiedź Klasyfikacja wieloklasowa: N – 1 klasyfikacji dwuklasowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Cechy metody Zalety: duża szybkość skuteczna dla łatwo separowalnych klas niebazowych Wady: słabe możliwości separowania klas niebazowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Porównywanie 1 – N Każda klasa porównywana z resztą Decyduje najsilniejsza odpowiedź Porównanie z metodą klasy bazowej: Bardziej uniwersalne podejście Porównywalna szybkość Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Porównywanie 1 – 1 Każda klasa porównywana z każdą Największa dokładność N(N – 1)/2 klasyfikacji dwuklasowych Niektóre porównania są nadmiarowe Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Zastosowania SVM Detekcja i weryfikacja Porównywanie wektorów cech Łączenie wyników Inne zastosowania związane z klasyfikacją wektorów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Detekcja twarzy Wykrywanie elips uogólniona Transformata Hougha zbiór kandydatów na twarze Wstępna normalizacja kandydatów Weryfikacja porównywanie obrazu ze średnim zastosowanie klasyfikatora (SVM) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Porównywanie wektorów Cel: określenie podobieństwa wektorów cech Odległość dwóch wektorów: Euklidesowa Mahalanobisa SVM określa podobieństwo: dwóch wektorów wektora będącego różnicą porównywanych wektorów K11 K21 K12 K22 ... ... K1n K2n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

K11 K12 ... Ta sama klasa K1n SVM K21 Różne klasy K22 ... K2n

K11 - K21 Ta sama klasa K12 - K22 SVM ... Różne klasy K1n - K2n

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Łączenie metod Wiele metod ekstrakcji cech K1 K1 S1 K2 K2 S2 S ... ... ... Kn Kn Sn Dwa obrazy Wektory cech Podobieństwa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 SVM i łączenie metod Klasyfikacja wektora podobieństw jądro liniowe jądro wielomianowe długi czas wykonania Wykorzystanie treningu z jądrem liniowym wagi dla poszczególnych elementów obliczanie średniej ważonej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Inne zastosowania SVM Detekcja kąta obrotu głowy Wyznaczanie kierunku padania światła Określanie pewności rozpoznania klasyfikacja wektora posortowanych podobieństw do elementów bazy Ocena jakości obrazu twarzy zastosowanie przy sekwencjach video Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Wyniki Znaczna poprawa dla metody opartej o Gabor Wavelets Brak zadowalających rezultatów dla Eigenfaces prawdopodobna przyczyna: niereprezentatywna próbka Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Ograniczenia SVM Stała, stosunkowo mała liczba klas Zbiór treningowy: potrzebna duża ilość danych próbki muszą być reprezentatywne! Ciężko dobrać optymalne parametry Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 SVM i sieci neuronowe SVM: bardziej przejrzysty mechanizm większa kontrola niż w przypadku ANN implementuje podstawowe rodzaje ANN przydatny do przetwarzania obrazów ANN: więcej zastosowań możliwa realizacja sprzętowa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Podsumowanie Klasyfikacja wieloklasowa: kilka możliwości różna złożoność czasowa SVM – bardzo uniwersalny mechanizm Szerokie zastosowanie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Dziękuję za uwagę! Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006