Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Prezentacja na temat: "Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006"— Zapis prezentacji:

1 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM cz.2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Plan wykładu Przypomnienie i demonstracja Klasyfikacja wieloklasowa Zastosowania w rozpoznawaniu twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

3 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM jako klasyfikator Cel: możliwość przyporządkowania elementu do jednej z klas Dwa etapy: nauka klasyfikacja próbek Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

4 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM – charakterystyka Rozwiązywanie problemów separowalnych liniowo Zwiększenie liczby wymiarów danych wejściowych Znajdowanie optymalnej hiperpłaszczyzny maksymalizacja marginesu rozdzielającego próbki Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

5 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dodanie wymiarów Funkcja: Konieczna zamiana x(x) Wykorzystywany iloczyn skalarny Iloczyn skalarny = jądro przekształcenia Zbędna znajomość funkcji  Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

6 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Jądra przekształceń Liniowe Wielomianowe RBF (radial basis functions) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

7 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Hiperpłaszczyzna Optymalna hiperpłaszczyzna: w0 • x + b0 = 0 dla przykładu 2D jest to prosta Optymalna szerokość marginesu: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

8 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wektory wspierające Margines: Optymalna hiperpłaszczyzna: yi – identyfikator klasy i – mnożniki Lagrange’a Problem: znaleźć i Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

9 Rezultat optymalizacji
Współczynniki : niezerowe dla wektorów wspierających równe zeru dla reszty wektorów Próbka treningowa po nauce: wektory wspierające współczynniki  dla każdego wektora liczba wektorów zdecydowanie mniejsza Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

10 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Nauka 1 ... n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

11 Klasyfikacja SVM Obliczenie y dla dowolnego wektora:
xr, xs – wektory wspierające z obydwu klas Wybór klasy i moc przynależności Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

12 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Miękki margines Nauka z błędem: Minimalizacja liczby błędów Modyfikacja optymalizowanej funkcji Parametr C: 1/C – tolerancja błędu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

13 Bez miękkiego marginesu
Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

14 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Z miękkim marginesem Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

15 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Prezentacja... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

16 Klasyfikacja wieloklasowa
Przedstawienie problemu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

17 Klasyfikacja wieloklasowa
Punkt wyjścia – klasyfikacja dwuklasowa Próbka treningowa – N klas Możliwe podejścia: wykorzystanie klasy bazowej porównywanie 1 – N porównywanie 1 – 1 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

18 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Metoda klasy bazowej Jedna z klas traktowana jako klasa bazowa Klasyfikacja każdej z klas z wybraną klasą bazową Wygrywa najmocniejsza odpowiedź Klasyfikacja wieloklasowa: N – 1 klasyfikacji dwuklasowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

19 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

20 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

21 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

22 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

23 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

24 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Cechy metody Zalety: duża szybkość skuteczna dla łatwo separowalnych klas niebazowych Wady: słabe możliwości separowania klas niebazowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

25 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie 1 – N Każda klasa porównywana z resztą Decyduje najsilniejsza odpowiedź Porównanie z metodą klasy bazowej: Bardziej uniwersalne podejście Porównywalna szybkość Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

26 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

27 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Porównywanie 1 – 1 Każda klasa porównywana z każdą Największa dokładność N(N – 1)/2 klasyfikacji dwuklasowych Niektóre porównania są nadmiarowe Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

28 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Zastosowania SVM Detekcja i weryfikacja Porównywanie wektorów cech Łączenie wyników Inne zastosowania związane z klasyfikacją wektorów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

29 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Detekcja twarzy Wykrywanie elips uogólniona Transformata Hougha zbiór kandydatów na twarze Wstępna normalizacja kandydatów Weryfikacja porównywanie obrazu ze średnim zastosowanie klasyfikatora (SVM) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

30 Porównywanie wektorów
Cel: określenie podobieństwa wektorów cech Odległość dwóch wektorów: Euklidesowa Mahalanobisa SVM określa podobieństwo: dwóch wektorów wektora będącego różnicą porównywanych wektorów K11 K21 K12 K22 ... ... K1n K2n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

31 K11 K12 ... Ta sama klasa K1n SVM K21 Różne klasy K22 ... K2n

32 K11 - K21 Ta sama klasa K12 - K22 SVM ... Różne klasy K1n - K2n

33 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Łączenie metod Wiele metod ekstrakcji cech K1 K1 S1 K2 K2 S2 S ... ... ... Kn Kn Sn Dwa obrazy Wektory cech Podobieństwa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

34 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM i łączenie metod Klasyfikacja wektora podobieństw jądro liniowe jądro wielomianowe długi czas wykonania Wykorzystanie treningu z jądrem liniowym wagi dla poszczególnych elementów obliczanie średniej ważonej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

35 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Inne zastosowania SVM Detekcja kąta obrotu głowy Wyznaczanie kierunku padania światła Określanie pewności rozpoznania klasyfikacja wektora posortowanych podobieństw do elementów bazy Ocena jakości obrazu twarzy zastosowanie przy sekwencjach video Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

36 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wyniki Znaczna poprawa dla metody opartej o Gabor Wavelets Brak zadowalających rezultatów dla Eigenfaces prawdopodobna przyczyna: niereprezentatywna próbka Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

37 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Ograniczenia SVM Stała, stosunkowo mała liczba klas Zbiór treningowy: potrzebna duża ilość danych próbki muszą być reprezentatywne! Ciężko dobrać optymalne parametry Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

38 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
SVM i sieci neuronowe SVM: bardziej przejrzysty mechanizm większa kontrola niż w przypadku ANN implementuje podstawowe rodzaje ANN przydatny do przetwarzania obrazów ANN: więcej zastosowań możliwa realizacja sprzętowa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

39 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Podsumowanie Klasyfikacja wieloklasowa: kilka możliwości różna złożoność czasowa SVM – bardzo uniwersalny mechanizm Szerokie zastosowanie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

40 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Dziękuję za uwagę! Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006