Ulepszenia metody Eigenfaces Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Plan wykładu Eigenfaces – główne wady Wykorzystanie topografii twarzy Linear Discriminant Analysis Fisherfaces Bayesian Matching Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Główne wady Eigenfaces Brak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi „Większość różnic pomiędzy obrazami twarzy jest spowodowana zmiennymi warunkami oświetleniowymi” (Y.Moses, 1994) różnice mimiki Twarz traktowana jako wektor utrata informacji 2D Podejście holistyczne twarz jako niepodzielna całość Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Topografia twarzy Cechy intra- i ekstra-personalne oczy i nos usta i policzki Charakter cech, a ich lokalizacja Maska – modyfikacja ekstrakcji cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Maska „T” Sztuczna maska na nos i oczy Wartości 0 i 1 Poprawa wyników: FeretA: 813 -> 834 (3,6%) wyniki dla „czystego” EF Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Maska różnicowa Zbiory par obrazów: intra-personalne extra-personalne Uśrednienie różnic obydwu klas par: średnia różnica intra-personalna średnia różnica extra-personalna Maska – różnica średniej różnicy ekstra-personalnej i intra-personalnej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Maska dynamiczna Tworzona osobno dla każdego obrazu Wykorzystanie projekcji wstecznej: projekcja pojedynczych pikseli wartość maski odwrotnie proporcjonalna do błędu projekcji Zmniejszenie wpływu obszarów zasłoniętych Można stosować dla grup pikseli Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Przykłady... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Wagi wektorów własnych Nie zawsze związana z lokalizacją np. oświetlenie „Rzut oka” na twarze własne niosą różne rodzaje informacji (kierunki) Wektor własny, element wektora cech, funkcja porównująca Modyfikacja: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Problem rozpoznawania Definicja problemu rozpoznawania: C klas i C wektorów bazowych NC wektorów w każdej klasie klasyfikacja wszystkich wektorów Punkt wyjścia – porównanie dwóch wektorów cech Klasa własna i obca Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Błąd rozpoznania 1 Błąd pojedynczego porównania: uij – rozpoznawany wektor ui1 – wektor bazowy klasy własnej uk1 – wektor bazowy klasy obcej S – funkcja porównująca (norma L2) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Błąd rozpoznania 2 Błąd rozpoznania pojedynczego wektora: Błąd dla całej próbki: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Funkcja błędu Błąd jest funkcją maski i wag funkcja wymierna Minimalizacja funkcji znalezienie optymalnej maski i wag Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Problem dostosowania Silne dostosowanie do próbki znaczne polepszenie dla zbioru treningowego pogorszenie dla reszty Rozwiązanie: optymalizacja częściowa Dostosowanie do osób, nie obrazów możliwe usprawnienie klasyfikacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Lokalne PCA Detekcja cech charakterystycznych oczy, usta, nos Rozpoznawanie po cechach fragment obrazu twarzy różnica w normalizacji łączenie kilku lokalnych PCA (eigeneyes, eigennoses, itp.) Przestrzenie posiadają mniej wymiarów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Lokalne PCA K1 K2 K3 K4 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Tworzenie przestrzeni PCA wyznacza główne kierunki różnic Brak wykorzystania informacji o przynależności do klasy Rozwiązanie problemu: Linear Discriminant Analysis (LDA) Fisherfaces Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

PCA – przykład działania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

PCA – przykład działania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Przykład nie działania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Tak by było lepiej... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Jak działa LDA? PCA: próbka treningowa  macierz kowariancji LDA: sklasyfikowana próbka treningowa  dwie macierze kowariancji wewnątrz-klasowa między-klasowa Znalezienie bazy ortogonalnej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Macierze kowariancji Międzyklasowa CB – międzyklasowa macierz kowariancji c – liczba klas Ni – liczba elementów i-tej klasy  – obraz średni i – obraz średni i-tej klasy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Macierze kowariancji Wewnątrzklasowa CW – wewnątrzklasowa macierz kowariancji c – liczba klas Xi – zbiór obrazów i-tej klasy xk – k-ty obraz należący do i-tej klasy i – obraz średni i-tej klasy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Jak to policzyć? PCA:  - macierz złożona z wektorów własnych LDA: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Fisherfaces LDA – skomplikowane obliczenia na dużych macierzach Fisherfaces: PCA do redukcji wymiarów LDA do znalezienia optymalnej bazy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Ekstrakcja cech Fisherfaces Policzyć wektor cech za pomocą PCA na wejściu znormalizowany obraz redukcja liczby wymiarów Policzyć wektor cech za pomocą LDA na wejściu wektor cech PCA rotacja wektora cech zachowanie liczby wymiarów wektora cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Bayesian Matching Podobieństwo wektorów oparte o prawdopodobieństwo przynależności ich różnicy I – zbiór par intrapersonalnych E – zbiór par ekstrapersonalnych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Prawdopodobieństwo P(|) - prawdopodobieństwo pojawienia się różnicy w określonej przestrzeni różnic jest funkcją błędu projekcji PCA – () Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Projekcja wsteczna (przypomnienie) Wektor cech -> obraz twarzy Różnica między obrazem wejściowym a odtworzonym (błąd projekcji) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Przestrzenie różnic Dwie klasy par obrazów intra- i ekstra-personalne Obrazy będące różnicami między obrazami dwie klasy różnic Stworzenie baz ortogonalnych przestrzeni różnic za pomocą PCA Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Kwintesencja BM Rozpoznawana różnica dwóch obrazów Dual Eigenfaces Odległość różnicy od dwóch przestrzeni Metoda dość wolna różnica obrazów dla każdego porównania można zastosować inną metodę do wstępnej selekcji (wybrania n najlepszych) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Inne metody Local Feature Analysis 2D PCA, 2D LDA Independent Component Analysis Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Podsumowanie Istnieje wiele metod bazujących na Eigenfaces Ulepszanie: topologia twarzy koncentrowanie się na szczegółach klasyfikacja różnic Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006 Dziękuję za uwagę! Za tydzień – metoda EBGM Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006