„Piramid Match Kernel” Bartosz Niemczura 18.01.2011 Wstęp Zastosowanie rozpoznawania wzorców w nauce i technice Matematyczne sformułowanie zadania rozpoznawania wzorców Klasyfikacja metod rozpoznawania obiektów Podejście całościowe i strukturalne, problem klasteryzacji Przedstawienie niektórych wcześniejszych metod, ich efektywności oraz wad Metoda Kristena Graumana - „Piramid Match Kernel” Opis i animacja algorytmu na przykładzie jednowymiarowym Częściowe dopasowania wzorców Spełnienie warunku Mercera w celu zastosowania klasyfikatora SVM Wydajność algorytmu i dowód złożoności czasowej Wpływ szumów, zniekształceń, innych obiektów na wyniki rozpoznawania Zależność efektywności od używanej metryki oraz liczności wektorów cech Wyszukiwanie kolekcji obiektów w czasie subliniowym

Rozpoznawanie wzorca - podstawy Różnica inteligencji w ujęciu komputerowym i rzeczywistym. Rozpoznawanie wzorców: zapytania do ogromnych baz danych rozpoznawanie tekstu (znaczenie kształtu liter, ich rozmieszczenia, przecięcia linii, nachylenia, skrzyżowania) rozpoznawanie dźwięku na podstawie obrazu fal dźwiękowych rozpoznawanie obrazów w życiu codziennym (produkty, kody kreskowe, zabytki, dzieła sztuki, odciski palców) Sformułowanie matematyczne problemu A - algorytm rozpoznania I - zbiór obiektów D - rozpoznawany obiekt A(D) -> 2 ^ I

Ogólne metody Ogólne metody rozpoznawania obiektów Podejście całościowe - decydujemy czy dany obiekt należy do pewnej klasy w jednym akcie decyzyjnym. Podejście strukturalne - w rozpoznawanym obiekcie najpierw wyróżniamy określone elementy oraz ustalamy ich wzajemne relacje. problem klasteryzacji (Mamy dany zbiór obrazów, ale nie jest podzielony na klasy. Zadaniem klasteryzacji jest właśnie podział na klasy). Metody: Matching-sensitive hashing, Semi-supervised hasing Konkretne metody rozpoznawania wzorców: Złożoność O(m^3), m - liczność zbioru wektorów cech Rozpoznawanie na podstawie cech lokalnych (Hungarian Algorithm) – bez porównania częściowego Algorytmy zachłanne bez użycia jądra Mercera - brak wprowadzenia Learning Image Metrics Kullback-Leibler Divergence Based Kernel (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami p i q.).

Piramid Match Kernel Uzyskanie wartości podobieństwa poprzez aproksymację podobieństw podzbiorów wektorów różnolicznych cech poszczegolnych obszarów. Złożoność O(mL) L = log D, D - maksymalny wymiar wektora cech.

PMK + „image learning metrics” Spełnienie warunków teori Mercera SVM - Support vector machine — klasyfikator, którego nauka ma na celu wyznaczenie hiperpłaszczyzny rozdzielającej z maksymalnym marginesem przykłady należące do dwóch klas. Możliwość zastosowania istniejących technik uczenia do określania szerokości przedziałów rozpoznania jako zależnych od obiektu. Pozwala na sformuowanie własnej metryki. Obiekty mające większą wartość wzajemnego podobieństwa są w tej metryce bliżej siebie (własność klasyfikatora SVM).

Złożoność Czas subliniowy uzyskany jest dzięki funkcją haszującym i metodom klasteryzacji LSH - Locality Sensitive Hashing Funkcja haszująca opiera się na funkcji podobieństwa. Kolizja: Matching-sensitive hashing Stosujemy funkcję, która mapuje histogramy na przestrzeń wektorów cech. Dostajemy dokładniejsze porównanie dzięki funkcji: (proporcjonalność względem kąta) Semi-supervised hasing Podobieństwo wektorów jest dodatkowo ograniczone przez naszą metrykę(„learning metrics”). Kolizje są bardziej prawdopodobne jeśli mamy do czynienia z tym samym obiektem!

Eksperyment Google Goggles

Referencje Prezentacja: student.agh.edu.pl/~niemczur/PiramidMatchKernel.ppt Eksperyment Google Goggles wersja beta: http://www.google.com/support/mobile/bin/answer.py?hl=en&answer=166331 http://pl.wikipedia.org/wiki/Google_Goggles Referencje: K. Graumnan, Efficiently Searching for Similar Images. Communication of ACM June 2010, K. Grauman and T. Darrell.  The Pyramid Match Kernel: Efficient Learning with Sets of Features.  Journal of Machine Learning Research (JMLR), Grauman, K. Darell, T. The pyramid match kernel: discriminative classification with sets of image features. In Proceedings of the IEEE International Conference on Computer Vision (2005) S. Lyu. Mercer Kernels for Object Recognition with Local Features. In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, San Diego, CA, June 2005 Tadeusiewicz R., Rozpoznawanie obrazów, Warszawa : Państ. Wydaw. Naukowe, 1991.