Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Rozpoznawanie Obrazów Prezentacja do laboratorium z przedmiotu Rozpoznawanie Obrazów; Informatyka, studia dzienne i zaoczne Szymon Grabowski Katedra Informatyki.

Podobne prezentacje


Prezentacja na temat: "Rozpoznawanie Obrazów Prezentacja do laboratorium z przedmiotu Rozpoznawanie Obrazów; Informatyka, studia dzienne i zaoczne Szymon Grabowski Katedra Informatyki."— Zapis prezentacji:

1 Rozpoznawanie Obrazów Prezentacja do laboratorium z przedmiotu Rozpoznawanie Obrazów; Informatyka, studia dzienne i zaoczne Szymon Grabowski Katedra Informatyki Stosowanej Politechniki Łódzkiej Łódź, 2003

2 2 Podstawowe zagadnienia rozpoznawania obrazów: klasyfikacja – ustalanie dyskretnych etykiet klas rozpoznawanych obiektów; regresja – ustalanie etykiet klas rozpoznawanych obiektów w dziedzinie ciągłej. Przy klasyfikacji zakładamy brak relacji porządku dla zbioru etykiet klas. Sz.Grabowski, Rozpoznawanie Obrazów

3 3 Rozróżniamy między klasyfikacją nadzorowaną (supervised classification) i nienadzorowaną (unsupervised classification). Klasyfikacja nadzorowana: etykiety klas nieznanych obiektów odgaduje się na podstawie zbioru obiektów o znanych etykietach; tj. zbioru uczącego (training set, learning set). Klasyfikacja nienadzorowana: zbiór uczący nie jest dany. Zadanie: rozdzielenie zbioru obiektów na dwa lub więcej podzbiorów; obiekty w obrębie pojedynczego podzbioru powinny być możliwie podobne (w przestrzeni zadanych cech i w sensie określonej metryki lub miary podobieństwa). Sz.Grabowski, Rozpoznawanie Obrazów

4 4 Zastosowania: Klasyfikacja nienadzorowana: segmentacja obiektów w obrazach 2- i 3-wymiarowych; kategoryzacja dokumentów tekstowych, np. na potrzeby wyszukiwarek sieciowych; automatyczne grupowanie słów o wspólnym rdzeniu. Klasyfikacja nadzorowana: wspomaganie diagnostyki medycznej; kontrola jakości artykułów przemysłowych; detekcja obiektów na zdjęciach satelitarnych i lotniczych (remote sensing); rozpoznawanie pisma maszynowego i ręcznego (Optical Character Recognition, OCR). Sz.Grabowski, Rozpoznawanie Obrazów

5 5 Przykładowe zadania rozpoznawania Przykład z prezentacji (Cunningham, 2001). 2 klasy (jabłka i gruszki), 10 obiektów w zbiorze uczącym, 6 cech (5 liczbowych, jedna symboliczna). Potrzebna reguła decyzyjna ustalająca klasę obiektu w wierszu na dole. Sz.Grabowski, Rozpoznawanie Obrazów

6 6 Zjawisko przeuczenia: małe błędy na zbiorze uczącym NIE przekładają się na porównywalnie małe błędy na zbiorze testowym (inaczej: słaba generalizacja). Rys. z pracy (Jain i in., 2000). Rozbieżność między błędem estymowanym w czasie uczenia sieci neuronowej a błędem na zbiorze testowym. Sz.Grabowski, Rozpoznawanie Obrazów

7 7 Podstawowe rodziny klasyfikatorów Sieci neuronowe (neural networks) Zalety: – zwykle duża szybkość klasyfikacji; – elastyczność (duża przestrzeń rozpatrywanych modeli); – stosunkowo duża odporność na zbędne cechy. Wady: – powolne uczenie; – kryterium średniego błędu kwadratowego (w pełni adekwatne tylko w niektórych problemach); – znaczące niebezpieczeństwo przeuczenia. Sz.Grabowski, Rozpoznawanie Obrazów

8 8 Podstawowe rodziny klasyfikatorów, c.d. Drzewa decyzyjne (decision trees) Zalety: – często duża szybkość klasyfikacji; – prostota ogólnej koncepcji; – niewrażliwość na skalowanie cech; – względna odporność na zbędne cechy. Wady: – trudność w aproksymacji prostych, lecz nierównolegle do osi ułożonych granic decyzyjnych; – niestabilność (małe zmiany na wejściu powodują duże zmiany w strukturze drzewa); – problematyczna obsługa brakujących wartości cech. Sz.Grabowski, Rozpoznawanie Obrazów

9 9 Podstawowe rodziny klasyfikatorów, c.d. Klasyfikatory minimalnoodległościowe (nearest neighbor classifiers) Zalety (oryginalnej reguły k-NN): – asymptotyczna optymalność; – wysoka jakość klasyfikacji w praktyce; – prostota, podatność na liczne modyfikacje. Wady (oryginalnej reguły k-NN): – wolna klasyfikacja; – wrażliwość na zbędne cechy; – mała przestrzeń rozpatrywanych modeli. Sz.Grabowski, Rozpoznawanie Obrazów Klasyfikacja próbki q regułą 3-NN

10 10 Podstawowe kryteria oceny klasyfikatorów: jakość klasyfikacji; szybkość klasyfikacji; szybkość uczenia; zrozumiałość wygenerowanego modelu dla człowieka. Podstawowe zagadnienia badawcze: konstrukcja możliwie dokładnych klasyfikatorów; redukcja zbioru odniesienia; selekcja cech; topologia i dobór komponentów w klasyfikatorach o strukturze sieciowej; dobór metryki. Sz.Grabowski, Rozpoznawanie Obrazów

11 11 Jak mierzyć jakość klasyfikacji? 1. Metoda resubstytucji (resubstitution method) cały dany zbiór jest używany zarówno do uczenia, jak i do testowania. Wada: zawyżone (zbyt optymistyczne) wyniki. 2. Metoda wydzielania (holdout method) losowa połowa zbioru służy do konstrukcji klasyfikatora, a druga połowa do jego testowania. Wada: pesymistyczna estymacja jakości klasyfikatora. 3. Metoda minus jednego elementu (ang. leave-one-out method) klasyfikator generowany jest n–1 razy, tj. dla każdego (n–1)-elementowego podzbioru pełnego zbioru, podczas gdy zbiorem testowym dla każdego wygenerowanego klasyfikatora jest tylko jedna pozostała próbka. Estymacja błędu jest w tej metodzie nieobciążona (tj. sprawiedliwa), ale wariancja błędu jest znaczna; ponadto nie jest łatwo osiągnąć satysfakcjonującą szybkość działania tej metody. Sz.Grabowski, Rozpoznawanie Obrazów

12 12 Jak mierzyć jakość klasyfikacji (c.d.)? 4. Metoda k-krotnej walidacji skrośnej (ang. k-fold cross validation) kompromis pomiędzy metodą wydzielania a metodą minus jednego elementu: dostępny zbiór dzielony jest losowo na k równych podzbiorów, a następnie każda z k części jest po kolei zbiorem testowym, zaś pozostałe k–1 części zbiorem uczącym. Błąd estymacji tej metody jest stosunkowo niski (generalnie tym niższy, im większe k), wariancja błędu jest niższa niż przy metodzie minus jednego elementu, zaś koszt czasowy realizacji dla praktycznych wartości k=5..10 – umiarkowany. Metoda ta jest obecnie najczęściej stosowana w praktyce. Sz.Grabowski, Rozpoznawanie Obrazów

13 13 Klasyfikatory minimalnoodległościowe (najbliższy sąsiad/sąsiedzi): wysoka jakość klasyfikacji, ale mała szybkość. Dwie odmienne techniki przyspieszania klasyfikacji: struktury danych do szybkiego szukania najbliższych sąsiadów; redukcja zbioru odniesienia. Sz.Grabowski, Rozpoznawanie Obrazów

14 14 Sz.Grabowski, Rozpoznawanie Obrazów Uczenie: policz frakcję błędów err k przy k=1, 2,..., n–1 najbliższych sąsiadach każdej próbki ze zbioru uczącego; remisy w głosowaniu rozstrzygaj arbitralnie; zwróć k minimalizujące opisany błąd. Klasyfikacja analogiczna; k najbliższych sąsiadów próbki testowej szukanych jest w zbiorze uczącym. Dwie możliwe implementacje fazy klasyfikacji: naiwna, z przechowywaniem aktualnej listy k najbliższych sąsiadów (kosztowny najgorszy przypadek, ale szybka w praktyce), oraz optymalizująca najgorszy przypadek poprzez posortowanie (wystarcza częściowe) zbioru uczącego względem odległości do bieżącej próbki testowej. Reguła k-NN, podstawowy klasyfikator minimalnoodległościowy

15 15 Koncepcja symetrycznego sąsiedztwa: bliskość sąsiadów; układ geometryczny sąsiadów w przestrzeni (wokół próbki testowej). Praktyczne definicje symetrycznego sąsiedztwa: Chaudhuri, 1996; Zhang i in., Reguła k-NN ignoruje aspekt położenia sąsiadów w przestrzeni. Sz.Grabowski, Rozpoznawanie Obrazów

16 16 Reguła k scentrowanych sąsiadów (k Nearest Centroid Neighbors, k-NCN) Sánchez i in., 1997; koncepcja NCN: Chaudhuri, 1996 Reguła k-NCN, k=3 Sz.Grabowski, Rozpoznawanie Obrazów

17 17 Porównanie klasyfikatorów minimalnoodległościowych Sz.Grabowski, Rozpoznawanie Obrazów

18 18 Redukcja zbioru odniesienia: większa szybkość klasyfikacji (zwykle regułą 1-NN), porównywalna lub nieco niższa jakość Przykład dwuklasowy: czerwone obiekty wchodzą do zbioru zredukowanego Sz.Grabowski, Rozpoznawanie Obrazów

19 19 Kryteria oceny algorytmów redukcji: Szybkość klasyfikacji Pamięć dla klasyfikatora (tj. dla zbioru zredukowanego) Jakość klasyfikacji (ogólna) Jakość klasyfikacji w obecności szumu Szybkość uczenia (generacji zbioru zredukowanego) Pamięć potrzebna do uczenia Zdolność szybkiej modyfikacji zbioru zredukowanego w przypadku dynamicznym Sz.Grabowski, Rozpoznawanie Obrazów

20 20 Do zbioru zredukowanego wchodzą obiekty: 1, 7, 5, 8 Algorytm redukcji Tomeka Zaleta alg. Tomeka: wysoka jakość indukowanego klasyfikatora; wada: niski stopień redukcji. Sz.Grabowski, Rozpoznawanie Obrazów

21 21 Algorytm redukcji Skalaka (1994) własności: probablistyczny (procedura klasy random mutation hill climbing); wielkość zbioru zredukowanego zadawana przez użytkownika; brak gwarancji zgodności zbioru zredukowanego ze zb. oryginalnym. Skalak(h, m): wybierz losowo bez zwracania h próbek ze zbioru odniesienia (uczącego) S; tworzą one aktualny zbiór zredukowany R; wyznacz jakość reguły 1-NN ze zbiorem R na próbkach zbioru S; wykonaj m prób mutacji: pojedyncza mutacja polega na wylosowaniu jednej próbki z R oraz jednej próbki z S\R; jeśli zamiana tych próbek poprawia estymowaną (na S) jakość klasyfikacji, to ją zaakceptuj. Sz.Grabowski, Rozpoznawanie Obrazów


Pobierz ppt "Rozpoznawanie Obrazów Prezentacja do laboratorium z przedmiotu Rozpoznawanie Obrazów; Informatyka, studia dzienne i zaoczne Szymon Grabowski Katedra Informatyki."

Podobne prezentacje


Reklamy Google