Pobierz prezentację
Pobieranie prezentacji. Proszę czekać
OpublikowałNikifor Misiaszek Został zmieniony 11 lat temu
1
Szymon Grabowski Katedra Informatyki Stosowanej Politechniki Łódzkiej
Rozpoznawanie Obrazów Prezentacja do laboratorium z przedmiotu Rozpoznawanie Obrazów; Informatyka, studia dzienne i zaoczne Szymon Grabowski Katedra Informatyki Stosowanej Politechniki Łódzkiej Łódź, 2003
2
Podstawowe zagadnienia rozpoznawania obrazów:
klasyfikacja – ustalanie dyskretnych etykiet klas rozpoznawanych obiektów; regresja – ustalanie etykiet klas rozpoznawanych obiektów w dziedzinie ciągłej. Przy klasyfikacji zakładamy brak relacji porządku dla zbioru etykiet klas. Sz.Grabowski, Rozpoznawanie Obrazów
3
Sz.Grabowski, Rozpoznawanie Obrazów
Rozróżniamy między klasyfikacją nadzorowaną (supervised classification) i nienadzorowaną (unsupervised classification). Klasyfikacja nadzorowana: etykiety klas nieznanych obiektów odgaduje się na podstawie zbioru obiektów o znanych etykietach; tj. zbioru uczącego (training set, learning set). Klasyfikacja nienadzorowana: zbiór uczący nie jest dany. Zadanie: rozdzielenie zbioru obiektów na dwa lub więcej podzbiorów; obiekty w obrębie pojedynczego podzbioru powinny być możliwie podobne (w przestrzeni zadanych cech i w sensie określonej metryki lub miary podobieństwa). Sz.Grabowski, Rozpoznawanie Obrazów
4
Zastosowania: Klasyfikacja nienadzorowana:
segmentacja obiektów w obrazach 2- i 3-wymiarowych; kategoryzacja dokumentów tekstowych, np. na potrzeby wyszukiwarek sieciowych; automatyczne grupowanie słów o wspólnym rdzeniu. Klasyfikacja nadzorowana: wspomaganie diagnostyki medycznej; kontrola jakości artykułów przemysłowych; detekcja obiektów na zdjęciach satelitarnych i lotniczych (remote sensing); rozpoznawanie pisma maszynowego i ręcznego (Optical Character Recognition, OCR). Sz.Grabowski, Rozpoznawanie Obrazów
5
Przykładowe zadania rozpoznawania
Przykład z prezentacji (Cunningham, 2001). 2 klasy (jabłka i gruszki), 10 obiektów w zbiorze uczącym, 6 cech (5 liczbowych, jedna symboliczna). Potrzebna reguła decyzyjna ustalająca klasę obiektu w wierszu na dole. Sz.Grabowski, Rozpoznawanie Obrazów
6
Zjawisko przeuczenia:
małe błędy na zbiorze uczącym NIE przekładają się na porównywalnie małe błędy na zbiorze testowym (inaczej: słaba generalizacja). Rys. z pracy (Jain i in., 2000). Rozbieżność między błędem estymowanym w czasie uczenia sieci neuronowej a błędem na zbiorze testowym. Sz.Grabowski, Rozpoznawanie Obrazów
7
Podstawowe rodziny klasyfikatorów
Sieci neuronowe (neural networks) Zalety: – zwykle duża szybkość klasyfikacji; – elastyczność (duża przestrzeń rozpatrywanych modeli); – stosunkowo duża odporność na zbędne cechy. Wady: – powolne uczenie; – kryterium średniego błędu kwadratowego (w pełni adekwatne tylko w niektórych problemach); – znaczące niebezpieczeństwo przeuczenia. Sz.Grabowski, Rozpoznawanie Obrazów
8
Podstawowe rodziny klasyfikatorów, c.d.
Drzewa decyzyjne (decision trees) Zalety: – często duża szybkość klasyfikacji; – prostota ogólnej koncepcji; – niewrażliwość na skalowanie cech; – względna odporność na zbędne cechy. Wady: – trudność w aproksymacji prostych, lecz nierównolegle do osi ułożonych granic decyzyjnych; – niestabilność (małe zmiany na wejściu powodują duże zmiany w strukturze drzewa); – problematyczna obsługa brakujących wartości cech. Sz.Grabowski, Rozpoznawanie Obrazów
9
Podstawowe rodziny klasyfikatorów, c.d.
Klasyfikatory minimalnoodległościowe (nearest neighbor classifiers) Zalety (oryginalnej reguły k-NN): – asymptotyczna optymalność; – wysoka jakość klasyfikacji w praktyce; – prostota, podatność na liczne modyfikacje. Wady (oryginalnej reguły k-NN): – wolna klasyfikacja; – wrażliwość na zbędne cechy; – mała przestrzeń rozpatrywanych modeli. Klasyfikacja próbki q regułą 3-NN Sz.Grabowski, Rozpoznawanie Obrazów
10
Podstawowe kryteria oceny klasyfikatorów:
jakość klasyfikacji; szybkość klasyfikacji; szybkość uczenia; zrozumiałość wygenerowanego modelu dla człowieka. Podstawowe zagadnienia badawcze: konstrukcja możliwie dokładnych klasyfikatorów; redukcja zbioru odniesienia; selekcja cech; topologia i dobór komponentów w klasyfikatorach o strukturze sieciowej; dobór metryki. Sz.Grabowski, Rozpoznawanie Obrazów
11
Sz.Grabowski, Rozpoznawanie Obrazów
Jak mierzyć jakość klasyfikacji? 1. Metoda resubstytucji (resubstitution method) — cały dany zbiór jest używany zarówno do uczenia, jak i do testowania Wada: zawyżone (zbyt optymistyczne) wyniki. 2. Metoda wydzielania (holdout method) — losowa połowa zbioru służy do konstrukcji klasyfikatora, a druga połowa do jego testowania. Wada: pesymistyczna estymacja jakości klasyfikatora. 3. Metoda minus jednego elementu (ang. leave-one-out method) — klasyfikator generowany jest n–1 razy, tj. dla każdego (n–1)-elementowego podzbioru pełnego zbioru, podczas gdy zbiorem testowym dla każdego wygenerowanego klasyfikatora jest tylko jedna pozostała próbka. Estymacja błędu jest w tej metodzie nieobciążona (tj. sprawiedliwa), ale wariancja błędu jest znaczna; ponadto nie jest łatwo osiągnąć satysfakcjonującą szybkość działania tej metody. Sz.Grabowski, Rozpoznawanie Obrazów
12
Sz.Grabowski, Rozpoznawanie Obrazów
Jak mierzyć jakość klasyfikacji (c.d.)? 4. Metoda k-krotnej walidacji skrośnej (ang. k-fold cross validation) — kompromis pomiędzy metodą wydzielania a metodą minus jednego elementu: dostępny zbiór dzielony jest losowo na k równych podzbiorów, a następnie każda z k części jest po kolei zbiorem testowym, zaś pozostałe k–1 części zbiorem uczącym Błąd estymacji tej metody jest stosunkowo niski (generalnie tym niższy, im większe k), wariancja błędu jest niższa niż przy metodzie minus jednego elementu, zaś koszt czasowy realizacji dla praktycznych wartości k=5..10 – umiarkowany Metoda ta jest obecnie najczęściej stosowana w praktyce. Sz.Grabowski, Rozpoznawanie Obrazów
13
Dwie odmienne techniki przyspieszania klasyfikacji:
Klasyfikatory minimalnoodległościowe („najbliższy sąsiad/sąsiedzi”): wysoka jakość klasyfikacji, ale mała szybkość. Dwie odmienne techniki przyspieszania klasyfikacji: struktury danych do szybkiego szukania najbliższych sąsiadów; redukcja zbioru odniesienia. Sz.Grabowski, Rozpoznawanie Obrazów
14
Reguła k-NN, podstawowy klasyfikator minimalnoodległościowy
Uczenie: policz frakcję błędów errk przy k=1, 2, ..., n–1 najbliższych sąsiadach każdej próbki ze zbioru uczącego; remisy w głosowaniu rozstrzygaj arbitralnie; zwróć k minimalizujące opisany błąd. Klasyfikacja — analogiczna; k najbliższych sąsiadów próbki testowej szukanych jest w zbiorze uczącym. Dwie możliwe implementacje fazy klasyfikacji: „naiwna”, z przechowywaniem aktualnej listy k najbliższych sąsiadów (kosztowny najgorszy przypadek, ale szybka w praktyce), oraz optymalizująca najgorszy przypadek poprzez posortowanie (wystarcza częściowe) zbioru uczącego względem odległości do bieżącej próbki testowej. Sz.Grabowski, Rozpoznawanie Obrazów
15
Koncepcja symetrycznego sąsiedztwa:
bliskość sąsiadów; układ geometryczny sąsiadów w przestrzeni („wokół” próbki testowej). Reguła k-NN ignoruje aspekt położenia sąsiadów w przestrzeni. Praktyczne definicje symetrycznego sąsiedztwa: Chaudhuri, 1996; Zhang i in., 1997. Sz.Grabowski, Rozpoznawanie Obrazów
16
Sz.Grabowski, Rozpoznawanie Obrazów
Reguła k scentrowanych sąsiadów (k Nearest Centroid Neighbors, k-NCN) — Sánchez i in., 1997; koncepcja NCN: Chaudhuri, 1996 Reguła k-NCN, k=3 Sz.Grabowski, Rozpoznawanie Obrazów
17
Porównanie klasyfikatorów minimalnoodległościowych
Sz.Grabowski, Rozpoznawanie Obrazów
18
Redukcja zbioru odniesienia: większa szybkość klasyfikacji (zwykle regułą 1-NN), porównywalna lub nieco niższa jakość Przykład dwuklasowy: czerwone obiekty wchodzą do zbioru zredukowanego Sz.Grabowski, Rozpoznawanie Obrazów
19
Kryteria oceny algorytmów redukcji:
Szybkość klasyfikacji Pamięć dla klasyfikatora (tj. dla zbioru zredukowanego) Jakość klasyfikacji (ogólna) Jakość klasyfikacji w obecności szumu Szybkość uczenia (generacji zbioru zredukowanego) Pamięć potrzebna do uczenia Zdolność szybkiej modyfikacji zbioru zredukowanego w przypadku dynamicznym Sz.Grabowski, Rozpoznawanie Obrazów
20
Algorytm redukcji Tomeka
Do zbioru zredukowanego wchodzą obiekty: 1, 7, 5, 8 Zaleta alg. Tomeka: wysoka jakość indukowanego klasyfikatora; wada: niski stopień redukcji. Sz.Grabowski, Rozpoznawanie Obrazów
21
Sz.Grabowski, Rozpoznawanie Obrazów
Algorytm redukcji Skalaka (1994) — własności: probablistyczny (procedura klasy random mutation hill climbing); wielkość zbioru zredukowanego zadawana przez użytkownika; brak gwarancji zgodności zbioru zredukowanego ze zb. oryginalnym. Skalak(h, m): wybierz losowo bez zwracania h próbek ze zbioru odniesienia (uczącego) S; tworzą one aktualny zbiór zredukowany R; wyznacz jakość reguły 1-NN ze zbiorem R na próbkach zbioru S; wykonaj m prób mutacji: pojedyncza mutacja polega na wylosowaniu jednej próbki z R oraz jednej próbki z S\R; jeśli zamiana tych próbek poprawia estymowaną (na S) jakość klasyfikacji, to ją zaakceptuj. Sz.Grabowski, Rozpoznawanie Obrazów
Podobne prezentacje
© 2024 SlidePlayer.pl Inc.
All rights reserved.