Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowanej PŁ Kraków, październik 2003.

Podobne prezentacje


Prezentacja na temat: "Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowanej PŁ Kraków, październik 2003."— Zapis prezentacji:

1 Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowanej PŁ Kraków, październik 2003 promotor: prof. dr hab. inż. Dominik Sankowski

2 2 Klasyfikacja – ustalanie etykiet klas rozpoznawanych obiektów. Cele pracy: szybkie klasyfikatory (redukcja informacji wejściowej, efektywne struktury danych); klasyfikatory dokładne; może pewien korzystny kompromis między szybkością a jakością? Zakres pracy Klasyfikacja nadzorowana – jeśli dany jest zbiór uczący (baza wiedzy). Klasyfikacja nieparametryczna – brak apriorycznego modelu probabilistycznego. Symetryczna funkcja strat – każda pomyłka jednakowo kosztowna. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

3 3 Klasyfikatory minimalnoodległościowe: reguła k-NN, jej warianty i klasyfikatory pokrewne. Zalety k-NN: asymptotyczna optymalność; zazwyczaj dobra jakość w praktyce; prostota, podatność na modyfikacje. Wady k-NN: wolna klasyfikacja; wrażliwość na zbędne cechy; mała przestrzeń rozpatrywanych modeli. Inne typy klasyfikatorów: sieci neuronowe; drzewa decyzyjne. Klasyfikacja próbki q regułą 3-NN Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

4 4 Główne kierunki modyfikacji reguły k-NN: modyfikacja metody głosowania, np. ważona k-NN (Dudani, 1976); modyfikacja etykiet zbioru uczącego, np. rozmyta k-NN z uczeniem (Jóźwik, 1983); odrzucanie niepewnych predykcji (Tomek, 1976; Jóźwik i in., 1996); szybkie szukanie najbliższych sąsiadów (problem postawiony w: Minsky i Papert, 1969); redukcja zbioru uczącego (Hart, 1968, i ok. 30 dalszych prac); schematy równoległe (Skalak, 1997; Alpaydin, 1997); koncepcja symetrycznego sąsiedztwa (Chaudhuri, 1996; Sánchez i in., 1997). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

5 5 Tezy rozprawy doktorskiej 1.W niskich wymiarach (d 5) możliwe jest znajdowanie najbliższego sąsiada w deterministycznym subliniowym czasie w metryce miejskiej. 2.Lokalny wybór zredukowanego zbioru odniesienia prowadzi do osiągnięcia wyższej jakości klasyfikacji niż oferowana przez pojedynczy zbiór zredukowany, zwłaszcza przy bardzo wysokich wymaganiach szybkościowych nałożonych na klasyfikację. 3.Możliwe jest stworzenie równoległej sieci klasyfikatorów typu k sąsiadów, osiągającej wyższą jakość predykcji niż klasyfikator bazowy przy umiarkowanym spowolnieniu klasyfikacji, umożliwiającej ponadto, w połączeniu z koncepcją tzw. symetrycznego sąsiedztwa, projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

6 6 Szukanie najbliższego sąsiada (NNS – Nearest Neighbor Search) (Minsky i Papert, 1969) Wejście: zbiór P = {p 1,..., p n } (dany off-line) w przestrzeni X z funkcją odległości df; próbka testowa q X (prezentowana on-line). Zadanie: dokonać takiej wstępnej obróbki zbioru P, aby możliwe było szybkie znajdowanie najbliższego sąsiada q w P. Przegląd zupełny (brute force) wymaga czasu O(nd), d – wymiar przestrzeni X. Teza I Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Fakty: – niewiele alg. z subliniowym w n czasem szukania w najgorszym przypadku; – w wysokich wymiarach nadal brak dobrych algorytmów! Potrzeby: – ograniczenie z góry czasu szukania (możliwe w niskich wymiarach); – prostota!

7 7 Dobkin i Lipton (1976), Yao i Yao (1985); Agarwal i Matoušek (1992), Matoušek (1992) Clarkson (1988): wstępna obróbka szukanie NN Meiser (1993): wstępna obróbka szukanie NN Algorytm proponowany: wstępna obróbka szukanie NN k – współczynnik kompromisu Algorytmy NNS z czasem szukania subliniowym w n Teza I Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

8 8 metryka miejska (Manhattan): Kluczowa własność metryki miejskiej: dla dowolnych punktów A, B i C Teza I Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

9 9 Jedna z próbek NN(v 1 )..NN(v 4 ) jest najbliższym sasiadem q. Wierzchołek v 2 jest (przypadkowo) miejscem położenia pewnej próbki (która jest oczywiście NN tego wierzchołka). Teza I Przykład dwuwymiarowy Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

10 10 Wersja kompromisowa algorytmu Zamiast pełnego rozcięcia przestrzeni, przeprowadzamy hiperpłaszczyzny tylko co k-ty punkt z P na każdej współrzędnej (wymaga to policzenia odległości do k–1 dodatkowych punktów dla każdej współrzędnej). Teza I Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

11 11 3 wymiary, 1000 próbek w zbiorze odniesienia Wyniki testów Implementacja: C++ (g ) Testy: Celeron 533 MHz 384 MB Linux 2.4 Teza I Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

12 12 5 wymiarów, 1000 próbek w zbiorze odniesienia Teza I Wyniki testów, c.d. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

13 13 Własności proponowanego algorytmu (podsumowanie) Wady: bardzo wysokie (wykładnicze w d) koszta wstępnej obróbki praktyczne ograniczenie zastosowań do wymiarów 3–5; ograniczenie do szukania tylko jednego najbliższego sąsiada; ograniczenie do metryki miejskiej. Zalety: subliniowość w n w najgorszym przypadku; elastyczność (parametr kompromisu k); prostota. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Teza I

14 14 1-NN najprostsza i najszybsza wersja reguły k-NN Dalsze przyspieszenie klasyfikacji typu 1-NN osiągamy przy pomocy redukcji zbioru odniesienia. Najbardziej znane algorytmy redukcji zbioru odniesienia: alg. Harta (1968); alg. Gowday–Krishnay (1979); alg. Gatesa (1972); alg. Changa (1974); alg. Tomeka (1977). Przykładowa redukcja Teza II Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

15 15 Cechy algorytmu redukcji Skalaka (1994) : probabilistyczny (w klasie algorytmów typu random mutation hill climbing); redukcja do zadanej liczby próbek; nie gwarantuje zgodności zbioru zredukowanego. Procedura Skalak1(h, m 1 ): wylosuj h próbek ze zbioru odniesienia S do zbioru zredukowanego R i estymuj jakość otrzymanego zbioru; wykonaj w pętli m 1 mutacji; mutacja polega na wylosowaniu jednej próbki z R i jednej z S\R; jeśli zamiana tych próbek zmniejsza estymowany błąd klasyfikacji, to ją zaakceptuj. Teza II Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

16 16 Procedura Skalak2(h, m 1, m 2 ): wykonaj Skalak1(h, m 1 ); wykonaj w pętli m 2 mutacji polegających teraz na zmianie losowej współrzędnej (tj. cechy) losowej próbki z R o 0.5 lub –0.5; jeśli mutacja zmniejsza estymowany błąd klasyfikacji, to ją zaakceptuj. Wszystkie opisane algorytmy generują pojedynczy (globalny) zbiór zredukowany. ! Alternatywne podejście w niniejszej pracy: zbiór zredukowany wybierany kontekstowo (lokalnie) dla danej próbki. Teza II Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

17 17 Łączenie klasyfikatorów (combining classifiers) przedmiot intensywnych badań od początku lat 90. XX w. Trzy zasadniczo odmienne podejścia: głosowanie (np. większościowe) zespołu klasyfikatorów (Hansen i Salamon, 1990) ; wada: czas klasyfikacji proporcjonalny do liczby klasyfikatorów składowych; lokalny wybór klasyfikatora (Woods i in., 1997) ; wada: trudność określenia (szybkiego) kryterium wyboru klasyfikatora; klasyfikator kaskadowy (Alpaydin i Kaynak, 1998) : próbki łatwe oceniane są przez szybki klasyfikator, próbki trudniejsze przechodzą do następnych etapów (z wolniejszymi, lecz dokładniejszymi klasyfikatorami). Teza II Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

18 18 Proponujemy dwa schematy lokalnego wyboru zbioru zredukowanego dla reguły 1-NN: a) schemat z partycjonowaniem przestrzeni płaszczyznami; b) schemat z klasteryzacją zbioru odniesienia. Podział zbioru na: (a) regiony przy pomocy płaszczyzn; (b) klastry, np. metodą k średnich Teza II Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

19 19 Procedura uczenia w schemacie klasteryzacja+Skalak(L, k): podziel zbiór odniesienia na k skupisk (klastrów) przy pomocy metody k średnich (k-means); wygeneruj globalnie L zbiorów zredukowanych (procedura Skalak1 lub Skalak2); dla każdego klastra estymuj jakość klasyfikacji regułą 1-NN przy użyciu poszczególnych zb. zredukowanych. Skojarz z każdym klastrem najlepszy dla niego klasyfikator (tj. zbiór zredukowany). Procedura klasyfikacji próbki x: policz odległości od x do środków ciężkości wszystkich klastrów i wybierz klaster najbliższy zgodnie z tym kryterium; przypisz x do klasy zwracanej przez klasyfikator skojarzony z najbliższym klastrem. Teza II Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

20 20 Klasyfikator 1-NN 1 – brak redukcji; 2 – Hart; 3 – Gowda-Krishna; 4 – Skalak1; 5 – Skalak2; 6 – klasteryzacja + Skalak2. Wielkość zbioru zredukowanegoBłąd klasyfikacji % Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Wyniki testów Zbiór danych: rdzenie ferrytowe (kontrola jakości w zakładach Polfer w W-wie) Zbiory uczące po 1400 próbek, metryka miejska. Teza II

21 21 Koncepcja symetrycznego sąsiedztwa: bliskość sąsiadów; układ geometryczny sąsiadów w przestrzeni (wokół próbki testowej). Praktyczne definicje symetrycznego sąsiedztwa: Chaudhuri, 1996; Zhang i in., Reguła k-NN ignoruje aspekt położenia sąsiadów w przestrzeni. Teza III Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

22 22 Reguła k scentrowanych sąsiadów (k Nearest Centroid Neighbors, k-NCN) Sánchez i in., 1997; koncepcja NCN: Chaudhuri, 1996 Reguła k-NCN, k=3 Teza III Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

23 23 Proponujemy stochastyczną regułę k Near Surrounding Neighbors (k-NSN), która optymalizuje oba kryteria używane przez k-NCN. Algorytm k-NSN(q, k): znajdź k scentrowanych sąsiadów (NCN) n i, i=1..k, próbki q; w pętli próbuj zastępować losowego sąsiada n i losową próbką s ze zbioru odniesienia, o ile jest ona położona bliżej próbki q niż n i i jeśli środek ciężkości nowego układu sąsiadów leży bliżej q niż przed zamianą. Teza III Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

24 24 Wyniki testów zbiory danych: rdzenie ferrytowe (kontrola jakości w zakładach Polfer w W-wie) 5903 próbki, 30 cech, 8 klas; 10 losowych partycji na zb. uczący (1400 próbek) i testowy (4503 próbki); pięć zbiorów danych z University of California, Irvine (UCI) (Bupa, Glass, Iris, Pima, Wine); 5-krotna walidacja skrośna Wszystkie dane postandaryzowane, metryka miejska. Teza III Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

25 25 Zbiór Iris w rzucie dwuwymiarowym (cechy 3 i 4) Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

26 26 Błędy [%] na zbiorach UCI Teza III Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Wyniki testów, c.d. Błędy [%] na zbiorze Ferrites

27 27 Klasyfikator voting k-NN Oryginalna reguła k-NN korzysta z jednej wartości k wybieranej zwykle przy pomocy metody minus jednego elementu. Wady: estymowana optymalna wartość parametru k nie musi gwarantować najlepszej jakości w zadaniu; mała przestrzeń możliwych modeli. Proponowany klasyfikator zwiększa przestrzeń rozpatrywanych modeli i wygładza granice decyzyjne. To, iż słyszeliście jakąś rzecz nie powinno być jeszcze prawidłem waszego wierzenia; tak dalece, iż nie powinniście w nic uwierzyć nie wprawiwszy się wprzód w taki stan, jak gdybyście nigdy tego nie usłyszeli. / Pascal / Argumentowano w szeroko cytowanej pracy (Breiman, 1996), iż klasyfikatorów minimalnoodległościowych (NN) nie można pomyślnie wykorzystać w schematach sieciowych z uwagi na ich stabilność. Doprawdy..? Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Teza III

28 28 Głosowanie 3 klasyfikatorów typu k-NN Analogiczne schematy z głosowaniem zaproponowaliśmy dla reguł k-NCN i k-NSN. W przeciwieństwie do większości klasyfikatorów równoległych, strata prędkości klasyfikacji w stosunku do pojedynczego klasyfikatora jest umiarkowana (w przypadku voting k-NN zaniedbywalna). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Klasyfikator voting k-NN, c.d. Teza III

29 29 Proponowana rodzina klasyfikatorów kaskadowych Cel:Dobry kompromis między jakością a czasem klasyfikacji. Idea: Dwie fazy klasyfikacji. W pierwszej fazie klasyfikator szybszy, oparty na głosowaniu (równoległy); jako kryterium wskazujące łatwą próbkę przyjęto jednogłośną decyzję zespołu komponentów z pierwszej fazy. W drugiej fazie wolny, lecz dokładny klasyfikator (np. k-NCN, k-NSN lub ich wersje voting). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Teza III

30 30 Sumy rang klasyfikatorów na pięciu zbiorach UCI Mniejsze wartości są korzystniejsze. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Teza III

31 31 Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Podsumowanie i wnioski 1.W niskich wymiarach możliwe jest szukanie najbliższego sąsiada w czasie subliniowym w liczności zbioru w najgorszym przypadku; prezentowany algorytm dopuszcza użycie współczynnika kompromisu między szybkością szukania a kosztem wstępnej obróbki. 2.Lokalny wybór zredukowanego zbioru odniesienia oferuje wyższą jakość klasyfikacji niż klasyfikatory oparte na pojedynczym zbiorze zredukowanym (podejście klasyczne). 3.Symetryczne sąsiedztwo to nowy sposób poprawy jakości w rodzinie klasyfikatorów minimalnoodległościowych. Zaprezentowana reguła k-NSN optymalizuje oba kryteria używane w klasyfikatorze k-NCN. 4.Możliwa jest wersja reguły k-NN z wieloma wartościami k (wyższa jakość klasyfikacji za cenę minimalnego spowolnienia). 5.Koncepcje z p. 3 i 4 pozwalają na projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji.

32 32 Plany na przyszłość (m. in.): eksperymenty z doborem parametrów dla schematu z lokalnym wyborem zbioru odniesienia (metoda klasteryzacji, liczba klastrów, wielkość każdego zbioru zredukowanego); rozważenie zmiany strategii uczenia w algorytmie Skalaka; pomiar jakości poszczególnych klasyfikatorów składowych w klasyfikatorach k-NN, k-NCN i k-NSN (postrzeganych jako klasyfikatory równoległe), a także korelacji między nimi; poszerzenie zaproponowanej rodziny klasyfikatorów kaskadowych (np. wprowadzenie algorytmów trójetapowych). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

33 33 Literatura Sz. Grabowski, Fast deterministic exact nearest neighbor search in the Manhattan metric, II Konferencja Komputerowe Systemy Rozpoznawania (KOSYR 2001), Miłków k/Karpacza, maj 2001, str. 375–379. Sz. Grabowski, Experiments with the k-NCN decision rule, IX Konferencja Sieci i Systemy Informatyczne, Łódź, październik 2001, str. 307–317. Sz. Grabowski, Voting over multiple k-NN classifiers, International IEEE Conference TCSET2002, Lviv-Slavske, Ukraina, luty 2002, str. 223–225. Sz. Grabowski, Lokalny wybór zredukowanego zbioru odniesienia, Seminarium nt. Przetwarzanie i analiza sygnałów w systemach wizji i sterowania, Słok k/Bełchatowa, czerwiec 2002, mat. sem., str. 142–147. Sz. Grabowski, M. Baranowski, Implementacja algorytmu szybkiego deterministycznego szukania najbliższego sąsiada w metryce miejskiej, X Konferencja Sieci i Systemy Informatyczne, Łódź, październik 2002, str. 499–514. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

34 34 Literatura, c.d. Sz. Grabowski, A family of cascade NN-like classifiers, 7th International IEEE Conference on Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), Lviv–Slavske, Ukraina, luty 2003, str. 503–506. Sz. Grabowski, A. Jóźwik, Sample set reduction for nearest neighbor classifiers under different speed requirements, 7th International IEEE Conference on Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), Lviv–Slavske, Ukraina, luty 2003, str. 465–468. Sz. Grabowski, B. Sokołowska, Voting over multiple k-NN and k-NCN classifiers for detection of respiration pathology, III Konferencja Komputerowe Systemy Rozpoznawania (KOSYR 2003), Miłków k/Karpacza, maj 2003, str. 363–368. Sz. Grabowski, Towards decision rule based on closer symmetric neighborhood, Biocybernetics and Biomedical Engineering, Vol. 23, No. 3, lipiec 2003, str. 39–46. Sz. Grabowski, A. Jóźwik, C.-H. Chen, Nearest neighbor decision rule for pixel classification in remote sensing, rozdział monografii Frontiers of Remote Sensing Info Processing, ed. S. Patt, World Scientific Publishing Co. Pte. Ltd., Singapur, lipiec Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

35 35 Część prac wykonywanych było w ramach grantu NATO dotyczącego analizy zdjęć lotniczych (remote sensing). Kierownik: prof. C.-H. Chen z N.Dartmouth Coll., MA, USA, współwykonawcy: dr A. Jóźwik, Sz. Grabowski. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Fairhaven, czerwiec 2001

36 36

37 37 Zgodność (consistency) zbioru zredukowanego z oryginalnym zbiorem odniesienia (def.): poprawna klasyfikacja wszystkich próbek z oryginalnego zbioru. Większość algorytmów redukcji gwarantuje zgodność zbioru zredukowanego ze zbiorem oryginalnym. Czy zgodność jest dobrym kryterium? Teza II Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

38 38 Kilka faktów dotyczących NNS: ponad 30 lat badań (sformułowanie problemu: Minsky i Papert, 1969); nadal daleko do satysfakcjonujących algorytmów; niewiele algorytmów z subliniowym (w n) czasem szukania w najgorszym przypadku; przekleństwo wymiarowości (curse of dimensionality). Przybliżone szukanie najbliższego sąsiada (Approximate Nearest Neighbor Search (A-NNS)): p j – prawdziwy najbliższy sąsiad q =1 wersja oryginalna problemu (exact NNS) Obiecujące wyniki: Indyk i Motwani, 1998; Kushilevitz i in., p i jest -ANN dla q, jeżeli Teza I Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

39 39 Teza I Wyniki testów, c.d. Zbiór IRIS: 4 wymiary, 150 próbek Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

40 40 Zjawisko przeuczenia (overfitting) Którą płaszczyznę rozdzielającą klasy zbioru uczącego należy wybrać? Pojedyncza odstająca od pozostałych (ang. outlying) próbka ma znaczący wpływ na wyuczone granice decyzyjne. Płaszczyzna (b) prawdopodobnie lepiej odpowiada rozkładowi prawdopodobieństwa. Możliwe hipotezy dla tego samego zbioru Teza II Prawdziwa inteligencja polega na tym, aby wiedzieć kiedy przestać myśleć. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

41 41 Rdzenie ferrytowe: liczności zbiorów zredukowanych i błędy klasyfikacji Spostrzeżenia: najlepsza jakość przy braku redukcji; słabe wyniki Harta i G-K (kryterium zgodności wątpliwe); modyfikacja Skalaka przydatna przy agresywnej redukcji; lokalny wybór zb. zred. poprawia jakość – zwłaszcza przy bardzo ostrych wymaganiach szybkościowych; w schematach lokalnych mniejszy błąd przy silniejszej redukcji (!). Teza II Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

42 42 Schematy dekompozycji zadania wielodecyzyjnego: Jóźwik-Vernazza, 1988; Moreira-Mayoraz, Zadanie c-decyzyjne, decyzja w wyniku głosowania sieci dychotomizerów Teza III Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Schemat Moreiry-Mayoraza (Correcting Classifiers) w głosowaniu uczestniczą tylko (przypuszczalnie) adekwatne klasyfikatory składowe.

43 43 Błędy (%) metod k-NN, k-NCN i k-NSN (100, 500 i 2500 iteracji) na zbiorach UCI Odch. stand. (%) metod k-NN, k-NCN i k-NSN (100, 500 i 2500 iteracji) na zbiorach UCI Teza III Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

44 44 Dane ferrytowe. Średnia liczba najbliższych sąsiadów w obrębie promienia k-tego sąsiada NCN, k= Teza III Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej sąsiedzi k-NCN sąsiedzi k-NN

45 45 Wnioski: k-NCN i k-NSN oferują wyższą jakość klasyfikacji niż k-NN; k-NSN średnio lepsza; dekompozycja zadania wielodecyzyjnego atrakcyjną techniką poprawy jakości (schemat M-M przeważnie lepszy); warto uwzględniać nie tylko bliskość sąsiadów, ale i kształt ich układu (koncepcja symetrycznego sąsiedztwa). Teza III Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

46 46 Algorytm voting k-NN: Faza uczenia podziel L-krotnie zbiór uczący na losowe połowy; w każdym przypadku jedna połowa zbioru będzie zbiorem konstrukcyjnym, zaś druga walidacyjnym; znajdź optymalne wartości k i, i=1..L, dla każdego zbioru konstrukcyjnego z estymacją błędu na odpowiednim zbiorze walidacyjnym. Faza klasyfikacji sklasyfikuj L-krotnie próbkę testową przy użyciu reguły k i -NN, i=1..L, i otrzymaj finalną decyzję w wyniku prostego głosowania. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Teza III

47 47 Konkretne algorytmy: (5 Skalak) + k-NCN; voting k-NN + k-NCN; voting k-NN + k-NSN; voting k-NN + voting k-NCN; voting k-NN + voting k-NSN. Próbka testowa q może być poprawnie przypisana do klasy krzyżyków przez wszystkie klasyfikatory składowe k i -NN, o ile k i 3, i = 1..L Zaleta użycia metody voting k-NN w pierwszej fazie klasyfikatora kaskadowego Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Teza III

48 48 Konkretne algorytmy: (5 Skalak) + k-NCN; voting k-NN + k-NCN; voting k-NN + k-NSN; voting k-NN + voting k-NCN; voting k-NN + voting k-NSN. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Teza III

49 49 Plany na przyszłość (m. in.): eksperymentować z doborem parametrów dla schematu z lokalnym wyborem zbioru odniesienia (metoda klasteryzacji, liczba klastrów, wielkość każdego zbioru zredukowanego); rozważyć zmianę strategii uczenia w algorytmie Skalaka. Oryginalny algorytm genetyczny, z racji stosowania tylko jednego operatora genetycznego (mutacja), może mieć trudności z wyjściem z lokalnego minimum; zmierzyć jakość poszczególnych klasyfikatorów składowych w klasyfikatorach k-NN, k-NCN i k-NSN (postrzeganych jako klasyfikatory równoległe), a także korelację między nimi; zaimplementować brakujące połączenia opisywanych schematów z algorytmami dekompozycyjnymi dla zadań wielodecyzyjnych. Rozważyć użycie selekcji cech dla podzadań; przeanalizować skuteczność techniki voting k-NN przy różnych liczebnościach zespołu komponentów i różnych metodach podziału zbioru uczącego na część konstrukcyjną i walidacyjną. Wziąć pod uwagę możliwy schemat z ważonym głosowaniem, np. w duchu idei Grossmana i Williamsa (1999) dla schematu bagging. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

50 50 Zbiory UCI Zbiory należą do repozytorium Uniwersytetu Kalifornijskiego w Irvine (Machine Learning Repository, University of California, Irvine) (Merz i Murphy, 1996) i są powszechnie wykorzystywane w literaturze przedmiotu. Bupa zbiór dotyczący wykrywania schorzeń wątroby w populacji męskiej związanych z nadużywaniem alkoholu. Pięć pierwszych cech to wyniki testów krwi, natomiast ostatnia cecha to liczba jednostek alkoholu przyjmowanych średnio w ciągu doby przez badanego mężczyznę. Glass zbiór próbek różnych rodzajów szkła (okienne, samochodowe etc.), identyfikowanych na podstawie zawartości określonych pierwiastków chemicznych (m. in. krzemu, sodu i wapnia). Zbiór zgromadzony przez kryminologów z Home Office Forensic Science Service w Reading w Wielkiej Brytanii. Iris zbiór próbek trzech podgatunków kosaćca, klasyfikowanych na podstawie czterech geometrycznych cech (długość i szerokość liścia oraz długość i szerokość płatka rośliny). Zbiór został spopularyzowany przez Fishera (1936). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

51 51 Zbiory UCI, c.d. Pima zbiór odnoszący się do zadania rozpoznania symptomów cukrzycy w oparciu o kryteria przyjęte przez Światową Organizację Zdrowia (WHO). Dane zostały zgromadzone na podstawie badań populacji Indianek z plemienia Pima (okolice Phoenix w Arizonie, USA). Wine zbiór dotyczący rozpoznania jednego z trzech gatunków win włoskich na podstawie cech wyekstrahowanych w wyniku analizy chemicznej. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

52 52 Inne zbiory Ferrites zbiór dotyczący kontroli jakości rdzeni ferrytowych, które były produkowane w zakładach Polfer w Warszawie. Obraz danego rdzenia analizowany był piksel po pikslu, a zatem obiektami tworzącymi zbiór są pojedyncze piksle obrazu powierzchni rdzenia. Wyróżnione klasy stwierdzają, czy dany piksel należy do dobrej (nieuszkodzonej) części rdzenia, do tła, czy też do jednego z sześciu rodzajów defektów. Cechy opisujące każdy piksel wyekstrahowane są z jego sąsiedztwa (histogram jasności i momenty różnych stopni). Cechy zostały dobrane w taki sposób, aby ich wartości w niewielkim tylko stopniu zmieniały się przy obrotach danego rdzenia ferrytowego. Dokładny opis zbioru zawiera praca (Nieniewski i in., 1999). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

53 53 Inne zbiory, c.d. Remotes zbiór dotyczący detekcji obiektów (pól upraw) na zdjęciach lotniczych wykonanych w rejonie Feltwell w Wielkiej Brytanii. Rozróżniane klasy to: pole uprawne marchwi, ziemniaka, buraka cukrowego, pszenicy oraz ścierń. Cechy opisujące obiekty pozyskiwane były z dwóch sensorów: optycznego i radarowego. Zbiór ten opisany został bardziej szczegółowo w pracach (Roli, 1996) i (Grabowski i in., 2003). Dane niniejsze wykorzystywane były w grancie NATO nr PST.CLG (2001–2002) dotyczącym zastosowań nieparametrycznych metod rozpoznawania obrazów w aplikacjach remote sensing, którego kierownikiem był prof. C.-H. Chen z N. Dartmouth Coll., MA, USA, zaś współwykonawcami dr Adam Jóźwik i autor niniejszej rozprawy. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

54 54 zbiór danychliczba klasliczba cechliczba próbek Bupa Glass Iris Pima Wine Ferrites FerritesOld RB8.PAT Remotes Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Charakterystyka użytych zbiorów danych

55 55 głosowanie większościowe klasyfikator 1klasyfikator 2klasyfikator 3klasyfikator 4klasyfikator 5 decyzja końcowa Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Realizacja funkcji XOR przy pomocy sieci klasyfikatorów z prostym głosowaniem

56 56 TEZA 2 Podsumowanie i wnioski 1.W niskich wymiarach możliwe jest szukanie najbliższego sąsiada w czasie subliniowym w liczności zbioru w najgorszym przypadku; prezentowany algorytm dopuszcza użycie współczynnika kompromisu między szybkością szukania a kosztem wstępnej obróbki. 2.Lokalny wybór zredukowanego zbioru odniesienia oferuje wyższą jakość klasyfikacji niż klasyfikatory oparte na pojedynczym zbiorze zredukowanym (podejście klasyczne). 3.Symetryczne sąsiedztwo to nowy sposób poprawy jakości w rodzinie klasyfikatorów minimalnoodległościowych. Zaprezentowana reguła k-NSN optymalizuje oba kryteria używane w klasyfikatorze k-NCN. 4.Możliwa jest wersja reguły k-NN z wieloma wartościami k (wyższa jakość klasyfikacji za cenę minimalnego spowolnienia). 5.Koncepcje z p. 3 i 4 pozwalają na projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji. TEZA 1 Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej TEZA 1

57 57 odpowiedź D(j) poprawna (1) odpowiedź D(j) błędna (0) odpowiedź D(i) poprawna (1) ab odpowiedź D(i) błędna (0) cd a, b, c, d – prawdopodobieństwa; a+b+c+d = 1 Współczynnik Yulea: Współczynnik korelacji: wg: C.A.Shipp & L.I.Kuncheva, Relationships between combination methods and measures of diversity in combining classifiers, Information Fusion, Vol. 3, No. 2, str. 135–148.


Pobierz ppt "Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowanej PŁ Kraków, październik 2003."

Podobne prezentacje


Reklamy Google