Szymon Grabowski Katedra Informatyki Stosowanej PŁ

Prezentacja na temat: "Szymon Grabowski Katedra Informatyki Stosowanej PŁ"— Zapis prezentacji:

1 Szymon Grabowski Katedra Informatyki Stosowanej PŁ
Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowanej PŁ Kraków, październik 2003 promotor: prof. dr hab. inż. Dominik Sankowski

2 Klasyfikacja – ustalanie etykiet klas rozpoznawanych obiektów.
Cele pracy: szybkie klasyfikatory (redukcja informacji wejściowej, efektywne struktury danych); klasyfikatory dokładne; może pewien korzystny kompromis między szybkością a jakością? Zakres pracy Klasyfikacja nadzorowana – jeśli dany jest zbiór uczący (baza wiedzy). Klasyfikacja nieparametryczna – brak apriorycznego modelu probabilistycznego. Symetryczna funkcja strat – każda pomyłka jednakowo kosztowna. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

3 Klasyfikatory minimalnoodległościowe: reguła k-NN, jej warianty i klasyfikatory pokrewne.
Inne typy klasyfikatorów: sieci neuronowe; drzewa decyzyjne. Zalety k-NN: asymptotyczna optymalność; zazwyczaj dobra jakość w praktyce; prostota, podatność na modyfikacje. Wady k-NN: wolna klasyfikacja; wrażliwość na zbędne cechy; mała przestrzeń rozpatrywanych modeli. Klasyfikacja próbki q regułą 3-NN Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

4 Główne kierunki modyfikacji reguły k-NN:
modyfikacja metody głosowania, np. ważona k-NN (Dudani, 1976); modyfikacja etykiet zbioru uczącego, np. rozmyta k-NN z uczeniem (Jóźwik, 1983); odrzucanie niepewnych predykcji (Tomek, 1976; Jóźwik i in., 1996); szybkie szukanie najbliższych sąsiadów (problem postawiony w: Minsky i Papert, 1969); redukcja zbioru uczącego (Hart, 1968, i ok. 30 dalszych prac); schematy równoległe (Skalak, 1997; Alpaydin, 1997); koncepcja symetrycznego sąsiedztwa (Chaudhuri, 1996; Sánchez i in., 1997). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

5 Tezy rozprawy doktorskiej
W niskich wymiarach (d  5) możliwe jest znajdowanie najbliższego sąsiada w deterministycznym subliniowym czasie w metryce miejskiej. Lokalny wybór zredukowanego zbioru odniesienia prowadzi do osiągnięcia wyższej jakości klasyfikacji niż oferowana przez pojedynczy zbiór zredukowany, zwłaszcza przy bardzo wysokich wymaganiach szybkościowych nałożonych na klasyfikację. Możliwe jest stworzenie równoległej sieci klasyfikatorów typu „k sąsiadów”, osiągającej wyższą jakość predykcji niż klasyfikator bazowy przy umiarkowanym spowolnieniu klasyfikacji, umożliwiającej ponadto, w połączeniu z koncepcją tzw. symetrycznego sąsiedztwa, projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

6 Teza I Szukanie najbliższego sąsiada (NNS – Nearest Neighbor Search) (Minsky i Papert, 1969) Wejście: zbiór P = {p1, ..., pn} (dany „off-line”) w przestrzeni X z funkcją odległości df; próbka testowa q  X (prezentowana „on-line”). Zadanie: dokonać takiej wstępnej obróbki zbioru P, aby możliwe było szybkie znajdowanie najbliższego sąsiada q w P. Przegląd zupełny (brute force) wymaga czasu O(nd), d – wymiar przestrzeni X. Fakty: – niewiele alg. z subliniowym w n czasem szukania w najgorszym przypadku; – w wysokich wymiarach nadal brak dobrych algorytmów! Potrzeby: – ograniczenie z góry czasu szukania (możliwe w niskich wymiarach); – prostota! Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

7 Algorytmy NNS z czasem szukania subliniowym w n
Teza I Algorytmy NNS z czasem szukania subliniowym w n Dobkin i Lipton (1976), Yao i Yao (1985); Agarwal i Matoušek (1992), Matoušek (1992) Clarkson (1988): wstępna obróbka szukanie NN Meiser (1993): wstępna obróbka Algorytm proponowany: wstępna obróbka k – współczynnik kompromisu Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

8 metryka miejska (Manhattan):
Teza I metryka miejska (Manhattan): Kluczowa własność metryki miejskiej: dla dowolnych punktów A, B i C Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

9 Przykład dwuwymiarowy
Teza I Przykład dwuwymiarowy Jedna z próbek NN(v1)..NN(v4) jest najbliższym sasiadem q. Wierzchołek v2 jest (przypadkowo) miejscem położenia pewnej próbki (która jest oczywiście NN tego wierzchołka). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

10 Teza I Wersja kompromisowa algorytmu Zamiast „pełnego” rozcięcia przestrzeni, przeprowadzamy hiperpłaszczyzny tylko co k-ty punkt z P na każdej współrzędnej (wymaga to policzenia odległości do k–1 dodatkowych punktów dla każdej współrzędnej). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

11 3 wymiary, 1000 próbek w zbiorze odniesienia
Teza I Wyniki testów Implementacja: C++ (g ) Testy: Celeron 533 MHz 384 MB Linux 2.4 3 wymiary, 1000 próbek w zbiorze odniesienia Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

12 5 wymiarów, 1000 próbek w zbiorze odniesienia
Teza I Wyniki testów, c.d. 5 wymiarów, 1000 próbek w zbiorze odniesienia Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

13 Własności proponowanego algorytmu (podsumowanie)
Teza I Własności proponowanego algorytmu (podsumowanie) Wady: bardzo wysokie (wykładnicze w d) koszta wstępnej obróbki — praktyczne ograniczenie zastosowań do wymiarów 3–5; ograniczenie do szukania tylko jednego najbliższego sąsiada; ograniczenie do metryki miejskiej. Zalety: subliniowość w n w najgorszym przypadku; elastyczność (parametr kompromisu k); prostota. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

14 Teza II 1-NN — najprostsza i najszybsza wersja reguły k-NN Dalsze przyspieszenie klasyfikacji typu 1-NN osiągamy przy pomocy redukcji zbioru odniesienia. Najbardziej znane algorytmy redukcji zbioru odniesienia: alg. Harta (1968); alg. Gowda’y–Krishna’y (1979); alg. Gatesa (1972); alg. Changa (1974); alg. Tomeka (1977). Przykładowa redukcja Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

15 Cechy algorytmu redukcji Skalaka (1994):
Teza II Cechy algorytmu redukcji Skalaka (1994): probabilistyczny (w klasie algorytmów typu random mutation hill climbing); redukcja do zadanej liczby próbek; nie gwarantuje zgodności zbioru zredukowanego. Procedura Skalak1(h, m1): wylosuj h próbek ze zbioru odniesienia S do zbioru zredukowanego R i estymuj jakość otrzymanego zbioru; wykonaj w pętli m1 mutacji; mutacja polega na wylosowaniu jednej próbki z R i jednej z S\R; jeśli zamiana tych próbek zmniejsza estymowany błąd klasyfikacji, to ją zaakceptuj. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

16 Procedura Skalak2(h, m1, m2):
Teza II Procedura Skalak2(h, m1, m2): wykonaj Skalak1(h, m1); wykonaj w pętli m2 mutacji polegających teraz na zmianie losowej współrzędnej (tj. cechy) losowej próbki z R o 0.5 lub –0.5; jeśli mutacja zmniejsza estymowany błąd klasyfikacji, to ją zaakceptuj. Wszystkie opisane algorytmy generują pojedynczy (globalny) zbiór zredukowany. ! Alternatywne podejście w niniejszej pracy: zbiór zredukowany wybierany kontekstowo (lokalnie) dla danej próbki. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

17 Teza II Łączenie klasyfikatorów (combining classifiers) — przedmiot intensywnych badań od początku lat 90. XX w. Trzy zasadniczo odmienne podejścia: głosowanie (np. większościowe) zespołu klasyfikatorów (Hansen i Salamon, 1990); wada: czas klasyfikacji proporcjonalny do liczby klasyfikatorów składowych; lokalny wybór klasyfikatora (Woods i in., 1997); wada: trudność określenia (szybkiego) kryterium wyboru klasyfikatora; klasyfikator kaskadowy (Alpaydin i Kaynak, 1998): próbki „łatwe” oceniane są przez szybki klasyfikator, próbki „trudniejsze” przechodzą do następnych etapów (z wolniejszymi, lecz dokładniejszymi klasyfikatorami). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

18 a) schemat z partycjonowaniem przestrzeni płaszczyznami;
Teza II Proponujemy dwa schematy lokalnego wyboru zbioru zredukowanego dla reguły 1-NN: a) schemat z partycjonowaniem przestrzeni płaszczyznami; b) schemat z klasteryzacją zbioru odniesienia. Podział zbioru na: (a) regiony przy pomocy płaszczyzn; (b) klastry, np. metodą k średnich Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

19 Procedura uczenia w schemacie klasteryzacja+Skalak(L, k):
podziel zbiór odniesienia na k skupisk (klastrów) przy pomocy metody k średnich (k-means); wygeneruj „globalnie” L zbiorów zredukowanych (procedura Skalak1 lub Skalak2); dla każdego klastra estymuj jakość klasyfikacji regułą 1-NN przy użyciu poszczególnych zb. zredukowanych. Skojarz z każdym klastrem najlepszy dla niego klasyfikator (tj. zbiór zredukowany). Teza II Procedura klasyfikacji próbki x: policz odległości od x do środków ciężkości wszystkich klastrów i wybierz klaster najbliższy zgodnie z tym kryterium; przypisz x do klasy zwracanej przez klasyfikator skojarzony z najbliższym klastrem. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

20 Wyniki testów Teza II Klasyfikator 1-NN
1 – brak redukcji; 2 – Hart; 3 – Gowda-Krishna; 4 – Skalak1; 5 – Skalak2; 6 – klasteryzacja + Skalak2. Wyniki testów Zbiór danych: rdzenie ferrytowe (kontrola jakości w zakładach Polfer w W-wie) Zbiory uczące po 1400 próbek, metryka miejska. % Wielkość zbioru zredukowanego Błąd klasyfikacji Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

21 Reguła k-NN ignoruje aspekt położenia sąsiadów w przestrzeni.
Teza III Koncepcja symetrycznego sąsiedztwa: bliskość sąsiadów; układ geometryczny sąsiadów w przestrzeni („wokół” próbki testowej). Reguła k-NN ignoruje aspekt położenia sąsiadów w przestrzeni. Praktyczne definicje symetrycznego sąsiedztwa: Chaudhuri, 1996; Zhang i in., 1997. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

22 Teza III Reguła k scentrowanych sąsiadów (k Nearest Centroid Neighbors, k-NCN) — Sánchez i in., 1997; koncepcja NCN: Chaudhuri, 1996 Reguła k-NCN, k=3 Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

23 znajdź k scentrowanych sąsiadów (NCN) ni, i=1..k, próbki q;
Teza III Proponujemy stochastyczną regułę k Near Surrounding Neighbors (k-NSN), która optymalizuje oba kryteria używane przez k-NCN. Algorytm k-NSN(q, k): znajdź k scentrowanych sąsiadów (NCN) ni, i=1..k, próbki q; w pętli próbuj zastępować losowego sąsiada ni losową próbką s ze zbioru odniesienia, o ile jest ona położona bliżej próbki q niż ni i jeśli środek ciężkości nowego układu sąsiadów leży bliżej q niż przed zamianą. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

24 Wyniki testów Teza III zbiory danych:
rdzenie ferrytowe (kontrola jakości w zakładach Polfer w W-wie) 5903 próbki, 30 cech, 8 klas; 10 losowych partycji na zb. uczący (1400 próbek) i testowy (4503 próbki); pięć zbiorów danych z University of California, Irvine (UCI) (Bupa, Glass, Iris, Pima, Wine); 5-krotna walidacja skrośna Wszystkie dane postandaryzowane, metryka miejska. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

25 Zbiór Iris w rzucie dwuwymiarowym (cechy 3 i 4)
Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

26 Wyniki testów, c.d. Teza III Błędy [%] na zbiorze Ferrites
Błędy [%] na zbiorach UCI Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

27 Klasyfikator voting k-NN
Teza III To, iż słyszeliście jakąś rzecz nie powinno być jeszcze prawidłem waszego wierzenia; tak dalece, iż nie powinniście w nic uwierzyć nie wprawiwszy się wprzód w taki stan, jak gdybyście nigdy tego nie usłyszeli. / Pascal / Argumentowano w szeroko cytowanej pracy (Breiman, 1996), iż klasyfikatorów minimalnoodległościowych (NN) nie można pomyślnie wykorzystać w schematach sieciowych z uwagi na ich stabilność. Doprawdy..? Klasyfikator voting k-NN Oryginalna reguła k-NN korzysta z jednej wartości k wybieranej zwykle przy pomocy metody minus jednego elementu. Wady: estymowana optymalna wartość parametru k nie musi gwarantować najlepszej jakości w zadaniu; mała przestrzeń możliwych modeli. Proponowany klasyfikator zwiększa przestrzeń rozpatrywanych modeli i wygładza granice decyzyjne. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

28 Klasyfikator voting k-NN, c.d.
Teza III Klasyfikator voting k-NN, c.d. Głosowanie 3 klasyfikatorów typu k-NN Analogiczne schematy z głosowaniem zaproponowaliśmy dla reguł k-NCN i k-NSN. W przeciwieństwie do większości klasyfikatorów równoległych, strata prędkości klasyfikacji w stosunku do „pojedynczego” klasyfikatora jest umiarkowana (w przypadku voting k-NN zaniedbywalna). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

29 Proponowana rodzina klasyfikatorów kaskadowych
Teza III Proponowana rodzina klasyfikatorów kaskadowych Cel: Dobry kompromis między jakością a czasem klasyfikacji. Idea: Dwie fazy klasyfikacji. W pierwszej fazie klasyfikator szybszy, oparty na głosowaniu (równoległy); jako kryterium wskazujące „łatwą” próbkę przyjęto jednogłośną decyzję zespołu komponentów z pierwszej fazy. W drugiej fazie wolny, lecz dokładny klasyfikator (np. k-NCN, k-NSN lub ich wersje voting). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

30 Sumy rang klasyfikatorów na pięciu zbiorach UCI
Teza III Sumy rang klasyfikatorów na pięciu zbiorach UCI Mniejsze wartości są korzystniejsze. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

31 Podsumowanie i wnioski
W niskich wymiarach możliwe jest szukanie najbliższego sąsiada w czasie subliniowym w liczności zbioru w najgorszym przypadku; prezentowany algorytm dopuszcza użycie współczynnika kompromisu między szybkością szukania a kosztem wstępnej obróbki. Lokalny wybór zredukowanego zbioru odniesienia oferuje wyższą jakość klasyfikacji niż klasyfikatory oparte na pojedynczym zbiorze zredukowanym (podejście klasyczne). „Symetryczne sąsiedztwo” to nowy sposób poprawy jakości w rodzinie klasyfikatorów minimalnoodległościowych. Zaprezentowana reguła k-NSN optymalizuje oba kryteria używane w klasyfikatorze k-NCN. Możliwa jest wersja reguły k-NN z wieloma wartościami k (wyższa jakość klasyfikacji za cenę minimalnego spowolnienia). Koncepcje z p. 3 i 4 pozwalają na projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

32 Plany na przyszłość (m. in.):
eksperymenty z doborem parametrów dla schematu z lokalnym wyborem zbioru odniesienia (metoda klasteryzacji, liczba klastrów, wielkość każdego zbioru zredukowanego); rozważenie zmiany strategii uczenia w algorytmie Skalaka; pomiar jakości poszczególnych klasyfikatorów składowych w klasyfikatorach k-NN, k-NCN i k-NSN (postrzeganych jako klasyfikatory równoległe), a także korelacji między nimi; poszerzenie zaproponowanej rodziny klasyfikatorów kaskadowych (np. wprowadzenie algorytmów trójetapowych). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

33 Literatura Sz. Grabowski, Fast deterministic exact nearest neighbor search in the Manhattan metric, II Konferencja „Komputerowe Systemy Rozpoznawania” (KOSYR 2001), Miłków k/Karpacza, maj 2001, str. 375–379. Sz. Grabowski, Experiments with the k-NCN decision rule, IX Konferencja „Sieci i Systemy Informatyczne”, Łódź, październik 2001, str. 307–317. Sz. Grabowski, Voting over multiple k-NN classifiers, International IEEE Conference TCSET’2002, Lviv-Slavske, Ukraina, luty 2002, str. 223–225. Sz. Grabowski, Lokalny wybór zredukowanego zbioru odniesienia, Seminarium nt. „Przetwarzanie i analiza sygnałów w systemach wizji i sterowania”, Słok k/Bełchatowa, czerwiec 2002, mat. sem., str. 142–147. Sz. Grabowski, M. Baranowski, Implementacja algorytmu szybkiego deterministycznego szukania najbliższego sąsiada w metryce miejskiej, X Konferencja „Sieci i Systemy Informatyczne”, Łódź, październik 2002, str. 499–514. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

34 Literatura, c.d. Sz. Grabowski, A family of cascade NN-like classifiers, 7th International IEEE Conference on Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), Lviv–Slavske, Ukraina, luty 2003, str. 503–506. Sz. Grabowski, A. Jóźwik, Sample set reduction for nearest neighbor classifiers under different speed requirements, 7th International IEEE Conference on Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), Lviv–Slavske, Ukraina, luty 2003, str. 465–468. Sz. Grabowski, B. Sokołowska, Voting over multiple k-NN and k-NCN classifiers for detection of respiration pathology, III Konferencja „Komputerowe Systemy Rozpoznawania” (KOSYR 2003), Miłków k/Karpacza, maj 2003, str. 363–368. Sz. Grabowski, Towards decision rule based on closer symmetric neighborhood, Biocybernetics and Biomedical Engineering, Vol. 23, No. 3, lipiec 2003, str. 39–46. Sz. Grabowski, A. Jóźwik, C.-H. Chen, Nearest neighbor decision rule for pixel classification in remote sensing, rozdział monografii „Frontiers of Remote Sensing Info Processing”, ed. S. Patt, World Scientific Publishing Co. Pte. Ltd., Singapur, lipiec 2003. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

35 Część prac wykonywanych było w ramach grantu NATO dotyczącego analizy zdjęć lotniczych (remote sensing). Kierownik: prof. C.-H. Chen z N.Dartmouth Coll., MA, USA, współwykonawcy: dr A. Jóźwik, Sz. Grabowski. Fairhaven, czerwiec 2001 Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

36

37 Czy zgodność jest „dobrym” kryterium?
Teza II Zgodność (consistency) zbioru zredukowanego z oryginalnym zbiorem odniesienia (def.): poprawna klasyfikacja wszystkich próbek z oryginalnego zbioru. Większość algorytmów redukcji gwarantuje zgodność zbioru zredukowanego ze zbiorem oryginalnym. Czy zgodność jest „dobrym” kryterium? Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

38 Kilka faktów dotyczących NNS:
Teza I Kilka faktów dotyczących NNS: ponad 30 lat badań (sformułowanie problemu: Minsky i Papert, 1969); nadal daleko do satysfakcjonujących algorytmów; niewiele algorytmów z subliniowym (w n) czasem szukania w najgorszym przypadku; „przekleństwo wymiarowości” („curse of dimensionality”). Przybliżone szukanie najbliższego sąsiada (Approximate Nearest Neighbor Search (A-NNS)): pi jest -ANN dla q, jeżeli pj – „prawdziwy” najbliższy sąsiad q =1  wersja oryginalna problemu (exact NNS) Obiecujące wyniki: Indyk i Motwani, 1998; Kushilevitz i in., 1998. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

39 Zbiór IRIS: 4 wymiary, 150 próbek
Teza I Wyniki testów, c.d. Zbiór IRIS: 4 wymiary, 150 próbek Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

40 Zjawisko przeuczenia (overfitting)
Teza II Prawdziwa inteligencja polega na tym, aby wiedzieć kiedy przestać myśleć. Zjawisko przeuczenia (overfitting) Możliwe hipotezy dla tego samego zbioru Którą płaszczyznę rozdzielającą klasy zbioru uczącego należy wybrać? Pojedyncza odstająca od pozostałych (ang. outlying) próbka ma znaczący wpływ na wyuczone granice decyzyjne. Płaszczyzna (b) prawdopodobnie lepiej odpowiada rozkładowi prawdopodobieństwa. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

41 Teza II Spostrzeżenia: najlepsza jakość przy braku redukcji;
słabe wyniki Harta i G-K (kryterium zgodności wątpliwe); modyfikacja Skalaka przydatna przy agresywnej redukcji; lokalny wybór zb. zred. poprawia jakość – zwłaszcza przy bardzo ostrych wymaganiach szybkościowych; w schematach „lokalnych” mniejszy błąd przy silniejszej redukcji (!). Rdzenie ferrytowe: liczności zbiorów zredukowanych i błędy klasyfikacji Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

42 Zadanie c-decyzyjne, decyzja w wyniku głosowania sieci dychotomizerów
Teza III Schematy dekompozycji zadania wielodecyzyjnego: Jóźwik-Vernazza, 1988; Moreira-Mayoraz, 1998. Zadanie c-decyzyjne, decyzja w wyniku głosowania sieci dychotomizerów Schemat Moreiry-Mayoraza (Correcting Classifiers) — w głosowaniu uczestniczą tylko (przypuszczalnie) adekwatne klasyfikatory składowe. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

43 Teza III Błędy (%) metod k-NN, k-NCN i k-NSN (100, 500 i 2500 iteracji) na zbiorach UCI Odch. stand. (%) metod k-NN, k-NCN i k-NSN (100, 500 i 2500 iteracji) na zbiorach UCI Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

44 Teza III sąsiedzi k-NN sąsiedzi k-NCN
Dane ferrytowe. Średnia liczba najbliższych sąsiadów w obrębie promienia k-tego sąsiada NCN, k=3..10. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

45 Teza III Wnioski: k-NCN i k-NSN oferują wyższą jakość klasyfikacji niż k-NN; k-NSN średnio lepsza; dekompozycja zadania wielodecyzyjnego atrakcyjną techniką poprawy jakości (schemat M-M przeważnie lepszy); warto uwzględniać nie tylko bliskość sąsiadów, ale i „kształt” ich układu (koncepcja symetrycznego sąsiedztwa). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

46 Algorytm voting k-NN: Teza III Faza uczenia
podziel L-krotnie zbiór uczący na losowe połowy; w każdym przypadku jedna połowa zbioru będzie zbiorem konstrukcyjnym, zaś druga walidacyjnym; znajdź optymalne wartości ki, i=1..L, dla każdego zbioru konstrukcyjnego z estymacją błędu na odpowiednim zbiorze walidacyjnym. Faza klasyfikacji sklasyfikuj L-krotnie próbkę testową przy użyciu reguły ki-NN, i=1..L, i otrzymaj finalną decyzję w wyniku prostego głosowania. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

47 Teza III Konkretne algorytmy: (5 • Skalak) + k-NCN;
voting k-NN + k-NCN; voting k-NN + k-NSN; voting k-NN + voting k-NCN; voting k-NN + voting k-NSN. Zaleta użycia metody voting k-NN w pierwszej fazie klasyfikatora kaskadowego Próbka testowa q może być poprawnie przypisana do klasy „krzyżyków” przez wszystkie klasyfikatory składowe ki-NN, o ile ki ≥ 3, i = 1..L Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

48 Konkretne algorytmy: Teza III (5 • Skalak) + k-NCN;
voting k-NN + k-NCN; voting k-NN + k-NSN; voting k-NN + voting k-NCN; voting k-NN + voting k-NSN. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

49 Plany na przyszłość (m. in.):
eksperymentować z doborem parametrów dla schematu z lokalnym wyborem zbioru odniesienia (metoda klasteryzacji, liczba klastrów, wielkość każdego zbioru zredukowanego); rozważyć zmianę strategii uczenia w algorytmie Skalaka. Oryginalny algorytm genetyczny, z racji stosowania tylko jednego operatora genetycznego (mutacja), może mieć trudności z wyjściem z lokalnego minimum; zmierzyć jakość poszczególnych klasyfikatorów składowych w klasyfikatorach k-NN, k-NCN i k-NSN (postrzeganych jako klasyfikatory równoległe), a także korelację między nimi; zaimplementować „brakujące” połączenia opisywanych schematów z algorytmami dekompozycyjnymi dla zadań wielodecyzyjnych. Rozważyć użycie selekcji cech dla podzadań; przeanalizować skuteczność techniki voting k-NN przy różnych liczebnościach zespołu komponentów i różnych metodach podziału zbioru uczącego na część konstrukcyjną i walidacyjną. Wziąć pod uwagę możliwy schemat z ważonym głosowaniem, np. w duchu idei Grossmana i Williamsa (1999) dla schematu bagging. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

50 Zbiory UCI Zbiory należą do repozytorium Uniwersytetu Kalifornijskiego w Irvine (Machine Learning Repository, University of California, Irvine) (Merz i Murphy, 1996) i są powszechnie wykorzystywane w literaturze przedmiotu. Bupa — zbiór dotyczący wykrywania schorzeń wątroby w populacji męskiej związanych z nadużywaniem alkoholu. Pięć pierwszych cech to wyniki testów krwi, natomiast ostatnia cecha to liczba jednostek alkoholu przyjmowanych średnio w ciągu doby przez badanego mężczyznę. Glass — zbiór próbek różnych rodzajów szkła (okienne, samochodowe etc.), identyfikowanych na podstawie zawartości określonych pierwiastków chemicznych (m. in. krzemu, sodu i wapnia). Zbiór zgromadzony przez kryminologów z Home Office Forensic Science Service w Reading w Wielkiej Brytanii. Iris — zbiór próbek trzech podgatunków kosaćca, klasyfikowanych na podstawie czterech geometrycznych cech (długość i szerokość liścia oraz długość i szerokość płatka rośliny). Zbiór został spopularyzowany przez Fishera (1936). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

51 Zbiory UCI, c.d. Pima — zbiór odnoszący się do zadania rozpoznania symptomów cukrzycy w oparciu o kryteria przyjęte przez Światową Organizację Zdrowia (WHO). Dane zostały zgromadzone na podstawie badań populacji Indianek z plemienia Pima (okolice Phoenix w Arizonie, USA). Wine — zbiór dotyczący rozpoznania jednego z trzech gatunków win włoskich na podstawie cech wyekstrahowanych w wyniku analizy chemicznej. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

52 Inne zbiory Ferrites — zbiór dotyczący kontroli jakości rdzeni ferrytowych, które były produkowane w zakładach Polfer w Warszawie. Obraz danego rdzenia analizowany był piksel po pikslu, a zatem obiektami tworzącymi zbiór są pojedyncze piksle obrazu powierzchni rdzenia. Wyróżnione klasy stwierdzają, czy dany piksel należy do dobrej (nieuszkodzonej) części rdzenia, do tła, czy też do jednego z sześciu rodzajów defektów. Cechy opisujące każdy piksel wyekstrahowane są z jego sąsiedztwa (histogram jasności i momenty różnych stopni). Cechy zostały dobrane w taki sposób, aby ich wartości w niewielkim tylko stopniu zmieniały się przy obrotach danego rdzenia ferrytowego. Dokładny opis zbioru zawiera praca (Nieniewski i in., 1999). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

53 Inne zbiory, c.d. Remotes — zbiór dotyczący detekcji obiektów (pól upraw) na zdjęciach lotniczych wykonanych w rejonie Feltwell w Wielkiej Brytanii. Rozróżniane klasy to: pole uprawne marchwi, ziemniaka, buraka cukrowego, pszenicy oraz ścierń. Cechy opisujące obiekty pozyskiwane były z dwóch sensorów: optycznego i radarowego. Zbiór ten opisany został bardziej szczegółowo w pracach (Roli, 1996) i (Grabowski i in., 2003). Dane niniejsze wykorzystywane były w grancie NATO nr PST.CLG (2001–2002) dotyczącym zastosowań nieparametrycznych metod rozpoznawania obrazów w aplikacjach remote sensing, którego kierownikiem był prof. C.-H. Chen z N. Dartmouth Coll., MA, USA, zaś współwykonawcami dr Adam Jóźwik i autor niniejszej rozprawy. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

54 Charakterystyka użytych zbiorów danych
zbiór danych liczba klas liczba cech liczba próbek Bupa 2 6 345 Glass 9 214 Iris 3 4 150 Pima 8 768 Wine 13 178 Ferrites 30 5904 FerritesOld 5 12 2885 RB8.PAT 14 64 4297 Remotes 5124 Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

55 głosowanie większościowe
Realizacja funkcji XOR przy pomocy sieci klasyfikatorów z prostym głosowaniem głosowanie większościowe klasyfikator 1 klasyfikator 2 klasyfikator 3 klasyfikator 4 klasyfikator 5 decyzja końcowa Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

56 Podsumowanie i wnioski
W niskich wymiarach możliwe jest szukanie najbliższego sąsiada w czasie subliniowym w liczności zbioru w najgorszym przypadku; prezentowany algorytm dopuszcza użycie współczynnika kompromisu między szybkością szukania a kosztem wstępnej obróbki. Lokalny wybór zredukowanego zbioru odniesienia oferuje wyższą jakość klasyfikacji niż klasyfikatory oparte na pojedynczym zbiorze zredukowanym (podejście klasyczne). „Symetryczne sąsiedztwo” to nowy sposób poprawy jakości w rodzinie klasyfikatorów minimalnoodległościowych. Zaprezentowana reguła k-NSN optymalizuje oba kryteria używane w klasyfikatorze k-NCN. Możliwa jest wersja reguły k-NN z wieloma wartościami k (wyższa jakość klasyfikacji za cenę minimalnego spowolnienia). Koncepcje z p. 3 i 4 pozwalają na projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji. TEZA 1 TEZA 2 TEZA 1 Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

57 a b c d a, b, c, d – prawdopodobieństwa; a+b+c+d = 1
odpowiedź D(j) poprawna (1) odpowiedź D(j) błędna (0) odpowiedź D(i) poprawna (1) a b odpowiedź D(i) błędna (0) c d a, b, c, d – prawdopodobieństwa; a+b+c+d = 1 Współczynnik Yule’a: Współczynnik korelacji: wg: C.A.Shipp & L.I.Kuncheva, „Relationships between combination methods and measures of diversity in combining classifiers”, Information Fusion, Vol. 3, No. 2, str. 135–148.