Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Inteligencja Obliczeniowa Feature Space Mapping. Wykład 20 Włodzisław Duch Uniwersytet Mikołaja Kopernika.

Podobne prezentacje


Prezentacja na temat: "Inteligencja Obliczeniowa Feature Space Mapping. Wykład 20 Włodzisław Duch Uniwersytet Mikołaja Kopernika."— Zapis prezentacji:

1 Inteligencja Obliczeniowa Feature Space Mapping. Wykład 20 Włodzisław Duch Uniwersytet Mikołaja Kopernika

2 Co było Neuro-fuzzy Feature Space Mapping - motywacje Funkcje transferu

3 Co będzie Systematyka f. transferu Uczenie FSM FSM jako heurystyka Indukcja reguł za pomocą MLP.

4 Funkcje aktywacji Funkcja transferu f(I(X)) jest złożeniem wektorowej funkcji aktywacji I(X) i skalarnej funkcji wyjściowej neuronu o(I). 1. Aktywacja fan-in, czyli iloczyn skalarny W. X, daje hiperpłaszczyzny. 3. Mieszane f. aktywacji - najciekawsze kontury 2. Funkcje odległości - służą za aktywację np. f. Gaussa, ograniczone

5 Systematyka f. transferu

6 FT z mieszaną aktywnością Funkcje o aktywacji mieszanej: Funkcje stożkoweFunkcje stożkowe: między Gaussem a hiperpłaszczyzną Funkcje LorentzowskieFunkcje Lorentzowskie: Sieci optymalizujące kolejne funkcje: konstruktywne - np. korelacji kaskadowej.

7 FSM - f. trójkątna Symetryczna: położenie, szerokość. Niesymetryczna: położenie, dwie szerokości.

8 FSM - sieć Inicjalizacja: początkowy krajobraz i relacje topograficzne łącznego prawdop. p(X,Y). Dostrajanie: lokalne uczenie parametrów węzłów by min. błąd opisu. Funkcja FSM dla klasyfikacji: Wiele modułów sieci FSM + decyzje logiczne

9 FSM - inicjalizacja Algorytm konstruktywistyczny, dobra wstępna inicjalizacja przyspiesza zbieżność. Parametry dla f. zlokalizowanych: położenia, rozmycia. Analiza skupień, np. metoda k-średnich. n(k) - l wektorów w k-tym klastrze. x i (k) - wektory z k-tego klastra. Rozmycia dla funkcji zlokalizowanych Inicjalizacja za pomocą dendrogramów lub histogramów.

10 Inicjalizacja - denrogramy Stopniowe zmniejszanie rozdzielczości. Wyznacz macierz odległości pomiędzy elementami na podstawie: najbliższych obiektów należącymi do tych skupisk; najdalszych obiektów należących do tych skupisk; średniej z odległości pomiędzy wszystkimi parami obiektów należących do analizowanych skupisk (UPGMA); wariantów UPGMA: odległość między centrami skupisk; odległości ważone przez liczbę elementów.

11 Inicjalizacja - histogramy Zacznij od analizy w każdym wymiarze osobno. Dla każdego z wymiarów utwórz histogram. Wygładź histogram zakładając zamiast x liczbę Gaussowską lub trójkątną. Analizuj maksima histogramu; utwórz drzewo decyzji. Oblicz odległości między liści; połącz przylegające do siebie. Efekt: wektory w liściach definiują skupienia; po inicjalizacji węzły sieci pokrywają te skupienia.

12 FSM - uczenie 1.Wybierz funkcje transferu - dla reguł prostokątne, dla klasyfikacji Gaussowskie lub bicentralne. Wybór najlepszej funkcji - pierwsze testy. 2.Inicjalizacja: utwórz kilku węzłów opisujących rozkład wektorów danych z grubsza; zwykle nieźle działa. Dopuszcza się obroty na sztywno, tj. funkcje odległości z macierzą obrotu w kierunku najdłuższej osi klastra, dopasowując prostą. 3.Czytaj dane treningowe w losowej kolejności; oceń podobieństwo (stopień przynależności) do istniejących węzłów; dodaj nowy węzeł lub zmodyfikuj istniejące.

13 Parametry węzłów Do wyliczenia aktywacji potrzebne jest: Położenie centrum węzła D Rozmycie (dla f. niesymetrycznych dwa). Dodatkowe parametry potrzebne w trakcie uczenia: masa m - l. wektorów klasyfikowanych przez dany węzeł czas powstania n, - numer epoki, w której węzeł powstał klasa, którą węzeł reprezentuje Uczenie: epoka - prezentowanie ciągu treningowego i adaptacja parametrów sprawdź jakość działania, jeśli lepsza niż wymagana to: –usuń węzły zbędne i o małej masie –doucz sieć bez dodawania węzłów.

14 Kiedy poprawiać? Czy X podobny do istniejącego węzła? 1. Sprawdź odległość od istniejących węzłów: Jeśli S 1 (X)=1, czyli najbliższy węzeł jest z właściwej klasy, to popraw parametry tego węzła; jeśli nie to: 2. Poszukaj najbliższego węzła z tej samej klasy co X i Jeśli węzeł ten jest bliżej niż graniczna wartość i wzbudza się dostatecznie silnie to go modyfikuj; jeśli nie to dostaw nowy węzeł. równoważne

15 Optymalizacja węzłów Nowy węzeł ma początkowe parametry: Adaptacja starych węzłów: m=m+1 (m=0 na początku epoki),, K - stałe; próbuje się też zmniejszać rozmycia by uniknąć nakładania się węzłów, zmieniać kąty obrotu itd.

16 Ocena algorytmu uczenia FSM Wady: Algorytm ad hoc, tak jak Kohonena - z teoretycznego punktu widzenia można sformułować lepsze; Niestabilność sieci: powtarzanie uczenia prowadzi do różnych sieci dających zbliżone wyniki - zastosowanie komitetu sieci zwiększa stabilność. Zalety: algorytm konstruktywistyczny, większość parametrów jest ustalona, nie trzeba ingerować w proces uczenia; dowolne funkcje nieseparowalne, również nieróżniczkowalne; pozwala na interpretację logiczną; działa z wartościami brakującymi.

17 FSM - reguły 1.Stosuj funkcje prostokątne dla reguł ostrych. 2.Stosuj funkcje trójkątne, trapezoidalne, Gaussowskie i bicentralne dla reguł rozmytych. 3. Powiększaj rozmycia starając się wyeliminować daną cechę. 4. Ustal optymalną liczbę węzłów za pomocą kroswalidacji: FSM może zawsze się nauczyć danych w 100%.

18 FSM - dopełnianie wzorców 1.Ustal wartość znanych czynników, zwłaszcza tych najbardziej specyficznych (X 1,.. X k ); weź i=k+1 i rozpocznij szukanie wartości pierwszego nieznanego czynnika X i. Obliczaj wartość funkcji FSM zakładając, że pozostałe nieznane czynniki (X i +1,.. X N ) są nieistotne, tj. opuść je przy obliczaniu wartości funkcji (funkcje separowalne!). 2.Zanotuj kolejne wartości V(i,j i )=X i, j i =1..N i, dla których funkcja FSM(X 1... X i ) ma lokalne maximum i FSM(X 1... X i ) >. Jeśli nie ma takiej wartości X i przyjmij i = i (krok wstecz). Jeśli i=k to zakończ szukanie. 3.Rozpocznij pętlę po j i =1..N i, ustalając X i =V(i,j i ). Jeśli i

19 2 Spirale Problem w 2-D. 98 punktów należących do jednej i 98 punktów do drugiej spirali. MLP bardzo trudno jest nauczyć 2 spiral. Gaussy z obrotami.Gaussy bez obrotów. 52 węzły

20 Pirymidyny Przewidzieć aktywność biologiczną klasy związków chemicznych. Wspólny szablon: R 3, R 4, R 5 to miejsca podstawień grup chemicznych o 9 cechach: nazwa związku, polarność, dawca wiązania wodorowego, biorca wiązania wodorowego, dawca pi, biorca pi, polaryzowalność, efekt sigma. Golem (ILP)0.68 LDA0.65 CART0.50węzłów FSM (G) (86) FSM (P) (41) W sumie 27 cech; porównywanie aktywności par - 54 cechy. Brak podstawienia - wartości brakujące danych, 5xCV Współczynnik Spearmana: d - odległość w rankingu par, n- liczba par.

21 FSM jako heurystyka Jakościowo: rośnie, stałe, maleje. Prawo Ohma V=I×R; Kirhoffa V=V 1 +V 2. (I -,V -,R 0 ), (I +,V +,R 0 ) ale nie (I +,V -,R 0 ). 5 praw: 3 Ohma + Kirhoffa + dodawanie R. Wszystkie prawa A=B+C, A -1 =B -1 +C -1, A=B*C, mają taką samą reprezentację geometryczną! Jakościowo: rośnie, stałe, maleje. Prawo Ohma V=I×R; Kirhoffa V=V 1 +V 2. (I -,V -,R 0 ), (I +,V +,R 0 ) ale nie (I +,V -,R 0 ). 5 praw: 3 Ohma + Kirhoffa + dodawanie R. Wszystkie prawa A=B+C, A -1 =B -1 +C -1, A=B*C, mają taką samą reprezentację geometryczną! Pytanie: Jeśli R 2 wzrośnie, R 1 i V t stałe, co z prądem i spadkami napięcia V 1, V 2 ? Ok. 500 iteracji (w naturze 10 ms/iterację), iteracja to 100 aktualizacji. Pytanie: Jeśli R 2 wzrośnie, R 1 i V t stałe, co z prądem i spadkami napięcia V 1, V 2 ? Ok. 500 iteracji (w naturze 10 ms/iterację), iteracja to 100 aktualizacji.

22 Heurystyka 1 Funkcja FSM dla całości (5 praw spełnionych jednocześnie): Pytanie: Jeśli R 2 wzrośnie, R 1 i V stałe, co z I, V 1, V 2 ? Znaleźć kombinację by F(V=0, R, I,V 1, V 2, R 1 =0, R 2 =+) >0 Sprawdzić czy zmienna X może przyjąć wartość +, 0, - Nie może jeśli F(V=0, R, I,V 1, V 2, R 1 =0, R 2 =+) =0 Jest 111 kombinacji na 2187 (ok. 5%) Pytanie: Jeśli R 2 wzrośnie, R 1 i V stałe, co z I, V 1, V 2 ? Znaleźć kombinację by F(V=0, R, I,V 1, V 2, R 1 =0, R 2 =+) >0 Sprawdzić czy zmienna X może przyjąć wartość +, 0, - Nie może jeśli F(V=0, R, I,V 1, V 2, R 1 =0, R 2 =+) =0 Jest 111 kombinacji na 2187 (ok. 5%) Możliwe zastosowania: Rozumowanie w oparciu o reguły; miękka optymalizacja - nie wszystkie warunki spełnione dokładnie => małe |FSM(X)| Możliwe zastosowania: Rozumowanie w oparciu o reguły; miękka optymalizacja - nie wszystkie warunki spełnione dokładnie => małe |FSM(X)|

23 Koniec wykładu 20 Dobranoc !


Pobierz ppt "Inteligencja Obliczeniowa Feature Space Mapping. Wykład 20 Włodzisław Duch Uniwersytet Mikołaja Kopernika."

Podobne prezentacje


Reklamy Google