Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Uczenie konkurencyjne. Wykład 6 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch.

Podobne prezentacje


Prezentacja na temat: "Uczenie konkurencyjne. Wykład 6 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch."— Zapis prezentacji:

1

2 Uczenie konkurencyjne. Wykład 6 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch

3 Co było Mapy w mózgu Samoorganizacja Sieci SOM Kohonena

4 Co będzie Mapy ekwiprobabilistyczne Zwycięzca bierze wszystko Gaz neuronowy Demonstracje w Javie

5 Mapy ekwiprobabilistyczne Dla 1 wymiaru można pokazać, że uporządkowanie jest prawidłowe, ale p(W i ) p(X) 2/3 w granicy ciągłego rozkładu. Stosowanie lokalnych funkcji błędu prowadzi do p(W i ) p(X) 1/3 SOM przecenia rejony mało prawdopodobnych danych i niedocenia rejony o dużym prawdopodobieństwie. Powstają neurony bezużyteczne; jak wykorzystać całą sieć? Zasada jednakowego zniekształcenia: każdy neuron powinien mieć podobny wkład do końcowego błędu kwantyzacji (klasyfikacji). Conscience Learning (DeSieno 1988; Hecht-Nielsen 1988). f i - częstość wygrywania neuronu i, C - stała.

6 Maksymalizacja entropii Kwantyzator maksymalizujący entropię (MEQ): w każdym przedziale takie samo prawdopodobieństwo. Jak znaleźć optymalne przedziały by osiągnąć ekwiprobabilistyczny podział? Można to osiągnąć maksymalizując entropię:

7 BAR Reguła Adaptacji Granic, Boundry Adaptation Rule. Jeśli P(H i ) jest za duże (zbyt często pojawiają się wektory z tego przedziału) to wielkość przedziału należy zmniejszyć. Przedział w 1D określony jest przez wagi. Jeśli dane są z przedziału H i to W i przesuwamy w lewo (zmniejszamy przedział H i ), jeśli z H i+1 to w prawo (zmniejszamy przedział H i+1 ). Zmiany ustają gdy mamy ekwiprobabilistyczny podział:

8 Konstruktywny SOM Growing Cell Structures (Fritzke 1993). Początkowa topologia: k-wymiarowy sympleks (k=1, 2, 3). Dodaje się nowe neurony i usuwa stare. Algorytm SOM, ale bez zmniejszania sąsiedztwa i adaptacji dokonuje się tylko dla zwycięzcy i bezpośrednich sąsiadów. 1. Znajdź neuron-zwycięzcę c. 2. Popraw jego wagi: W c = s (X-W s ). 3. Popraw wagi sąsiadów W s = s (X-W s ). 4. Zwiększ licznik częstości c =1, zmniejsz wszystkie c = c. 5. Policz zrenormalizowane częstości f i = i / j j 6. Po ustalonej liczbie epok L znajdź neuron o największej częstości i wstaw pomiędzy ten neuron i najdalszego sąsiada nowy neuron tworząc lokalny sympleks; nowy wektor weź z interpolacji.

9 Rozwój GCS

10 GCS - 2 obszary Sytuacja w 3-wym. przestrzeni danych - 2 oddzielone skupienia. Sieć GCS rosnąca w dwóch wymiarach - odpowiednia topologia.

11 Voronoi i Delaunay Punkty granice decyzji Triangulacja danych Voronoia Delaunaya Obszary Voronoia - neuron zwycięża konkurencję. Zbiór Voronoia - zbiór wektorów wewnątrz obszaru Voronoia. Łącząc neurony, których obszary Voronoia mają wspólną krawędź otrzymujemy traingulację Delaunaya.

12 WTA Uczenie konkurencyjne - WTA, Winner Takes All. Nazywane też Hard Competitive Learning. Jeden zwycięzca, dane pojedynczo (on-line) lub wszystkie (batch). Mogą powstawać bezużyteczne neurony - konieczna incjalizacja zgodna z rozkładem danych. Algorytm LBG typu WTA: 1. przypadkowa inicjalizacja; 2. Powtarzaj aż ustaną zmiany: 3. pokaż wszystkie dane i znajdź zbiory Voronoia; 4. przesuń wagi neuronu do centrum obszaru Wariant LBG-U: przesuń mało użyteczne (zerowy zbiór Voronoia) neurony w lokalne minima błędu.

13 Gas neuronowy Wariant uczenia konkurencyjnego (Schulten i Martinez 1991) Algorytm NG typu SOM: 1. przypadkowa inicjalizacja N wektorów; t=0; 2. Wybierz przypadkowy wektor V 3. Zrób ranking wag najbliższych V; k=1..N Zastosuj regułę adaptacji: zmniejszając eksponencjalnie obszar i stałą uczenia (t).

14 Co dalej? Wizualizacja Systemy rozmyte i neurorozmyte. Podstawy teoretyczne CI. Inspiracje statystyczne. Drzewa decyzji. Metody oparte na podobieństwie. Uczenie maszynowe, indukcja reguł logicznych. Zastosowania.

15 Koniec wykładu 6 Dobranoc !


Pobierz ppt "Uczenie konkurencyjne. Wykład 6 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch."

Podobne prezentacje


Reklamy Google