Samoorganizacja: uczenie bez nadzoru. Wykład 5 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch (c) 1999. Tralvex Yeap. All Rights Reserved

Mapy w mózgu. Samoorganizacja Sieci Kohonena Co będzie (c) 1999. Tralvex Yeap. All Rights Reserved

Samoorganizacja Uczenie bez nadzoru: wykrywanie cech w sygnale, modelowanie danych, analiza skupień, modele rozkładu prawd. stanów środowiska ... Powstawanie wewnętrznych reprezentacji w mózgu: skomplikowane. Proste bodźce wyzwalające u zwierząt, uboga reprezentacja. Analiza danych zmysłowych i instrukcje motoryczne - neurony o podobnych funkcjach są obok siebie => mapy topograficzne. Mapy somatosensoryczne układu czuciowego, mapy motoryczne kory i móżdżku, mapy tonotopiczne układu słuchowego, mapy orientacji dwuocznej układu wzrokowego, mapy wielomodalne układu orientacji (wzgórki czworacze górne) (c) 1999. Tralvex Yeap. All Rights Reserved

Mapy senso-motoryczne (c) 1999. Tralvex Yeap. All Rights Reserved

Mapa palców (c) 1999. Tralvex Yeap. All Rights Reserved

Mapy czuciowe i motoryczne (c) 1999. Tralvex Yeap. All Rights Reserved

Modele samoorganizacji SOM lub SOFM (Self-Organized Feature Mapping) - samorganizująca się mapa cech. Jak mapy topograficzne mogą się utworzyć spontanicznie? Połączenia lokalne: neuron silnie pobudzany przez pobliskie, słabo przez odległe, hamowany przez neurony pośrednie. Historia: von der Malsburg i Willshaw (1976), uczenie konkurencyjne, mechanizm Hebbowski, wzbudzenie typu „Meksykańskiego kapelusza”, model układu wzrokowego. Amari (1980) - model ciągłej tkanki neuronowej. Kohonen (1981) - uproszczenie, bez hamowania; dwie fazy - konkurencja i kooperacja. (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie SOM Neurony reagują na sygnały X podobne do W. Podobny = iloczyn skalarny największy lub odległość min. Znajdź najsilniej reagujący neuron c. Przesuń wagi neuronu c i neuronów w sąsiedztwie O(c): w stronę wektora X: (c) 1999. Tralvex Yeap. All Rights Reserved

Algorytm SOM Siatka neuronów i = 1 .. K w 1D-3D, każdy neuron z N wagami. Neurony z wagami Wi(t) = {Wi1 Wi2 .. WiN}, wektory X={X1, X2 .. XN}. t - dyskretny czas; nie ma połączeń pomiędzy neuronami! Inicjalizacja: przypadkowe Wi(0) dla wszystkich i=1..K. Funkcja sąsiedztwa h(|r-rc|/s(t),t) definiuje wokół neuronu położonego w miejscu rc siatki obszar Os(rc). Oblicz odległości d(X,W), znajdź neuron z wagami Wc najbardziej podobnymi do X (neuron-zwycięzcę). Zmień wagi wszystkich neuronów w sąsiedztwie Os(rc) Powoli zmniejszaj siłę h0(t) i promień s(t). Iteruj aż ustaną zmiany. Efekt: podział (tesselacja) na wieloboki Voronoia. (c) 1999. Tralvex Yeap. All Rights Reserved

Sieć 1D, dane 2D (c) 1999. Tralvex Yeap. All Rights Reserved

Sieć 2D, dane 3D (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie sieci 2D (c) 1999. Tralvex Yeap. All Rights Reserved

2D => 2D, kwadrat Tworzenie się jednorodnego rozkładu: początkowo wszystkie W0. (c) 1999. Tralvex Yeap. All Rights Reserved

2D => 1D trójkąty Tworzenie się fraktalnych krzywych Peano. (c) 1999. Tralvex Yeap. All Rights Reserved

Zniekształcenia Początkowe zniekształcenia mogą zniknąć lub pozostać. (c) 1999. Tralvex Yeap. All Rights Reserved

Stała uczenia Duża stała uczenia prowadzi do eksploracji znacznej części przestrzeni. Symulacje z równomiernym rozkładem wektorów; końcowy podział jest równomierny. (c) 1999. Tralvex Yeap. All Rights Reserved

Własności SOM Trudno coś udowodnić o zbieżności lub punktach stacjonarnych dla algorytmu SOM w więcej niż jednym wymiarze. Wyniki analityczne tylko w 1D dla ciągłego czasu, proces Markova: wartości wag wzdłuż prostej porządkują się. Powolna zbieżność: 104-106 iteracji. Sąsiednie neurony kodują sąsiednie obszary, ale niekoniecznie odwrotnie Skręcone konfiguracje przy zbyt szybkiej redukcji sąsiedztwa. Złożoność O(KNn) dla K neuronów i n danych N-wymiarowych: konieczne porównanie wszystkich odległości; niezbyt duże mapy. Na komputerach wieloprocesorowych szukanie min z K będzie powolne. Jakość klasyfikacji: zwykle niska. Kohonen: SOM głównie do wizualizacji ... ale Wizualizacja: też kiepska, brak oceny wprowadzanych zniekształceń. W SOM nie istnieje funkcja energii, nie ma gradientu! (c) 1999. Tralvex Yeap. All Rights Reserved

Modyfikacje SOM SOM działa jak metoda klasteryzacji k-średnich jeśli funkcja sąsiedztwa staje się deltą, czyli s = 0. Próba wprowadzenia funkcji błędu (Luttrell; Heskes i Kappen). Błąd lokalny neuronu i jest sumą po wszystkich neuronach: Neuron-zwycięzca ma najmniejszy błąd lokalny: (c) 1999. Tralvex Yeap. All Rights Reserved

Co dalej? Perceptrony Sieci MLP Sieci RBF Systemy rozmyte i neurorozmyte. (c) 1999. Tralvex Yeap. All Rights Reserved

Koniec wykładu 5 Dobranoc ! (c) 1999. Tralvex Yeap. All Rights Reserved

Sieci ze sprzężeniami zwrotnymi Model Hopfielda Co było Sieci ze sprzężeniami zwrotnymi Model Hopfielda Modele pamięci asocjacyjnej Maszyna Boltzmana (c) 1999. Tralvex Yeap. All Rights Reserved