Samoorganizacja: uczenie bez nadzoru Wykład 5 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch (c) 1999. Tralvex Yeap. All Rights Reserved

Sieci SOM (sieci Kohonena) Co będzie Mapy w mózgu Samoorganizacja Sieci SOM (sieci Kohonena) (c) 1999. Tralvex Yeap. All Rights Reserved

Mapy senso-motoryczne (c) 1999. Tralvex Yeap. All Rights Reserved

Samoorganizacja Uczenie bez nadzoru: wykrywanie cech w sygnale, modelowanie danych, analiza skupień, modele rozkładu prawd. stanów środowiska ... Powstawanie wewnętrznych reprezentacji w mózgu: skomplikowane. Proste bodźce wyzwalające u zwierząt, uboga reprezentacja. Analiza danych zmysłowych i instrukcje motoryczne - neurony o podobnych funkcjach są obok siebie => mapy topograficzne. Mapy somatosensoryczne układu czuciowego, mapy motoryczne kory i móżdżku, mapy tonotopiczne układu słuchowego, mapy orientacji dwuocznej układu wzrokowego, mapy wielomodalne układu orientacji (wzgórki czworacze górne) (c) 1999. Tralvex Yeap. All Rights Reserved

Mapy czuciowe i motoryczne (c) 1999. Tralvex Yeap. All Rights Reserved

Mapa palców (c) 1999. Tralvex Yeap. All Rights Reserved

Modele samoorganizacji SOM lub SOFM (Self-Organized Feature Mapping) - samorganizująca się mapa cech. Jak mapy topograficzne mogą się utworzyć spontanicznie? Połączenia lokalne: neuron silnie pobudzany przez pobliskie, słabo przez odległe, hamowany przez neurony pośrednie. Historia: von der Malsburg i Willshaw (1976), uczenie konkurencyjne, mechanizm Hebbowski, aktywacja typu „Meksykańskiego kapelusza”, początkowo model układu wzrokowego. Amari (1980) - model ciągłej tkanki neuronowej. Kohonen (1981) – najbardziej popularne uproszczenie: sieci bez hamowania, tylko dwie fazy - konkurencja i kooperacja. Stąd często sieć SOM nazywa się też „siecią Kohonena”. (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie SOM Neurony reagują na sygnały X podobne do W. Podobny = iloczyn skalarny największy lub odległość min. Znajdź najsilniej reagujący neuron c. Przesuń wagi neuronu c i innych neuronów w sąsiedztwie O(c): w stronę wektora X: (c) 1999. Tralvex Yeap. All Rights Reserved

Algorytm SOM Wektory danych X={X1, X2 .. XN}. Siatka neuronów i = 1 .. K w 1D-3D, każdy neuron  wektor z N wagami Wi(t) = {Wi1 Wi2 .. WiN}, t - dyskretny czas; nie ma połączeń pomiędzy neuronami! Inicjalizacja: przypadkowe Wi(0) dla wszystkich i=1..K. Funkcja sąsiedztwa h(|r-rc|/s(t),t) definiuje wokół neuronu położonego w miejscu rc siatki obszar Os(rc). Oblicz odległości d(X,W), znajdź neuron z wagami Wc najbardziej podobnymi do X (neuron-zwycięzcę). Zmień wagi wszystkich neuronów w sąsiedztwie Os(rc) Powoli zmniejszaj siłę h0(t) i promień s(t). Iteruj aż ustaną zmiany. Efekt: podział (tesselacja) na wieloboki Voronoia. (c) 1999. Tralvex Yeap. All Rights Reserved

2D => 2D, kwadrat Rozkład jednostajny w kwadracie. SOM uczy się jednorodnego rozkładu. Początkowo wszystkie W0. (c) 1999. Tralvex Yeap. All Rights Reserved

Sieć 2D, dane 3D (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie sieci 2D (c) 1999. Tralvex Yeap. All Rights Reserved

Sieć 1D, dane 2D (c) 1999. Tralvex Yeap. All Rights Reserved

Tworzenie się fraktalnych krzywych Peano. 2D => 1D trójkąty Tworzenie się fraktalnych krzywych Peano. (c) 1999. Tralvex Yeap. All Rights Reserved

Zniekształcenia Początkowe zniekształcenia mogą zniknąć lub pozostać. (c) 1999. Tralvex Yeap. All Rights Reserved

Stała uczenia Duża stała uczenia prowadzi do eksploracji znacznej części przestrzeni. Symulacje z równomiernym rozkładem wektorów; końcowy podział jest równomierny. (c) 1999. Tralvex Yeap. All Rights Reserved

Modyfikacje SOM SOM działa jak metoda klasteryzacji k-średnich jeśli funkcja sąsiedztwa staje się deltą, czyli s = 0. Próba wprowadzenia funkcji błędu (Luttrell; Heskes i Kappen). Błąd lokalny neuronu i jest sumą po wszystkich neuronach: Neuron-zwycięzca ma najmniejszy błąd lokalny: (c) 1999. Tralvex Yeap. All Rights Reserved

Własności SOM Powolna zbieżność algorytmu SOM, zwykle ~104-106 iteracji. Trudno coś udowodnić o zbieżności lub punktach stacjonarnych. Wyniki analityczne znane są tylko w 1D dla ciągłego czasu: wtedy wartości wag wzdłuż prostej porządkują się. Sąsiednie neurony kodują sąsiednie obszary, ale sąsiednie obszary mogą być kodowane przez odległe neurony. Skręcone konfiguracje przy zbyt szybkiej redukcji sąsiedztwa. Złożoność O(KNn) dla K neuronów i n danych N-wymiarowych: konieczne porównanie wszystkich odległości => niezbyt duże mapy. Na komputerach wieloprocesorowych każdy neuron ma swój procesor, więc odległości O(Nn) + O(Kn) na szukanie zwycięzcy. Jakość klasyfikacji: zwykle niska. Kohonen: SOM służy głównie do wizualizacji ... ale wizualizacja też kiepska, bo brak oceny pozwalającej na redukcję wprowadzanych zniekształceń. W oryginalnym SOM nie ma funkcji błędu, nie ma więc gradientu! (c) 1999. Tralvex Yeap. All Rights Reserved

Włoska oliwa Przykład zastosowania SOM: 572 próbki oliwy z 9 prowincji Włoch. Zmierzono poziom 8 tłuszczy w każdej próbce. Mapa SOM 20 x 20, Redukcja 8D => 2D. Dokładność klasyfikacji to około 95-97%. Topograficzne relacje zostały zachowane. Czemu region 3 zajmuje tyle miejsca? (c) 1999. Tralvex Yeap. All Rights Reserved

Demos SOM Pang kilka demo, uporządkowanie kolorów, fonetyczna klawiatura i inne. GitHub SOM: SOM_Color i SOM_Image Self-organizing Maps: PyMVPA kolory na mapie 2D Xsom, wsom, somd – wizualizacja terningu SOM, C. Borgelt Self-Organizing Maps Applet World Poverty Map NN models: Kohonen SOM Interactive Self-Organizing Map demo - Hynninen SOM-Rapid Miner docs AI Junkie (c) 1999. Tralvex Yeap. All Rights Reserved

Co dalej? Uczenie konkurencyjne. Wizualizacja SOM i MDS. Probabilistyczne podstawy uczenia. Perceptrony Sieci MLP Sieci RBF Systemy dynamiczne. (c) 1999. Tralvex Yeap. All Rights Reserved

Koniec wykładu 5 Dobranoc ! (c) 1999. Tralvex Yeap. All Rights Reserved

Sieci ze sprzężeniami zwrotnymi Model Hopfielda Co było Sieci ze sprzężeniami zwrotnymi Model Hopfielda Modele pamięci asocjacyjnej Maszyna Boltzmana (c) 1999. Tralvex Yeap. All Rights Reserved