Samoorganizacja: uczenie bez nadzoru.

Prezentacja na temat: "Samoorganizacja: uczenie bez nadzoru."— Zapis prezentacji:

1 Samoorganizacja: uczenie bez nadzoru.
Wykład 5 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch (c) Tralvex Yeap. All Rights Reserved

2 Mapy w mózgu. Samoorganizacja Sieci Kohonena Co będzie
(c) Tralvex Yeap. All Rights Reserved

3 Samoorganizacja Uczenie bez nadzoru: wykrywanie cech w sygnale, modelowanie danych, analiza skupień, modele rozkładu prawd. stanów środowiska ... Powstawanie wewnętrznych reprezentacji w mózgu: skomplikowane. Proste bodźce wyzwalające u zwierząt, uboga reprezentacja. Analiza danych zmysłowych i instrukcje motoryczne - neurony o podobnych funkcjach są obok siebie => mapy topograficzne. Mapy somatosensoryczne układu czuciowego, mapy motoryczne kory i móżdżku, mapy tonotopiczne układu słuchowego, mapy orientacji dwuocznej układu wzrokowego, mapy wielomodalne układu orientacji (wzgórki czworacze górne) (c) Tralvex Yeap. All Rights Reserved

4 Mapy senso-motoryczne
(c) Tralvex Yeap. All Rights Reserved

5 Mapa palców (c) Tralvex Yeap. All Rights Reserved

6 Mapy czuciowe i motoryczne
(c) Tralvex Yeap. All Rights Reserved

7 Modele samoorganizacji
SOM lub SOFM (Self-Organized Feature Mapping) - samorganizująca się mapa cech. Jak mapy topograficzne mogą się utworzyć spontanicznie? Połączenia lokalne: neuron silnie pobudzany przez pobliskie, słabo przez odległe, hamowany przez neurony pośrednie. Historia: von der Malsburg i Willshaw (1976), uczenie konkurencyjne, mechanizm Hebbowski, wzbudzenie typu „Meksykańskiego kapelusza”, model układu wzrokowego. Amari (1980) - model ciągłej tkanki neuronowej. Kohonen (1981) - uproszczenie, bez hamowania; dwie fazy - konkurencja i kooperacja. (c) Tralvex Yeap. All Rights Reserved

8 Uczenie SOM Neurony reagują na sygnały X podobne do W.
Podobny = iloczyn skalarny największy lub odległość min. Znajdź najsilniej reagujący neuron c. Przesuń wagi neuronu c i neuronów w sąsiedztwie O(c): w stronę wektora X: (c) Tralvex Yeap. All Rights Reserved

9 Algorytm SOM Siatka neuronów i = 1 .. K w 1D-3D, każdy neuron z N wagami. Neurony z wagami Wi(t) = {Wi1 Wi2 .. WiN}, wektory X={X1, X2 .. XN}. t - dyskretny czas; nie ma połączeń pomiędzy neuronami! Inicjalizacja: przypadkowe Wi(0) dla wszystkich i=1..K. Funkcja sąsiedztwa h(|r-rc|/s(t),t) definiuje wokół neuronu położonego w miejscu rc siatki obszar Os(rc). Oblicz odległości d(X,W), znajdź neuron z wagami Wc najbardziej podobnymi do X (neuron-zwycięzcę). Zmień wagi wszystkich neuronów w sąsiedztwie Os(rc) Powoli zmniejszaj siłę h0(t) i promień s(t). Iteruj aż ustaną zmiany. Efekt: podział (tesselacja) na wieloboki Voronoia. (c) Tralvex Yeap. All Rights Reserved

10 Sieć 1D, dane 2D (c) Tralvex Yeap. All Rights Reserved

11 Sieć 2D, dane 3D (c) Tralvex Yeap. All Rights Reserved

12 Uczenie sieci 2D (c) Tralvex Yeap. All Rights Reserved

13 2D => 2D, kwadrat Tworzenie się jednorodnego rozkładu: początkowo wszystkie W0. (c) Tralvex Yeap. All Rights Reserved

14 2D => 1D trójkąty Tworzenie się fraktalnych krzywych Peano.
(c) Tralvex Yeap. All Rights Reserved

15 Zniekształcenia Początkowe zniekształcenia mogą zniknąć lub pozostać.
(c) Tralvex Yeap. All Rights Reserved

16 Stała uczenia Duża stała uczenia prowadzi do eksploracji znacznej części przestrzeni. Symulacje z równomiernym rozkładem wektorów; końcowy podział jest równomierny. (c) Tralvex Yeap. All Rights Reserved

17 Własności SOM Trudno coś udowodnić o zbieżności lub punktach stacjonarnych dla algorytmu SOM w więcej niż jednym wymiarze. Wyniki analityczne tylko w 1D dla ciągłego czasu, proces Markova: wartości wag wzdłuż prostej porządkują się. Powolna zbieżność: iteracji. Sąsiednie neurony kodują sąsiednie obszary, ale niekoniecznie odwrotnie Skręcone konfiguracje przy zbyt szybkiej redukcji sąsiedztwa. Złożoność O(KNn) dla K neuronów i n danych N-wymiarowych: konieczne porównanie wszystkich odległości; niezbyt duże mapy. Na komputerach wieloprocesorowych szukanie min z K będzie powolne. Jakość klasyfikacji: zwykle niska. Kohonen: SOM głównie do wizualizacji ... ale Wizualizacja: też kiepska, brak oceny wprowadzanych zniekształceń. W SOM nie istnieje funkcja energii, nie ma gradientu! (c) Tralvex Yeap. All Rights Reserved

18 Modyfikacje SOM SOM działa jak metoda klasteryzacji k-średnich jeśli funkcja sąsiedztwa staje się deltą, czyli s = 0. Próba wprowadzenia funkcji błędu (Luttrell; Heskes i Kappen). Błąd lokalny neuronu i jest sumą po wszystkich neuronach: Neuron-zwycięzca ma najmniejszy błąd lokalny: (c) Tralvex Yeap. All Rights Reserved

19 Co dalej? Perceptrony Sieci MLP Sieci RBF
Systemy rozmyte i neurorozmyte. (c) Tralvex Yeap. All Rights Reserved

20 Koniec wykładu 5 Dobranoc !
(c) Tralvex Yeap. All Rights Reserved

21 Sieci ze sprzężeniami zwrotnymi Model Hopfielda
Co było Sieci ze sprzężeniami zwrotnymi Model Hopfielda Modele pamięci asocjacyjnej Maszyna Boltzmana (c) Tralvex Yeap. All Rights Reserved