Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Samoorganizacja: uczenie bez nadzoru. Wykład 5 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch.

Podobne prezentacje


Prezentacja na temat: "Samoorganizacja: uczenie bez nadzoru. Wykład 5 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch."— Zapis prezentacji:

1 Samoorganizacja: uczenie bez nadzoru. Wykład 5 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch

2 Co będzie Mapy w mózgu. Samoorganizacja Sieci Kohonena

3 Samoorganizacja Uczenie bez nadzoru: wykrywanie cech w sygnale, modelowanie danych, analiza skupień, modele rozkładu prawd. stanów środowiska... Powstawanie wewnętrznych reprezentacji w mózgu: skomplikowane. Proste bodźce wyzwalające u zwierząt, uboga reprezentacja. Analiza danych zmysłowych i instrukcje motoryczne - neurony o podobnych funkcjach są obok siebie => mapy topograficzne. Mapy somatosensoryczne układu czuciowego, Mapy somatosensoryczne układu czuciowego, mapy motoryczne kory i móżdżku, mapy motoryczne kory i móżdżku, mapy tonotopiczne układu słuchowego, mapy tonotopiczne układu słuchowego, mapy orientacji dwuocznej układu wzrokowego, mapy orientacji dwuocznej układu wzrokowego, mapy wielomodalne układu orientacji (wzgórki czworacze górne) mapy wielomodalne układu orientacji (wzgórki czworacze górne)

4 Mapy senso-motoryczne

5 Mapa palców

6 Mapy czuciowe i motoryczne

7 Modele samoorganizacji SOM lub SOFM (Self-Organized Feature Mapping) - samorganizująca się mapa cech. Jak mapy topograficzne mogą się utworzyć spontanicznie? Połączenia lokalne: neuron silnie pobudzany przez pobliskie, słabo przez odległe, hamowany przez neurony pośrednie. Historia: von der Malsburg i Willshaw (1976), uczenie konkurencyjne, mechanizm Hebbowski, wzbudzenie typu Meksykańskiego kapelusza, model układu wzrokowego. Amari (1980) - model ciągłej tkanki neuronowej. Kohonen (1981) - uproszczenie, bez hamowania; dwie fazy - konkurencja i kooperacja.

8 Uczenie SOM Neurony reagują na sygnały X podobne do W. Podobny = iloczyn skalarny największy lub odległość min. Znajdź najsilniej reagujący neuron c. Przesuń wagi neuronu c i neuronów w sąsiedztwie O(c): w stronę wektora X:

9 Algorytm SOM Siatka neuronów i = 1.. K w 1D-3D, każdy neuron z N wagami. Neurony z wagami W i (t) = {W i1 W i2.. W iN }, wektory X={X 1, X 2.. X N }. t - dyskretny czas; nie ma połączeń pomiędzy neuronami! 1. Inicjalizacja: przypadkowe W i (0) dla wszystkich i=1..K. Funkcja sąsiedztwa h(|r-r c |/ (t),t) definiuje wokół neuronu położonego w miejscu r c siatki obszar O s (r c ). 2. Oblicz odległości d(X,W), znajdź neuron z wagami W c najbardziej podobnymi do X (neuron-zwycięzcę). 3. Zmień wagi wszystkich neuronów w sąsiedztwie O s (r c ) 4. Powoli zmniejszaj siłę h 0 (t) i promień (t). 5. Iteruj aż ustaną zmiany. Efekt: podział (tesselacja) na wieloboki Voronoia.

10 Sieć 1D, dane 2D

11 Sieć 2D, dane 3D

12 Uczenie sieci 2D

13 2D => 2D, kwadrat Tworzenie się jednorodnego rozkładu: początkowo wszystkie W 0.

14 2D => 1D trójkąty Tworzenie się fraktalnych krzywych Peano.

15 Zniekształcenia Początkowe zniekształcenia mogą zniknąć lub pozostać.

16 Stała uczenia Duża stała uczenia prowadzi do eksploracji znacznej części przestrzeni. Symulacje z równomiernym rozkładem wektorów; końcowy podział jest równomierny.

17 Własności SOM Trudno coś udowodnić o zbieżności lub punktach stacjonarnych dla algorytmu SOM w więcej niż jednym wymiarze. Wyniki analityczne tylko w 1D dla ciągłego czasu, proces Markova: wartości wag wzdłuż prostej porządkują się. Powolna zbieżność: iteracji. Sąsiednie neurony kodują sąsiednie obszary, ale niekoniecznie odwrotnie Skręcone konfiguracje przy zbyt szybkiej redukcji sąsiedztwa. Złożoność O(KNn) dla K neuronów i n danych N-wymiarowych: konieczne porównanie wszystkich odległości; niezbyt duże mapy. Na komputerach wieloprocesorowych szukanie min z K będzie powolne. Jakość klasyfikacji: zwykle niska. Kohonen: SOM głównie do wizualizacji... ale Wizualizacja: też kiepska, brak oceny wprowadzanych zniekształceń. W SOM nie istnieje funkcja energii, nie ma gradientu!

18 Modyfikacje SOM SOM działa jak metoda klasteryzacji k-średnich jeśli funkcja sąsiedztwa staje się deltą, czyli = 0. Neuron-zwycięzca ma najmniejszy błąd lokalny: Próba wprowadzenia funkcji błędu (Luttrell; Heskes i Kappen). Błąd lokalny neuronu i jest sumą po wszystkich neuronach:

19 Co dalej? Perceptrony Sieci MLP Sieci RBF Systemy rozmyte i neurorozmyte.

20 Koniec wykładu 5 Dobranoc !

21 Co było Sieci ze sprzężeniami zwrotnymi Model Hopfielda Modele pamięci asocjacyjnej Maszyna Boltzmana


Pobierz ppt "Samoorganizacja: uczenie bez nadzoru. Wykład 5 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch."

Podobne prezentacje


Reklamy Google