Samoorganizacja i korekcja błędów EE141 Inteligentne Systemy Autonomiczne Samoorganizacja i korekcja błędów W oparciu o wykład Prof. Randall O'Reilly University of Colorado oraz Prof. Włodzisława Ducha Uniwersytet Mikołaja Kopernika Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

Uczenie: rodzaje Jak powinien wyglądać idealny system, który się uczy? EE141 Uczenie: rodzaje Jak powinien wyglądać idealny system, który się uczy? Jak uczy się człowiek? Detektory (neurony) mogą zmieniać lokalne parametry ale chcemy osiągnąć zmianę działania całej sieci przetwarzającej informację. Rozważymy dwa rodzaje uczenia, wymagające innych mechanizmów: Uczenie się wewnętrznego modelu środowiska (spontaniczne). Uczenie się zadania, postawionego przed siecią (nadzorowane). Połączenie jednego i drugiego.

Uczenie działań Jeden neuron wyjściowy niewiele może się nauczyć. EE141 Uczenie działań Jeden neuron wyjściowy niewiele może się nauczyć. Działanie = transformacja sensomotryczna, percepcja-działanie. Stymulacja i wybór odpowiedniego działania, interpretacji, oczekiwań, planu ... Jakiego rodzaju formy uczenia pozwala to wyjaśnić? Jakie formy uczenia wymagają dodatkowych mechanizmów?

Symulacja Wybieramy self_org.proj.gz, z Rozdz. 4.8.1 EE141 Symulacja Wybieramy self_org.proj.gz, z Rozdz. 4.8.1 20 neuronów ukrytych, kWTA; sieć nauczy się interesujących cech.

Mapy senso-motoryczne EE141 Mapy senso-motoryczne Samoorganizację modeluje się na wiele sposobów; proste modele pomocne są w wyjaśnieniu jakościowych cech map topograficznych. Rys za: P.S. Churchland, T.J. Sejnowski, The computational brain. MIT Press, 1992

Mapy motoryczne i somatosensoryczne EE141 Mapy motoryczne i somatosensoryczne To bardzo uproszczony obraz, w rzeczywistości większość neuronów jest wielomodalna, neurony w korze ruchowej reagują na bodźce czuciowe, słuchowe i wzrokowe (neurony lustrzane) - wiele wyspecjalizowanych obwodów percepcji-działania-nazywania.

Reprezentacja palców: plastyczność EE141 Reprezentacja palców: plastyczność Ręka Twarz Przed Po stymulacji stymulacją Pola czuciowe w korze rozszerzaja sie po stymulacji – lokalne dominacje wynikajace z pobudzenia Plastycznosc obszarow kory do reprezentacji sensoryczno-motorycznych

EE141 Najprostsze modele SOM lub SOFM (Self-Organized Feature Mapping) – self-organizing feature map, jeden z najbardziej popularnych modeli. Jak mapy topograficzne mogą się utworzyć w mózgu? Lokalne połączenia neuronów tworzą grupy silnie ze sobą oddziaływujących, słabiej na większe odległości i hamujących pobliskie grupy. Historia: von der Malsburg i Willshaw (1976), uczenie konkurencyjne, Hebbowskie z potencjałem „Mexican hat”, głównie układ wzrokowy. Amari (1980) – modele warstwowe tkanki neuronowej. Kohonen (1981) – uproszczenie bez hamowania; tylko dwa niezbędne czynniki: konkurencja i kooperacja.

SOM: idea Dane: wektory XT = (X1, ... Xd) z d-wymiarowej przestrzeni. EE141 SOM: idea Dane: wektory XT = (X1, ... Xd) z d-wymiarowej przestrzeni. Siatka węzłów z lokalnymi procesorami (neuronami) w każdym węźle. Lokalny procesor # j ma d parameterów adaptacyjnych W(j). Cel: dostosuj parametry W(j) tak by modelować klastry w p-ni X.

SOM algorytm: konkurencja EE141 SOM algorytm: konkurencja Węzły powinny oceniać podobieństwo danych wejściowych do ich parametrów. Wektor wejściowy X jest porównywany z parametrami węzła W. Podobieństwo = minimalna odległość lub min. iloczyn skalarny. Konkurencja: znajdź węzeł j=c którego W jest najbardziej zbliżone do X. Węzeł numer c jest najbardziej podobny do wektora wejściowego X Jest on zwycięzca i tylko on uczy się podobieństwa do X, dlatego jest to konkurencyjna procedura uczenia. Mozg: neurony które są pobudzone przez sygnał aktywizują się i uczą.

SOM algorytm: kooperacja EE141 SOM algorytm: kooperacja Kooperacja: węzły na siatce bliskie do węzła zwycięzcy c powinny zachować się podobnie. Zdefiniujmy funkcje sąsiedztwa O(c): t – numer iteracji (lub czas), rc – lokalizacja zwycięskiego węzła c (w przestrzeni fizycznej zwykle 2D). ||r-rc|| – odległość od zwycięskiego węzła przeskalowana przez sc(t). h0(t) – powoli zanikający mnożnik. Funkcja sąsiedztwa określa jak silnie parametry zwycięskiego węzła i węzły sąsiedztwa maja się zmieniać, by upodobnić się do danej wejściowej X

Mapy i zniekształcenia EE141 Mapy i zniekształcenia Początkowe zniekształcenia mogą powoli zanikać (dobrze) albo mogą zastygnąć (zle) … dając użytkownikowi zniekształcony obraz rzeczywistości.

SOM algorytm: dynamika EE141 SOM algorytm: dynamika Zasada adaptacji: wybierz zwycięzcę c, i jego sąsiedztwo O(rc), zmień ich parametry czyniąc je bardziej podobnymi do danych X Wybierz w sposób przypadkowy nowy wektor danych X i powtórz. Zmniejszaj powoli h0(t) az nie będzie zmian wag połączeń. Rezultat: W(i) ≈ centra lokalnych klasterów w przestrzeni cech wektora X Węzły sąsiedztwa reprezentują sąsiednie rejony w przestrzeni wejściowej

Demonstracje za pomocą GNG EE141 Demonstracje za pomocą GNG Growing Self-Organizing Networks demo http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GNG.html Parametery programu SOM: t – iteracje e(t) = ei (ef / ei )t/tmax określa krok uczenia s(t) = si (sf / si )t/tmax określa rozmiar sąsiedztwa Mapy 1x30 pokazują formację krzywych Peano. Można spróbować odtworzyć mapy Penfielda.

Trenowanie SOM Wada algorytmu GNG: EE141 Trenowanie SOM Wada algorytmu GNG: kora nie wytwarza nowych neuronów u dorosłej osoby Fritzke algorithm Grownig Neural Gas (GNG) Demonstracje uczenia konkurencyjnego GNG w Java: http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GNG.html

EE141 Mapowanie kWTA CPCA Uczenie Hebbowskie tworzy relacje pomiędzy wejściem i wyjściem. Przykład: pat_assoc.proj.gz z Rozdziału 5, opisany w 5.2 Symulacje dla 3 zadań, od łatwego do niemożliwego.

EE141 Uczenie zadań Niestety uczenie Hebbowskie nie wystarczy by nauczyć się dowolnej relacji pomiędzy wejściem i wyjściem. Może to zrobić uczenie oparte na korekcji błędów. Skąd biorą się cele? Od „nauczyciela”, lub konfrontując z przewidywaniami modelu wewnętrznego.

EE141 Reguła Delta Idea: wagi wik należy tak korygować by zmieniały się mocno dla dużych błędów i nie ulegały zmianie jeśli błędu nie ma, więc Dwik ~ ||tk – ok|| si Zmiana jest też proporcjonalna do wielkości pobudzenia przez wejścia si Faza + jest prezentacją celu, faza – wynikiem sieci. To jest reguła Delta.

Przypisywanie zasług Credit/blame assignment Dwik =e ||tk – ok|| si EE141 Przypisywanie zasług Credit/blame assignment Dwik =e ||tk – ok|| si Błąd jest lokalny, dla wzorca k. Jeśli powstał duży błąd i wyjście ok jest znacznie mniejsze niż oczekiwane to neurony wejściowe o dużej aktywności jeszcze ją zwiększą. Jeśli wyjście ok jest znacznie większe niż oczekiwane to neurony wejściowe o dużej aktywności znacznie ją zmniejszą. Np. wejścia si to ilość kalorii w różnym pożywieniu, wyjście to umiarkowana waga; za dużo to trzeba zmniejszyć wysokokaloryczne wagi (spożycie), za mało to trzeba zwiększyć. Reprezentacje tworzone przez proces minimalizacji błędu są wynikiem najlepszego przypisania zasług do wielu jednostek, a nie największej korelacji (jak w modelach Hebbowskich).

EE141 Ograniczanie wag Nie chcemy by wagi zmieniały się bez ograniczeń i nie przyjmowały ujemnych wartości. Jest to zgodne z wymaganiami biologicznymi które separują neurony hamujące i pobudzające oraz maja ograniczenie górne wag. Poniższy mechanizm zmiany wag oparty o regule delta zapewnia spełnienie obu ograniczeń Dwik = Dik (1- wik) jesli Dik >0 Dwik = Dik wik jesli Dik <0 gdzie Dik jest zmiana wagi wynikająca z propagacji błędu Dik Dwik waga 1 Równanie to ogranicza wartości wagi do przedziału 0-1. Ograniczenie górne uzasadnione jest biologicznie przez maksymalna ilością NT który może być wypuszczony i maksymalna gęstością synaps

EE141 Uczenie zadań Chcemy: uczenie Hebbowskie i uczenie wykorzystujące korekcję błędów, jednostki ukryte i biologicznie uzasadnione modele. Kombinacja korekcji błędów i korelacji da się uzgodnić z tym co wiadomo o LTP/LTD Dwij = e [  xi yj  + -  xi yj  -] Hebbowskie sieci modelują stany świata ale nie percepcje-działanie. Korekcja błędu może się nauczyć mapowania. Niestety reguła delta dobra jest tylko dla jednostki wyjściowej, a nie ukrytej, bo trzeba jej podać cel. Metoda wstecznej propagacji błędu potrafi uczyć jednostki ukryte. Ale nie ma dla niej dobrego uzasadnienia biologicznego ... .

Symulacje Wybieramy: pat_assoc.proj.gz, z Rozdz. 5 Opis: Rozdz. 5. 5 EE141 Symulacje Wybieramy: pat_assoc.proj.gz, z Rozdz. 5 Opis: Rozdz. 5. 5 Reguła Delta potrafi się nauczyć trudnych odwzorowań, przynajmniej teoretycznie ...