Inteligencja Obliczeniowa Sieci dynamiczne cd.

Prezentacja na temat: "Inteligencja Obliczeniowa Sieci dynamiczne cd."— Zapis prezentacji:

1 Inteligencja Obliczeniowa Sieci dynamiczne cd.
Wykład 15 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch (c) Tralvex Yeap. All Rights Reserved

2 Sieci ze sprzężeniami zwrotnymi Model Hopfielda
Co było Sieci ze sprzężeniami zwrotnymi Model Hopfielda Modele pamięci asocjacyjnej (c) Tralvex Yeap. All Rights Reserved

3 Maszyna Boltzmana Sieci stochastyczne Co będzie
(c) Tralvex Yeap. All Rights Reserved

4 Maszyna Boltzmana Stochastyczne sieci atraktorowe.
Podobna do modelu Hopfielda Binarne neurony, symetryczne połączenia, ale ukryte neurony. Asynchroniczna dynamika. Neurony stochastyczne i stopniowe chłodzenie: Wejścia Wyjścia (c) Tralvex Yeap. All Rights Reserved

5 Działanie MB Uczenie: sieć modeluje środowisko. Struktura wzbudzeń elementów widocznych przy braku sygnałów wejściowych powinna być taka sama jak w ich obecności. Zbiór wag połączeń definiuje model środowiska. Znaleźć zbiór wag pozwalających odtworzyć obserwowane częstości sygnałów wejściowych- model maksymalnego prawdopodobieństwa. Założenia: sygnały wejściowe wolnozmienne, sieć dochodzi do równowagi; brak korelacji pomiędzy strukturami danych wejściowych: prawd. p+(Va) każdego z 2n wektorów binarnych wystarczy. Różnice między działaniem swobodnym i wymuszonym pozwalają obliczyć korelacje wzbudzeń neuronów i pożądaną zmianę wag: (c) Tralvex Yeap. All Rights Reserved

6 Przykład - obwód elektryczny
2 bity na zaznaczenie: rośnie, stałe, maleje. Prawo Ohma V=I×R neurony wiedzy typu (I-,V-,R0), (I+,V+,R0) ale nie (I+,V-,R0). 5 praw: 3 Ohma + Kirhoffa + dodawanie R. 65 neuronów zawierających elementarne fakty Pytanie: Jeśli R2 wzrośnie, R1 i Vt stałe, co z prądem i spadkami napięcia V1, V2 ? Ok. 500 iteracji (w naturze 10 ms/iterację), iteracja to 100 aktualizacji. Po uśrednieniu wynik prawidłowy. (c) Tralvex Yeap. All Rights Reserved

7 Neurodynamika Spoczynkowa aktywność neuronów (1-5 impulsów/sek)
Ok impulsów/sek dochodzi do neuronu w pobliżu progu. 1. Stabilna sieć z aktywnością spoczynkową: globalny atraktor. 2. Uczenie się przez tworzenie nowych atraktorów. Model Amit, Brunel 1995 Aktywność tła ma charakter stochastyczny. Jednorodność: neurony w identycznym środowisku. Impulsy wysyłane przez różne neurony nie są skorelowane. Aktywacja neuronu jest sumą wkładów synaptycznych. Gaussowski rozkład wkładów synaptycznych. Wystarczy aktywność neuronu = liczbie impulsów na sekundę. (c) Tralvex Yeap. All Rights Reserved

8 Schemat kolumny Ogólny schemat sieci: model kolumny, 105 neuronów.
Kolumna ma około 1 mm2, 105 neuronów. Połączenia: pobudzające i hamujące wewnątrz modułu, pobudzające dochodzące z zewnątrz (komórki piramidowe). 50-80% impulsów z lokalnych obwodów pobudzających. Około 20% jednostek hamujących; C » synaps/neuron; (c) Tralvex Yeap. All Rights Reserved

9 Struktura sieci Sieć złożona z lokalnych modułów.
Uczenie: początkowo moduł biorący udział w rozpoznawaniu zwiększa w nieselektywny sposób częstość impulsacji dla wszystkich sygnałów. Powyżej krytycznej wartości wzmocnienia LTP pojawiają się lokalne atraktory na tle globalnej aktywności - struktura sygnału uczącego. Aktywność spoczynkowa rośnie do około 20 Hz, utrzymuje się po zniknięciu bodźca - aktywna reprezentacja bodźca w pamięci. Pobudzenia wewnętrzne silniejsze niż zewnętrzne, utrzymują spontaniczną aktywność, modelowane przez rozkład Poissona % impulsów z lokalnych obwodów pobudzających o modyfikowalnych synapsach. Depolaryzacja membrany V(t) o t10ms opisana jest równaniem: (c) Tralvex Yeap. All Rights Reserved

10 Działanie modelu Symulacja modułu z 2000 neuronów: spontaniczna aktywność jest stabilna w czasie lokalnego uczenia się, moduł uczący się ma podwyższoną częstość impulsacji wśród neuronów biorących udział w kodowaniu wzorca i obniżoną wśród pozostałych. Podwyższenie średniej częstości impulsacji przy prezentacji wzorców zapowiada pojawienie się nowego atraktora: pojawia się bifurkacja i dwa rozwiązania stabilne: spontaniczna aktywność + atraktor lokalny. Dobra zgodność z obserwacjami neurofizjologicznymi, opartymi na pomiarach aktywności neuronów małp w czasie wykonywania zadań wymagających aktywnej pamięci pokazywanego przez krótki czas bodźca (delayed match-to-sample). Podwyższona aktywność spontaniczna widoczna w trakcie uczenia, po nauczeniu widać aktywność związana z lokalnymi atraktorami. (c) Tralvex Yeap. All Rights Reserved

11 Co dalej? Samoorganizacja Klasteryzacja Wizualizacja
Czyli modele Kohonena. (c) Tralvex Yeap. All Rights Reserved

12 Koniec wykładu 13 Dobranoc !
(c) Tralvex Yeap. All Rights Reserved