Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Inteligencja Obliczeniowa Sieci dynamiczne cd. Wykład 15 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch Wykład 15 Włodzisław Duch Uniwersytet.

Podobne prezentacje


Prezentacja na temat: "Inteligencja Obliczeniowa Sieci dynamiczne cd. Wykład 15 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch Wykład 15 Włodzisław Duch Uniwersytet."— Zapis prezentacji:

1 Inteligencja Obliczeniowa Sieci dynamiczne cd. Wykład 15 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch Wykład 15 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch

2 2 Co było 4 Sieci ze sprzężeniami zwrotnymi 4 Model Hopfielda 4 Modele pamięci asocjacyjnej

3 3 Co będzie 4 Maszyna Boltzmana 4 Sieci stochastyczne

4 4 Maszyna Boltzmana Stochastyczne sieci atraktorowe. Podobna do modelu Hopfielda Binarne neurony, symetryczne połączenia, ale ukryte neurony. Asynchroniczna dynamika. Neurony stochastyczne i stopniowe chłodzenie: Podobna do modelu Hopfielda Binarne neurony, symetryczne połączenia, ale ukryte neurony. Asynchroniczna dynamika. Neurony stochastyczne i stopniowe chłodzenie: WejściaWyjścia

5 5 Działanie MB Uczenie: sieć modeluje środowisko. Struktura wzbudzeń elementów widocznych przy braku sygnałów wejściowych powinna być taka sama jak w ich obecności. Zbiór wag połączeń definiuje model środowiska. Znaleźć zbiór wag pozwalających odtworzyć obserwowane częstości sygnałów wejściowych- model maksymalnego prawdopodobieństwa. Założenia: sygnały wejściowe wolnozmienne, sieć dochodzi do równowagi; brak korelacji pomiędzy strukturami danych wejściowych: prawd. p + (V a ) każdego z 2 n wektorów binarnych wystarczy. Różnice między działaniem swobodnym i wymuszonym pozwalają obliczyć korelacje wzbudzeń neuronów i pożądaną zmianę wag:

6 6 Przykład - obwód elektryczny 2 bity na zaznaczenie: rośnie, stałe, maleje. Prawo Ohma V=I×R neurony wiedzy typu (I -,V -,R 0 ), (I +,V +,R 0 ) ale nie (I +,V -,R 0 ). 5 praw: 3 Ohma + Kirhoffa + dodawanie R. 65 neuronów zawierających elementarne fakty 2 bity na zaznaczenie: rośnie, stałe, maleje. Prawo Ohma V=I×R neurony wiedzy typu (I -,V -,R 0 ), (I +,V +,R 0 ) ale nie (I +,V -,R 0 ). 5 praw: 3 Ohma + Kirhoffa + dodawanie R. 65 neuronów zawierających elementarne fakty Pytanie: Jeśli R 2 wzrośnie, R 1 i V t stałe, co z prądem i spadkami napięcia V 1, V 2 ? Ok. 500 iteracji (w naturze 10 ms/iterację), iteracja to 100 aktualizacji. Po uśrednieniu wynik prawidłowy. Pytanie: Jeśli R 2 wzrośnie, R 1 i V t stałe, co z prądem i spadkami napięcia V 1, V 2 ? Ok. 500 iteracji (w naturze 10 ms/iterację), iteracja to 100 aktualizacji. Po uśrednieniu wynik prawidłowy.

7 7 Neurodynamika Spoczynkowa aktywność neuronów (1-5 impulsów/sek) Ok impulsów/sek dochodzi do neuronu w pobliżu progu. 1. Stabilna sieć z aktywnością spoczynkową: globalny atraktor. 2. Uczenie się przez tworzenie nowych atraktorów. Model Amit, Brunel 1995 Aktywność tła ma charakter stochastyczny. Jednorodność: neurony w identycznym środowisku. Impulsy wysyłane przez różne neurony nie są skorelowane. Aktywacja neuronu jest sumą wkładów synaptycznych. Gaussowski rozkład wkładów synaptycznych. Wystarczy aktywność neuronu = liczbie impulsów na sekundę. Spoczynkowa aktywność neuronów (1-5 impulsów/sek) Ok impulsów/sek dochodzi do neuronu w pobliżu progu. 1. Stabilna sieć z aktywnością spoczynkową: globalny atraktor. 2. Uczenie się przez tworzenie nowych atraktorów. Model Amit, Brunel 1995 Aktywność tła ma charakter stochastyczny. Jednorodność: neurony w identycznym środowisku. Impulsy wysyłane przez różne neurony nie są skorelowane. Aktywacja neuronu jest sumą wkładów synaptycznych. Gaussowski rozkład wkładów synaptycznych. Wystarczy aktywność neuronu = liczbie impulsów na sekundę.

8 8 Schemat kolumny Ogólny schemat sieci: model kolumny, 10 5 neuronów. Kolumna ma około 1 mm 2, 10 5 neuronów. Połączenia: pobudzające i hamujące wewnątrz modułu, pobudzające dochodzące z zewnątrz (komórki piramidowe) % impulsów z lokalnych obwodów pobudzających. Około 20% jednostek hamujących; C synaps/neuron; Ogólny schemat sieci: model kolumny, 10 5 neuronów. Kolumna ma około 1 mm 2, 10 5 neuronów. Połączenia: pobudzające i hamujące wewnątrz modułu, pobudzające dochodzące z zewnątrz (komórki piramidowe) % impulsów z lokalnych obwodów pobudzających. Około 20% jednostek hamujących; C synaps/neuron;

9 9 Struktura sieci Sieć złożona z lokalnych modułów. Uczenie: początkowo moduł biorący udział w rozpoznawaniu zwiększa w nieselektywny sposób częstość impulsacji dla wszystkich sygnałów. Powyżej krytycznej wartości wzmocnienia LTP pojawiają się lokalne atraktory na tle globalnej aktywności - struktura sygnału uczącego. Aktywność spoczynkowa rośnie do około 20 Hz, utrzymuje się po zniknięciu bodźca - aktywna reprezentacja bodźca w pamięci. Pobudzenia wewnętrzne silniejsze niż zewnętrzne, utrzymują spontaniczną aktywność, modelowane przez rozkład Poissona % impulsów z lokalnych obwodów pobudzających o modyfikowalnych synapsach. Depolaryzacja membrany V(t) o 10ms opisana jest równaniem: Sieć złożona z lokalnych modułów. Uczenie: początkowo moduł biorący udział w rozpoznawaniu zwiększa w nieselektywny sposób częstość impulsacji dla wszystkich sygnałów. Powyżej krytycznej wartości wzmocnienia LTP pojawiają się lokalne atraktory na tle globalnej aktywności - struktura sygnału uczącego. Aktywność spoczynkowa rośnie do około 20 Hz, utrzymuje się po zniknięciu bodźca - aktywna reprezentacja bodźca w pamięci. Pobudzenia wewnętrzne silniejsze niż zewnętrzne, utrzymują spontaniczną aktywność, modelowane przez rozkład Poissona % impulsów z lokalnych obwodów pobudzających o modyfikowalnych synapsach. Depolaryzacja membrany V(t) o 10ms opisana jest równaniem:

10 10 Działanie modelu Symulacja modułu z 2000 neuronów: spontaniczna aktywność jest stabilna w czasie lokalnego uczenia się, moduł uczący się ma podwyższoną częstość impulsacji wśród neuronów biorących udział w kodowaniu wzorca i obniżoną wśród pozostałych. Podwyższenie średniej częstości impulsacji przy prezentacji wzorców zapowiada pojawienie się nowego atraktora: pojawia się bifurkacja i dwa rozwiązania stabilne: spontaniczna aktywność + atraktor lokalny. Dobra zgodność z obserwacjami neurofizjologicznymi, opartymi na pomiarach aktywności neuronów małp w czasie wykonywania zadań wymagających aktywnej pamięci pokazywanego przez krótki czas bodźca (delayed match-to-sample). Podwyższona aktywność spontaniczna widoczna w trakcie uczenia, po nauczeniu widać aktywność związana z lokalnymi atraktorami. Symulacja modułu z 2000 neuronów: spontaniczna aktywność jest stabilna w czasie lokalnego uczenia się, moduł uczący się ma podwyższoną częstość impulsacji wśród neuronów biorących udział w kodowaniu wzorca i obniżoną wśród pozostałych. Podwyższenie średniej częstości impulsacji przy prezentacji wzorców zapowiada pojawienie się nowego atraktora: pojawia się bifurkacja i dwa rozwiązania stabilne: spontaniczna aktywność + atraktor lokalny. Dobra zgodność z obserwacjami neurofizjologicznymi, opartymi na pomiarach aktywności neuronów małp w czasie wykonywania zadań wymagających aktywnej pamięci pokazywanego przez krótki czas bodźca (delayed match-to-sample). Podwyższona aktywność spontaniczna widoczna w trakcie uczenia, po nauczeniu widać aktywność związana z lokalnymi atraktorami.

11 11 Co dalej? 4 Samoorganizacja 4 Klasteryzacja 4 Wizualizacja 4 Czyli modele Kohonena.

12 Koniec wykładu 13 Dobranoc !


Pobierz ppt "Inteligencja Obliczeniowa Sieci dynamiczne cd. Wykład 15 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch Wykład 15 Włodzisław Duch Uniwersytet."

Podobne prezentacje


Reklamy Google