Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Symulacje własności pamięci biologicznej. Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Grudziądzka 5, 87-100 Toruń.

Podobne prezentacje


Prezentacja na temat: "Symulacje własności pamięci biologicznej. Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Grudziądzka 5, 87-100 Toruń."— Zapis prezentacji:

1

2 Symulacje własności pamięci biologicznej. Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Grudziądzka 5, Toruń. WWW: Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Grudziądzka 5, Toruń. WWW:

3 Plan 1.Fizyka i sieci neuronowe. 2.Pamięć 3.Najprostsze modele pamięci skojarzeniowych 4.Sieci atraktorowe 5.Pamięć semantyczna 6.Pamięć robocza i SMNI 7.Pamięć epizodyczna. 8.Model amnezji 9.Degeneracja pamięci 10.Leabra - symulacje psychologiczne 11.Perspektywy modeli neuronowych

4 Sieci neuronowe i fizyka Wielkie wyzwanie fizyki: stworzenie modelu świata, który da się zrozumieć. Mózg: najbardziej skomplikowany obiekt w znanym Wszechświecie. Działanie mózgu mogą wyjaśnić tylko modele, na wielu poziomach, od molekuł do globalnych stanów dynamicznych. Mózg jest zbyt ważny, by zostawić go neurofizjologom. Neurofizyka i neuroinformatyka; Cognitive computational neurosciences. Institute for Theoretical Neurophysics, Uni Bremen

5 Sieci neuronowe 1938 N. Rashevsky, neurodynamika - sieci neuronowe jako układy dynamiczne, sieci rekurencyjne W. McCulloch, W. Pitts, sieci neuronowe=układy logiczneukłady logiczne 1958F. Rosenblatt, perceptron, sieć jako funkcja; MLP, RBF, 1986 wsteczna propagacja błędów; liczne zastosowania.sieć jako funkcja 1973 Chr. von der Malsburg, samoorganizacja w mózgu; 1982 Kohonen, Self-Organized MappingSelf-Organized Mapping Impulsujące szczegółowe modele neuronów Modele stochastyczne; sieci bezwagowe...

6 Model Hopfielda Wektor potencjałów wejściowych V(0)=V ini, czyli wejście = wyjście. Dynamika (iteracje) sieć Hopfielda osiąga stany stacjonarne = odpowiedzi sieci (wektory aktywacji elementów) na zadane pytanie V ini (autoasocjacja). t - czas dyskretny (numer iteracji). Stany stacjonarne = atraktory punktowe.

7 Reguła Hebba Kiedy akson komórki A jest dostatecznie blisko by pobudzić komórkę B i wielokrotnie w sposób trwały bierze udział w jej pobudzaniu, procesy wzrostu lub zmian metabolicznych zachodzą w obu komórkach tak, że sprawność neuronu A jako jednej z komórek pobudzających B, wzrasta. Kiedy akson komórki A jest dostatecznie blisko by pobudzić komórkę B i wielokrotnie w sposób trwały bierze udział w jej pobudzaniu, procesy wzrostu lub zmian metabolicznych zachodzą w obu komórkach tak, że sprawność neuronu A jako jednej z komórek pobudzających B, wzrasta. D. O. Hebb, 1949 Na poziomie molekularnym: LTP - Long Term Potentiation LTD - Long Term Depression E. Kandel, Nobel 2000

8 Pamięć Ze względu na czas trwania: 1.LTM - pamięć długotrwała - lata. Kora + hipokamp. 2.Pamięć krótkotrwała (STM), robocza (WM), operacyjna - sekundy do minut, przy ciągłym odświeżaniu godzin; aktualizuje kombinacje stanów LTM. Stan dynamiczny mózgu. 3.Pamięć natychmiastowa, ikonograficzna, pętla fonologiczna - od ułamków do kilku sekund. Lokalny stan dynamiczny. Ze względu na rodzaje pamięci.na rodzaje pamięci 1.Pamięć rozpoznawcza (recognition memory) - już to widziałem, choć nie mogłem sobie przypomnieć (kora śród- i około- węchowa). 2.Pamięć opisowa (deklaratywna): epizodyczna i semantyczna. 3.Pamięć nieopisowa (niedeklaratywna): proceduralna, odruchów warunkowych (gotowości reakcji, dyspozycyjności), habituacja- sentetyzacja (nieasocjacyjna) oraz torowanie (priming). 4.Pamięć jawna (świadoma, explicit) i utajona (nieświadoma, implicit). 5.Pamięć emocjonalna - często utajona, ale dzięki połączeniom hipokamp-kora przejściowa-ciało migdałowate bywa jawna.

9 BCM: pamięć autoasocjacyjna Pamięć rozpoznawcza. Niższy próg - rozpoznawanie błędnych wektorów. Binarne synapsy - możliwe biologicznie! Resorpcja kolców dendrytycznych. BAM, Bidirectional Associative Memory - heteroasocjacja. W - macierz połączeń synaptycznych. - próg pobudzenia

10 Cechy modelu BCM 1.Zdolność do rozpoznawania uszkodzonych wzorców – adresowalność kontekstowa. 2.Czas nie zależy od liczby zapamiętanych wzorców. 3.Uszkodzenie części macierzy połączeń nie prowadzi do zapomnienia konkretnych wzorców - brak lokalizacji. 4.Interferencja (mylenie się) dla podobnych wzorców jest częstsza niż dla wzorców odmiennych. 5.Przepełnienie pamięci (macierzy wag) prowadzi do chaotycznego zachowania. Wniosek: najprostsze systemy rozproszone wykazują cechy typowej pamięci skojarzeniowej.

11 Pamięć i atraktory Za pamięć biologiczną odpowiedzialne są sieci atraktorowe. Modele wyrastające z sieci Hopfielda - tylko atraktory punktowe, zbyt proste. DMS, Delayed Match to Sample - małpa musi nauczyć się sekwencji wielu obrazów; w fazie testu po krótkiej prezentacji jednego obrazu i przerwie rzędu 30 s ma pokazać sekwencję kilku obrazów.Delayed Match to Sample Wysoka aktywność (20 Hz) neuronów IT i PF do 30 s po prezentacji, pomiary z wielu elektrod. Korelacje czasowe przechodzą w korelacje aktywności. Model Amita pozwala odtworzyć krzywą korelacji.

12 D. Amit, N. Brunel, S. Fusi, , teoria i symulacje Spoczynkowa aktywność neuronów (1-5 impulsów/s) Ok impulsów/s dochodzi do neuronu w pobliżu progu. 1. Stabilna sieć z aktywnością spoczynkową: globalny atraktor. 2. Uczenie się przez tworzenie nowych atraktorów. Założenia ogólne: Aktywność tła ma charakter stochastyczny. Jednorodność: neurony w identycznym środowisku. Wystarczy aktywność neuronu = liczbie impulsów na sekundę. Spontaniczna aktywność różnych neuronów nie jest skorelowana. Aktywacja neuronu jest sumą wkładów synaptycznych. Gaussowski rozkład wkładów synaptycznych. Model Amita

13 Schemat kolumny Sieć kolumnSieć kolumn (ok. 1 mm 2 ), każda 10 5 neuronów = 10 3 mikrokolumn. Połączenia: populacje pobudzające i hamujące (bez adaptacji) wewnątrz modułu, pobudzające dochodzące z zewnątrz (komórki piramidowe) % impulsów z lokalnych obwodów pobudzających. Ok. 20% jednostek hamujących; 10 4 synaps E i 2000 synaps I na neuron.

14 Działanie sieci Sprawności synaptyczne: tylko LTP i LTD, ok. 5x słabsze. Depolaryzacja membrany V(t) o 10ms opisana jest równaniem: Wyniki symulacji programem SpikeNet, neuronów. Uczenie: początkowo moduł biorący udział w rozpoznawaniu zwiększa w nieselektywny sposób częstość impulsacji dla wszystkich sygnałów. Powyżej krytycznej wartości wzmocnienia LTP pojawiają się lokalne atraktory na tle globalnej aktywności - struktura sygnału uczącego. Etap 1: komórki mikrokolumn reagują na nauczone bodźce. Etap 2: aktywność spoczynkowa rośnie do około 20 Hz, utrzymuje się po zniknięciu bodźca - aktywna reprezentacja bodźca w pamięci. Pobudzenia wewnętrzne silniejsze niż zewnętrzne, utrzymują spontaniczną aktywność, modelowane przez rozkład Poissona. Etap 3: powstają korelacje pomiędzy mikrokolumnami. Implementacja VLSI - gotowa.

15 Pamięć semantyczna Jak z epizodów tworzy się pamięć semantyczna?pamięć semantyczna Model McClleland-Naughton-OReilly (1995). Uczenie synaptyczne, powstawanie reprezentacji wewnętrznych. Relacje pomiędzy wektorami pobudzeń dla słów da się zinterpretować w przestrzeni ok. 300-wymiarowej. Porównanie rezultatów eksperymentów mierzących szybkość skojarzeń i wektorów w przestrzeni cech na obrazach MDS. Semantyka - oparta na relacjach podobieństwa.

16 Pamięć robocza Pamięć aktywna, dynamiczna, jej zawartość to treść świadomości. Czas trwania rzędu sekund, pojemność 7±2 obiekty (Miller 1956). Testy: głównie nieskorelowane słowa/liczby/symbole. Porcjowanie: grupowanie prostszych obiektów w obiekty wyższego rzędu, mechanizm uczenia divide and conquer, pozwala pamiętać więcej pomimo ograniczeń STM. Dla obiektów wzrokowych STM mieści tylko 4±2 obiekty - np. chińskie znaki jeśli ktoś nie zna chińskiego. Jak WM wiąże się z aktywnością EEG? Jak uzasadnić magiczną liczbę 7?

17 SMNI Lester Ingber, od 1983 r, SMNI, Statistical Mechanics of Neocortical Interactions (Phys. Rev. A & E). Teoria statystyczna, uśrednianie po mikro i minikolumnach.mikro i minikolumnach Mikrokolumy 110 neuronów; kolumny neuronów. Mezoskopowy nieliniowy Lagrangian określa rozkład p. impulsacji w mikrokolumnie po oddziaływaniu z neuronami kolumny, uwzględniając oddziaływania międzykolumowe (neurony piramidowe) i szum synaptyczny. Ewolucja parametrów modelu (sprawności synaptyczne, progi pobudzeń, częstości impulsacji n. hamujących i pobudzających) symulowana jest (PATHINT) metodą całkowania po trajektoriach a parametry dopasowane za pomocą Adaptive Simmulated Annealing.

18 Rezultaty SMNI Pierwsze oszacowania pojemności STM w 1984 roku. Atraktory STM: warunkowe rozkłady prawdopodobieństwa pobudzeń kolumn kory. Czas =10 ms. pobudzeń kolumn kory Lokalne oddziaływania minikolumn - czasy rzędu 5 wystarczą do silnych interferencji atraktorów. Konieczne są oddziaływania długozasięgowe i odświeżanie falami 40 Hz: naiwne oszacowanie: 25 ms/3.5ms 7. Reguła 7±2 i 4±2 - różnica wynika z l. neuronów/mikroklumnę. Większość kory n/mikrokolumna; kora wzrokowa ma 220. Efekt najlepszego pamiętania początku i końca listy, najsłabiej w środku - statystyka atraktorów. Struktura EEG - oscylacje 16 Hz, korelaty WM?

19 Pamięć epizodyczna Pamięć trwała jest rezultatem stanów atraktorowych minikolumn kory mózgu, zapisana jest w synapsach w sposób rozproszony. Pamięć epizodyczna - odtworzenie stanu mózgu w momencie epizodu. Układ neuromodulacji reguluje plastyczność hipokampa i kory. Pamięć średnioterminowa zapisana jest w sieciach hipokampa, jako wskaźniki do kolumn kory (?)sieciach hipokampa

20 Powstawanie trwałej pamięci

21 Amnezja wsteczna Główna przyczyna: utrata łączy do kory. Objawy: gradienty Ribota czyli im starsze wspomnienia tym lepiej pamiętane.

22 Amnezja następcza Główna przyczyna: uszkodzenie systemu neuromodulacji. Wtórnie: utrata łączy z korą. Objawy: Brak możliwości zapamiętania nowych faktów.

23 Amnezja semantyczna Główna przyczyna: uszkodzenie łączy wewnątrzkorowych. Objawy: Trudności w znajdowaniu słów, rozumieniu, zapamiętanie nowych faktów wymaga ciągłego powtarzania.

24 Symulacje Murre, Meeter (w trakcie): uszkodzenie łączy wewnątrzkorowych. 200 kolumn korowych; 42 kolumny hipokampa; neuromodulacja wpływa na parametry, ale nie jest explicite uwzględniana. Połączenia wewnątrz i pomiędzy neuronami - bez ograniczeń. Binarne neurony stochastyczne, p. wysłania impulsu zależy od pobudzeń i hamowania, szybkiego (wymuszone I) i powolnego (spontaniczne I). Uczenie Hebbowskie (Singer 1990), szybkość uczenia w korze mała. Nakrywanie wzorców: spore w hipokampie, niewielkie w korze. Symulacje normalnego uczenia i przypominania: akwizycja - szybkie uczenie, hipokamp. konsolidacja - powolne korowe, spontaniczne przypominanie; testowanie - częściowe wektory, ile kolumn prawidłowo pobudzonych? Potęgowe prawo zapominania, w wyniku interferencji nowych faktów. Gradienty Ribota i amnezja wsteczna; zanik RA, chwilowa amnezja globalna (TGA) w wyniku zaniku aktywności w hipokampie; AA i jej korelacje z RA; izolowana RA, pamięć utajona, poziomy analizy... Potęgowe prawo zapominania globalna (TGA)

25 Degeneracja pamięci Degeneracja pamięci, np. w chorobie Alzheimera, może być związana z utratą słabych synaps. Jak wpłynie taka utrata na pojemność pamięci? Odpowiedzi - na razie tylko w oparciu o modele Hopfielda. Kompensacja - pozostałe synapsy mogą się zaadoptować do nowej sytuacji. Jaka kompensacja jest najlepsza? d - stopień uszkodzenia k=k(d) funkcja kompensacji Silne synapsy ulegają dalszemu wzmocnieniu. Samo d nie świadczy jeszcze o stopniu uszkodzenia pamięci.

26 KompensacjaKompensacja Poprawne odpowiedzi jako funkcja ułamka usuniętych połączeń bez i z kompensacją. Zmiana wielkości basenów atrakcji w wyniku uczenia z kompensacją.

27 Leabra Realizm biologiczny. Rozproszone reprezentacje. Konkurencja k-WTA. Dwukierunkowa propagacja aktywacji. Uczenie Hebbowskie. Uczenie redukujące błędy. Wiele zastosowań do modelowania percepcji, uwagi, pamięci, zjawisk lingwistycznych i myślenia/planowania.

28 Eksperymenty A-not B Piaget (1954) - eksperymenty A-not B z niemowlętami i małpami. E - eksperymentator, N - niemowlę, A, B - miejsca 1. N obserwuje, jak E chowa zabawkę w A, po krótkiej przerwie ją tam znajduje; powtarza się to kilka razy. 2. N obserwuje, jak E chowa zabawkę w B, ale po krótkiej przerwie szuka zabawki nadal w A. Uczenie faworyzuje A, aktywacja WM (kora prefrontalna) B. Lezje kory prefrontalnej u rezusów i N - silny efekt A-not B. Konkurencja pomiędzy uczeniem synaptycznym i aktywacjami. Symulacje - Munakata (1998).

29 Co się dzieje w mózgu?

30 Perspektywy Sieci impulsujące, bliższe temu, co neurofizjolog mierzy. Modele pamięci obejmujące szerszy zakres zjawisk. Integracja z modelami układów sensorycznych. Integracja z czynnościami poznawczymi. Fizyka umysłu?


Pobierz ppt "Symulacje własności pamięci biologicznej. Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Grudziądzka 5, 87-100 Toruń."

Podobne prezentacje


Reklamy Google