Wykład 11 Neuropsychologia komputerowa

Prezentacja na temat: "Wykład 11 Neuropsychologia komputerowa"— Zapis prezentacji:

1 Wykład 11 Neuropsychologia komputerowa
Percepcja - Mechanizmy uwagi Włodzisław Duch UMK Toruń Google: W Duch (c) Tralvex Yeap. All Rights Reserved

2 Szlak grzbietowy Rozpoznawanie to funkcja szlaku brzusznego, teraz pora na grzbietowy. Funkcje: wykrywanie ruchu, umiejscowienie, „gdzie” i jak działać, ale i na czym skupić uwagę i jak dzięki temu przerzucać uwagę z jednego obiektu na drugi obiekt. Uwaga pozwala powiązać różne własności obiektu w jedną całość, rozwiązać problem spójności wrażeń pomimo rozproszonego przetwarzania; rozproszona aktywacja => cech ze sobą powiązanych, odnoszących się do jednego obiektu. Model uwagi  emergentnego procesu wynikającego ze struktury i dynamiki sieci neuronów, głównie konkurencji (hamowania). Efekty uwagi są powszechne, widoczne w różnych sytuacjach. Na co zwracać uwagę? Czy to dobrze postawione pytanie? Psy gryzą, a nie tylko Burek, nie tylko kundle, nie tylko czarne ... (c) Tralvex Yeap. All Rights Reserved

3 Model uwagi przestrzennej
Interakcja reprezentacji przestrzennych z rozpoznawaniem obiektów. Jak szlak grzbietowy oddziałuje na szlak brzuszny? Różne reprezentacje przestrzenne w korze ciemieniowej, tutaj prosta mapa relacji przestrzennych. Eksperyment Posnera: uwaga kierowana jest na bodziec przygotowujący (cue), co wpływa na czasy reakcji na prosty bodziec docelowy, zależnie od tego czy pojawia się w tym samym czy w innym miejscu. Aktywacja w określonym miejscu => szybkość rozpoznania. (c) Tralvex Yeap. All Rights Reserved

4 Jak modelować? Możliwa jest mediacja uwagi przez V1V5, ale wtedy hamowanie w samym V1 zapobiegnie przeniesieniu uwagi na inny obiekt. Oryginalny model Posnera: kora ciemieniowa „uwalnia” uwagę. Istnieje bezpośrednie sprzężenie (V4-V5) pomiędzy szlakiem grzbietowym i brzusznym plus droga przez V1. Uwaga przestrzenna wpływa na rozpozna-wanie; grubsze linie = silniejszy wpływ. (c) Tralvex Yeap. All Rights Reserved

5 Lezje szlaku grzbietowego
Lezje kory ciemieniowej wpływają silnie na mechanizmy uwagi i orientacji przestrzennej, rozległe lezje w jednej półkuli prowadzą do jednostronnego zaniedbania, niezdolności wyobrażenia przeciwległej do lezji części przestrzeni (skupienia uwagi na niej). Dla niewielkich lezji jednostronnych widać wyraźne spowolnienie przeniesienia uwagi do miejsca po przeciwległej stronie. Dla rozległych lezji przeniesienie uwagi nie jest możliwe. Lezje dwustronne prowadzą do zespołu Balinta, trudności w precyzyjnym kierowaniu ręką za pomocą wzroku, symultanagnozji; różnice pomiędzy czasami przeniesienia uwagi w eksperymencie Posnera są niewielkie. Posner twierdził, że to wynik przykucia uwagi, niezdolności do oderwania ale nie podał mechanizmu odrywania, następuje ono po skupieniu uwagi gdzie indziej – bardziej zrozumiały model zakłada zwykłą konkurencję. (c) Tralvex Yeap. All Rights Reserved

6 Model uwagi Model R.8, attn_simple_proj.gz
Bodźce: pojedyncze aktywacje w jednym z 7 miejsc, dla dwóch obiektów (cue, target). 3 warstwy, każdy element wyższej warstwy korzysta z 3 niżej, stąd V1 jest 2x7, Spat1 i Obj1 2x5, Spat2 i Obj2 jest 2x3, wyjście 2x1, wzrastająca niezmienniczość. Czas reakcji: czas potrzebny by aktywność wyjścia połączonego z Obj2 osiągnęła 0.6. Spat2 reaguje tylko na położenie. (c) Tralvex Yeap. All Rights Reserved

7 Eksperymenty (c) Tralvex Yeap. All Rights Reserved

8 1: Postrzeganie dwóch obiektów
r.wt pokaże połączenia. Parametry skalujące: spat_obj = 2, skalowanie wag spat=>obj obj_spat =0.5 (nie pokazane) v1_spat = 2, silniejsze niż v1_obj noise_var = , niewielki szum. cue_dur = 200 liczba cykli w czasie których prezentowany jest bodziec przygotowujący (cue), po nim następuje docelowy. 3 sytuacje dla Multi_objs, są dwa obiekty, wskazówka + cel (wyróżniony): dwa różne, dwa jednakowe, dwa różne w tym samym miejscu. act, step przez wszystkie zdarzenia kilka razy View Graph_log i Run –rozpoznanie nakładających się elementów jest zwykle wolniejsze; view text_log; view batch_text_log, run batch. (c) Tralvex Yeap. All Rights Reserved

9 2. Eksperyment Posnera env_type std_Posner
view events: 0 tylko target, 1 cue po lewej, target po lewej (valid), 2 cue po lewej, target po prawej (invalid). Aktywacja nie jest zerowana po prezentacji pierwszego bodźca, tylko po całej grupie. Display on, clear graph log, step. Batch powtórzy 10x, wykres => W jaki sposób sieć skraca czas po tej samej stronie? W jaki wydłuża po przeciwnej? Testuj spat_obj=1 i v1_spat=1.5, 1 Zmień na even_type Close_Posner i sprawdź efekty. Lokalizacja wpływa na szybkość reakcji. (c) Tralvex Yeap. All Rights Reserved

10 Prosty model testu Posnera
Przykładowe wyniki: normalizacja skaluje zwolnienie procesów dla 1 kol. To samo Różne D Dorośli 350 390 40 Starzy 540 600 60 Pacjenci 640 760 120 Starzy znorm. 0.65 Pacjenci znorm. 0.55 418 68 (c) Tralvex Yeap. All Rights Reserved

11 Efekty lezji Pacjenci z lezjami nawet po normalizacji mają znacznie dłuższe czasy w teście Posnera, podczas gdy starsze osoby po normalizacji mają różnice takie jak normalni. Lezja w modelu: env_type Std_Posner, Lesion, lesion_lay = Spat1_2 by upośledzić obydwa poziomy, liczba miejsc (locations) = half, liczba elementów = half, czyli 1 z dwóch. liczba elementów = half, czyli 1. Sprawdź (r.wt), że wagi zostały wyzerowane: dwa elementy w prawym rogu Spat_1, i jeden z prawego górnego rogu Spat_2 Batch by zobaczyć wpływ. (c) Tralvex Yeap. All Rights Reserved

12 Lezje odwrotnie Zadanie odwrócone: należy przerzucić uwagę ze strony, po której jest lezja do przeciwległej. Ustawić env_type na Reverse_Posner: różnice znacznie mniejsze (inna skala). Czemu? Normalna strona łatwiej konkuruje z uszkodzoną, więc różnice się zmniejszają – zgodnie z obserwacjami dla pacjentów. Obustronne lezje: Std_Posner, Full dla lokacji, half dla l. jednostek, Batch Efekty wyraźny, ale słabszy niż jednostronnych lezji. (c) Tralvex Yeap. All Rights Reserved

13 Lezja całkowita: zaniedbanie
Jednostronne zaniedbanie przy rozległym uszkodzeniu. Symulacja: Multi_obj, half dla miejsc, full dla l. jednostek, Run Sieć ma tendencję do skupiania uwagi na nieuszkodzonej stronie, niezależnie od prezentacji, zaniedbując połowę przestrzeni. Pacjenci z jednostronnym zaniedbaniem nie są zdolni do wyobrażenia jednej strony przestrzeni tylko wtedy, gdy w drugiej jest jakiś bodziec na którym można skupić uwagę (zjawisko ekstynkcji). Podobnie zaniedbanie dla Std_Posner. Obustronne lezje: zespół Balinta, symultagnozja i brak koordynacji oko/ręka. (c) Tralvex Yeap. All Rights Reserved

14 Efekty przerwy Jeśli po bodźcu przygotowawczym zrobimy przerwę rzędu 500 ms pojawia się zjawisko hamowania powrotu do tego bodźca, czasy się częściowo odwracają, zmiana położenia wywołuje szybszą reakcję! Można to symulować wydłużając długość prezentacji bodźca przygotowującego i uwzględniając zmęczenie neuronów (akomodacja). Defaults, No_lesion, enc_type = Std_Posner, accomodate Zmiana z 75 do 200 co 25 ms (c) Tralvex Yeap. All Rights Reserved

15 3. Uwaga związana z obiektami
Efekty uwagi związane z interakcją miejsca w przestrzeni i rozpoznawania obiektu będą podobne do efektów uwagi związanej z rozpoznawaniem konkurencyjnego obiektu (object-based attention). Env_type Obj_attn, View Events Zdarzenia: 1) 2 obiekty D, U bez wskazówek, rozpoznawany U bo większa aktywacja. 2) Wskazówka D w położeniu centralnym, dwa obiekty D, U blisko po obu stronach, sieć powinna skupić się na D, chociaż aktywacja D jest słabsza. 3) Wskazówka D centralnie i 2 obiekty w tym samym miejscu, też D. Defaults, Step: początkowa wskazówka wpływa na wybór nawet jeśli drugi obiekt ma silniejszą aktywację. i jest w tym samym miejscu. (c) Tralvex Yeap. All Rights Reserved

16 Podsumowanie Efekty uwagi pojawiają się naturalnie w modelu jako wynik konkurencji przez hamowanie, wzajemnych połączeń, konieczności kompromisów. Podobne efekty widać w różnych mechanizmach korowych. Niektóre mechanizmy psychologiczne (zwalnianie uwagi) okazują się niepotrzebne, nie ma "sieci uwagowych" tylko synchronizacja. Efekty związane z uwagą dostarczają szczegółowych informacji pozwalających na dostrojenie modeli do wyników eksperymentów i użycie tych modeli do innych przewidywań; jest też sporo neurofizjologicznych danych dotyczących uwagi. Ograniczenia tego modelu: brak efektów związanych ze wzgórzem (praca Wager & O’Reilly), zbyt prosta reprezentacja obiektów (jedna cecha). (c) Tralvex Yeap. All Rights Reserved

17 Złożony model rozpoznawania
Model objectrec_multiobj.proj.gz, roz , brak w Emergent 2009. Model ma dodatkowe dwie warstwy Spat1 połączone z V1 i Spat2 połączone z V2. Spat1 ma pobudzenia wewnątrz warstwy, skupia się na obiekcie. Warstwa Target pokazuje, który wzorzec został wybrany i czy pasuje do wyjścia. (c) Tralvex Yeap. All Rights Reserved

18 Dwa obiekty w różnych miejscach
BuildNet, r.wt by sprawdzić połączenia, pola recepcyjne w V1. LoadNet, r.wt by sprawdzić po treningu. Spat_1 reaguje na pola w V1 o rozmiarach 8x8, zawijanie prawa na lewą Spat_2 na pola V2 16x16. Dwa obiekty (prostop. linie) z tą samą aktywacją w różnych miejscach. StepTest, obiekt nr. 12, prezentowany w lewym dolnym rogu. Początkowo oscylacje, ale stopniowa przewaga jednego z dwóch miejsc i znajdującego się tam obiektu; wpływ na niższe warstwy, w V1 pozostaje aktywacja tylko jednego. View Test_log; widać błędy w rozpoznawaniu, bo obiekty są małe, a jednoczesna aktywacja V1 wprowadza zamieszanie – brak mechanizmu sakad prowadzącego do kolejnego, a nie jednoczesnego pobudzania. Zmniejszenie fm_sapt1_scale z 1 do 0.01, simultanagnozja, nie da się rozpoznać dwóch obiektów, można tylko jeden! (c) Tralvex Yeap. All Rights Reserved

19 Wpływ lokalizacji przestrzennej
Aktywacja przestrzenna może co najwyżej modulować proces rozpoznawania, inaczej będziemy wiedzieli gdzie, ale nie co. Zapewnia to hamowanie i konkurencja, rozpoznawanie jest kombinacją aktywacji miejsca i wzmacnianych cech w niższych warstwach. Przełączanie obiektów: włączamy akomodację neuronów. Accomodate, InitStep, TestStep Po zmęczeniu neuronów pierwszym obiektem uwaga przesuwa się do drugiego, po warstwie Spat1. Często robione są błędy, nie jest to jeszcze dobry mechanizm kontrolny. Uwaga związana z obiektem też daje się w tym modelu zobaczyć. View, Test_Process_ctrl, environment z vis_sim_test => obj_attn_test (na dole ScriptEnv). Apply, Reinit, Step. Sieć rozpoznaje obiekt 17; Step sieć rozpoznaje 12 i 17, zostaje przy 17 (c) Tralvex Yeap. All Rights Reserved

20 Parę odpowiedzi Dlaczego uszkodzenia kory ciemieniowej prowadzą do zaburzeń orientacji przestrzennej i uwagi (zaniedbanie)? Bo uwaga jest emergentną własnością systemów z konkurencją, wynika z synchronizacji grup neuronów, dzięki czemu slian aktywność zdominuje działanie. W jaki sposób rozpoznajemy obiekty w różnych miejscach, orientacji, odległości, przy różnych rzutach obrazu na siatkówkę? Dzięki transformacjom, które tworzą rozproszone reprezentacje w oparciu o cechy o coraz większej złożoności i niezmienniczości przestrzennej. (c) Tralvex Yeap. All Rights Reserved