Uczenie się jako wytwarzanie odruchów warunkowych Wykład 2 28 lutego 2013 Uczenie się jako wytwarzanie odruchów warunkowych

Plan wykładu Warunkowanie klasyczne Uwagi wstępne; Eksperymenty I. Pawłowa Schemat Prawidłowości Zastosowania Warunkowanie instrumentalne Uwagi wstępne Wzmocnienia

Warunkowanie klasyczne: uwagi wstępne; eksperymenty I. Pawłowa Powszechność warunkowania klasycznego Podstawowy paradygmat: Bodziec bezwarunkowy  reakcja bezwarunkowa Bodziec warunkowy  bodziec bezwarunkowy Bodziec warunkowy  reakcja warunkowa Reakcja warunkowa nie zawsze jest identyczna z bezwarunkową Eksperymenty Pawłowa nad ślinieniem się psów

Warunkowanie klasyczne: uwagi wstępne c.d. Warunkowanie odruchu mrugania u człowieka Te same prawidłowości co w przypadku ślinienia się psa Pawłowa: Kształt krzywej nabywania Kształt krzywej wygasania Znaczenie intensywności bodźca Optymalny odstęp czasu Spontaniczne odnawianie się

Nabywanie i wygasanie reakcji warunkowej

Neuronalne podstawy warunkowania klasycznego Każde uczenie się, a więc także warunkowanie klasyczne, polega na zmianach w efektywności połączeń synaptycznych Badania E. Kandela nad Aplysia Californica Odruch cofania skrzela przy dotknięciu syfonu – bezpośrednie połączenie synaptyczne pomiędzy neuronami czuciowymi i ruchowymi; szybka habituacja Wzmocnienie siły reakcji dzięki warunkowaniu klasycznemu: stymulacja dotykowa i szok w ogon; zwiększenie wydzielania neuroprzekaźników

Neuronalne podstawy warunkowania klasycznego c.d. Badania Thompsona nad odruchem mrugania u królika 1 obwód: neurony czuciowe z rogówki połączone z 5-tym nerwem czaszkowym, od niego neurony do 6 i 7 nerwu, od nich neuron motoryczny wywołujący mrugnięcie 2 obwód: 5-ty nerw do interneuronu, do móżdżku, do jądra wsuniętego bocznego, od niego do neuronu motorycznego Drugi obwód bierze udział w warunkowaniu

Podstawy neuronalne a zachowanie Na poziomie behawioralnym warunkowanie klasyczne jest u wszystkich organizmów podobne Podłoże neuronalne warunkowania odmienne u różnych organizmów

S-R czy S-S? (1) S-R Bodziec bezwarunkowy  Bodziec warunkowy  Reakcja bezwarunkowa Bodziec warunkowy jest wiązany z reakcją bezwarunkową Wielokrotne łączenie bodźca warunkowego i reakcji bezwarunkowej powoduje, że bodziec warunkowy zaczyna wywoływać reakcję warunkową, czyli reakcja warunkowa to jedna z wersji reakcji bezwarunkowej

S-R czy S-S? (2) S-S Bodziec warunkowy  Bodziec bezwarunkowy Reakcja bezwarunkowa Bodziec warunkowy jest wiązany z bodźcem bezwarunkowym Bodziec warunkowy powiązany z bodźcem bezwarunkowym: organizm niejako oczekuje, że po bodźcu warunkowym nastąpi bodziec bezwarunkowy i wykonuje reakcję warunkową, antycypując bodziec bezwarunkowy

S-R czy S-S? (3) Paradygmat zapobiegania reakcji: brak reakcji bezwarunkowej, zachodzi warunkowanie – czyli S-S Paradygmat dewaluacji bodźca bezwarunkowego: redukcja reakcji na bodziec warunkowy – czyli S-S Paradygmat wstępnego warunkowania sensorycznego: także S-S Paradygmat warunkowania wyższego rzędu: bezpośrednie powiązanie BW2 z reakcją warunkową – czyli S-R

Reakcja warunkowa Reakcja warunkowa to po prostu reakcja bezwarunkowa Bodziec warunkowy informuje o tym, że pojawi się bodziec bezwarunkowy, i organizm przygotowuje się do reakcji na bodziec bezwarunkowy Raczej 2, gdyż nie zawsze reakcja warunkowa jest taka sama jak bezwarunkowa: niektóre reakcje bezwarunkowe są dwufazowe, tzw. przeciwstawne procesy

Inne ważne prawidłowości Wielkość warunkowania nie jest funkcją zbieżności w czasie, ale zależności, czyli gdy bodziec warunkowy jest powiązany ze wzrostem prawdopodobieństwa wystąpienia bodźca bezwarunkowego następuje warunkowanie Jeżeli to prawdopodobieństwo jest niższe, zachodzi hamowanie warunkowe Odchylenie asocjacyjne: wrodzone predyspozycje do wiązania niektórych bodźców warunkowych i bezwarunkowych ze sobą

Zastosowania technik warunkowania klasycznego Podstawowa zasada: Nie jest możliwe utrzymanie antagonistycznych reakcji na ten sam bodziec Przeciwwarunkowanie: np. terapie uzależnień Desensytyzacja fobii i lęków Awersje pokarmowe

Warunkowanie instrumentalne: uwagi wstępne Istotą w.i. jest to, że organizm otrzymuje wzmocnienie, jeżeli wykona reakcję (R) w sytuacji bodźcowej (S) W.I. jest wiązane z badaniami Thorndike’a Wzmocnienie zależy od współwystąpienia bodźca i reakcji, czyli organizm może kontrolować to, czy pojawi się wzmocnienie Warunkowanie klasyczne i instrumentalne mają wiele wspólnych właściwości behawioralnych

Bodziec warunkowy Generalizacja: organizmy mają biologiczne predyspozycje do traktowania niektórych wymiarów bodźców i różnic w tych wymiarach jako ważnych dla definiowania bodźców jako bodźce warunkowe Różnicowanie: organizmy mogą zostać wyćwiczone w różnicowaniu pomiędzy wartościami bodźca i w reagowaniu tylko na niektóre z nich

Reakcja warunkowa Początkowo sądzono, że uczeniu się podlega specyficzna reakcja, ale Ćwiczenie świni gwinejskiej w naciskaniu dźwigni Szczury w labiryncie Małpy i rozwiązywanie problemów manipulacyjnych Według Skinnera, reakcje sprawcze, które mają takie same konsekwencje wzmacniające, to przypadki tej samej reakcji sprawczej

Asocjacja: styczność czy zależność? Badania Hammonda nad szczurami i naciskaniem dźwigni dla uzyskania pokarmu: tempo reagowania zależne od związku między reagowaniem i wzmocnieniem Wzmacnianie częściowe, sporadyczne: dłuższy czas potrzebny na warunkowanie, ale reakcje trwalsze Uczenie się przesądów: styczność wystarcza? Wyuczona bezradność Odchylenie asocjacyjne

Zastosowania praktyczne Stosowana analiza zachowania Nauczanie programowane Nauczanie wspomagane komputerowo Uczenie się sprawnościowe (mastery learning) Psychoterapia

Wzmocnienia: uwagi wstępne Organizmy poszukują przyjemności i unikają bólu Czy występuje związek pomiędzy uczeniem się i wzmacnianiem? Według prawa efektu – tak Uczenie się daje wiedzę, a wzmocnienia dają cel Ogólnie organizmy zachowują się racjonalnie, tzn. wybierają zachowanie o najwyższej spodziewanej wartości

Wpływ nagrody na uczenie się Uczenie się zależności czy prawdopodobieństwo określonego skutku zależy od wzmocnienia. Wzmocnienia określają, jak organizm będzie działał, jeżeli zna te zależności Sprzeczne (pozornie) wyniki badań nad związkiem między nagrodą i uczeniem się Ludzie poświęcają więcej czasu na koncentrację na materiale o większej wartości, ale wysokość nagrody nie wpływa na to, jak dobrze nauczą się tego materiału w czasie koncentracji na nim

Nagroda i kara Bodziec pożądany Reakcja tak Wzmoc. pozytywne (nagroda) Częstość reakcji  Awersyjny Nie Wzmoc. negatywne Pożądany Kara negatywna  Tak Kara pozytywna

Rodzaj bodźca i zależność reakcji Bodziec po reakcji Brak bodźca po reakcji Bodziec pożądany Wzmocnienie pozytywne (nagroda) Trening pomijania Bodziec niepożądany Kara Wzmocnienie negatywne (ucieczka, unikanie)

Awersyjna kontrola zachowania Raczej powszechne jest w psychologii przekonanie, że kary powodują jedynie czasowe tłumienie niepożądanego zachowania Ale występuje także przeciwny pogląd Kara bywa bardzo skuteczna, nawet przy jednokrotnym wystąpieniu

Czynniki decydujące o efektywności kary Odstęp czasu pomiędzy reakcją i karą: krótki czas, większa efektywność kary Surowość kary: im silniejszy wstrząs, tym wyższy poziom zniesienia reakcji Kara powinna być konsekwentna i na tyle silna, na ile to akceptowalne, szczególnie na początku Zależna od zachowania Najskuteczniejsza, gdy możliwe alternatywne reakcje

Negatywne skutki karania Ogólne zahamowanie zachowania Wywoływanie kłamstwa i lęku Podwyższanie poziomu agresji Modelowanie zachowań, tzn. powtarzanie zachowań karzących wobec innych osób

Wzmacnianie negatywne Uczenie unikania lub ucieczki Reakcja uwarunkowana za pomocą negatywnego wzmacniania może być o wiele trudniejsza do wygaszenia niż zachowanie utrzymywane przez wzmocnienie pozytywne Sposoby wygaszania: podawanie bodźca awersyjnego bez zachowania lub uniemożliwienie wykonania reakcji Można nauczyć zachowania, które odsuwa w czasie pojawienie się bodźca awersyjnego

Natura wzmocnienia W ujęciu biologicznym, wzmocnienie pozytywne jest dobre, a negatywne złe z punktu widzenia przetrwania organizmu Teoria redukcji popędów Zachowania, które redukują lub zaspokajają popędy są dla organizmu wzmacniające Ale organizmy bywają też wzmacniane przez bodźce, które nie mają ewidentnej wartości biologicznej (popęd ciekawości, ćwiczenia) lub nawet pozostawiają popęd nie zredukowany

Teoria Premacka Zachowanie bardziej cenione wzmacnia zachowanie mniej cenione Ocena relatywnej wartości zachowań przez obserwację częstotliwości w sytuacji swobody działania Badania prowadzone zarówno wśród zwierząt, jak i ludzi zdają się potwierdzać tę teorię

Inne dane i poglądy na istotę wzmacniania Stymulacja podwzgórza ma funkcje wzmacniające Ekonomiczny pogląd na organizmy: teoria równowagi Zakłada ona, że organizmy mają pożądaną wartość podstawową dla każdego rodzaju zdarzenia, tzw. punkt maksymalnego zadowolenia. To, co przybliża do tego punktu ma wartość nagradzającą, to, co oddala - karzącą

Rozkłady wzmocnień Badania Skinnera i współpracowników Rozkład według stałych proporcji (po tej samej liczbie reakcji) Rozkład według zmiennych proporcji (uśrednienie do jakiejś wartości) Rozkład o stałych odstępach czasowych Rozkład o zmiennych odstępach czasowych

Kumulatywne zapisy reakcji

Rozkłady wzmocnień a reagowanie Rozkłady zmienne – stałe tempo reagowania Rozkłady stałe – zmienne tempo reagowania Tempo reagowania przeważnie wyższe przy rozkładach proporcjonalnych niż czasowych Krzywa wkładu pracy: do pewnego punktu przy zmniejszaniu się wzmocnienia następuje wzrost ilości wykonywanej pracy, ale później spadek Odraczanie wzmocnień: zjawisko dyskontowania przyszłości

Dyskontowanie przyszłości