Uczenie się jako wytwarzanie odruchów warunkowych

Prezentacja na temat: "Uczenie się jako wytwarzanie odruchów warunkowych"— Zapis prezentacji:

1 Uczenie się jako wytwarzanie odruchów warunkowych
Wykład 2 28 lutego 2013 Uczenie się jako wytwarzanie odruchów warunkowych

2 Plan wykładu Warunkowanie klasyczne
Uwagi wstępne; Eksperymenty I. Pawłowa Schemat Prawidłowości Zastosowania Warunkowanie instrumentalne Uwagi wstępne Wzmocnienia

3 Warunkowanie klasyczne: uwagi wstępne; eksperymenty I. Pawłowa
Powszechność warunkowania klasycznego Podstawowy paradygmat: Bodziec bezwarunkowy  reakcja bezwarunkowa Bodziec warunkowy  bodziec bezwarunkowy Bodziec warunkowy  reakcja warunkowa Reakcja warunkowa nie zawsze jest identyczna z bezwarunkową Eksperymenty Pawłowa nad ślinieniem się psów

4 Warunkowanie klasyczne: uwagi wstępne c.d.
Warunkowanie odruchu mrugania u człowieka Te same prawidłowości co w przypadku ślinienia się psa Pawłowa: Kształt krzywej nabywania Kształt krzywej wygasania Znaczenie intensywności bodźca Optymalny odstęp czasu Spontaniczne odnawianie się

5 Nabywanie i wygasanie reakcji warunkowej

6 Neuronalne podstawy warunkowania klasycznego
Każde uczenie się, a więc także warunkowanie klasyczne, polega na zmianach w efektywności połączeń synaptycznych Badania E. Kandela nad Aplysia Californica Odruch cofania skrzela przy dotknięciu syfonu – bezpośrednie połączenie synaptyczne pomiędzy neuronami czuciowymi i ruchowymi; szybka habituacja Wzmocnienie siły reakcji dzięki warunkowaniu klasycznemu: stymulacja dotykowa i szok w ogon; zwiększenie wydzielania neuroprzekaźników

7 Neuronalne podstawy warunkowania klasycznego c.d.
Badania Thompsona nad odruchem mrugania u królika 1 obwód: neurony czuciowe z rogówki połączone z 5-tym nerwem czaszkowym, od niego neurony do 6 i 7 nerwu, od nich neuron motoryczny wywołujący mrugnięcie 2 obwód: 5-ty nerw do interneuronu, do móżdżku, do jądra wsuniętego bocznego, od niego do neuronu motorycznego Drugi obwód bierze udział w warunkowaniu

8 Podstawy neuronalne a zachowanie
Na poziomie behawioralnym warunkowanie klasyczne jest u wszystkich organizmów podobne Podłoże neuronalne warunkowania odmienne u różnych organizmów

9 S-R czy S-S? (1) S-R Bodziec bezwarunkowy 
Bodziec warunkowy  Reakcja bezwarunkowa Bodziec warunkowy jest wiązany z reakcją bezwarunkową Wielokrotne łączenie bodźca warunkowego i reakcji bezwarunkowej powoduje, że bodziec warunkowy zaczyna wywoływać reakcję warunkową, czyli reakcja warunkowa to jedna z wersji reakcji bezwarunkowej

10 S-R czy S-S? (2) S-S Bodziec warunkowy  Bodziec bezwarunkowy Reakcja bezwarunkowa Bodziec warunkowy jest wiązany z bodźcem bezwarunkowym Bodziec warunkowy powiązany z bodźcem bezwarunkowym: organizm niejako oczekuje, że po bodźcu warunkowym nastąpi bodziec bezwarunkowy i wykonuje reakcję warunkową, antycypując bodziec bezwarunkowy

11 S-R czy S-S? (3) Paradygmat zapobiegania reakcji: brak reakcji bezwarunkowej, zachodzi warunkowanie – czyli S-S Paradygmat dewaluacji bodźca bezwarunkowego: redukcja reakcji na bodziec warunkowy – czyli S-S Paradygmat wstępnego warunkowania sensorycznego: także S-S Paradygmat warunkowania wyższego rzędu: bezpośrednie powiązanie BW2 z reakcją warunkową – czyli S-R

12 Reakcja warunkowa Reakcja warunkowa to po prostu reakcja bezwarunkowa
Bodziec warunkowy informuje o tym, że pojawi się bodziec bezwarunkowy, i organizm przygotowuje się do reakcji na bodziec bezwarunkowy Raczej 2, gdyż nie zawsze reakcja warunkowa jest taka sama jak bezwarunkowa: niektóre reakcje bezwarunkowe są dwufazowe, tzw. przeciwstawne procesy

13 Inne ważne prawidłowości
Wielkość warunkowania nie jest funkcją zbieżności w czasie, ale zależności, czyli gdy bodziec warunkowy jest powiązany ze wzrostem prawdopodobieństwa wystąpienia bodźca bezwarunkowego następuje warunkowanie Jeżeli to prawdopodobieństwo jest niższe, zachodzi hamowanie warunkowe Odchylenie asocjacyjne: wrodzone predyspozycje do wiązania niektórych bodźców warunkowych i bezwarunkowych ze sobą

14 Zastosowania technik warunkowania klasycznego
Podstawowa zasada: Nie jest możliwe utrzymanie antagonistycznych reakcji na ten sam bodziec Przeciwwarunkowanie: np. terapie uzależnień Desensytyzacja fobii i lęków Awersje pokarmowe

15 Warunkowanie instrumentalne: uwagi wstępne
Istotą w.i. jest to, że organizm otrzymuje wzmocnienie, jeżeli wykona reakcję (R) w sytuacji bodźcowej (S) W.I. jest wiązane z badaniami Thorndike’a Wzmocnienie zależy od współwystąpienia bodźca i reakcji, czyli organizm może kontrolować to, czy pojawi się wzmocnienie Warunkowanie klasyczne i instrumentalne mają wiele wspólnych właściwości behawioralnych

16 Bodziec warunkowy Generalizacja: organizmy mają biologiczne predyspozycje do traktowania niektórych wymiarów bodźców i różnic w tych wymiarach jako ważnych dla definiowania bodźców jako bodźce warunkowe Różnicowanie: organizmy mogą zostać wyćwiczone w różnicowaniu pomiędzy wartościami bodźca i w reagowaniu tylko na niektóre z nich

17 Reakcja warunkowa Początkowo sądzono, że uczeniu się podlega specyficzna reakcja, ale Ćwiczenie świni gwinejskiej w naciskaniu dźwigni Szczury w labiryncie Małpy i rozwiązywanie problemów manipulacyjnych Według Skinnera, reakcje sprawcze, które mają takie same konsekwencje wzmacniające, to przypadki tej samej reakcji sprawczej

18 Asocjacja: styczność czy zależność?
Badania Hammonda nad szczurami i naciskaniem dźwigni dla uzyskania pokarmu: tempo reagowania zależne od związku między reagowaniem i wzmocnieniem Wzmacnianie częściowe, sporadyczne: dłuższy czas potrzebny na warunkowanie, ale reakcje trwalsze Uczenie się przesądów: styczność wystarcza? Wyuczona bezradność Odchylenie asocjacyjne

19 Zastosowania praktyczne
Stosowana analiza zachowania Nauczanie programowane Nauczanie wspomagane komputerowo Uczenie się sprawnościowe (mastery learning) Psychoterapia

20 Wzmocnienia: uwagi wstępne
Organizmy poszukują przyjemności i unikają bólu Czy występuje związek pomiędzy uczeniem się i wzmacnianiem? Według prawa efektu – tak Uczenie się daje wiedzę, a wzmocnienia dają cel Ogólnie organizmy zachowują się racjonalnie, tzn. wybierają zachowanie o najwyższej spodziewanej wartości

21 Wpływ nagrody na uczenie się
Uczenie się zależności czy prawdopodobieństwo określonego skutku zależy od wzmocnienia. Wzmocnienia określają, jak organizm będzie działał, jeżeli zna te zależności Sprzeczne (pozornie) wyniki badań nad związkiem między nagrodą i uczeniem się Ludzie poświęcają więcej czasu na koncentrację na materiale o większej wartości, ale wysokość nagrody nie wpływa na to, jak dobrze nauczą się tego materiału w czasie koncentracji na nim

22 Nagroda i kara Bodziec pożądany Reakcja tak Wzmoc. pozytywne (nagroda)
Częstość reakcji  Awersyjny Nie Wzmoc. negatywne Pożądany Kara negatywna  Tak Kara pozytywna

23 Rodzaj bodźca i zależność reakcji
Bodziec po reakcji Brak bodźca po reakcji Bodziec pożądany Wzmocnienie pozytywne (nagroda) Trening pomijania Bodziec niepożądany Kara Wzmocnienie negatywne (ucieczka, unikanie)

24 Awersyjna kontrola zachowania
Raczej powszechne jest w psychologii przekonanie, że kary powodują jedynie czasowe tłumienie niepożądanego zachowania Ale występuje także przeciwny pogląd Kara bywa bardzo skuteczna, nawet przy jednokrotnym wystąpieniu

25 Czynniki decydujące o efektywności kary
Odstęp czasu pomiędzy reakcją i karą: krótki czas, większa efektywność kary Surowość kary: im silniejszy wstrząs, tym wyższy poziom zniesienia reakcji Kara powinna być konsekwentna i na tyle silna, na ile to akceptowalne, szczególnie na początku Zależna od zachowania Najskuteczniejsza, gdy możliwe alternatywne reakcje

26 Negatywne skutki karania
Ogólne zahamowanie zachowania Wywoływanie kłamstwa i lęku Podwyższanie poziomu agresji Modelowanie zachowań, tzn. powtarzanie zachowań karzących wobec innych osób

27 Wzmacnianie negatywne
Uczenie unikania lub ucieczki Reakcja uwarunkowana za pomocą negatywnego wzmacniania może być o wiele trudniejsza do wygaszenia niż zachowanie utrzymywane przez wzmocnienie pozytywne Sposoby wygaszania: podawanie bodźca awersyjnego bez zachowania lub uniemożliwienie wykonania reakcji Można nauczyć zachowania, które odsuwa w czasie pojawienie się bodźca awersyjnego

28 Natura wzmocnienia W ujęciu biologicznym, wzmocnienie pozytywne jest dobre, a negatywne złe z punktu widzenia przetrwania organizmu Teoria redukcji popędów Zachowania, które redukują lub zaspokajają popędy są dla organizmu wzmacniające Ale organizmy bywają też wzmacniane przez bodźce, które nie mają ewidentnej wartości biologicznej (popęd ciekawości, ćwiczenia) lub nawet pozostawiają popęd nie zredukowany

29 Teoria Premacka Zachowanie bardziej cenione wzmacnia zachowanie mniej cenione Ocena relatywnej wartości zachowań przez obserwację częstotliwości w sytuacji swobody działania Badania prowadzone zarówno wśród zwierząt, jak i ludzi zdają się potwierdzać tę teorię

30 Inne dane i poglądy na istotę wzmacniania
Stymulacja podwzgórza ma funkcje wzmacniające Ekonomiczny pogląd na organizmy: teoria równowagi Zakłada ona, że organizmy mają pożądaną wartość podstawową dla każdego rodzaju zdarzenia, tzw. punkt maksymalnego zadowolenia. To, co przybliża do tego punktu ma wartość nagradzającą, to, co oddala - karzącą

31 Rozkłady wzmocnień Badania Skinnera i współpracowników
Rozkład według stałych proporcji (po tej samej liczbie reakcji) Rozkład według zmiennych proporcji (uśrednienie do jakiejś wartości) Rozkład o stałych odstępach czasowych Rozkład o zmiennych odstępach czasowych

32 Kumulatywne zapisy reakcji

33 Rozkłady wzmocnień a reagowanie
Rozkłady zmienne – stałe tempo reagowania Rozkłady stałe – zmienne tempo reagowania Tempo reagowania przeważnie wyższe przy rozkładach proporcjonalnych niż czasowych Krzywa wkładu pracy: do pewnego punktu przy zmniejszaniu się wzmocnienia następuje wzrost ilości wykonywanej pracy, ale później spadek Odraczanie wzmocnień: zjawisko dyskontowania przyszłości

34 Dyskontowanie przyszłości