Podstawy metodologii nauk

Prezentacja na temat: "Podstawy metodologii nauk"— Zapis prezentacji:

1 Podstawy metodologii nauk
Problemy badań Problemy badań

2 Eksperyment klasyczny
Składniki: zmienne niezależne i zależne, pretest i posttest, grupa eksperymentalna i kontrolna. Eksperyment := pomiar wpływu zmiennej niezależnej na zmienną zależną. Problemy badań

3 Eksperyment klasyczny
Eksperyment := pomiar wpływu zmiennej niezależnej na zmienną zależną. Zmienne powinny być zdefiniowane operacyjnie przed rozpoczęciem eksperymentu. Czasem jednak analiza danych wskazuje na użyteczniejsze definicje operacyjne zmiennych. Problemy badań

4 Przykład reoperacjonalizacji: wiek a udział w wyborach
Wiek mierzony co 5 lat Problemy badań

5 Kontrola eksperymentalna
Zmienna niezależna ma być jedynym czynnikiem różnicującym porównywane układy/grupy. Eksperyment Pasteura: esowaty kształt rurki miał powodować osadzanie się zanieczyszczeń porównanie z kolbą kontrolną (bez rurki) osłona kolby przed wiatrem (kurzem) Problemy badań

6 Pretest i posttest Pretest: = pomiar zmiennej zależnej przed działaniem bodźca (zmiennej niezależnej). Posttest: = pomiar zmiennej zależnej po zadziałaniu bodźca (zmiennej niezależnej). Problemy badań

7 Schemat eksperymentu Pomiar zmiennej zależnej Pomiar zmiennej zależnej
Grupa eksperymentalna Grupa kontrolna Pomiar zmiennej zależnej Oddziaływanie bodźcem Ponowny pomiar zmiennej zależnej Pomiar zmiennej zależnej Ponowny pomiar zmiennej zależnej porównanie: takie same? porównanie: różne? Problemy badań

8 Rzetelność Miara rzetelności = stopień zgodności wyników replikacji testu. Rzetelność  trafność. Źródła nierzetelności: reaktywność uczestników badania, tendencyjność obserwatora, nieuwzględnione wpływy zewnętrzne. Problemy badań

9 Wpływ obserwatora Reaktywność: skłonność do zachowań oczekiwanych przez obserwatora. Kontrola reaktywności: pomiar nieinwazyjny, maskowanie, habituacja, desensytyzacja, obserwacja pośrednia śladów materialnych, materiałów archiwalnych. Problemy badań

10 Efekt Hawthorne Badanie wpływu warunków pracy na wydajność w hali okablowywania central telefonicznych w zakładach w Hawthorne (Illinois) 1939. Lepsze oświetlenie – wyższa wydajność. Problemy badań

11 Efekt Hawthorne Badanie wpływu warunków pracy na wydajność w hali okablowywania central telefonicznych w zakładach w Hawthorne (Illinois) 1939. Lepsze oświetlenie – wyższa wydajność. Gorsze oświetlenie – jeszcze wyższa wydajność. Problemy badań

12 Efekt Hawthorne Badanie wpływu warunków pracy na wydajność w hali okablowywania central telefonicznych w zakładach w Hawthorne (Illinois) 1939. Lepsze oświetlenie – wyższa wydajność. Gorsze oświetlenie – jeszcze wyższa wydajność. Wyjaśnienie: wzrost motywacji z powodu zainteresowania badaczy. Problemy badań

13 Tendencyjność obserwatora
Wpływ oczekiwań co do rezultatów obserwacji Przykład: diagnoza psychiatryczna Kontrola tendencyjności: brak informacji o niektórych aspektach badania nieznajomość celu badania Problemy badań

14 Efekt placebo Eksperyment otwarty Eksperyment maskowany (blind)
Eksperyment podwójnie maskowany (double-blind) Problemy badań

15 Eksperyment podwójnie maskowany
Problemy badań

16 Problemy doboru uczestników
Podatność wyników na uogólnienie (reprezentatywność próby). Porównywalność grupy kontrolnej i eksperymentalnej: randomizacja, dopasowanie (matching). Problemy badań

17 Problemy doboru uczestników
Zalety randomizacji: nie zawsze wiadomo, które zmienne będą istotne dla dopasowania; większość metod statystycznych zakłada randomizację. Ograniczenia randomizacji: silny wpływ liczebności próby na jej reprezentatywność. Problemy badań

18 Techniki doboru losowego grup
Dobór losowy prosty wada: pracochłonność Dobór losowy systematyczny problem cykliczności operatu losowania Dobór warstwowy zapewnia równomierny rozkład wybranych cech niekiedy dobór systematyczny zapewnia warstwowanie Problemy badań

19 Techniki doboru losowego grup
Dobór losowy prosty Dobór losowy systematyczny Dobór warstwowy Wielostopniowy dobór grupowy Problemy badań

20 Ocena jakości badania Rzetelność:= zgodność wyników powtórzeń eksperymentu. Trafność wewnętrzna:= wykrycie rzeczywistego oddziaływania. Trafność zewnętrzna:= możliwość uogólnienia wyniku na sytuacje pozaeksperymentalne. Problemy badań

21 Źródła nietrafności wewnętrznej
Historia (czyli zakłócenia przez wydarzenia zewnętrzne). Przykład: katastrofa smoleńska mogła wpłynąć na postawy polityczne. tvn.pl Problemy badań

22 Źródła nietrafności wewnętrznej
Dojrzewanie a także zmęczenie, znudzenie itp. Efekt wprawy (znajomości testu) uczestnicy mogą zmienić swoje zachowanie na bardziej przemyślane (reaktywność). Problemy badań

23 Źródła nietrafności wewnętrznej
Narzędzia. zmiana operacjonalizacji zmiennych. Regresja do średniej. Przykład: poprawa wyników nauczania uczniów o słabych ocenach może być zdarzeniem naturalnym („gorzej być nie może”), a nie efektem wprowadzenia nowych metod nauczania. Nieporównywalność grup. Problemy badań

24 Paradoks Simpsona Leczeni Nieleczeni Poziom wyleczeń u mężczyzn 5/10
40/90 Poziom wyleczeń u kobiet 30/90 3/10 Poziom wyleczeń w ogóle 35% 43% Problemy badań

25 Źródła nietrafności wewnętrznej
Utrata badanych mechaniczna (wymieranie), tendencyjna (ze względu na istotne cechy uczestników), przykład: wycofywanie się z eksperymentalnego planu treningów sportowych. Problemy badań

26 Źródła nietrafności wewnętrznej
Dwuznaczność porządku przyczynowego. Czy talenty sprzyjają podnoszeniu kompetencji, czy kształcenie sprzyja rozwojowi talentów? Przykład sióstr Polgar. Zsuzsa rekordzistka symultany Judit top 50 Zsófia, top 40 wśród kobiet pl.wikipedia.org Problemy badań

27 Źródła nietrafności wewnętrznej
Przepływ informacji i naśladowanie. Uczestnicy grupy kontrolnej mogą zmienić swoje zachowanie pod wpływem informacji o naturze bodźca od grupy eksperymentalnej. Przykład: badanie wpływu filmu edukacyjnego na zmianę postaw. Problemy badań

28 Źródła nietrafności wewnętrznej
Kompensacja (bodźca w grupie kontrolnej). Przykład: grupa placebo może być nadzwyczajnie życzliwie traktowana przez personel. Problemy badań

29 Źródła nietrafności wewnętrznej
Rywalizacja kompensacyjna. Przykład: grupa kontrolna w eksperymencie edukacyjnym może zmobilizować się, aby pokazać, że nie jest gorsza. Zniechęcenie. Przykład: grupa kontrolna w eksperymencie edukacyjnym może zdemobilizować się w poczuciu, że jest na straconej pozycji. Problemy badań

30 Kontrola trafności wewnętrznej
Schemat grup zrandomizowanych równoważy wpływ: historii, dojrzewania, efektu wprawy, narzędzi, regresji do średniej, doboru próby, utraty badanych, dwuznaczności przyczynowej, przepływu informacji, kompensacji, rywalizacji kompensacyjnej, zniechęcenia. Problemy badań

31 Kontrola trafności wewnętrznej
utraty badanych przepływu informacji kompensacji rywalizacji zniechęcenia zastępowanie podobnymi uczestnikami grupy kontrolnej izolacja grup kontrola, podwójne maskowanie uwzględnienie w obserwacji Problemy badań

32 Równoważenie efektu wprawy w eksperymencie z wieloma zadaniami
Randomizacja blokowa. Procedura ABBA. Pominięcie wyników początkowych serii eksperymentu (w przypadku nieliniowego efektu wprawy) Stosowanie wszystkich możliwych kolejności (np. procedura kwadratu łacińskiego). Problemy badań

33 Równoważenie efektu wprawy w eksperymencie z wieloma zadaniami
Przykład: badanie stopnia trudności egzaminacyjnych zadań testu jednokrotnego wyboru. Kwadrat łaciński Problemy badań

34 Nietrafność zewnętrzna
Przykład: interakcja sytuacji testowej z bodźcem eksperymentalnym (wpływ pretestu) bodziec eksperymentalny może mieć silniejszy wpływ w sytuacji laboratoryjnej niż w warunkach naturalnych. Problemy badań

35 Eksperyment naturalny
Manipulowanie zmienną niezależną w warunkach naturalnych. Badanie wpływu katastrof (czyli wykorzystanie „eksperymentów” spowodowanych przez przyrodę lub procesy historyczne). Problem metodologiczny: niewykonalność losowego doboru grup porównawczych. Problemy badań

36 Eksperyment naturalny
Metoda manipulacji: udział pozoranta, którego zachowanie wywołuje sytuację eksperymentalną. Przykłady: badania nad reakcją przechodniów na kradzież, badania nad skłonnością do udzielania pomocy. Problemy badań

37 Eksperyment naturalny
Przykłady badań nad wpływem katastrof: Badania zmian postaw ofiar huraganu. Badania nad wpływem bombardowań na morale ludności cywilnej. Badania zmian postaw robotników po awarii reaktora. Problemy badań

38 Wartość metody eksperymentalnej
Zalety: kontrola zmiennych powtarzalność Wady: groźba artefaktu Problemy badań