Podstawy metodologii nauk Problemy badań Problemy badań

Eksperyment klasyczny Składniki: zmienne niezależne i zależne, pretest i posttest, grupa eksperymentalna i kontrolna. Eksperyment := pomiar wpływu zmiennej niezależnej na zmienną zależną. Problemy badań

Eksperyment klasyczny Eksperyment := pomiar wpływu zmiennej niezależnej na zmienną zależną. Zmienne powinny być zdefiniowane operacyjnie przed rozpoczęciem eksperymentu. Czasem jednak analiza danych wskazuje na użyteczniejsze definicje operacyjne zmiennych. Problemy badań

Przykład reoperacjonalizacji: wiek a udział w wyborach Wiek mierzony co 5 lat Problemy badań

Kontrola eksperymentalna Zmienna niezależna ma być jedynym czynnikiem różnicującym porównywane układy/grupy. Eksperyment Pasteura: esowaty kształt rurki miał powodować osadzanie się zanieczyszczeń porównanie z kolbą kontrolną (bez rurki) osłona kolby przed wiatrem (kurzem) Problemy badań

Pretest i posttest Pretest: = pomiar zmiennej zależnej przed działaniem bodźca (zmiennej niezależnej). Posttest: = pomiar zmiennej zależnej po zadziałaniu bodźca (zmiennej niezależnej). Problemy badań

Schemat eksperymentu Pomiar zmiennej zależnej Pomiar zmiennej zależnej Grupa eksperymentalna Grupa kontrolna Pomiar zmiennej zależnej Oddziaływanie bodźcem Ponowny pomiar zmiennej zależnej Pomiar zmiennej zależnej Ponowny pomiar zmiennej zależnej porównanie: takie same? porównanie: różne? Problemy badań

Rzetelność Miara rzetelności = stopień zgodności wyników replikacji testu. Rzetelność  trafność. Źródła nierzetelności: reaktywność uczestników badania, tendencyjność obserwatora, nieuwzględnione wpływy zewnętrzne. Problemy badań

Wpływ obserwatora Reaktywność: skłonność do zachowań oczekiwanych przez obserwatora. Kontrola reaktywności: pomiar nieinwazyjny, maskowanie, habituacja, desensytyzacja, obserwacja pośrednia śladów materialnych, materiałów archiwalnych. Problemy badań

Efekt Hawthorne Badanie wpływu warunków pracy na wydajność w hali okablowywania central telefonicznych w zakładach w Hawthorne (Illinois) 1939. Lepsze oświetlenie – wyższa wydajność. Problemy badań

Efekt Hawthorne Badanie wpływu warunków pracy na wydajność w hali okablowywania central telefonicznych w zakładach w Hawthorne (Illinois) 1939. Lepsze oświetlenie – wyższa wydajność. Gorsze oświetlenie – jeszcze wyższa wydajność. Problemy badań

Efekt Hawthorne Badanie wpływu warunków pracy na wydajność w hali okablowywania central telefonicznych w zakładach w Hawthorne (Illinois) 1939. Lepsze oświetlenie – wyższa wydajność. Gorsze oświetlenie – jeszcze wyższa wydajność. Wyjaśnienie: wzrost motywacji z powodu zainteresowania badaczy. Problemy badań

Tendencyjność obserwatora Wpływ oczekiwań co do rezultatów obserwacji Przykład: diagnoza psychiatryczna Kontrola tendencyjności: brak informacji o niektórych aspektach badania nieznajomość celu badania Problemy badań

Efekt placebo Eksperyment otwarty Eksperyment maskowany (blind) Eksperyment podwójnie maskowany (double-blind) Problemy badań

Eksperyment podwójnie maskowany http://scientific-misconduct.blogspot.com Problemy badań

Problemy doboru uczestników Podatność wyników na uogólnienie (reprezentatywność próby). Porównywalność grupy kontrolnej i eksperymentalnej: randomizacja, dopasowanie (matching). Problemy badań

Problemy doboru uczestników Zalety randomizacji: nie zawsze wiadomo, które zmienne będą istotne dla dopasowania; większość metod statystycznych zakłada randomizację. Ograniczenia randomizacji: silny wpływ liczebności próby na jej reprezentatywność. Problemy badań

Techniki doboru losowego grup Dobór losowy prosty wada: pracochłonność Dobór losowy systematyczny problem cykliczności operatu losowania Dobór warstwowy zapewnia równomierny rozkład wybranych cech niekiedy dobór systematyczny zapewnia warstwowanie Problemy badań

Techniki doboru losowego grup Dobór losowy prosty Dobór losowy systematyczny Dobór warstwowy Wielostopniowy dobór grupowy Problemy badań

Ocena jakości badania Rzetelność:= zgodność wyników powtórzeń eksperymentu. Trafność wewnętrzna:= wykrycie rzeczywistego oddziaływania. Trafność zewnętrzna:= możliwość uogólnienia wyniku na sytuacje pozaeksperymentalne. Problemy badań

Źródła nietrafności wewnętrznej Historia (czyli zakłócenia przez wydarzenia zewnętrzne). Przykład: katastrofa smoleńska mogła wpłynąć na postawy polityczne. tvn.pl Problemy badań

Źródła nietrafności wewnętrznej Dojrzewanie a także zmęczenie, znudzenie itp. Efekt wprawy (znajomości testu) uczestnicy mogą zmienić swoje zachowanie na bardziej przemyślane (reaktywność). Problemy badań

Źródła nietrafności wewnętrznej Narzędzia. zmiana operacjonalizacji zmiennych. Regresja do średniej. Przykład: poprawa wyników nauczania uczniów o słabych ocenach może być zdarzeniem naturalnym („gorzej być nie może”), a nie efektem wprowadzenia nowych metod nauczania. Nieporównywalność grup. Problemy badań

Paradoks Simpsona Leczeni Nieleczeni Poziom wyleczeń u mężczyzn 5/10 40/90 Poziom wyleczeń u kobiet 30/90 3/10 Poziom wyleczeń w ogóle 35% 43% Problemy badań

Źródła nietrafności wewnętrznej Utrata badanych mechaniczna (wymieranie), tendencyjna (ze względu na istotne cechy uczestników), przykład: wycofywanie się z eksperymentalnego planu treningów sportowych. Problemy badań

Źródła nietrafności wewnętrznej Dwuznaczność porządku przyczynowego. Czy talenty sprzyjają podnoszeniu kompetencji, czy kształcenie sprzyja rozwojowi talentów? Przykład sióstr Polgar. Zsuzsa rekordzistka symultany Judit top 50 Zsófia, top 40 wśród kobiet pl.wikipedia.org Problemy badań

Źródła nietrafności wewnętrznej Przepływ informacji i naśladowanie. Uczestnicy grupy kontrolnej mogą zmienić swoje zachowanie pod wpływem informacji o naturze bodźca od grupy eksperymentalnej. Przykład: badanie wpływu filmu edukacyjnego na zmianę postaw. Problemy badań

Źródła nietrafności wewnętrznej Kompensacja (bodźca w grupie kontrolnej). Przykład: grupa placebo może być nadzwyczajnie życzliwie traktowana przez personel. Problemy badań

Źródła nietrafności wewnętrznej Rywalizacja kompensacyjna. Przykład: grupa kontrolna w eksperymencie edukacyjnym może zmobilizować się, aby pokazać, że nie jest gorsza. Zniechęcenie. Przykład: grupa kontrolna w eksperymencie edukacyjnym może zdemobilizować się w poczuciu, że jest na straconej pozycji. Problemy badań

Kontrola trafności wewnętrznej Schemat grup zrandomizowanych równoważy wpływ: historii, dojrzewania, efektu wprawy, narzędzi, regresji do średniej, doboru próby, utraty badanych, dwuznaczności przyczynowej, przepływu informacji, kompensacji, rywalizacji kompensacyjnej, zniechęcenia. Problemy badań

Kontrola trafności wewnętrznej utraty badanych przepływu informacji kompensacji rywalizacji zniechęcenia zastępowanie podobnymi uczestnikami grupy kontrolnej izolacja grup kontrola, podwójne maskowanie uwzględnienie w obserwacji Problemy badań

Równoważenie efektu wprawy w eksperymencie z wieloma zadaniami Randomizacja blokowa. Procedura ABBA. Pominięcie wyników początkowych serii eksperymentu (w przypadku nieliniowego efektu wprawy) Stosowanie wszystkich możliwych kolejności (np. procedura kwadratu łacińskiego). Problemy badań

Równoważenie efektu wprawy w eksperymencie z wieloma zadaniami Przykład: badanie stopnia trudności egzaminacyjnych zadań testu jednokrotnego wyboru. Kwadrat łaciński Problemy badań

Nietrafność zewnętrzna Przykład: interakcja sytuacji testowej z bodźcem eksperymentalnym (wpływ pretestu) bodziec eksperymentalny może mieć silniejszy wpływ w sytuacji laboratoryjnej niż w warunkach naturalnych. Problemy badań

Eksperyment naturalny Manipulowanie zmienną niezależną w warunkach naturalnych. Badanie wpływu katastrof (czyli wykorzystanie „eksperymentów” spowodowanych przez przyrodę lub procesy historyczne). Problem metodologiczny: niewykonalność losowego doboru grup porównawczych. Problemy badań

Eksperyment naturalny Metoda manipulacji: udział pozoranta, którego zachowanie wywołuje sytuację eksperymentalną. Przykłady: badania nad reakcją przechodniów na kradzież, badania nad skłonnością do udzielania pomocy. Problemy badań

Eksperyment naturalny Przykłady badań nad wpływem katastrof: Badania zmian postaw ofiar huraganu. Badania nad wpływem bombardowań na morale ludności cywilnej. Badania zmian postaw robotników po awarii reaktora. Problemy badań

Wartość metody eksperymentalnej Zalety: kontrola zmiennych powtarzalność Wady: groźba artefaktu Problemy badań