Wielkość efektu Effect size Beata Arcimowicz Anna Kubiak Maja Stańko

Prezentacja na temat: "Wielkość efektu Effect size Beata Arcimowicz Anna Kubiak Maja Stańko"— Zapis prezentacji:

1 Wielkość efektu Effect size Beata Arcimowicz Anna Kubiak Maja Stańko
Piotr Haładziński Lech Kaczmarek

2 „When we feel a p near zero Makes us out to be a hero.
Replace that wish to null-reject Report the size of the effect.” R. Rosenthal Cytat za: King, Minium (2009), str. 340

3 Spis treści Wielkość efektu Miary wielkości efektu
Tabela miar wielkości efektu Kalkulatory wielkości efektu Miary wielkości efektu dla ANOVA Eta-kwadrat (stosunek korelacyjny) dla grup niezależnych Omega-kwadrat dla grup niezależnych Eta-kwadrat dla pomiarów powtarzanych Eta-kwadrat dla planu dwuczynnikowego Cząstkowa omega-kwadrat dla planu czynnikowego Miary wielkości efektu dla danych jakościowych Wielkość efektu dla testów zgodności chi-kwadrat Miara wielkości efektu dla testów niezależności – Tabele 2 x 2 Współczynnik fi Miara wielkości efektu dla testów niezależności – Tabele większe niż 2 x 2 V Cramera

4 Spis treści V Cramera a omega kwadrat
Przekształcenie V Cramera na wartość omega kwadrat Wartości omega kwadrat Miary wielkości efektu dla badań korelacyjnych Analiza regresji Analiza regresji – założenia Cztery odmiany modelu Równania regresji Równania regresji (2) Miary wielkości efektu Współczynnik f 2 Cohena Współczynnik f 2 dla regresji hierarchicznej Interpretacja współczynnika f 2 Analiza czynnikowa

5 Spis treści Analiza czynnikowa (2)
Kryteria ustalania liczby czynników w EFA Kryteria ustalania liczby czynników w EFA (2) Miary wielkości efektu dla EFA Miary wielkości efektu dla CFA Miary wielkości efektu dla CFA (2) Miary wielkości efektu dla CFA (3) Analiza ścieżek Path Analysis Analiza ścieżek Path Analysis - wielkość efektu Wskaźnik wielkości efektu requivalent requivalent Obliczanie requivalent Interpretacja requivalent Kiedy stosować requivalent

6 Wielkość efektu stosuje się do mierzenia wpływu pewnego czynnika na wynik ogólny grupy – siły związku między zmienną niezależna a zależną nie zależy od wielkości próby jego interpretacja opiera się na założeniu, że rozkłady wyników grup porównywanych są rozkładami normalnymi stanowi uzupełnienie każdego opisu wyników, jest wymagane w raportach z badań

7 Miary wielkości efektu
Rodzina d d Cohena: dla testu t dla prób zależnych g Hedgesa : dla testu t dla prób niezależnych Rodzina r r jest współczynnikiem korelacji punktowo-dwuseryjnej między grupami eksperymentalną i kontrolna, a wyniki są zmienną ciągłą eta-kwadrat omega-kwadrat

8 Miary wielkości efektu Przedział wartości siły związku
Test t dla 2 średnich niezależnych i zależnych 1. d Cohena 2. g Hedgesa 3. r punktowo-dwuseryjny między grupami d Cohena, g Hedgesa: 0.2 – efekt mały 0.5 – efekt przeciętny 0.8 – efekt duży Jednoczynnikowa ANOVA 1. Eta-kwadrat 2. Omega-kwadrat Eta-kwadrat <0,1> Omega-kwadrat 0.01 – efekt mały 0.06 – efekt przeciętny 0.14 – efekt duży Dwuczynnikowa ANOVA 2. Cząstkowa omega-kwadrat Chi-kwadrat Współczynnik Fi Fi Cramera 0.1 – efekt mały 0.3 – efekt przeciętny 0.5 – efekt duży Test Kruskala-Wallisa Epsilon-kwadrat <0,1> Test U Manna-Whitneya rg Rangowy współczynnik korelacji dwuseryjnej Glassa <-1,1> Test rang Friedmana Współczynnik zgodności W Test znaków rangowanych Wilcoxona rc Rangowy współczynnik korelacji dwuseryjnej dla par dopasowanych Tab. Miary wielkości efektu oraz przyjmowane przez nie wartosci dla poszczególnych testów. Źródło: Opracowanie własne na podstawie King, Minium (2009)

9 Kalkulatory wielkości efektu
d Cohena i r można obliczyć wpisując średnie i odchylenia standardowe wartości t i df g Hedgesa, d Cohena i Δ Glassa w programie STATISTICA dla analiz marketingowych i rynkowych (

10 Miary wielkości efektu dla ANOVA

11 Eta-kwadrat (stosunek korelacyjny) dla grup niezależnych
Plan jednoczynnikowy Miara wielkości efektu w ANOVA dla grup niezależnych: ɳ2 = SSm/SSc gdzie: SSm – międzygrupowa suma kwadratów SSc – całkowita suma kwadratów Miara ta szacuje proporcję całkowitej wariancji, którą można przypisać zmiennej niezależnej. Jest ona jednak obciążona, gdyż podwyższa szacowane wartości. SPSS: Analiza  Ogólny model liniowy Jednej zmiennej Opcje Oceny wielkości efektu

12 Omega-kwadrat dla grup niezależnych
Plan jednoczynnikowy Względnie nieobciążona miara wielkości efektu w ANOVA dla grup niezależnych: ω2m = [SSm – (k – 1)(s2wew)]/(SSc + s2wew) gdzie: SSm – międzygrupowa suma kwadratów SSc – całkowita suma kwadratów s2wew – wewnątrzgrupowe oszacowanie wariancji Miara ta szacuje proporcję wariancji zmiennej zależnej w populacji, którą możemy przypisać k warunkom eksperymentalnym.

13 Eta-kwadrat dla pomiarów powtarzanych
Plan jednoczynnikowy Miara wielkości efektu w ANOVA dla pomiarów powtarzanych: ɳ2 = SS2osoby/(SS2osoby + SS2reszta) Miara ta szacuje tę proporcję zróżnicowania, którą można przypisać zmiennej niezależnej po wyeliminowaniu zróżnicowania spowodowanego różnicami indywidualnymi. SPSS: Analiza  Ogólny model liniowy Powtarzane pomiary

14 Eta-kwadrat dla planu dwuczynnikowego
Miara wielkości efektu w ANOVA dla planu dwuczynnikowego: ɳ2wiersze = SSW/SSc ɳ2kolumny = SSK/SSc ɳ2WK = SSWK/SSc gdzie: SSW –suma kwadratów dla wiersza SSK – suma kwadratów dla kolumny SSWK – suma kwadratów dla interakcji WK SSc – całkowita suma kwadratów SPSS: Analiza  Ogólny model liniowy Wielu zmiennych  Opcje  Oceny wielkości efektu

15 Cząstkowa omega-kwadrat dla planu czynnikowego
Miara siły związku między zmienną zależną a efektem eksperymentalnym każdego z czynników. ω2= oszacowanie wariancji dla (W, K oraz WK)/ [oszacowanie wariancji dla (W, K oraz WK) + oszacowanie wariancji wewnątrz kratek] W – liczba wierszy; K – liczba kolumn.

16 Miary wielkości efektu dla danych jakościowych

17 Wielkość efektu dla testów zgodności chi-kwadrat
SPSS: Analiza  Opis statystyczny Tabele krzyzowe

18 Miara wielkości efektu dla testów niezależności – Tabele 2 x 2
W przypadku tabeli kontyngencji o wymiarach 2 x 2 miary siły związku dostarcza nam współczynnik fi. Współczynnik fi dla tabel 2x2 to pierwiastek z chi kwadrat podzielony przez liczbę n (liczebność próby). Według Cohena można przyjąć, że fi wynoszące 0,1 - oznacza mały efekt; 0,3 - przeciętny efekt a 0,5 - duży efekt. SPSS: Analiza  Opis statystyczny Tabele krzyzowe

19 Współczynnik fi

20 Miara wielkości efektu dla testów niezależności – Tabele większe niż 2 x 2
Dla większych tabel kontyngencji właściwą miarą siły związku jest V Cramera. V Cramera jest rozszerzeniem współczynnika fi, który skonstruowany został z myślą o tabelach o wymiarach 2 x 2. Współczynnik V Cramera dla tabel większych to pierwiastek z chi kwadrat podzielony przez nxdfmniejsze SPSS: Analiza  Opis statystyczny Tabele krzyzowe

21 V Cramera

22 V Cramera a omega kwadrat
Współczynnik fi jest równoważny mierze wielkości efektu omega kwadrat, ale wskaźnik V Cramera i omega kwadrat równoważne nie są, dlatego …

23 Przekształcenie V Cramera na wartość omega kwadrat

24 Wartości omega kwadrat
Według Cohena można przyjąć, że omega kwadrat wynosząca 0,1 - oznacza mały efekt; 0,3 - przeciętny efekt a 0,5 - duży efekt.

25 Miary wielkości efektu dla badań korelacyjnych

26 Analiza regresji Analiza regresji to budowanie modelu (uproszczonego obrazu) liniowej zależności pomiędzy zmienną zależną i niezależną (predyktorem) lub, w przypadku regresji wielokrotnej (MR), zmienną zależną (jedno lub wielowymiarową) i wieloma predyktorami. Analiza regresji umożliwia przewidywanie wartości zmiennej zależnej dla danych wartości zmiennej (zmiennych) niezależnej

27 Analiza regresji założenia
zarówno zmienna zależna, jak i predyktory (zm. niezależne) mierzone są na skali interwałowej zmienna zależna, jak i predyktory, mają rozkład normalny w populacji zakłada się liniowy (lub krzywoliniowy) związek pomiędzy zmienną zależną a predyktorami

28 Cztery odmiany modelu jednowymiarowa zmienna zależna oraz jedna zmienna niezależna jednowymiarowa zmienna zależna oraz wiele zmiennych niezależnych wielowymiarowa zmienna zależna oraz jedna zmienna niezależna wielowymiarowa zmienna zależna oraz wiele zmiennych niezależnych

29 Równania regresji Przy jednej zmiennej zależnej Y względem X1 ważnej dla badacza: – przewidywane wyniki zmiennej zależnej – współczynnik regresji (kąt nachylenia linii regresji względem osi odciętych układu współrzędnych) – stała regresji (punkt przecięcia linii regresji z osią rzędnych)

30 Równania regresji (2) W przypadku dwóch zmiennych niezależnych X1 i X2: – przewidywane wyniki zmiennej zależnej – cząstkowe współczynniki regresji – stała regresji

31 Miary wielkości efektu
statystyka R2, która mówi o stopniu dopasowania modelu do danych. Pokazuje jaki procent wariancji zmiennej zależnej można wyjaśnić za pomocą predyktorów współczynnik f 2 Cohena, wykorzystujący statystykę R2, stosowany w modelu regresji wielokrotnej SPSS: Analiza  Regresja Liniowa STATISTICA: Statystyka  Regresja wieloraka

32 Współczynnik f 2 Cohena

33 Współczynnik f 2 dla regresji hierarchicznej*
procent wariancji zmiennej zależnej wyjaśniany przez zestaw lub pojedynczą zmienną niezależną A procent wariancji zmiennej zależnej wyjaśniany łącznie przez zestaw lub pojedynczą zmienną niezależną A oraz zestaw lub pojedynczą zmienną B * Regresja hierarchiczna to model regresji wielokrotnej do którego, w pierwszym kroku, wprowadzamy zmienne, które mają istotny wpływ na zmienną zależną (o czym wiemy z teorii, badań, itp.). Następnie wprowadzamy predyktor, który pozwala (zdaniem badacza) zwiększyć predykcję.

34 Interpretacja współczynnika f 2
f 2 = 0, mały f 2 = 0, średni f 2 = 0, duży

35 Analiza czynnikowa Jest to rodzina technik pozwalających na przedstawienie relacji między zmiennymi, które należą (wg badacza) do tego samego zbioru (Zakrzewska, 1994) . Celem zastosowania analizy czynnikowej jest odnalezienie nowej grupy zmiennych, mniej licznej od pierwotnej grupy, która wyraża to, co jest wspólne pomiędzy oryginalnymi zmiennymi (Zakrzewska, op. cit.).

36 Analiza czynnikowa (2) Ze względu na przyjęty przez badacza cel rozróżnia się dwa typy analizy czynnikowej: eksploracyjny (EFA), polegający na odnalezieniu grupy zmiennych (czynników) tłumaczących korelacje pomiędzy obserwowalnymi zmiennymi konfirmacyjny (CFA), polegający na testowaniu hipotez dotyczących relacji pomiędzy czynnikami, które tłumaczą korelacje pomiędzy zmiennymi obserwowalnymi

37 Kryteria ustalania liczby czynników w EFA
kryterium Keisera: pozostawiamy taką ilość czynników, których wartość ≤ 1

38 Kryteria ustalania liczby czynników w EFA (2)
test osypiska: kryterium odrzucenia to punkt, w którym nachylenie staje się małe, a wariancja nie spada (szum informacyjny)

39 Miary wielkości efektu dla EFA
Miarą wielkości efektu dla eksploracyjnej analizy czynnikowej jest łączny procent wyjaśnianej wariancji przez wyodrębnione czynniki. SPSS: Analiza  Redukcja wymiarów Analiza czynnikowa STATISTICA: Statystyka  Wielowymiarowe techniki eksploracyjne  Analiza czynnikowa

40 Miary wielkości efektu dla CFA
test chi-kwadrat: miara dobroci dopasowania modelu do danych. Jeżeli statystyka chi-kwadrat okaże się istotna, należy odrzucić model GFI (wskaźnik dobroci dopasowania) oraz AGFI (skorygowany wskaźnik dobroci dopasowania): porównują wyjściową oraz odtworzoną macierz kowariancji. Przyjmują wartość od 0 do 1. Jeżeli wartość wskaźnika spada poniżej 0,9 - należy zmodyfikować model* (Zakrzewska, 2004) * Nie dysponujemy rozkładem statystycznym GFI, dlatego nie opracowano standardów interpretacji

41 Miary wielkości efektu dla CFA (2)
pierwiastek ze średniego kwadratu reszt (RMR): pokazuje średnią z macierzy pozostałości po dopasowaniu modelu (macierz reszt). Jego poprawną interpretację zapewnia odniesienie go do wielkości kowariancji z macierzy korelacji zmiennych obserwowalnych. Wysoka wartość RMR wskazuje na złe dopasowanie modelu (Zakrzewska, 2004)

42 Miary wielkości efektu dla CFA (3)
pierwiastek ze średniego kwadratu błędu aproksymacji (RMSEA): szacuje wielkość popełnianego błędu aproksymacji w populacji. Wyniki: RMSEA ≤ 0,05 oznacza dobre dopasowanie RMSEA > 0,08 oznacza poważny błąd aproksymacji (Zakrzewska, 2004)

43 Analiza ścieżek Path Analysis
Zastosowanie PA umożliwia weryfikację hipotez dotyczących zależności przyczynowych w określonym zbiorze zmiennych. Model PA daje możliwość interpretowania relacji jako bezpośrednich (X1, X2 na Y) lub pośrednich (X1 poprzez X2 na Y). Analiza ścieżek jest metodą testowania teorii – weryfikowana struktura zależności powstaje jako konsekwencja teorii (Gaul, Machowski, 2004).

44 Analiza ścieżek Path Analysis wielkość efektu
Miarą wielkości efektu dla modelu PA jest, analogicznie jak w przypadku analizy regresji, statystyka R2.

45 Wskaźnik wielkości efektu requivalent

46 requivalent Łatwy do obliczenia wskaźnik wielkości efektu wyprowadzony z wartości p oraz wielkości próby (N). Przydatny w: prowadzeniu metaanaliz, gdy dysponujemy jedynie wartością p oraz wielkością prób* sytuacji, gdy dla danego testu brak opracowanego wskaźnika siły efektu (m.in. dokładny test Fishera, test Wilcoxona, Manna-Whitneya U) Sytuacji, gdy obliczony wskaźnik siły efektu może być omylny (mała liczebność próby + badana zmienna nie rozkłada się normalnie) *Dla dokładnego oszacowania requivalent musimy dysponować dokładną wartością poziomu istotności p (np. p = 0,003). W przypadku, gdy dysponujemy jedynie przybliżoną wartością (np. p < 0,05), będziemy w stanie obliczyć jedynie dolną granicę wskaźnika requivalent

47 Obliczanie requivalent
Odczytanie z tablic (obliczenie) wartości t (wartość p jednostronna, stopnie swobody df = N – 2) Obliczenie requivalent wg wzoru:

48 Interpretacja requivalent
Wskaźnik wielkości efektu requivalent przyjmuje wartości od -1 do 1 i odpowiada wskaźnikowi korelacji punktowo-dwuseryjnej* pomiędzy zastosowaniem manipulacji eksperymentalnej, a wynikiem w standardowym badaniu eksperymentalnym (randomizacja, grupa kontrolna o liczebności N/2, grupa eksperymentalna o liczebności N/2, rozkład normalny zmiennych w obu grupach), gdzie statystyka testu t równa jest t uzyskanemu z naszej wartości p. *Jeżeli jedna zmienna jest ciagła i ilościowa (np. wynik w teście), druga jest dychotomiczna i nominalna (np. zastosowanie techniki uczenia się)

49 Kiedy stosować requivalent
gdy badanie zbliżone jest formą do badania standardowego (patrz: poprzedni slajd) gdy jedyną alternatywą jest brak jakiegokolwiek wskaźnika wielkości efektu gdy zastosowano metody nieparametryczne dla których brak określonych ściśle wskaźników gdy próba jest mała i inne wskaźniki mogą wprowadzać w błąd

50 Literatura: Brzeziński, J. (2004). Metodologia badań psychologicznych. Warszawa: Wydawnictwo Naukowe PWN Effect size (n.d.). W: Wikipedia. Pozyskano z: Ferguson, G. A., Takane, Y. (2003). Analiza statystyczna w psychologii i pedagogice. Warszawa: Wydawnictwo Naukowe PWN Gaul, M., Machowski, M. (2004). Wprowadzenie do analizy ścieżek. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów (str ). Warszawa: Wydawnictwo Naukowe PWN King, B., Minium, E. (2009). Statystyka dla psychologów i pedagogów. Warszawa: Wydawnictwo Naukowe PWN Krejtz I., Krejtz K., (2007). Wprowadzenie do analizy regresji jedno- i wielozmiennowej. W: A. Brzezicka-Rotkiewicz, S. Bedyńska (red), Statystyczny drogowskaz: praktyczny poradnik analizy danych (str ). Warszawa: Academica Król, G., Wieczorkowska, G. (2004). Budowanie wskaźników za pomocą analizy czynnikowej. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów (str ). Warszawa: Wydawnictwo Naukowe PWN

51 Literatura: Rosenthal, R., Rubin, D. B. (2003). requivalent: A Simple Effect Size Indicator. Psychological Methods, 8(4), StatSoft (2010, marzec). Internetowy podręcznik statystyki. Pozyskano z: Stożek, E. (2010, marzec). O czym mówi efekt standardowy? Pozyskano z: Zakrzewska, M. (1994). Analiza czynnikowa w budowaniu i sprawdzaniu modeli psychologicznych. Poznań: Wydawnictwo Naukowe UAM Zakrzewska, M. (2004). Konfirmacyjna analiza czynnikowa w ujęciu pakietu statystycznego LISREL 8.51 (2001) Karla G. Jöreskoga i Daga Sörboma. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów (str ). Warszawa: Wydawnictwo Naukowe PWN