Wielkość efektu Effect size Beata Arcimowicz Anna Kubiak Maja Stańko Piotr Haładziński Lech Kaczmarek

„When we feel a p near zero Makes us out to be a hero. Replace that wish to null-reject Report the size of the effect.” R. Rosenthal Cytat za: King, Minium (2009), str. 340

Spis treści Wielkość efektu Miary wielkości efektu Tabela miar wielkości efektu Kalkulatory wielkości efektu Miary wielkości efektu dla ANOVA Eta-kwadrat (stosunek korelacyjny) dla grup niezależnych Omega-kwadrat dla grup niezależnych Eta-kwadrat dla pomiarów powtarzanych Eta-kwadrat dla planu dwuczynnikowego Cząstkowa omega-kwadrat dla planu czynnikowego Miary wielkości efektu dla danych jakościowych Wielkość efektu dla testów zgodności chi-kwadrat Miara wielkości efektu dla testów niezależności – Tabele 2 x 2 Współczynnik fi Miara wielkości efektu dla testów niezależności – Tabele większe niż 2 x 2 V Cramera

Spis treści V Cramera a omega kwadrat Przekształcenie V Cramera na wartość omega kwadrat Wartości omega kwadrat Miary wielkości efektu dla badań korelacyjnych Analiza regresji Analiza regresji – założenia Cztery odmiany modelu Równania regresji Równania regresji (2) Miary wielkości efektu Współczynnik f 2 Cohena Współczynnik f 2 dla regresji hierarchicznej Interpretacja współczynnika f 2 Analiza czynnikowa

Spis treści Analiza czynnikowa (2) Kryteria ustalania liczby czynników w EFA Kryteria ustalania liczby czynników w EFA (2) Miary wielkości efektu dla EFA Miary wielkości efektu dla CFA Miary wielkości efektu dla CFA (2) Miary wielkości efektu dla CFA (3) Analiza ścieżek Path Analysis Analiza ścieżek Path Analysis - wielkość efektu Wskaźnik wielkości efektu requivalent requivalent Obliczanie requivalent Interpretacja requivalent Kiedy stosować requivalent

Wielkość efektu stosuje się do mierzenia wpływu pewnego czynnika na wynik ogólny grupy – siły związku między zmienną niezależna a zależną nie zależy od wielkości próby jego interpretacja opiera się na założeniu, że rozkłady wyników grup porównywanych są rozkładami normalnymi stanowi uzupełnienie każdego opisu wyników, jest wymagane w raportach z badań

Miary wielkości efektu Rodzina d d Cohena: dla testu t dla prób zależnych g Hedgesa : dla testu t dla prób niezależnych Rodzina r r jest współczynnikiem korelacji punktowo-dwuseryjnej między grupami eksperymentalną i kontrolna, a wyniki są zmienną ciągłą eta-kwadrat omega-kwadrat

Miary wielkości efektu Przedział wartości siły związku Test t dla 2 średnich niezależnych i zależnych 1. d Cohena 2. g Hedgesa 3. r punktowo-dwuseryjny między grupami d Cohena, g Hedgesa: 0.2 – efekt mały 0.5 – efekt przeciętny 0.8 – efekt duży Jednoczynnikowa ANOVA 1. Eta-kwadrat 2. Omega-kwadrat Eta-kwadrat <0,1> Omega-kwadrat 0.01 – efekt mały 0.06 – efekt przeciętny 0.14 – efekt duży Dwuczynnikowa ANOVA 2. Cząstkowa omega-kwadrat Chi-kwadrat Współczynnik Fi Fi Cramera 0.1 – efekt mały 0.3 – efekt przeciętny 0.5 – efekt duży Test Kruskala-Wallisa Epsilon-kwadrat <0,1> Test U Manna-Whitneya rg Rangowy współczynnik korelacji dwuseryjnej Glassa <-1,1> Test rang Friedmana Współczynnik zgodności W Test znaków rangowanych Wilcoxona rc Rangowy współczynnik korelacji dwuseryjnej dla par dopasowanych Tab. Miary wielkości efektu oraz przyjmowane przez nie wartosci dla poszczególnych testów. Źródło: Opracowanie własne na podstawie King, Minium (2009)

Kalkulatory wielkości efektu d Cohena i r http://www.uccs.edu/~faculty/lbecker/ można obliczyć wpisując średnie i odchylenia standardowe wartości t i df g Hedgesa, d Cohena i Δ Glassa w programie STATISTICA dla analiz marketingowych i rynkowych (http://www.statsoft.pl/)

Miary wielkości efektu dla ANOVA

Eta-kwadrat (stosunek korelacyjny) dla grup niezależnych Plan jednoczynnikowy Miara wielkości efektu w ANOVA dla grup niezależnych: ɳ2 = SSm/SSc gdzie: SSm – międzygrupowa suma kwadratów SSc – całkowita suma kwadratów Miara ta szacuje proporcję całkowitej wariancji, którą można przypisać zmiennej niezależnej. Jest ona jednak obciążona, gdyż podwyższa szacowane wartości. SPSS: Analiza  Ogólny model liniowy Jednej zmiennej Opcje Oceny wielkości efektu

Omega-kwadrat dla grup niezależnych Plan jednoczynnikowy Względnie nieobciążona miara wielkości efektu w ANOVA dla grup niezależnych: ω2m = [SSm – (k – 1)(s2wew)]/(SSc + s2wew) gdzie: SSm – międzygrupowa suma kwadratów SSc – całkowita suma kwadratów s2wew – wewnątrzgrupowe oszacowanie wariancji Miara ta szacuje proporcję wariancji zmiennej zależnej w populacji, którą możemy przypisać k warunkom eksperymentalnym.

Eta-kwadrat dla pomiarów powtarzanych Plan jednoczynnikowy Miara wielkości efektu w ANOVA dla pomiarów powtarzanych: ɳ2 = SS2osoby/(SS2osoby + SS2reszta) Miara ta szacuje tę proporcję zróżnicowania, którą można przypisać zmiennej niezależnej po wyeliminowaniu zróżnicowania spowodowanego różnicami indywidualnymi. SPSS: Analiza  Ogólny model liniowy Powtarzane pomiary

Eta-kwadrat dla planu dwuczynnikowego Miara wielkości efektu w ANOVA dla planu dwuczynnikowego: ɳ2wiersze = SSW/SSc ɳ2kolumny = SSK/SSc ɳ2WK = SSWK/SSc gdzie: SSW –suma kwadratów dla wiersza SSK – suma kwadratów dla kolumny SSWK – suma kwadratów dla interakcji WK SSc – całkowita suma kwadratów SPSS: Analiza  Ogólny model liniowy Wielu zmiennych  Opcje  Oceny wielkości efektu

Cząstkowa omega-kwadrat dla planu czynnikowego Miara siły związku między zmienną zależną a efektem eksperymentalnym każdego z czynników. ω2= oszacowanie wariancji dla (W, K oraz WK)/ [oszacowanie wariancji dla (W, K oraz WK) + oszacowanie wariancji wewnątrz kratek] W – liczba wierszy; K – liczba kolumn.

Miary wielkości efektu dla danych jakościowych

Wielkość efektu dla testów zgodności chi-kwadrat SPSS: Analiza  Opis statystyczny Tabele krzyzowe

Miara wielkości efektu dla testów niezależności – Tabele 2 x 2 W przypadku tabeli kontyngencji o wymiarach 2 x 2 miary siły związku dostarcza nam współczynnik fi. Współczynnik fi dla tabel 2x2 to pierwiastek z chi kwadrat podzielony przez liczbę n (liczebność próby). Według Cohena można przyjąć, że fi wynoszące 0,1 - oznacza mały efekt; 0,3 - przeciętny efekt a 0,5 - duży efekt. SPSS: Analiza  Opis statystyczny Tabele krzyzowe

Współczynnik fi

Miara wielkości efektu dla testów niezależności – Tabele większe niż 2 x 2 Dla większych tabel kontyngencji właściwą miarą siły związku jest V Cramera. V Cramera jest rozszerzeniem współczynnika fi, który skonstruowany został z myślą o tabelach o wymiarach 2 x 2. Współczynnik V Cramera dla tabel większych to pierwiastek z chi kwadrat podzielony przez nxdfmniejsze SPSS: Analiza  Opis statystyczny Tabele krzyzowe

V Cramera

V Cramera a omega kwadrat Współczynnik fi jest równoważny mierze wielkości efektu omega kwadrat, ale wskaźnik V Cramera i omega kwadrat równoważne nie są, dlatego …

Przekształcenie V Cramera na wartość omega kwadrat

Wartości omega kwadrat Według Cohena można przyjąć, że omega kwadrat wynosząca 0,1 - oznacza mały efekt; 0,3 - przeciętny efekt a 0,5 - duży efekt.

Miary wielkości efektu dla badań korelacyjnych

Analiza regresji Analiza regresji to budowanie modelu (uproszczonego obrazu) liniowej zależności pomiędzy zmienną zależną i niezależną (predyktorem) lub, w przypadku regresji wielokrotnej (MR), zmienną zależną (jedno lub wielowymiarową) i wieloma predyktorami. Analiza regresji umożliwia przewidywanie wartości zmiennej zależnej dla danych wartości zmiennej (zmiennych) niezależnej

Analiza regresji założenia zarówno zmienna zależna, jak i predyktory (zm. niezależne) mierzone są na skali interwałowej zmienna zależna, jak i predyktory, mają rozkład normalny w populacji zakłada się liniowy (lub krzywoliniowy) związek pomiędzy zmienną zależną a predyktorami

Cztery odmiany modelu jednowymiarowa zmienna zależna oraz jedna zmienna niezależna jednowymiarowa zmienna zależna oraz wiele zmiennych niezależnych wielowymiarowa zmienna zależna oraz jedna zmienna niezależna wielowymiarowa zmienna zależna oraz wiele zmiennych niezależnych

Równania regresji Przy jednej zmiennej zależnej Y względem X1 ważnej dla badacza: – przewidywane wyniki zmiennej zależnej – współczynnik regresji (kąt nachylenia linii regresji względem osi odciętych układu współrzędnych) – stała regresji (punkt przecięcia linii regresji z osią rzędnych)

Równania regresji (2) W przypadku dwóch zmiennych niezależnych X1 i X2: – przewidywane wyniki zmiennej zależnej – cząstkowe współczynniki regresji – stała regresji

Miary wielkości efektu statystyka R2, która mówi o stopniu dopasowania modelu do danych. Pokazuje jaki procent wariancji zmiennej zależnej można wyjaśnić za pomocą predyktorów współczynnik f 2 Cohena, wykorzystujący statystykę R2, stosowany w modelu regresji wielokrotnej SPSS: Analiza  Regresja Liniowa STATISTICA: Statystyka  Regresja wieloraka

Współczynnik f 2 Cohena

Współczynnik f 2 dla regresji hierarchicznej* procent wariancji zmiennej zależnej wyjaśniany przez zestaw lub pojedynczą zmienną niezależną A procent wariancji zmiennej zależnej wyjaśniany łącznie przez zestaw lub pojedynczą zmienną niezależną A oraz zestaw lub pojedynczą zmienną B * Regresja hierarchiczna to model regresji wielokrotnej do którego, w pierwszym kroku, wprowadzamy zmienne, które mają istotny wpływ na zmienną zależną (o czym wiemy z teorii, badań, itp.). Następnie wprowadzamy predyktor, który pozwala (zdaniem badacza) zwiększyć predykcję.

Interpretacja współczynnika f 2 f 2 = 0,02 mały f 2 = 0,15 średni f 2 = 0,35 duży

Analiza czynnikowa Jest to rodzina technik pozwalających na przedstawienie relacji między zmiennymi, które należą (wg badacza) do tego samego zbioru (Zakrzewska, 1994) . Celem zastosowania analizy czynnikowej jest odnalezienie nowej grupy zmiennych, mniej licznej od pierwotnej grupy, która wyraża to, co jest wspólne pomiędzy oryginalnymi zmiennymi (Zakrzewska, op. cit.).

Analiza czynnikowa (2) Ze względu na przyjęty przez badacza cel rozróżnia się dwa typy analizy czynnikowej: eksploracyjny (EFA), polegający na odnalezieniu grupy zmiennych (czynników) tłumaczących korelacje pomiędzy obserwowalnymi zmiennymi konfirmacyjny (CFA), polegający na testowaniu hipotez dotyczących relacji pomiędzy czynnikami, które tłumaczą korelacje pomiędzy zmiennymi obserwowalnymi

Kryteria ustalania liczby czynników w EFA kryterium Keisera: pozostawiamy taką ilość czynników, których wartość ≤ 1

Kryteria ustalania liczby czynników w EFA (2) test osypiska: kryterium odrzucenia to punkt, w którym nachylenie staje się małe, a wariancja nie spada (szum informacyjny)

Miary wielkości efektu dla EFA Miarą wielkości efektu dla eksploracyjnej analizy czynnikowej jest łączny procent wyjaśnianej wariancji przez wyodrębnione czynniki. SPSS: Analiza  Redukcja wymiarów Analiza czynnikowa STATISTICA: Statystyka  Wielowymiarowe techniki eksploracyjne  Analiza czynnikowa

Miary wielkości efektu dla CFA test chi-kwadrat: miara dobroci dopasowania modelu do danych. Jeżeli statystyka chi-kwadrat okaże się istotna, należy odrzucić model GFI (wskaźnik dobroci dopasowania) oraz AGFI (skorygowany wskaźnik dobroci dopasowania): porównują wyjściową oraz odtworzoną macierz kowariancji. Przyjmują wartość od 0 do 1. Jeżeli wartość wskaźnika spada poniżej 0,9 - należy zmodyfikować model* (Zakrzewska, 2004) * Nie dysponujemy rozkładem statystycznym GFI, dlatego nie opracowano standardów interpretacji

Miary wielkości efektu dla CFA (2) pierwiastek ze średniego kwadratu reszt (RMR): pokazuje średnią z macierzy pozostałości po dopasowaniu modelu (macierz reszt). Jego poprawną interpretację zapewnia odniesienie go do wielkości kowariancji z macierzy korelacji zmiennych obserwowalnych. Wysoka wartość RMR wskazuje na złe dopasowanie modelu (Zakrzewska, 2004)

Miary wielkości efektu dla CFA (3) pierwiastek ze średniego kwadratu błędu aproksymacji (RMSEA): szacuje wielkość popełnianego błędu aproksymacji w populacji. Wyniki: RMSEA ≤ 0,05 oznacza dobre dopasowanie RMSEA > 0,08 oznacza poważny błąd aproksymacji (Zakrzewska, 2004)

Analiza ścieżek Path Analysis Zastosowanie PA umożliwia weryfikację hipotez dotyczących zależności przyczynowych w określonym zbiorze zmiennych. Model PA daje możliwość interpretowania relacji jako bezpośrednich (X1, X2 na Y) lub pośrednich (X1 poprzez X2 na Y). Analiza ścieżek jest metodą testowania teorii – weryfikowana struktura zależności powstaje jako konsekwencja teorii (Gaul, Machowski, 2004).

Analiza ścieżek Path Analysis wielkość efektu Miarą wielkości efektu dla modelu PA jest, analogicznie jak w przypadku analizy regresji, statystyka R2.

Wskaźnik wielkości efektu requivalent

requivalent Łatwy do obliczenia wskaźnik wielkości efektu wyprowadzony z wartości p oraz wielkości próby (N). Przydatny w: prowadzeniu metaanaliz, gdy dysponujemy jedynie wartością p oraz wielkością prób* sytuacji, gdy dla danego testu brak opracowanego wskaźnika siły efektu (m.in. dokładny test Fishera, test Wilcoxona, Manna-Whitneya U) Sytuacji, gdy obliczony wskaźnik siły efektu może być omylny (mała liczebność próby + badana zmienna nie rozkłada się normalnie) *Dla dokładnego oszacowania requivalent musimy dysponować dokładną wartością poziomu istotności p (np. p = 0,003). W przypadku, gdy dysponujemy jedynie przybliżoną wartością (np. p < 0,05), będziemy w stanie obliczyć jedynie dolną granicę wskaźnika requivalent

Obliczanie requivalent Odczytanie z tablic (obliczenie) wartości t (wartość p jednostronna, stopnie swobody df = N – 2) Obliczenie requivalent wg wzoru:

Interpretacja requivalent Wskaźnik wielkości efektu requivalent przyjmuje wartości od -1 do 1 i odpowiada wskaźnikowi korelacji punktowo-dwuseryjnej* pomiędzy zastosowaniem manipulacji eksperymentalnej, a wynikiem w standardowym badaniu eksperymentalnym (randomizacja, grupa kontrolna o liczebności N/2, grupa eksperymentalna o liczebności N/2, rozkład normalny zmiennych w obu grupach), gdzie statystyka testu t równa jest t uzyskanemu z naszej wartości p. *Jeżeli jedna zmienna jest ciagła i ilościowa (np. wynik w teście), druga jest dychotomiczna i nominalna (np. zastosowanie techniki uczenia się)

Kiedy stosować requivalent gdy badanie zbliżone jest formą do badania standardowego (patrz: poprzedni slajd) gdy jedyną alternatywą jest brak jakiegokolwiek wskaźnika wielkości efektu gdy zastosowano metody nieparametryczne dla których brak określonych ściśle wskaźników gdy próba jest mała i inne wskaźniki mogą wprowadzać w błąd

Literatura: Brzeziński, J. (2004). Metodologia badań psychologicznych. Warszawa: Wydawnictwo Naukowe PWN Effect size (n.d.). W: Wikipedia. Pozyskano z: http://en.wikipedia.org/wiki/Effect_size Ferguson, G. A., Takane, Y. (2003). Analiza statystyczna w psychologii i pedagogice. Warszawa: Wydawnictwo Naukowe PWN Gaul, M., Machowski, M. (2004). Wprowadzenie do analizy ścieżek. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów (str. 362-390). Warszawa: Wydawnictwo Naukowe PWN King, B., Minium, E. (2009). Statystyka dla psychologów i pedagogów. Warszawa: Wydawnictwo Naukowe PWN Krejtz I., Krejtz K., (2007). Wprowadzenie do analizy regresji jedno- i wielozmiennowej. W: A. Brzezicka-Rotkiewicz, S. Bedyńska (red), Statystyczny drogowskaz: praktyczny poradnik analizy danych (str. 364-384). Warszawa: Academica Król, G., Wieczorkowska, G. (2004). Budowanie wskaźników za pomocą analizy czynnikowej. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów (str. 391-416). Warszawa: Wydawnictwo Naukowe PWN

Literatura: Rosenthal, R., Rubin, D. B. (2003). requivalent: A Simple Effect Size Indicator. Psychological Methods, 8(4), 492-496. StatSoft (2010, marzec). Internetowy podręcznik statystyki. Pozyskano z: http://www.statsoft.pl/textbook/stathome_stat.html?http%3A%2F%2Fwww.statsoft.pl%2Ftextbook%2Fadvans1.html Stożek, E. (2010, marzec). O czym mówi efekt standardowy? Pozyskano z: http://www.ptde.org/file.php/1/Archiwum/XI/57.pdf Zakrzewska, M. (1994). Analiza czynnikowa w budowaniu i sprawdzaniu modeli psychologicznych. Poznań: Wydawnictwo Naukowe UAM Zakrzewska, M. (2004). Konfirmacyjna analiza czynnikowa w ujęciu pakietu statystycznego LISREL 8.51 (2001) Karla G. Jöreskoga i Daga Sörboma. W: J. Brzeziński (red.), Metodologia badań psychologicznych. Wybór tekstów (str. 342-478). Warszawa: Wydawnictwo Naukowe PWN