Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Skalowanie jednowymiarowe Wprowadzenie. Intro Pomiar a skalowanie Zmienne obserwowalne i ukryte Poziom pomiaru – typy zmiennych Skalowanie I. Skalowalność

Podobne prezentacje


Prezentacja na temat: "Skalowanie jednowymiarowe Wprowadzenie. Intro Pomiar a skalowanie Zmienne obserwowalne i ukryte Poziom pomiaru – typy zmiennych Skalowanie I. Skalowalność"— Zapis prezentacji:

1 Skalowanie jednowymiarowe Wprowadzenie

2 Intro

3 Pomiar a skalowanie Zmienne obserwowalne i ukryte Poziom pomiaru – typy zmiennych Skalowanie I. Skalowalność II. Wymiarowość III. Wskaźniki niezbędne IV. Własności wskaźników V. Algorytm skalowania VI.Wynik skalowania I. Skalowalność II. Wymiarowość III. Wskaźniki niezbędne IV. Własności wskaźników V. Algorytm skalowania VI.Wynik skalowania

4 Pomiar Pomiarem w sensie klasycznym jest operacją polegającą na I.wykazaniu, że istnieje reguła, według której można przedmiotom przypisać liczby w taki sposób, aby na podstawie liczb przypisanych obiektom można było orzekać o zachodzeniu relacji empirycznych między nimi II.(oraz) ustaleniu na ile to przyporządkowanie jest jednoznaczne, w jakim stopniu można modyfikować przypisane obiektom liczby bez utraty informacji o własnościach obiektów, którą zawierają, a więc czy istnieje wiele równoważnych sposobów tego przyporządkowania Mierzenie jest zatem operacją polegającą na dowodzeniu twierdzeń. Aby pokazać, o czym wypowiadają się twierdzenia i na czym polega ich dowodzenie, problem pomiaru trzeba sformułować formalnie Aby pokazać, o czym wypowiadają się twierdzenia i na czym polega ich dowodzenie, problem pomiaru trzeba sformułować formalnie

5 Pomiar to reprezentowanie fizycznych własności obiektów przez liczby Fukcja pomiarowa f ustala odpowiedniość między empirycznymi i liczbowym systemem relacyjnym f : E =, R 1, R 2, …, R k - zbiór liczb, podzbiór zbioru liczb rzeczywistych R 1, R 2, …, R k - relacje między liczbami Liczzbowy system relacyjny E =, E 1, E 2, …, E k = { 1, 2, …., n } – zbiór obiektów empirycznych E 1, E 2, …, E k - relacje między obiektami empirycznymi Empiryczny system relacyjny każdemu obiektowi empirycznemu I przyporządkowuje liczbę f ( I ) każdej empirycznej relacji E 1, E 2, …, E k przyporządkowuje relację liczbową R 1, R 2, …, R k: relacjom empirycznym między obiektami odpowiadają relacje między przyporządkowanymi im liczbami f( ) f (E i ) = R i i E k j f ( i )R k ( j ), gdzie R k = f (E k )

6 1 2 3 Empiryczny system relacyjny = { 1, 2, 3 } E =, Dwa liczbowe systemy relacyjne 1 = N 1, < N 1 = {3, 5, 7} 3 < 5 < 7 2 = N 2, < N 2 = {¼,, } ¼ < < liczby relacja mniejszości obiekty empiryczne empiryczna relacja bycia mniejszym Jakie przekształcenie przeprowadza 1 w 2 ? Reprezentacyjna koncepcja pomiaru (Stevens, 1946) Relacje empiryczne trzeba ustalić praktycznie Relacje między sytemami liczbowymi mają charakter formalny

7 E =, f 1 : E 1 f 1 ( 1 ) = 3 f 1 ( 2 ) = 5 f 1 ( 3 ) = 7 f 1 ( ) = N 1 = {3, 5, 7} < < 7 f 2 : E 2 f 2 ( 1 ) = ¼ f 2 ( 2 ) = f 2 ( 3 ) = f 2 ( ) = N 2 = {¼,, } 1 2 ¼ < 2 3 < Funkcja pomiarowa. Na ile sposobów można zmierzyć własności tych samych obiektów? Jeden empiryczny system relacyjny – dwie funkcje pomiarowe. Co je łączy?

8 Dwa problemy klasycznej teorii pomiaru I.Problem istnienia II.Problem jednoznaczności Jakie formalne cechy musi mieć empiryczny system relacyjny, aby istniała dla niego funkcja pomiarowa Jeśli dla danego empirycznego systemu relacyjnego istnieje funkcja pomiarowa, to co można zrobić z jej wartościami aby nie utracić informacji o własnościach obiektów Roziązanie obu problemów polegaja na udowodzeniu twierdzeń Twierdzenia dotyczą formalnych własności empirycznego systemu relacyjnego E =, I.Jeśli relacja jest asymetryczna, spójna i przechodnia w, to istnieje funkcja pomiarowa f : E, gdzie =, <, taka, że: i j f ( i ) < f ( j ), II.Każdą rosnąca funkcja funkcji f jest również funkcją pomiarową: f( i ) < f( j ) g(f ( i )) < g(f( j ))

9 Klasyfikacja poziomów pomiaru – Typologia zmiennych statystycznych Empiryczny system relacyjnyOpis systemu relacyjnegoPrzykłady E =, klasyfikacja brak uporządkowania kategorii, brak jednostki pomiaru płeć, wyznanie, stan cywilny rasa E =,, klasyfikacja, porządek na klasach umożliwia uporządkowanie kategorii brak punktu zerowego i jednostki pomiaru poziom wykształcenia, skala twardości minerałów Mohsa, większość skal ocen i postaw E =,,,, klasyfikacja, porządek na klasach różnica, porządek na różnicach umożliwia porównywanie różnic określone arbitralnie: punkt zerowy i jednostka pomiaru temperatura w stopniach Celsjusza, data kalendarzowa, użyteczność, skala twardości metali Brinella E =,,,,, klasyfikacja, porządek na klasach różnica, porządek na różnicach składanie obiektów umożliwia porównywanie stosunków określony jednoznacznie punkt zerowy, arbitralna jednostka pomiaru staż pracy, wysokość zarobków, wzrost w cm

10 Klasyfikacja poziomów pomiaru – Typologia zmiennych statystycznych Empiryczny system relacyjnyWłasności relacjiWłasności funkcji pomiarowej E =, i j j i i j f( i ) = f ( j ) E =,, j.w. oraz i j ( j i ) ( i j j k ) i k j.w. oraz i j f ( i ) < f ( j ) E =,,,, j.w. oraz jest słabym porządkiem na parach obiektów ij, km : ij = ( i, j ), km = ( k, m ) j.w. oraz ij km f ( i ) - f ( j ) > f ( k ) - f ( m ) E =,,,,, j.w. oraz jest operacją składania (łączenia ze sobą) obiektów j.w. oraz i ( j k ) f ( i ) = f ( j ) + f ( k )

11 Relacje w zbiorze obiektów empirycznych, które trzeba empirycznie stwierdzić lub założyć System relacyjnyNazwa poziomu pomiaru Równoważność E =, nominalny Równoważność, Porządek E =,, porządkowy Równoważność Porządek Odległość obiektów Identyczność odległości Porządek odległości Operacja dodawania obiektów Różnica wyróżniona: zero E =,,,, interwałowy Rówoważność, Porządek Odległość obiektów Identyczność odległości Porządek odległości Operacja dodawania obiektów Różnica wyróżniona: zero Stosunek obiektów Identyczność stosunków Porządek stosunków Obiekt wyróżniony: jedynka E =,,,,, ilorazowy Klasyfikacja poziomów pomiaru – Typologia zmiennych statystycznych c.d.

12 Funkcja pomiarowa a zmienna statystyczna f 1 : E 1 f 1 ( 1 ) = 3 f 1 ( 2 ) = 5 f 1 ( 3 ) = 7 X( ) X : N 1 E =, = { 1, 2, 3 } 1 = N 1, < X( 1 ) = 3 X( 2 ) = 5 X( 3 ) = 7 N1N1 N 1 = {3, 5, 7} Funkcja pomiarowa Zmienna statystyczna

13 Klasyfikacja poziomów pomiaru – Typologia zmiennych statystycznych c.d. System relacyjnyDopuszczalne przekształcenia f Dopuszczalne statystyki E =, klasyfikacja g(f ( )), g:, g jest funkcją odwracalną modalna, entropia, entropijne współczynniki zależności E =,, klasyfikacja, porządek na klasach g(f( )), g:, g jest funkcją rosnącą jw. oraz mediana, współczynniki korelacji rangowej E =,,,, klasyfikacja, porządek na klasach różnica, porządek na różnicach g(f( )), g:, g jest funkcją liniową: g(f( )) = bf( )+a b > 0 jw. oraz średnia, wariancja, współczynnik korelacji liniowej, E =,,,,, klasyfikacja, porządek na klasach różnica, porządek na różnicach składanie obiektów g(f( )), g:, g jest funkcją podobieństwa: g(f( )) = bf( ) b > 0 jw.

14 Poziom pomiaru zmiennej statystycznej określa klasa dopuszczalnych przekształceń jej wartości

15 Zmienna statystyczna jest zawsze obserwowalna

16 Specyfika zmiennej binarnej

17 Czym jest skalowanie Ogólny problem skalowania ={ω 1, ω 2,..., ω n } (X 1, X 2, X 3,..., X i,..., X k ) : X1X1 X2X2 …..XkXk W zbiorowości zdefiniowano zestaw obserwowalnych zmiennych typu X i, nazywanych wskaźnikami nieobserwowalnej zmiennej Na podstawie łącznego rozkładu zmiennych –wskaźników wyznacz wartości zmiennej dla każdego obiektu badanej zbiorowości

18 Problem skalowania Wskaźniki są wynikiem pomiaru znanego typu, co oznacza, że dla każdego z nich znany jest zakres dopuszczalnych analiz statystycznych, które można na nich wykonywać Zmienną ukrytą oraz obserwowalne wskaźniki typu X i wiąże relacja bycia wskazywanym: każdy ze wskaźników wskazuje zmienną ukrytą X1X1 X2X2 X3X3 XkXk Poziom pomiaru wskaźników ogranicza repertuar środków statystycznych, za pomocą których opisuje się związek zmiennej ukrytej ze wskaźnikami Związek wskaźników ze zmienną ukrytą jest elementem teorii zjawiska (własności) reprezentowanej przez Teoria

19 Cechy ukryte są elementem teorii zjawiska, która wiąże obserwacje (wskaźniki) z konstruktem teoretycznym (cecha ukrytą) za pomocą relacji korespondencji. Skalowanie wynika z teorii cechy ukrytej Korespondencja: Skala Skalogram Model skalowania Własności wskaźników (X 1, X 2, X 3,..., X i,..., X k ) Własności cech ukrytych 1 2 m Relacje (zależności) między cechami obserwowalnymi i ukrytymi R X reguły wnioskowania o cechach ukrytych na podstawie cech obserwowalnych Teoria zjawiska

20 Model skalowania jest elementem teorii empirycznej Teoria może być empirycznie sfalsyfikowana Skalowanie a falsyfikacja teorii Problem pomiaru: Czy empirycznie stwierdzone własności obiektów empirycznych dają się poprawnie reprezentować liczbowo Problem skalowania: Czy teoria empirycznie własności obiektów empirycznych, z której wynika model skalowania jest prawdziwa

21 W jaki sposób wyznaczyć wartości cechy ukrytej dla obiektu, kórego obserwowalne własności są znane Składowe problemu skalowania Wykonalność Test teorii, z której wywodzi się model skalowania Czy spełnione obiekty empiryczne mają własności zakładane przez model skalowania Czy łączny rozkład wskaźników (X 1, X 2, X 3,..., X i,..., X k ) ma własności postulowane przez model skalowania Askrypcja Jeśli tak, to skalowalność Algorytm skalowania algorytm wyliczania wartości zmiennej ukrytej na podstawie wartości wskaźników

22

23 I. Problem skalowalności 1. Jak dalece łączny rozkład wskaźników jest zgodny z modelem? Jak dobrze model pozwala odtwarzać łączny rozkład wskaźników? Czy zbiór wskaźników jest skalowalny, to znaczy, czy stopień zgodności danych z modelem jest wystarczający? II. Problem liczby wymiarów cechy ukrytej i relacji między nimi 2. Ile cech ukrytych (wymiarów zmiennej ukrytej) trzeba założyć aby dany zbiór wskaźników (w danym zbiorze obiektów) był skalowalny? 3. W jakich relacjach pozostają poszczególne wskaźniki z poszczególnymi wymiarami cechy ukrytej? 4. W jakich relacjach pozostają względem siebie wymiary cechy ukrytej III. Czy wszystkie wskaźniki są potrzebne? 5. Czy w zbiorze wskaźników są pozycje zbędne? Czy są wskaźniki (pozycje testu), z których bez szkody dla skalowalności można zrezygnować? IV. Jakie są własności diagnostyczne poszczególnych wskaźników? 6. Jakie są parametry wskaźników? Których wymiarów cechy ukrytej są wskaźnikami V. Jak skalować 7. Jak przyporządkować obiektom wartości zmiennej ukrytej ? [SCORE] VI. Jaki jest efekt skalowania 8. Jaki rozkład ma cecha ukryta w danym zbiorze obiektów? Poziom pomiarowy skali? SKALUJĄC: problemy do rozwiązania

24 1.Niezmienniczość wyników skalowania przy dopuszczalnych poziomem pomiaru przekształceniach wskaźników; 2.Optymalność algorytmu skalowania, 3.Jednoznaczność i przekonywujące uzasadnienia dla decyzji, które trzeba podejmować rozwiązując problemy (1) - (8) wymienione wyżej. 1.Niezmienniczość wyników skalowania przy dopuszczalnych poziomem pomiaru przekształceniach wskaźników; 2.Optymalność algorytmu skalowania, 3.Jednoznaczność i przekonywujące uzasadnienia dla decyzji, które trzeba podejmować rozwiązując problemy (1) - (8) wymienione wyżej. Kryteria oceny modelu skalowania

25 NURTY TEORII SKALOWANIA Kumulatywne Addytywne nominalne Mieszane Poziom pomiaru wskaźników binarne porządkowe interwałowe Typ relacji między cechą ukrytą, wymiarem a wskaźnikami

26 Model Poziom pomiaru wskaźników Rodzaj zależności wskaźników od cech ukrytych Poziom pomiaru cechy ukrytej Analiza ukrytej struktury Lazarsfelda Nominalny Binarny ProbabilistycznyNominalny Analiza skupień K-MeansInterwałowyDeterministyczyNominalny Probabilistyczne metody analizy skupień Nominalny Binarny Interwałowy ProbabilistycznyNominalny Skalogram GuttmanaBinarnyDeterministyczyPorządkowy Skalogram Mokkena Binarny Porządkowy ProbabilistycznyPorządkowy Skalogram Rascha Binarny Porządkowy ProbabilistycznyInterwałowy Eksploracyjna analiza czynnikowa InterwałowyProbabilistycznyInterwałowy Model równań strukturalnychInterwałowyProbabilistycznyInterwałowy Popularne metody analizy danych - szczególne przypadki modeli skalowania

27 Skalowanie kumulatywne Bogardus Guttman Mokken Rasch Bogardus Guttman Mokken Rasch

28 Nieco historii Bogardus, 1926: skala uprzedzeń (dystansów) etnicznych Czy akceptuje Pan(i) [XXXXX] jako: Dystans społeczny względem grupy Spokrewnionego z Panem(ią) w wyniku małżeństwa [0-1] ?1 Pana(i) bliskiego przyjaciela [0-1] ?2 Pana(i) sąsiada mieszkającego na tej samej ulicy [0-1] ?3 Osoby wykonującej ten sam zawód co Pan(i) [0-1] ?4 Obywatela Pana(i) kraju [0-1] ?5 Turysty odwiedzającego Pana(i) kraj [0-1] ?6

29 Skok wzwyż Kategoria zawodnika Liczba udanych prób a0000 b1001 c1102 d1113

30 Funkcje reakcji na pozycje testu

31 Model skalowania w zapisie formalnym,,,, P = {ω 1, ω 2, ω 3,..., ω v,..., ω n } jest n-elementowym zbiorem obiektów, jest k-elementowym zbiorem binarnych wskaźników (X 1, X 2, X 3,..., X i,..., X k ), jest jednowymiarową zmienną ukrytą określoną w, jest ck-elementowym wektorem parametrów wskaźników (X 1,..., X k ), gdzie c=1, 2, 3,... oznacza liczbę parametrów pojedynczej funkcji reakcji; można też traktować jako funkcję, która wskaźnikom przyporządkowuje ich parametry, liczby rzeczywiste, P jest funkcją reakcji wiążącą prawdopodobieństwo P(X iv =x), x {0,1} reakcji obiektu ω v na wskaźnik X i z poziomem cechy ukrytej obiektu (ω v ) oraz poziomem trudności wskaźnika i.

32 Skalogram Guttmana w wersji deterministycznej i probabilistycznej (porządek osób) Osoby różnią się pod względem poziomu umiejętności ( ) i można je ze względu na tę cechę uporządkować. (porządek wskaźników) Wskaźniki różnią się ze względu na stopień trudności ( ) i można je ze względu na tę własność uporządkować. (kumulatywność reakcji) każdy, kto zareagował pozytywnie/poprawnie na wskaźnik o pewnym stopniu trudności reaguje pozytywnie/poprawnie na wszystkie łatwiejsze wskaźniki:

33 Wskaźnik Liczba poprawnych odpowiedzi ProfilX1X1 X2X2 X3X3 A111 3 B110 2 C1012 D0112 E100 1 F0101 G0011 H000 0 Dopuszczalne i niedopuszczalne profile reakcji w skalogramie Guttmana Strukturalne zero X j trudny Suma 01 X i łatwy 0III1-p 1IIIIVp Suma1-qq1,00 Zielone profile: dopuszczalne X i łatwy X j trudny

34 Dane przykładowe h X1X2X N( )P( ) 3 60, , , , p 111 p 110 p 100 p 000 p 101 p 011 p 010 p 001 0,300,200,100,050,100,050,

35 Praktyka skalowania modelem Guttmana Oczekiwane częstości przy założeniu lokalnej niezależności Guttman j P(X 1 = x 1i & X 2 =x 2i & X 3 =x 3i | = j ) *P( = j) P(X i = 1 | = j ) 0,300,350,300,050,00 j P( = j ) X1X1 X2X2 X3X3 X1X1 X2X2 X3X C 101D 011F 010G ,301111,00 0,00 20,351101,00 0,00 1,000,00 10,301001,000,00 1,000,00 00,050000,00 1,000,00 p1p1 p2p2 p3p3 p 111 p 110 p 100 p 000 p 101 p 011 p 010 p 001 0,700,650,55<==próba0,300,200,100,050,100,050,10 różnica 0,00-0,15-0,200,000,100,050,10 Wskaźnik Liczba poprawnych odpowiedzi ProfilX1X1 X2X2 X3X3 C1012 D0112 F0101 G0011 Współczynnik skalowalności = funkcja liczby (proporcji) profili niezgodnych w próbie Decyzja o skalowalności

36 Skalogram Guttmana - podsumowanie 1poziom pomiaru wskaźnikówbinarne 2poziom pomiaru zmiennej ukrytejporządkowy 3 własności łącznego rozkładu wskaźników i cechy ukrytej kumulatywność reakcji bez-wyjątkowa lokalna niezależność reakcji 4 relacja między wskaźnikami i cechą ukrytą deterministyczna 5 algorytmu wyznaczania wartości cechy ukrytej Suma wartości wskaźników 6Kryterium oceny jakości skalowaniaAd hoc

37 I Jak dalece łączny rozkład wskaźników jest zgodny z modelem? Jak dobrze model pozwala odtwarzać łączny rozkład wskaźników? Czy zbiór wskaźników jest skalowalny, to znaczy, czy stopień zgodności danych z modelem jest wystarczający - II Ile cech ukrytych (wymiarów zmiennej ukrytej) trzeba założyć aby dany zbiór wskaźników (w danym zbiorze obiektów) był skalowalny? W jakich relacja pozostają względem siebie wymiary cechy ukrytej? Zakłada się, ze 1 cecha III W jakich relacjach pozostają poszczególne wskaźniki z poszczególnymi wymiarami cechy ukrytej? Czy w zbiorze wskaźników są pozycje zbędne? Czy są wskaźniki (pozycje testu), z których bez szkody dla skalowalności można zrezygnować? ? Usunąć wskaźniki o tym samym poziomie trudności; uczestniczący w mniejszej liczbie profili niezgodnych z modelem IV Jakie są parametry wskaźników? Trudność = frakcja 1 V Jak przyporządkować obiektom wartości zmiennej ukrytej ? Jaki rozkład ma cecha ukryta w danym zbiorze obiektów Suma wartości wskaźników Skalogram Guttmana – podsumowanie c.d.

38 Czy skalogram Guttmana jest dobrym modelem skalowania 1.gwarantuje niezmienniczości wyników skalowania przy dopuszczalnych poziomem pomiaru przekształceniach wskaźników TAK 2.gwarantuje optymalności algorytmu skalowania ????? 3.gwarantuje jednoznaczność i przekonywujące uzasadnienia dla decyzji, które trzeba podejmować rozwiązując problemy (I) - (V) wymienione wyżej NIE

39 Kumulatywność w wersji probabilistycznej

40 Założenia probabilistycznych modeli skalowania kumulatywnego a sytuacja testowania kompetencji Przykład: osoby rozwiązujące zadania testowe Obiekty różnią się parametrami istotnymi dla wyniku zdarzenia losowego Osoby różnią się poziomem kompetencji, łatwością z jaką rozwiązują zdania testowe Wskaźniki różnią parametrami istotnymi dla wyniku zdarzenia losowego Pytania testowe różnią się stopniem trudności, jaką sprawiają odpowiadającym, Obserwowalna reakcja obiektu na wskaźnik jest zdarzeniem losowym Osoby testowane reagują do pewnego stopnia przypadkowo: osoba bardzo kompetentna może nie odpowiedzieć na pytanie łatwe a osoba mało kompetentna może odpowiedzieć a pytanie trudne Zbiór możliwych reakcji i ich prawdopodobieństwa stanowią zmienną losową, której rozkład zależy od parametrów osoby i parametrów wskaźnika (zmienna losowa – funkcja reakcji) Szanse na poprawą odpowiedź osoby na pojedyncze pytanie testowe zależą zarazem od tego jak trudne jest to pytanie i jak kompetentna jest odpowiadająca na nie osoba Pojedyncza osoba odpowiada na kolejne pytanie testu bez pamięci o wynikach poprzednich odpowiedzi i wyłącznie w zależności od tego, jak trudne jest kolejne pytanie i jak kompetentna jest osoba

41 Lokalna niezależność reakcji poziom cechy ukrytej osoby reagującej na wskaźniki jest taki sam bez względu na ich kolejność podawania, prawdopodobieństwa poprawnych reakcji na kolejne wskaźniki zależą wyłącznie od odległości między poziomem cechy ukrytej odpowiadającego i poziomem trudności wskaźników, prawdopodobieństwo serii reakcji na wskaźniki dla pojedynczej osoby jest równe iloczynowi prawdopodobieństw reakcji na każdy ze wskaźników z osobna.

42 Lokalna niezależność reakcji Kumulatywnośc reakcji reakcje na wskaźniki są stochastycznie pozytywnie zależne. reakcje na poszczególne wskaźniki w grupach osób o tym samym poziomie umiejętności są od siebie stochastycznie niezależne

43 Przykład skalogramu Guttmana

44 Model Mokkena Krzywe reakcji na trzy wskaźniki w modelu Mokkena

45 Skalogram Mokkena dla trzech wskaźników dychtomicznych

46 Konsekwencje założeń Mokkena - zależność wskaźników Macierz częstości łącznych – zera strulturalne

47 Statystyka dostateczna cechy ukrytej - jak u Guttmana – suma punktów Stopień zgodności danych z modelem Mokken scale – własności Współczynniki Loevingera

48 I. Problem skalowalności Zalążkowe kryteria, często typu ad hoc pozwalają uznać zestaw wskaźników określonych w pewnej zbiorowości za nieskalowalny jeśli zdarzy się jedna z dwóch sytuacji : współczynnik Lovinger dla całego zestawu będzie niższy niż 0,3 (według Mokkena) albo, gdy macierze P 11 i P 00 będą zawierały wartości zbyt odległe od oczekiwanych, przy czym nie wiadomo co to znaczy "zbyt odległe". Trudno uznać powyższe kryteria rozstrzygania za dobrze uzasadnione, a ponadto oba te warunki są względnie od siebie niezależne. II. Problem liczby wymiarów cechy ukrytej i relacji między nimi Podobnie jak w modelu Guttmana, w skalogramie Mokkena nie ma procedury pozwalającej rozstrzygać tę kwestię. III. Czy wszystkie wskaźniki są potrzebne? Standardowy test dla identyczności populacyjnych proporcji dla zmiennych binarnych (test McNemara) pozwala z w zestawie wskaźników wyeliminować te, które są w nim zbędne, a decyzję przekonywująco, bo statystycznie, uzasadnić. Słabsze podstawy statystyczne ma decyzja o eliminacji z zestawu wskaźnika, dla którego współczynnik Loevinger H i przyjmuje wartość niższą niż 0,3. Niektórzy autorzy jako uzasadnienie decyzji o niekumulatywności rozkładów łącznych, w których występuje wskaźnik X i proponują używać statystyki testującej hipotezę, że współczynnik Loevingera H i dla tego wskaźnika ma w populacji wartość 0, przeciwko hipotezie, że tak nie jest. Zauważmy jednak, że w ten sposób testowana jest hipoteza o niezależności stochastycznej wskaźników a nie o zgodności ich rozkładu z konsekwencjami założenia podwójnej monotoniczności. IV. Jakie są własności diagnostyczne poszczególnych wskaźników? Test McNemara pozwala wykryć wskaźniki o identycznych własnościach diagnostycznych, o tym samym poziomie trudności. Innych parametrów własności diagnostycznych pytań wskaźnikowych skalogram Mokkena nie przewiduje V. Jak skalować - funkcja agregująca profile Mokken wykazał, że liczba poprawnych odpowiedzi jest statystyką dostateczną dla skalowanej cechy ukrytej. Jest to minimalny wymóg stawiany wszelkim procedurom estymacyjnym i dzięki jego spełnianiu można powiedzieć, że w modelu Mokkena oszacowuje się częstości rozkładu cechy ukrytej. Skalogram Mokkena - podsumowanie

49 Zmienna losowa o rozkładzie logistycznym

50 Funkcja logistyczna z parametrem a

51 Funkcja reakcji w modelu Rascha 1 PL

52 Warianty modelu Rascha 1PL: x 2PL: a,x 3PL: a,c, x

53 Funkcja informacyjna wskaźnika X i oraz całego testu (X 1, X 2, ……, X k ) Pojęcie funkcji informacyjnej wskaźnika i testu pełni w IRT rolę rzetelności w CTT Skalowanie jest estymacją parametrów modelu probabilistycznego odpowiadania na pytania testu. Estymacja dokonywane jest z błędem. Funkcja informacyjna zdaje sprawę z tego, jaki jest błąd estymacji niskich, średnich i wysokich wartości cechy ukrytej Funkcja informacyjna wskaźnika X i zależy od wariantu modelu:

54 wartość funkcji informacyjnej całego testu jest sumą wartości funkcji informacyjnych wszystkich wskaźników: błąd standardowy estymacji poziomu wartości cechy ukrytej Własności testu – rzetelność czyli dokładność oszacowań funkcja informacyjna wskaźnika X i jest odwrotnością wariancji jego estymatora. Jest miarą niepewności, z jaką przyporządkowujemy obiektowi wartość cechy ukrytej na podstawi e jego reakcji na pwskaźnik X i

55 Estymacja modelu 1PL a założenia na temat rozkładu cechy ukrytej Statystyką dostateczną parametru osoby jest Statystyką dostateczną parametru wskaźmika jest sumy r i s odwzorowują porządek obiektów i wskaźników ze względu na nasycenie cechy ukrytej Metody estymacji parametrów najprostszego modelu 1PL: Joint Maximum Likelihood – dla parametrów, jednocześnie Conditional Maximum Likelihood (CML) – dla parametru Modalny Estymator Bayesa (BME) dla parametru Dla modeli 2PL oraz 3PL estymacja jest bardziej złożona

56 Funkcja informacyjna wskaźnika dychotomicznego w modelu 1PL -1,013

57 Funkcja informacyjna wskaźnika dychotomicznego w modelu 2PL -0,568 a1a1 6,374 -0,568

58 Przykład skalowania trzech wskaźników z pomoca modelu 1PL wynikają z modelu -1,013-0,743-0,243 P(X i = 1 | = j ) 0,290,200,110,060,120,090,080,05 j P( = j ) X1X1 X2X2 X3X3 X1X1 X2X2 X3X ,6490,301110,8400,8010,7090,480,200,050,010,120,090,040,02 0,0170,351100,7370,6810,5650,280,220,100,040,130,100,080,05 -0,5710,301000,6090,5430,4190,140,190,160,100,120,090,120,07 -1,1520,050000,4650,3990,2870,050,130,200,230,080,060,150,09 p1p1 p2p2 p3p3 p 111 p 110 p 100 p 000 p 101 p 011 p 010 p 001 0,700,650,55próba0,300,200,100,050,100,050,10 różnica0,010,00-0,01 -0,02-0,040,020,05

59 Przykład skalowania trzech wskaźników dychotomicznych za pomocą modelu 1PL -1,013-0,743-0,243

60 Przykład skalowania trzech wskaźników dychotomicznych za pomocą modelu 2PL -0,568-1,113-1,166 aiai 6,3740,6010,173 j X1X1 X2X2 X3X3 30, , , , , , , , p1p1 p2p2 p3p3 0,700,650,55

61 Przykład skalowania trzech wskaźników dychotomicznych za pomocą modelu 3PL j X1X1 X2X2 X3X3 3 0, , , , , , , , cici aiai P(X i = 1 | = ) X1X1 0,140-0,4288,4020,977 X2X2 0,4980,5614,6590,533 X3X3 0,4971,3584,3940,499

62 Modele Rascha - podsumowanie I. Problem skalowalności Nawet proste modele Rascha umożliwiają testowanie (a więc i odrzucenie) hipotezy o skalowalności cechy ukrytej w danej zbiorowości za pomocą danego zestawu wskaźników. Podstawowym środkiem jest u statystyka testowa wywiedziona z ilorazu wiarygodności, która zazwyczaj używa ilorazów liczebności (częstości) empirycznych i przewidywanych przez model do badania stopnia zgodności danych z założeniami modelu. II. Problem liczby wymiarów cechy ukrytej i relacji między nimi Jako taki problem liczby wymiarów cechy ukrytej w prostych modelach skalowania nie daje się sformułować jako problem statystyczny. Umożliwiają to dopiero modele złożone będące uogólnieniem modeli skalowania Rascha dla wskaźników wielowartościowych z założonym porządkiem wartości. III. Czy wszystkie wskaźniki są potrzebne? Decyzja o zbędności bądź niezbędności wskaźnika w zestawie jest w modelu Rascha uzasadniana nie tylko przy użyciu standardowych technik weryfikacji hipotez lecz także przez wyniki analizy informacyjnych własności pytań testowych. Funkcja ta pozwala kontrolować skutki przyłączania lub wyłączania wskaźników z zestawu dla precyzji estymacji poziomów cechy ukrytej. IV. Jakie są własności diagnostyczne poszczególnych wskaźników? Przebieg funkcji informacyjnej wskaźnika dostarcza wystarczających informacji aby odpowiedzieć na to pytanie. V. Jak skalować Funkcja agregacji profili reakcji w wartości cechy ukrytej jest wynikiem szacowania parametrów modelu. W rozwiniętych modelach Rascha może ona przyjmować tyle wartości ile jest różnych profili reakcji w empirycznym rozkładzie wskaźników. Oznacza to, iż problem jednoznaczności agregacji dla profili reakcji niezgodnych z zasadą kumulatywności w modelach Rascha nie powstaje.

63 Problemy do rozwiązania w modelu Rascha 3PL dla wskaźników dychotomicznych Wyznaczenie parametrów modeli reakcji 1.trudność pytania -, 2.poziom umiejętności osoby -, 3.własności dyskryminacyjne pytania - a 4.współczynnik odgadywania - c Wyznaczenie parametrów modeli reakcji 1.trudność pytania -, 2.poziom umiejętności osoby -, 3.własności dyskryminacyjne pytania - a 4.współczynnik odgadywania - c Ile umiejętności testujemy: identyfikacja liczby wymiarów testu Czy potrzebujemy wszystkich pytań: identyfikacja pytań zbędnych. Jak trafny jest test: problem kalibracji testu - co oznacza 100%? Jak rzetelny jest test - z jaką dokładnością mierzymy umiejętności? Ile umiejętności testujemy: identyfikacja liczby wymiarów testu Czy potrzebujemy wszystkich pytań: identyfikacja pytań zbędnych. Jak trafny jest test: problem kalibracji testu - co oznacza 100%? Jak rzetelny jest test - z jaką dokładnością mierzymy umiejętności?

64 W poszukiwaniu dobrego testu Dobry test to taki, w którym: (a) Wszystkie pytania mają wysoką moc dyskryminacyjną, współczynniki a i znacznie przekraczają 1; (b) Wszystkie pytania charakteryzują się niewielkimi szansami na odgadnięcie poprawnej odpowiedzi - współczynniki c i są bliskie zera; (c) Poziomy trudności pytań obejmują całą skalę umiejętności, której poziom test ma diagnozować - liczba pytań z ujemnymi wartościami współczynnika b i jest zbliżona do liczby pytań, dla których jest on dodatni; (d) Dokładność oszacowania poziomu umiejętności ucznia jest wysoka i stała w całym zakresie umiejętności zdających test - krzywa informacyjna testu jest płaska nad całym obszarem diagnozowanych umiejętności.

65 Formalna analiza własności testów

66 Wartości zmiennej ukrytej a jawne wyniki testu – porównanie arkuszy maturalnych

67 Krzywe informacyjne arkuszy poziomu podstawowego

68 Własności informacyjjne testów poziomu podstawowego

69 Problem wyboru arkusza najlepszego z testowanych

70 Arkusz PP1 – statystyka opisowa

71 Suma punktów a oszacowany poziom umiejętności

72

73 Które z pytań arkusza jest do wymiany


Pobierz ppt "Skalowanie jednowymiarowe Wprowadzenie. Intro Pomiar a skalowanie Zmienne obserwowalne i ukryte Poziom pomiaru – typy zmiennych Skalowanie I. Skalowalność"

Podobne prezentacje


Reklamy Google