Podstawy statystyczne Złożone modele skalowania liniowego Podstawy statystyczne Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej

Elementy algebry wektorów i macierzy

Wektory Skalar = jedna liczba np. Wektor = uporządkowany ciąg liczb Wektor wierszowy np. O wymiarach (1 x 3) np. Wektor kolumnowy Wymiar wektora = liczba jego elementów O wymiarach (4 x 1)

Iloczyn skalarny dwóch wektorów jest liczbą (skalarem) Mnożenie wektora przez skalar k Wektor o rozmiarach m x 1 Liniowa kombinacja wektorów Transpozycja wektora Iloczyn skalarny dwóch wektorów Iloczyn skalarny dwóch wektorów jest liczbą (skalarem)

Długość wektora, zwana jego normą Suma elementów wektora Iloczyn skalarny wektora z samym sobą = suma kwadratów eelementów wektora Długość wektora, zwana jego normą Suma elementów wektora Nierówność Schwartz ‘a

Specjalne wektory Wektor jednostkowy Wektor zerowy Wektor o długości 1 Wektory względem siebie ortogonalne Układ (zestaw) wektorów ortogonalnych Układ wektorów orto-normalnych

Macierz Macierz X uporządkowany ciąg wektorów m wektorów o wymiarach (n x 1) macierz X wymiarach (n x m)

Macierze i operacje na macierzach Suma Iloczyn Przykład iloczynu macierzy A i B Transpozycja Własności transpozycji

Iloczyn macierzy diagonalnych Specjalne macierze Macierz jednostkowa Macierz zerowa Macierz diagonalna („przekątniowa”) Iloczyn macierzy diagonalnych

Wyznacznik, odwrotnośc macierzy Wyznacznik macierzy jest liczbą Macierz A bez i-tego wiersza oraz j-tej kolumny Macierz dodatnio (pozytywnie) określona ma wyznacznik dodatni Odwrotność macierzy A jest macierzą A-1 Odwrotną do siebie macierz mają tylko macierze dodatnio określone Własności odwrotności

Rząd (rank) i ślad (trace) macierzy Wektory liniowo niezależne Wektory (x1, x2, ... , xm ) są liniowo niezależne, gdy ich liniowa kombinacja jest wektorem zerowym: c1x1 + c2x2 + ... + cmxm = 0 tylko wtedy, gdy wszystkie jej współczynniki ci są równe zero Rząd macierzy Rząd macierzy to liczba jej liniowo niezależnych wektorów lub kolumn Jeśli rząd macierzy jest mniejszy niż jej rozmiar (liczba wierszy, liczba kolumn) jeden z jej wektorów (wiersz, kolumna) jest liniową kombinacją pozostałych wektorów tej macierzy Rząd macierzy a jej wyznacznik Jeśli rząd macierzy jest mniejszy niż jej rozmiar, macierz ta ma wyznacznik równy zero Ślad macierzy = suma jej elementów diagonalnych a) tr(k A) = k tr(A) b) tr(A+B) = tr(A) + tr(B) c) tr(AB) = tr (BA) d) tr(A) = rank(A) gdy AA =A (A jet idempotentna)

Rozwiązywanie układu równań liniowych Układ równań A x = c Warunki niezbędne istnienia rozwiązania powyższego układu równań Macierz A musi mieć odwrotność A-1 Wyznacznik macierzy A musi być dodatni |A|> 0 Rząd macierzy A musi być równy 3

Eigenvalue, eigenvector eigenvalue lambda and an eigenvector x of the square matrix A ; x0 and x has length 1 Sum and product of matrix eigenvalues

wektor u oraz skalar  , dla których zachodzi równość nazwywają się wektorem własnym i wartością własną macierzy R Dla R o wymiarach 2x2 Wartości własne równanie charakterystyczne ma tyle rowiązań, ile wynosi rząd macierzy R Gdy znane są wartości własne R, można wyznaczyć wektory własne u1 i u2 z równań postaci: Macierz wartości własnych Niestety, istnieje ich wiele, trzeba założyć, że mają długość 1 Macierz wektorów własnych Każda nieosobliwa kwadratowa macierz ma tyle wartości własnych i tyle wektorów własnych , ile wynosi jej rząd

Wartości i wektory własne macierzy R corr X1 X2 1 0,48 1 - λ 0,48 (1 -λ ) * (1 -λ) - 0,48*0,48 = 0 1 - 2λ + λ2 - 0,2304 = 0 λ2- 2λ + 0,7696 - 0,48u11 + 0,48u12 = 0 0,48 u11 - 0,48u12 = 0 0,48u21 + 0,48u12 = 0 0,48 u21 + 0,48u22 = 0 u1 = u11 0,707 u12 u2 = u21 0,707 u22 -0,707 0,707 -0,707 1,48 0,52

Twierdzenie o rozkładzie macierzy ze względu na wektory i wartości własne Każdą odwracalną macierz kwadratową daje się przedstawić jako iloczyn trzech macierzy; takie przedstawienie nazywa się rozkładem ze względu na wektory i wartości własne (SVD) Macierz wartości własnych Macierz wektorów własnych

Twierdzenie o rozkładzie macierzy ze względu na wektory i wartości własne Każdą odwracalną macierz kwadratową daje się przedstawić jako sumę macierzy generowanych przez jej wektory i wartości własne

Własności wektorów i wartości własnych Wektory własne są względem siebie ortogonalne - ich iloczyny skalarne są równe 0 Wartości własne sumują się do rozmiaru oraz do śladu macierzy Iloczyn wartości własnych kwadratowej macierzy R jest równy wyznacznikowi tej macierzy

Dane statystyczne w ujęciu macierzowym x1 x2 x1cent x2cent x1std x2std 13,00 11,00 2,75 1,50 0,99 0,65 9,00 10,00 -1,25 0,50 -0,45 0,22 15,00 8,00 4,75 -1,50 1,72 -0,65 0,75 0,27 14,00 3,75 1,35 6,00 -3,50 -1,52 7,00 -4,25 -2,50 -1,53 -1,08 -3,25 -1,17 -2,25 -0,81 12,00 1,75 3,50 0,63 1,52 -0,25 -0,09 5,00 -5,25 -1,90 4,50 1,95 -0,50 -0,22 2,50 1,08 x1 x2 2247 2014 1906 x1cent x2cent 145,75 66,5 101 1/19 x1cent x2cent 7,67 3,50 5,32   x1std x2std x'1std 19 10,41 x'2std 1/19  x1std x2std x'1std 1 0,55 x'2std Macierz R współczynników korelacji liniowej między zmiennymi X1 oraz X2 składa się z iloczynów skalarnych odpowiadających im wektorów x1std oraz x2std pomnożonych przez stałą (1/n-1) x'1 13 9 15 11 14 6 7 8 12 10 5 x'2 x'1cent 2,75 -1,25 4,75 0,75 3,75 -4,25 -3,25 -2,25 1,75 -0,25 -5,25 x'2cent 1,50 0,50 -1,50 -3,50 -2,50 3,50 4,50 -0,50 2,50 x'1std 0,99 -0,45 1,72 0,27 1,35 -1,53 -1,17 -0,81 0,63 -0,09 -1,90 x'2std 0,65 0,22 -0,65 -1,52 -1,08 1,52 1,95 -0,22 1,08

Dane statystyczne w ujęciu macierzowym Zmienne statystyczne i ich momenty Wektory i macierze Zmienna statystyczna określona w n‑elementowej populacji Ω = {1, 2, ..., n} Wektor o rozmiarze n Macierz danych surowych ze zmiennymi X1, X2, …., Xk określonymi Uporządkowany zbiór wektorów o rozmiarze n; macierz o wymiarach n×k Suma wartości zmiennej X Iloczyn skalarny wektora zmiennej oraz wektra jednostkowego Średnia zmiennej X Suma kwadratów zmiennej X Wariancja zmiennej X (Xcent oznacza zmienną centrowaną, to znaczy odchylenie X od własnej średniej Kowariancja zmiennych X1 i X2

Dane statystyczne w ujęciu macierzowym - 2 Zmienne statystyczne i ich momenty Wektory i macierze Macierz kowariancji Macierz współczynników korelacji liniowej Macierz kowariancji zmienych liniowo nieskorelowanych Macierz współczynników korelacji zmienych liniowo nieskorelowanych

Dane statystyczne w ujęciu macierzowym - 3 Zmienna X w n-elementowej zbiorowości Zestaw m zmiennych (X1, X2, …, Xm) Macierz kowariancji Macierz korelacji Wektor kolumnowy o wymiarach (n x 1) Macierz X o wymiarach (n x m) Pomnożony przez odwrotność liczebności (1/n) iloczyn trasponowanej macierzy X przez nią samą Pomnożony przez odwrotność liczebności (1/n) iloczyn trasponowanej macierzy X przez nią samą

Dane statystyczne w ujęciu macierzowym - 4 Rząd macierzy danych X Suma wariancji liniowo niezależnych zmiennych standaryzowanych macierzy danych X Macierz korelacji Liczba liniowo niezależnych zmiennych statystycznych Liczba liniowo niezależnych zmiennych statystycznych Suma wartości własnych macierzy korelacji R Macierzy korelacji R jest sumą macierzy korelacji generowanych przez jej wektory i warości własne

Problem głównych składowych (PC) i jego rozwiązanie Singular Value Decomposition SVD

Problem głównych składowych Case x1 x2 c1 c2 1 13 11   2 9 10 3 4 15 8 5 6 14 7 12 16 17 18 19 20 Znaleźć takie dwie liniowe kombinacje wektorów x1 oraz x2 które tworzą zmienne C1 oraz C2 tak, aby C1 miała największa możliwie wariancję oraz była nieskorelowana liniowo z C2 ; U jest macierzą współczynników tych kombinacji

Własności rozwiązania problemu głównych składowych Macierz wektorów własnych macierzy R Rozwiązanie problemu głównych składowych Wartość własna to wariancja głównej składowej Kolejne składowe mają coraz mniejszą wariancję Każda składowa „reprezentuje” jaką część sumy wariancji wskaźników Macierz współczynników korelacji między zmiennymi daje sie wyrazić jako suma macierzy korelacji „wynikających” z jej poszczególnych głównych składowych

Przykład * -- dwie zmienne X1 X2 za: Kim, Mueller (1978) str 14 - .

Przykład Rozkład SVD macierzy korelacji R dla 2 zmiennych R -λI det |R - λI| = 0 R X1 X2 1 0,48 1 - λ 0,48 (1 -λ ) * (1 -λ) - 0,48*0,48 = 0 1 - 2λ + λ2 - 0,2304 = 0 λ2- 2λ + 0,7696 = 0 λ2 = 0,52 λ1 1,48 λ1 λ2 1,48 0,52 λ1I (R - λ1I)u1 1,48 -0,48 0,48 u11 - 0,48u11 + 0,48u12 = 0 u1 = 0,707 u12 0,48 u11 - 0,48u12 = 0 λ2I (R - λ1I)u2 0,52 0,48 u21 0,48u21 + 0,48u12 = 0 u2 = 0,707 u22 0,48 u21 + 0,48u22 = 0 -0,707 0,707 -0,707 U u1 u2 L U‘ 0,707 1,480 -0,707 0,520 UL ULU' 1,047 0,368 1 0,48 -0,368

Przykład: wyznaczenie głównych składowych macierzy korelacji R X1 X2 1 1,4 2 -0,2 3 0,2 4 5 6 -1,4 7 8 C1 C2 1,980 0,000 0,849 1,131 -0,849 0,283 -0,283 -1,131 -1,980 0,707 -0,707 C1 C2 11,84 4,16 1/8 C1 C2 1,48 0,52 1,980 0,849 1,131 0,000 -1,131 -0,849 -1,980 0,283 -0,283 1,980 0,000 0,849 1,131 -0,849 0,283 -0,283 -1,131 -1,980 λ1 λ2 1,48 0,52

Rozkład macierzy korelacji R na sumę macierzy Macierzy korelacji między wskaźnikami daje sie wyrazic jako suma macierzy korelacji wynikającyh z poszczególnych wymiarów czynnikowych X1 X2 1 0,48 0,707 -0,707 1,48 0,52 u1 l1 u1' 0,707 1,48 0,74 u2 l2 u2' 0,707 0,52 -0,707 0,26 -0,26 X1 X2 1 0,48

Przykład: rozkład sumy wariancji zmiennych między główne składowe λ1 λ2 1,48 0,52 l1 + l2 = n 1,48 0,52 2 74% 26% 100%

Przykład n=3: SVD + główne składowe |R-lI| = 0 l 1,000 0,056 -0,932 -0,100 1 -l 0,056 -0,932 -0,100 1,945 0,988 0,067 1,945 0,988 0,067 -0,701 -0,106 0,705 U = -0,116 0,993 0,034 0,704 0,058 0,708 -1,363 -0,105 0,047 -0,226 0,981 0,002 1,369 0,057 1,000 0,056 -0,932 -0,100 = 1,001 U’ = -0,701 -0,116 0,704 -0,106 0,993 0,058 0,705 0,034 0,708 nr X1std X2std X3std 1 1,436 1,713 -1,713 2 0,000 3 -0,479 -0,428 4 0,856 -1,285 5 0,957 6 7 8 -1,436 0,428 1,285 9 0,479 -0,856 10 -0,957 11 12 C1 C2 C3 -2,411 1,449 -0,142 0,000 0,385 -0,374 -0,352 -2,010 0,624 0,132 -0,774 -1,827 0,314 0,938 0,100 0,269 1,861 0,652 -0,088 -0,938 -0,100 -0,269 1,122 -1,149 -0,416 2,063 1,527 0,244 -0,236 -0,901 0,308 1,945 0,000 0,989 0,067 C'C (1/n-1) = C= XU X

Jak to się robi w SPSS * - dwie zmienne X1 X2 za: Kim, Mueller (1978) str 14 - . * - Współczynnik korelacji rX1X2 = 0,48 - . * - Główne składowe będą miały nazwy: PCA1 oraz PCA2 FAC /VAR X1 X2/CRI FAC(2)/EXT PC/SAVE (ALL, PCA). LIST PCA1 PCA2. * - sprawdzamy średnie i wariancje głównych składowych PCA1 PCA2 DES PCA1 PCA2/ STA SUM MEA VAR. * - sprawdzamy czy główne składowe PCA1 oraz PCA2 są względem siebie ortogonalne - . COR PCA1 PCA2. * - sprawdzamy jakimi funkcjami głównych składowych są X1, X2 - . REG /DEP X1/ENT PCA1 PCA2. Uwaga: SPSS standaryzuje główne składowe nieobciążonym estymatorem wariancji (n-1)

Jak to się robi w SPSS SVD SPSS PC1 PC2 1,980 0,000 0,849 1,131 -0,849 0,283 -0,283 -1,131 -1,980 Macierz kowariancji PC1 PC2 11,84 4,16   PC1 PC2 1,48 0,00 0,52 SVD PC1 PC2 b12 b22 suma X1 ,860 -,510 0,740 0,260 1,000 X2 ,510 X1 X2 1,4 -0,2 0,2 -1,4 Regresja wskaźników X1, X2 na składowe PC1, PC2 Macierz kowariancji PCA1 PCA2 1,076 -0,576 1,499 1,393 -0,163 -0,259 0,259 -1,393 0,163 0,576 -1,499 -1,076   PCA1 PCA2 7,000 0,000   PCA1 PCA2 1,000 0,000 SPSS PCA1 PCA2 b12 b22 suma X1 ,248 ,969 0,061 0,939 1,000 X2 Regresja wskaźników X1, X2 na składowe PCA1, PCA2

Główne składowe a czynniki

Jeśli wyznaczyliśmy główne składowe, możemy z nich wrócić do wskaźników Jeśli rozwiążemy problem PCA, wyznaczymy C1 i C2, wskaźniki X1 i X2 możemy wyrazić jako liniową kombinację głównych składowych Parametry liniowej kombinacji głównych składowych, które tworzą zmienne obserwowalne otrzymujemy dzięki SVD

Geometryczna interpretacja macierzy korelacji 1 2 3 4 5 6 Y Wektory rozpatrujemy zawsze w jakiejś przestrzeni. Jeśli w przestrzeni, w której rozpatrywany jest wektor określimy kartezjański układ współrzędnych prostokątnych, to położenie wektora w przestrzeni będzie wyznaczone poprzez współrzędne dwóch punktów: początku i końca wektora X 1 2 3 4 5 6 Na powyższym (płaskim) rysunku, współrzędne początku wektora dane są uporządkowaną parą liczb (2,1); współrzędne końca wektora uporządkowaną parą liczb (5,2) zaś uporządkowana para punktów ((2,1), (5,2)) określa położenie wyrysowanego wyżej wektora na płaszczyźnie, czyli w przestrzeni dwuwymiarowej y x Jeśli wiadomo, że początek wektora pokrywa się z początkiem układu współrzędnych, to położenie rozpatrywanego wektora będzie wyznaczone uporządkowaną parą liczb (y,x), określającą położenie jego punktu końcowego

Długość wektora, iloczyn skalarny dwóch wektorów W układzie o k współrzędnych x = (x1, x2, …, xk) długość wektora jest pierwiastkiem sumy kwadratów jego współrzędnych Twierdzenie Pitagorasa Iloczynem (skalarnym) dwóch wektorów, t1 i t2, o początkach leżących w tym samym punkcie, nazywa się liczbę będącą iloczynem trzech liczb: długości wektora t1, długości wektora t2, cosinusa kąta 12 między wektorami t1 i t2

Iloczyn skalarny dwóch wektorów - geometrycznie X Iloczyn skalarnym dwóch wektorów, t1 i t2 o początkach leżących w tym samym punkcie, jest równy sumie iloczynów ich współrzędnych

Długość wektora w czynnikowym układzie odniesienia F1 x1 b11 b21 x2 F2 b22 b12 Wariancja zmiennej wyrażona z układu czynnikowego to suma kwadratów ładunków czynnikowych zmiennej względem wszystkich czynników

Iloczyn skalarny dwóch wektorów – to współczynnik korelacji między nimi F1 x1 b11 F1 i F2 tworzą układ współrzędnych dla X1 i X2 traktowanych jako wektory b21 x2 F2 b22 b12 Współczynnik korelacji między zmiennymi X1 i X2 to suma iloczynów ich ładunków czynnikowych względem ortogonalnych czynników F1 i F2

Iloczyn skalarny dwóch wektorów - podsumowanie Wpółczynnik korelacji liniowej zmiennych X1, X2 To iloraz kowariancji oraz odchyleń standardowych zmiennych X1, X2 Pierwiastek iloczynu skalarnego dwóch wektorów to długość wektora Iloczyn skalarny wektorów-zmiennych to suma iloczynów ich współrzędnych Zmienne standaryzowane mają długość 1

Model czynnikowy Założenia X= (X1, X2, …, Xm) - dane wejściowe - R – macierz korelacji Określone w zbiorowości interwałowe zmienne są wskaźnikami cech ukrytych F1, F2, …, Fk , k < m, nazywanych czynnikami wspólnymi Każdy wskaźnik Xi jest liniową funkcją czynników wspólnych F1, F2, …, Fk , oraz jednego czynnika czynnika swoistego Ui Wszystkie czynniki swoiste U1, U2, …, Um są ze sobą liniowo nieskorelowane Każdy z czynników swoistych U1, U2, …, Um jest liniowo nieskorelowany z każdym z czyników wspólnych F1, F2, …, Fk Problem Wyznaczyć współczynniki liniowych funkcji wiążących wkaźniki Xi z czynikami wspólnymi F1, F2, …, Fk , z których wyliczone korelacje między wskaźnikami są najbliższe zaobserwowanym

Single latent common factor F and two manifest indicators X1, X2 b1 X1 U1 F b2 d2 X2 U2 Model assunptions Unique variables U1 and U2 are linearly independent and independent on common latent factor F: Consequences: Common (explained) variance of an indicator Xi with common factor F equals the square of a factor loading bi: Correlation coefficient between indicators Xi and Xj is a product of their loadings with common factor F:

Single factor F and two manifest indicators X1, X2 Factor matrix d1 F X1 0,8 X2 0,6 0,8 X1 U1 F d2 0,6 X2 U2 Solution 1 Solution 2 Solution 3 Solution 4 F X1 0,50 X2 0,96 F X1 0,60 X2 0,80 F X1 0,70 X2 0,69 F X1 0,90 X2 0,53 0,50*0,96=0,48 0,60*0,80=0,48 0,70*0,69=0,48 0,90*0,53=0,48

Two independent factors F1, F2, two indicators X1, X2 b11 X1 X1 U1 F1 b21 d2 X2 X2 U2 b12 b22 F2 Assumptions Unique factors U1 and U2 are linearly independent and independent on common factors F1 and F2: Common factors are linearly independent: Orthogonality of factors Consequences: Common (explained) variance of an indicator with a common factor is the sum of factor loadings squares, with both common factors F1 and F2: Correlation coefficient between indicators is the sum of factor loadings products

Two orthogonal factors – five indicators hi2 X1 0,8 0,64 X2 0,7 0,49 X3 0,6 0,36 0,72 X4 X5 suma 1,49 1,36 2,85 suma/5 29,8% 27,2% 57,0% F1 F2 X1 X2 X3 0,80 0,70 X4 0,60 X5 X1 X2 X3 X4 X5 1 0,56 0,48 0,42 0,36

Perfect reproduction of correlations between indicators can be derived from different factor models   F1 F2 X1 ,607 -,521 X2 ,532 -,456 X3 ,846 ,065 X4 ,521 X5 ,390 ,456 F1’ X3 X1 F2’ X2 X4 X5 F2 Model 2   F1 F2 X1 ,800 ,000 X2 ,700 X3 ,600 X4 X5

Oblique factor model algebraically X1 X2 X3 0,40 0,80 0,70 X4 X6 0,60 X5 0,50 rF1F2 = 0,40   F1 F2 h21 h22 hi2 X1 0,8 0,64 ,64 X2 0,7 0,49 ,49 X3 0,6 0,36 ,36 X4 X5 X6 0,5 0,25 ,25 suma 1,49 1,10 2,59 % 25% 18% 43% X1 X2 X3 X4 X5 X6 1 0,560 0,480 0,420 0,224 0,196 0,168 0,192 0,144 0,160 0,140 0,120 0,350 0,300

Oblique factor model geometrically X1 X2 X3 X4 X5 X6 66 F2 Orthogonal factors Oblique factors initial rotated Factor loadings are coordinates on the factor axes F1 F2 X1 ,766 -,232 X2 ,670 -,203 X3 ,574 -,174 X4 ,454 ,533 X5 ,389 ,457 X6 ,324 ,381 F1 F2 X1 ,783 ,163 X2 ,685 ,143 X3 ,587 ,123 X4 X5 X6 ,102 ,489 F1 F2 X1 ,800 ,000 X2 ,700 X3 ,600 X4 X5 X6 ,500

Permanent Problems of FACTOR ANALYSIS as a scaling tool How to find factor solution Permanent Problems of FACTOR ANALYSIS as a scaling tool How to evaluate its quality Which indicators are useless What variables can be used as an indicators of latent factor What to do if my indicators are binary or ordinary

Factor model in matrix notation Common assumptions indicators (n) (1) F common factors (k < n) Unique factors are mutually independent – Ψ is diagonal U unique factors (n) (2) B Factor loadings matrix (k,n) Unique and common factors are independent Factor model assumptions Orthogonal factors (3) Common factors are mutually linearly independent; C(Fi, Fj) = 0 Oblique factors (3) Common factors are linearly dependent; C(Fi, Fj) ≠ 0

Rozkład R na Σ oraz Ψ nie jest jednoznaczny Równanie czynnikowe Gdzie: Ψ – diagonalna macierz z wartościami di2 Σ – symetryczna macierz z wartościami rij poza-diagonalnymi oraz wartościami hi2 na diagonalnej (założono ortogonalny układ czynników: F’F=I) Rozkład R na Σ oraz Ψ nie jest jednoznaczny

Wyznaczanie parametrów modelu czynnikowego Model czynnikowy SVD macierzy R() : V – macierz wektorów własnych,  – macierz wartości własnych Rozwiązanie: macierz ładunków czynnikowych

Obliczalność kowariancji między elementami modelu ścieżkowego

X4 X2 X1 X3 Model ścieżkowy = układ równań regresji wielokrotnej Rekursywne modele ścieżkowe X1 X2 X3 31.2 21 32.1 e2 E3 E2 e3 E4 42.13 41.23 43.12 e4 X4 wszystkie zależności są jednokierunkowe wszystkie błędy sa liniowo nieskorelowane parami błędy są nieskorelowane liniowo z wszystkimi zmiennymi niezależnymi równania, w którym występują parametry każdego rekursywnego modelu ścieżkowego dają się wyznaczyć

X1 X2 X3 31.2 21 32.1 e2 E3 E2 e3

X1 X2 X3 0,29 0,64 e2 E3 E2 e3 rij X1 X2 X3 1 0,64 0,48

F X1 X2 X3 0,80 0,60 rij X1 X2 X3 1 0,64 0,48

Strukturalne modele skalowania liniowego SEI Potencjał partycypacyjny Zadowolenie z okolicy miejsca zamieszkania Pozycja społeczna ACSI - MJR

Cecha ukryta: poziom zadowolenia Z Idea pomiaru strukturalnego: skalowanie poziomu zadowolenia z miejsca zamieszkania Jak bardzo zadowolony(a) jest Pan(i) Wyznacz takie wartości Z, które najlepiej przewidują odpowiedź Y X1 ze swoich sąsiadów Cecha ukryta: poziom zadowolenia Z X2 z poziomu czystości Biorąc to wszystko pod uwagę, proszę powiedzieć, jak Panu(i) się żyje w Pana(i) okolicy? Y X3 z zaopatrzenia sklepów X4 z placówek kulturalnych X5 z poziomu bezpieczeństwa Wskaźniki typu „źródła” Wskaźniki typu „skutki”

Bariery – katalizatory partycypacji Dlaczego nie uczestniczę? bariery bronię dóbr indywidualnych Dlaczego uczestniczę bronię dobra wspólnego katalizatory tworzę dobro wspólne

Potencjał partycypacyjny: schemat pomiarowy Katalizatory potencjał Świadomość prawna Umiejętności komunikacyjne Standardy etyczne Kapitały: społeczne kulturowe ekonomiczne Zachowania partycypacyjne partycypacyjny Bariery

Stratyfikacja klasowa

XK1 XK2 . XKm Segmentacja kapitałowa XE1 out E1 XE2 . E2 . XEk Ek in KK Kapitał kulturowy E1 E2 . Ek KE Kapitał ekonomiczny K1 K2 Km XE1 XE2 . XEk XK1 XK2 . XKm out in out in

Od American Customer Satisfaction Index (ACSI) do MJR Podstawowe wyniki MJR Katarzyna Wądołowska

Amerykański Indeks Satysfakcji Klienta (ACSI) Przedstawiony jesienią 1994 roku przez Claesa Fornella Pierwowzór: Szwedzki Barometr Satysfakcji Klienta z 1989 roku Wskaźnik długookresowej wydajności ekonomicznej państwa oraz sektora prywatnego Pomiar wydajności oparty na subiektywnej ewaluacji jakości dóbr i usług nabywanych w USA, dokonywanej przez konsumentów Odzwierciedla satysfakcję z dóbr i usług dostępnych na rynku krajowym Pozwala oszacować przyszłe zyski przedsiębiorstwa, promować jakość i zwiększać konkurencyjność firm ACSI obejmuje 100 instytucji federalnych dostarczających 200 usług publicznych

Monitor Jakości Rządzenia (MJR) Geneza MJR Monitor Jakości Rządzenia (MJR) Adaptacja amerykańskiego schematu pomiarowego do warunków polskich Wykorzystuje doświadczenia z badań rynku i usług federalnych w USA Państwo traktowane jako dostarczyciel usług publicznych Rynek: konsument – produkt – jakość/wartość Państwo: obywatel – usługa publiczna – jakość

Założenia modelu teoretycznego poziom satysfakcji oczekiwania wobec danej usługi publicznej zachowania i deklaracje dotyczące przyszłości: generalizacja Konsekwencje - skargi na jakość - zaufanie - rekomendacje doświadczenie w korzystaniu z usługi

poziom satysfakcji z usługi poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości oczekiwania i doświadczenia konsekwencje oczekiwań i doświadczeń odczuwana jakość usługi Od czego zależy satysfakcja? Co zależy od satysfakcji?

poziom satysfakcji z usługi poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości Q1 ogólne oczekiwania Q6 ogólna satysfakcja Q11 polecanie usługi innym Q7 spełnianie oczekiwań Q8 porównanie z ideałem Q5 ogólna ocena jakości Q2 ocena jakości wymiaru 1 Q3 ocena jakości wymiaru 2 Q4 ocena jakości wymiaru 3 Q9 czy złożył skargę Q10A/B reakcja na skargę Q12 wiara w stabilność poziomu jakości odczuwana jakość usługi

Usługi objęte badaniem Komunikacja publiczna Urząd Gminy Urząd Skarbowy ZUS / KRUS Urząd Pocztowy Policja Biblioteka Publiczna Dom lub Ośrodek Kultury Usługi medyczne (5 rodzajów usług) Szkoła podstawowa / gimnazjum w podziale na prywatną i publiczną służbę zdrowia

Wymiary jakości usług (1) Wymiary jakości badanych usług publicznych Częstotliwość kursowania środków transportu Punktualność kursowania środków transportu Wygląd i czystość środków transportu Komunikacja publiczna Sprawność załatwienia sprawy Łatwość uzyskania informacji na temat sposobu załatwienia sprawy, opłat, potrzebnych dokumentów Kompetencje urzędników załatwiających sprawę Urząd Gminy Urząd Skarbowy ZUS / KRUS Szybkość dostarczania przesyłek Dogodność terminów dostarczania przesyłek poleconych Szybkość załatwiania spraw i kolejek Urząd Pocztowy

Wymiary jakości usług (2) Wymiary jakości badanych usług publicznych Szybkość reakcji Skuteczność interwencji Sposób potraktowania przez policjantów Policja Pomocność pracowników biblioteki Dostępność informacji o zbiorach bibliotecznych Dostępność książek i materiałów multimedialnych Biblioteka Publiczna Oferta organizowanych zajęć i imprez Jakość organizowanych zajęć i imprez Poziom wyposażenia, jakość pomieszczeń, jakość sprzętu technicznego Dom lub Ośrodek Kultury

Wymiary jakości usług (3) Wymiary jakości badanych usług publicznych Możliwość umówienia się na wizytę w odpowiadającym terminie Posiadane kompetencje lekarza, personelu Życzliwość wobec pacjenta Usługi medyczne (5 rodzajów usług) Poziom bezpieczeństwa dziecka w szkole Poziom nauczania w szkole Relacje rodzica z wychowawcą Szkoła podstawowa / gimnazjum

Przykładowe pytanie z kwestionariusza dla Urzędu Skarbowego

Struktura MJR . . . . I1 I10-100 MJR1 I2 I20-100 MJR2 MJR(o) Ik modele SEM-PLS satysfakcja obywateli unormowana satysfakcja obywateli (skala 0-100) indeks MJR dla usługi wagi proporcjonalne do liczby osób, które korzystały z usługi w ciągu ostatniego roku poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi średnia I1 I10-100 MJR1 usługa 1. u1 poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi średnia u2 I2 I20-100 MJR2 usługa 2. MJR(o) . . . . uk względem usługi poziom wymagań wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi średnia usługa k. Ik Ik0-100 MJRk

Sposób wyznaczania indeksu satysfakcji (1) Satysfakcja z usługi pojedynczego obywatela Ik(x) poziom satysfakcji z usługi k dla respondenta x wki współczynniki dla wskaźników Qi uzyskane w wyniku estymacji modelu strukturalnego dla usługi k Qki(x) odpowiedź respondenta x na pytanie wskaźnikowe Qi dotyczące usługi k Pytania wskaźnikowe opierają się na skali od 1 do 9

Sposób wyznaczania indeksu satysfakcji (2) Satysfakcja z usługi pojedynczego obywatela na skali 0-100 Ik0-100(x) poziom satysfakcji z usługi k dla respondenta x na skali 0-100 wki współczynniki dla wskaźników Qi uzyskane w wyniku estymacji modelu strukturalnego dla usługi k Qki(x) odpowiedź respondenta x na pytanie wskaźnikowe Qi dotyczące usługi k Zmienna Ik0-100 jest wyrażona na skali od 0 do 100

Sposób wyznaczania indeksu satysfakcji (3) Ogólna forma indeksu satysfakcji (MJR) Indeks satysfakcji obywateli wyliczany jest jako średnia satysfakcja (wyrażona na skali 0-100) zbadanych osób z danej usługi Taka średnia może zostać policzona zarówno dla całej Polski, jak i np. dla poszczególnych województw (bierzemy wtedy pod uwagę tylko mieszkańców danego województwa) MJR jest wyrażony na skali od 0 do 100

Sposób wyznaczania indeksu satysfakcji (4) Indeks jakości rządzenia na danym obszarze MJRk(o) indeks satysfakcji z usługi k na obszarze o (w województwie lub w całej Polsce) uk waga proporcjonalna do częstości korzystania obywateli z usługi k (wagi unormowano tak, aby MJR(o) było wyrażane na skali 0-100) MJR jest wyrażony na skali od 0 do 100

Zalety podejścia Zalety MJR Zalety metodologiczne Sprawdzona metodologia Standaryzowany sposób oceny satysfakcji Możliwość agregacji i porównań uzyskanych ocen Możliwość śledzenia zmian w uzyskanych ocenach w czasie Zalety praktyczne Zobiektywizowana ocena jakości działania służb publicznych Opis jakości usług na poziomie ogólnokrajowym i lokalnym Pozyskanie informacji na temat oczekiwań obywateli wobec instytucji publicznych Możliwość wdrożenia okresowej kontroli jakości działania służb publicznych

Prywatna służba zdrowia 81 pkt Polska 70 pkt Jakość usług publicznych w Polsce

Województwo lubelskie 74 pkt Prywatna służba zdrowia 85 pkt Jakość usług publicznych w woj. lubelskim

Województwo śląskie 67 pkt Prywatna służba zdrowia 82 pkt Jakość usług publicznych w woj. śląskim

Indeksy satysfakcji z usług publicznych w przekroju terytorialnym

Biłgoraj na tle pozostałych gmin wiejskich

Gołdap na tle pozostałych miast do 20 tys. mieszkańców

Słupsk na tle pozostałych miast od 20 tys. do 100 tys. mieszkańców

Poznań na tle pozostałych miast pow. 100 tys. mieszkańców

Polska: 70 pkt Porównanie wyników ACSI versus MJR (1)

Publiczna służba zdrowia Prywatna służba zdrowia USA 2010 Polska 2010 Koszyk 10 usług 70 Publiczna służba zdrowia 75 Prywatna służba zdrowia 81 Poczta 64 Porównanie wyników ACSI versus MJR (2)

PLS rekonstrukcja metody Tomasz Żółtak

Statystyczna geneza PLS Podstawy podejścia opracowane na przełomie lat 60. i 70. XX w. przez Hermana Wolda. Uczniem Wolda był Jöreskog, twórca modeli SEM-ML. W odróżnieniu od modeli SEM-ML metoda PLS z założenia miała być mało wymagająca względem danych: Nie odwoływać się do założeń o rozkładach zmiennych. Umożliwiać estymację nawet przy małej liczbie jednostek obserwacji. W latach 80. w pracach Wolda i Lohmöllera przedstawiono dowody, że przy pomocy pewnych wariantów modeli PLS można estymować: Korelacje kanoniczne (w tym dwa uogólnienia korelacji kanonicznej na wiele grup zmiennych zaproponowane przez Horsta i Carolla). Regresję PLS. Inter-battery factor analysis. Redundancy analysis. I wymienione w ostatniej kropie są jedynymi sytuacjami, w których udowodniono, że algorytm zawsze zbiega (odpowiada to, po pierwsze wszystkim możliwym rodzajom modeli dla dwóch bloków zmiennych i modelowi hierarchicznemu z wieloma blokami-czynnikami i jednym czynnikiem wyższego rzędu – p. Tenenhaus i. in. s. 196).

Własności estymacji metodą PLS W odróżnieniu od modeli SEM-ML algorytm estymacji PLS w ogólności nie dąży do maksymalizacji żadnej globalnej funkcji dopasowania modelu do danych. Choć dla szczególnych modeli (por. poprzedni slajd) można wskazać, że efektem działania algorytmu jest optymalizacja pewnego kryterium. Estymacja modelu strukturalnego metodą PLS w ogólności daje się opisać tylko jako realizacja rozsądnego algorytmu działania. Nie można jednak (w ogólności) syntetycznie powiedzieć, do czego ten algorytm dąży. Modele PLS są nakierowane na przewidywanie i eksplorację (możliwość uwzględnienia bardzo wielu zmiennych bez napotykania problemów z identyfikowalnością modelu czy niestabilnością wyników), a nie (jak SEM-ML) na testowanie hipotez. Kasia w swojej prezentacji ma już coś o zaletach, więc ja wspominam jeśli nie o wadach, to o wątpliwościach ;) Niemniej zawsze możesz tu dopowiedzieć, że za to możemy bez obaw wrzucać tu praktycznie wszystko i mamy bardzo małe wymagania względem liczby obserwacji (gdyby ktoś pytał dlaczego – zaraz będzie). Mówienie o tym, że modele PLS są dobre do przewidywania opiera się na następującej argumentacji: do modeli PLS można bezkarnie wrzucić całą masę zmiennych (no bo co robisz jak chcesz dobrze przewidzieć, wrzucasz w model wszystko, co może mieć jakikolwiek związek ;) ) i one to cały czas pociągną, podczas gdy SEM-ML się tą liczbą zmiennych zapcha i na Ciebie wypnie.

Estymacja PLS W modelu wydziela się część pomiarową (zewnętrzną) i część strukturalną (wewnętrzną). Ogólna idea estymacji sprowadza się do naprzemiennego wyliczania współczynników zewnętrznej i wewnętrznej części modelu w oparciu o wartości zmiennych ukrytych obliczone na podstawie współczynników z poprzedniego kroku estymacji. ξ1 X11 X51 ξ5 Tu nie ma strzałeczek, bo kierunek strzałeczek zależy od wariantu. Warianty na kolejnych slajdach. X31 X52 ξ4 ξ3 X21 X61 ξ6 ξ2 X22 X62 X23 X41 X42 X43

Warianty dla części pomiarowej Warianty można wybrać niezależnie od siebie dla każdego bloku zmiennych. Blok typu reflective: Xij= ωij0+ ωijξj+εij E(εij)=0, cor(εij, ξj)=0 Dla każdej zmiennej w bloku estymowane jest oddzielne równanie regresji liniowej. Blok powinien być jednowymiarowy (teoria plus sprawdzian empiryczny, np. PCA, alfa Cronbacha). X21 ξ2 X22 X23 Blok typu formative: ξj=∑ω ijXij+δj E(δj)=0, i cor(δj, Xij)=0 Dla całego bloku estymuje się jedno równanie regresji liniowej. Z analizy należy usunąć zmienne, dla których okazałoby się, że sign(ω ij)≠sign(cor(Xij, ξj)) Można się oczywiście posłużyć analogią: reflective to coś na kształt analizy czynnikowej, formative coś na kształt metody głównych składowych. Gdy w bloku jest tylko jedna zmienna, to oczywiście uznaje się ją za tożsamą ze zmienną ukrytą, składniki błędów wylatują i w praktyce nie ma żadnej różnicy między jednym wariantem a drugim. Pewnie warto będzie wspomnieć, że w MJRze wykorzystujemy wariant reflective. X21 ξ2 X22 X23

Warianty dla części strukturalnej ξj=ej0+∑eijξi+νj gdzie ξi są bezpośrednio połączone z ξj (również gdy ξi następują po ξi ) Centroid scheme: eij=sign(cor(ξi, ξj)) Factorial scheme: eij=cor(ξi, ξj) Path weghting scheme: eij=βξj|ξi; ξi’ dla ξi poprzedzających ξj w porządku czasowym eij=cor(ξi, ξj) dla ξi następujących po ξj w porządku czasowym A tu wspomnieć, że w MJRze korzystamy z Path weigting scheme. Beta w path weigthing scheme to standaryzowany współczynnik przy danej zmiennej w regresji ξj ze względu na wszystkie poprzedzające go ξi ξ1 ξ5 ξ4 ξ3 ξ2 ξ6

Algorytm estymacji PLS Załóż początkowe wartości współczynników dla pomiarowej części modelu (ωij). Współcześnie używa się zwykle wag z 1. składowej głównej. Oblicz zewnętrzne estymatory zmiennych ukrytych jako: ξj ∑ωij [Xij –E(Xij)] gdzie  oznacza standaryzację wyrażenia po prawej. Na podstawie tak wyliczonych estymatorów oblicz wartości współczynników strukturalnej części modelu (eij). Oblicz wewnętrzne estymatory zmiennych ukrytych jako: ξj ∑ei ξi Na podstawie tak wyliczonych estymatorów oblicz nowe wartości współczynników zewnętrznej części modelu (ωij). Powtarzaj kroki 2.- 5. do uzyskania zbieżności. Obliczenia w punktach 3. i 5. przebiegają oczywiście zgodnie z tym, co było pokazane na dwóch poprzednich slajdach.

Algorytm estymacji PLS Po uzyskaniu zbieżności wykonuje się dwa ostatnie kroki: Wyliczenie ostatecznych wartości estymatorów zmiennych ukrytych: ξj=∑ωij [Xij –E(Xij)] / σ gdzie σ=D(∑ωij [Xij –E(Xij)] ) Tak uzyskane estymatory zwykle unormowuje się jeszcze na jeden z dwóch sposobów: 1) ξj‘= ξj+∑ωijE(Xij) / σ („odcentrowanie” zmiennej) 2) ξj‘’= [ξj‘+∑ωijE(Xij) ] / ∑ωij równoważnie: ξj‘’= ∑ωijXij / ∑ωij (przedstawieniu zmiennej ukrytej na tej samej skali, co zmienne mierzalne danego bloku) Wyliczenie współczynników opisujących zależności przyczynowe w części strukturalnej modelu, przy użyciu analizy ścieżkowej. Sposób 2) jest oczywiście ACSI’owy. Można dodać, że żeby dało się to tak policzyć, muszą być spełnione dwa założenia: 1. wszystkie zmienne mierzalne danego bloku są mierzone na jednej skali, 2. wszystkie wagi zewnętrzne w danym bloku są nieujemne. Sposób 1) to właśnie „odcentrowanie”, tak aby zmienna ukryta miała średnią równą średniej ważonej (wagami) zmiennych mierzalnych z bloku.

Własności Estymacja metodą PLS sprowadza się do liczenia dużej liczby regresji liniowych, przy czym w każdym kroku procedury iteracyjnej każde z równań opisujących model jest wyliczane oddzielnie. Stąd niewielkie zapotrzebowanie na liczbę jednostek obserwacji – decyduje tutaj największa liczba zmiennych niezależnych występujących w pojedynczym równaniu (np. w modelu MJR cztery zmienne). Mniejsze są też problemy w przypadku braków danych – dany brak występuje bowiem tylko lokalnie, w jednym równaniu. W związku z tym nie występują też (dosyć często występujące w SEM-ML) problemy z nieidentyfikowalnością modelu. Błędy standardowe współczynników modelu można uzyskać z regresji obliczanych w ostatnim kroku estymacji, jednak obecnie często oblicza się je przy pomocy metod symulacyjnych (jakcknife, bootstrap). Duże zapotrzebowanie na obserwacje modeli SEM-ML wynika z tego, że wszystkie równania opisujące model są w nich estymowane jednocześnie.

Indeks zmienności wspólnej (communality index): Miary dopasowania Model PLS nie optymalizuje żadnego globalnego kryterium dopasowania do danych. Zaproponowano jednak kilka miar pozwalających ocenić wyniki estymacji: Indeks zmienności wspólnej (communality index): Miara wyliczana dla każdego bloku oddzielnie: communalityj=E[cor2(Xij, ξj)] Jako miary globalnej można użyć średnią ze wszystkich bloków. Redundancy index: redundancyj=communalityj R2ξj|ξ{i} gdzie ξi wyjaśniają ξj GoF (Goodness-of-fit): GoF=[ E(communality) E(R2ξj|ξ{i}) ]0,5 GoF to w gruncie rzeczy średnia geometryczna średniej wartości indeksu zmienności wspólnej i średniego R-kwadrat.

SEM: MLE vs PLS Wyznaczanie pametrów modelu MJR: SEM - PLS cecha cel estymacja parametrów modelu przyczynowego test hipotez na temat modelu przewidywanie wartości zmiennych ukrytych identyfikacja modelu zależy od modelu zawsze zidentyfikowany zależności między zmiennymi nie dopuszcza współliniowości dopuszcza współliniowość zarówno w części pomiarowej jak i strukturalnej modelu konieczna liczba jednostek obserwacji duża: 15-20 razy liczba zmiennych w modelu niewielka: max(15-20 razy liczba zmiennych niezależnych w pojedynczym równaniu modelu) metoda estymacji ML iteracyjna OLS założenia o rozkładach parametryczne: wielowymiarowy rozkład normalny nieparametryczne: dopuszcza brak normalności SEM: MLE vs PLS

Wiele wektorów Liniowa kombinacja wektorów Macierz – uporządkowany zbiór wektorów kolumnowych Rozmiary macierzy - Operacje ma macierzy Dodawanie, mnożenie przez stałą, transpozycja Liniowa kombinacja wektorów w zapisie macierzowym Wybrane macierze symetryczna, diagonalna, jednostkowa, odwrotna, zerowa, Ślad Rząd Wyznacznik Wartości własne, wektory własne pierwsza, druga ostatnia,

Wektory geometrycznie Układ odniesienia – ortogonalny układ współrzędnych Układ jedno-wymiarowy (na R1) Wektor w układzie odniesienia: początek, koniec, współrzędne wektora Długość wektora a jego współrzędne Rzut końca wektora na osie układu współrzędnych Wektor o długości 1 Dwa wektory – współrzędne, długości Kąt między wektorami Trygonometria na płaszczyźnie: sinus, cosinus i relacje między nimi Cosinus różnicy kątów Cosinus kąta między wektorami

Momenty Wektory algebraicznie Wektory geometrycznie Zmienna surowa w n-elementowej populacji Ω Wektor = uporządkowany zbiór liczb z R1 z powtórzeniami Obiekt w układzie odniesienia o współrzędnych początk a i końca Wariancja zmiennej Zmienna wycentrowana, standaryzowana Kowariancja zmiennych surowych Kowariancja zmiennych wycentrowanych, standaryzowanych

Momenty Wektory algebraicznie Wektory geometrycznie

Wprowadzenie: założenia i ograniczenia Zmienne interwałowe, zależnosci liniowe, rozkłady normalne Ograniczenia opisowe: Igmorowanie nieliniowych zależności między zmiennymi interwałowymi Ignorowanie zmiennych porządkowych i binarnych Ograniczenia inferencyjne: normalność rozkładów Czy wszystkie ograniczenia mozna przezwyciężyć? PLS, korelacje tetra i polichoryczne Momenty Momenty – przypomnienie: średnia, wariancja, kowariancja, liniowe przekształcenia, Momenty zmiennej surowej, centrowanej, standaryzowane Momenty rozkładu dwóch zmiennych surowych , centrowanych, standaryzowanych Rachunek momentów w notacji wektorowej-algebraicznej Wektor a skalar – przykład na osi R1 Rozmiar wektora, wektor kolumnowy, wierszowy Wyróżnione wektory: 0, 1 Operacja na 1 wektorze: transpozycja, mnożenie/dzielenie przez stałą Operacje na dwóch wektorach +/-, */:, Liniowa kombinacja wektorów Iloczyn skalarny wektorów. Wektory ortogonalne Długość wektora/norma Wektory orto-normalne