ACSI-MJR Jak to się robi i dlaczego tak, czyli krótkie wprowadzenie do złożonych liniowych modeli skalowania

Krótki program Wskaźnik, cecha ukryta, reguła korespondencji, skala. Model skalowania. Modele kumulatywne, liniowe. Probabilistyczne i deterministyczne modele skalowania. Reflektywne i formatywne modele skalowania. Analiza czynnikowa, analiza głównych składowych. Liniowe modelowanie procesów: analiza ścieżkowa. Złożone liniowe modele skalowania w socjologii i badaniach rynku – przykłady: skalowanie zadowolenia z miejsca zamieszkania, ISEI, kapitał społeczny, umiejętności złożone. Skalowanie satysfakcji konsumenta za pomocą modelu równań strukturalnych. Dwa warianty modelowania strukturalnego. Strukturalne skalowanie satysfakcji klienta: ACSI –MJR. Statystyczne i obliczeniowe problemy estymacji parametrów modelu skalowania metodą PLS.

Program szczegółowy

Abdullah, Mokhtar, et. al., 2001, Malaysian Customer Satisfaction Index. TQM World Congress Papers, Saint Petersburg. American Customer Satisfaction Index (ACSI) Methodology Report, 2001, National Quality Research Center (NQRC), University of Michigan, Business School. Byrne, B. M., 2010, Structural Equation Modeling With AMOS: Basic Concepts, Applications, and Programming, 2nd ed. Taylor and Francis Group, LLC. Chatelin, Yves Marie et. al., 2002, State of art on PLS modeling, ECSI. Chin Wynne W., Matthew K. O. Lee, 2000, A proposed model and measurement instrument for the formation of IS satisfaction: the case of end-user computing satisfaction. 2000 ICIS Conference Proceedings. Dunteman, G. H. 1989. Principal components analysis: Quantitative applications in the social sciences. SAGE Publications, Thousand Oaks. Fornell, Claes, 1992, A National Customer Satisfaction Barometer: The Swedish Experience. Journal of Marketing; Jan 1992; 56. Fornell, Claes; et.al., 1996, The American Customer Satisfaction Index: Nature, purpose, and findings. Journal of Marketing; Oct 1996; 60, Freed Larry, 2009, American Customer Satisfaction Index. E-Government Satisfaction Index. 2009 ForeSee Results. Ganzeboom, Harry, B.G. et. al., 1992, A Standard International Socio-Economic Index Of Occupational Status. Social Science Research, 21, 1-56 (1992). Johnson Michael D., et. al., 2001, The evolution and future of national customer satisfaction index models. Journal of Economic Psychology, 22 (2001), 217-245. Kaplan, D. 2008. Structural equation modeling: Foundations and extensions. Sage Publications, Inc. Kim, J. O. and C. W. Mueller. 1978. Factor analysis: Statistical methods and practical issues.Sage Publications, Inc. Kim, J. O. and C. W. Mueller. 1978. Introduction to factor analysis: What it is and how to do it. Sage Publications, Inc. Kline, R. B. 2005. Principles and practice of structural equation modeling. The Guilford Press. Konarski, Roman. 2010. Modele równań strukturalnych. Teoria i praktyka. PWN. Lissowski, Grzegorz, et. al., 2008, Podstawy statystyki dla socjologów. Oficyna Naukowa Scholar. Nie, Norman H. 1975. SPSS: statistical package for the social sciences. 2d ed. New York: McGraw-Hill. (wybrane rozdziały) Pirouz Dante M., 2006, An Overview of Partial Least Squares. The Paul Merage School of Business, University of California, Irvine (draft). Sellin Norbert, Otto Versand, 2007, Partial Least Squares Modeling in Research on Educational Achievement, Hamburg. Tacq Jacques, 1997, Multivariate Analysis Techniques in Social Science Research. From Problem to Analysis. SAGE Publications, London. Temme, D. et. al., 2006, PLS Path Modeling – A Software Review, SFB 649 Discussion Paper 2006-084. Tenenhaus, M. et al., 2004, PLS path modeling, Computational Statistics & Data Analysis 48 (2005) 159 – 205. Yang, Xiaoming, et. al., 2000, A Comparative Study on Several National Customer Satisfaction Indices (CSI). Shanghai Jiao Tong University, Shanghai, P.R.China. Lektury

Skalowanie Skalowalność Wymiarowość Wskaźniki niezbędne Zmienne obserwowalne i ukryte Poziom pomiaru – typy zmiennych Pomiar a skalowanie Skalowanie Skalowalność Wymiarowość Wskaźniki niezbędne Własności wskaźników Algorytm skalowania Wynik skalowania

SKALUJĄC: problemy do rozwiązania I. Problem skalowalności 1. Jak dalece łączny rozkład wskaźników jest zgodny z modelem? Jak dobrze model pozwala odtwarzać łączny rozkład wskaźników? Czy zbiór wskaźników jest skalowalny, to znaczy, czy stopień zgodności danych z modelem jest wystarczający? II. Problem liczby wymiarów cechy ukrytej i relacji między nimi 2. Ile cech ukrytych (wymiarów zmiennej ukrytej) trzeba założyć aby dany zbiór wskaźników (w danym zbiorze obiektów) był skalowalny? 3. W jakich relacjach pozostają poszczególne wskaźniki z poszczególnymi wymiarami cechy ukrytej? 4. W jakich relacjach pozostają względem siebie wymiary cechy ukrytej III. Czy wszystkie wskaźniki są potrzebne? 5. Czy w zbiorze wskaźników są pozycje zbędne? Czy są wskaźniki (pozycje testu), z których bez szkody dla skalowalności można zrezygnować? IV. Jakie są własności diagnostyczne poszczególnych wskaźników? 6. Jakie są parametry wskaźników? Których wymiarów cechy ukrytej są wskaźnikami V. Jak skalować 7. Jak przyporządkować obiektom wartości zmiennej ukrytej ? [SCORE] VI. Jaki jest efekt skalowania 8. Jaki rozkład ma cecha ukryta w danym zbiorze obiektów? Poziom pomiarowy skali? Prawo jazdy: test, jazda, pomoc medyczna Test oceniający efekt kształcenia na kursie – n pytań o różnym charakterze {pamięć, wiedza matematyczna, biegłość komputerowa, spostrzegawczość, wyobraźnia przestrzenna, wyobraźnia algebraiczna) - tak/nie (ew. w ramkach) [0-1] - wybierz jedną z 4 (jedna prawdziwa) [0-1] - wybierz jedną z 4 (dwie odp.prawdziwe)[0-2] - policz w Excelu - policz w SPSS - policz zw innym pakiecie wprowadzonym w kursie - rozwiąż zadanie na papierze[0-2] - opisz problem [0-5] - udowodnij twierdzenie

Kryteria oceny modelu skalowania Niezmienniczość wyników skalowania przy dopuszczalnych poziomem pomiaru przekształceniach wskaźników; Optymalność algorytmu skalowania, Jednoznaczność i przekonywujące uzasadnienia dla decyzji, które trzeba podejmować rozwiązując problemy (1) - (8) wymienione wyżej.

Popularne metody analizy danych - szczególne przypadki modeli skalowania Poziom pomiaru wskaźników Rodzaj zależności wskaźników od cech ukrytych Poziom pomiaru cechy ukrytej Analiza ukrytej struktury Lazarsfelda Nominalny Binarny Probabilistyczny Analiza skupień K-Means Interwałowy Deterministyczy Probabilistyczne metody analizy skupień Skalogram Guttmana Porządkowy Skalogram Mokkena Skalogram Rascha Binarny Porządkowy Eksploracyjna analiza czynnikowa Model równań strukturalnych

NURTY TEORII SKALOWANIA Kumulatywne Addytywne nominalne K: Rasch. Mokken, Guttman - porządkowe A: PC, FA, CTT, SEM - interwałowe Mieszane

Dystans społeczny względem grupy Nieco historii Bogardus, 1926: skala uprzedzeń (dystansów) etnicznych Czy akceptuje Pan(i) [XXXXX] jako: Dystans społeczny względem grupy Spokrewnionego z Panem(ią) w wyniku małżeństwa [0-1] ? 1 Pana(i) bliskiego przyjaciela [0-1] 2 Pana(i) sąsiada mieszkającego na tej samej ulicy [0-1] 3 Osoby wykonującej ten sam zawód co Pan(i) [0-1] 4 Obywatela Pana(i) kraju [0-1] 5 Turysty odwiedzającego Pana(i) kraj [0-1] 6

Skok wzwyż Kategoria zawodnika 180 190 200 Liczba udanych prób a b 1 c b 1 c 2 d 3

Obiekty różnią się parametrami istotnymi dla wyniku zdarzenia losowego Założenia probabilistycznych modeli skalowania kumulatywnego a sytuacja testowania kompetencji Przykład: osoby rozwiązujące zadania testowe Obiekty różnią się parametrami istotnymi dla wyniku zdarzenia losowego Osoby różnią się poziomem kompetencji, łatwością z jaką rozwiązują zdania testowe Wskaźniki różnią parametrami istotnymi dla wyniku zdarzenia losowego Pytania testowe różnią się stopniem trudności, jaką sprawiają odpowiadającym, Obserwowalna reakcja obiektu na wskaźnik jest zdarzeniem losowym Osoby testowane reagują do pewnego stopnia przypadkowo: osoba bardzo kompetentna może nie odpowiedzieć na pytanie łatwe a osoba mało kompetentna może odpowiedzieć a pytanie trudne Zbiór możliwych reakcji i ich prawdopodobieństwa stanowią zmienną losową, której rozkład zależy od parametrów osoby i parametrów wskaźnika (zmienna losowa – funkcja reakcji) Szanse na poprawą odpowiedź osoby na pojedyncze pytanie testowe zależą zarazem od tego jak trudne jest to pytanie i jak kompetentna jest odpowiadająca na nie osoba Reakcje obiektów o ustalonych parametrach (tym samym poziomie kompetencji) są stochastycznie niezależne Pojedyncza osoba odpowiada na kolejne pytanie testu „bez pamięci” o wynikach poprzednich odpowiedzi i wyłącznie w zależności od tego, jak trudne jest kolejne pytanie i jak kompetentna jest osoba

Liczba pozytywnych odpowiedzi Dopuszczalne i niedopuszczalne profile reakcji w skalogramie Guttmana Wskaźnik Liczba pozytywnych odpowiedzi Profil X1 X2 X3 A 1 3 B 2 C D E F G H Strukturalne zero Xj trudny Suma 1 Xi łatwy I II 1-p III IV p 1-q q 1,00

Model Mokkena Krzywe reakcji na trzy wskaźniki w modelu Mokkena

Funkcja logistyczna z parametrem a

Funkcja reakcji w modelu Rascha 1 PL

Warianty modelu Rascha 1PL: x 2PL: a,x 3PL: a,c, x

Arkusz PP1 – statystyka opisowa

Suma punktów a oszacowany poziom umiejętności

Które z pytań arkusza jest do wymiany

Wprowadzenie do analizy czynnikowej

Single latent common factor F and two manifest indicators X1, X2 b1 X1 U1 F b2 d2 X2 U2 Model assunptions Unique variables U1 and U2 are linearly independent and independent on common latent factor F: Consequences: Common (explained) variance of an indicator Xi with common factor F equals the square of a factor loading bi: Correlation coefficient between indicators Xi and Xj is a product of their loadings with common factor F:

d1 0,8 X1 F d2 0,6 X2 Solution 1 Solution 2 Solution 3 Solution 4 U1 Reproduction of correlation coefficient by the factor model is not unique Factor matrix d1 F X1 0,8 X2 0,6 0,8 X1 U1 F d2 0,6 X2 U2 Solution 1 Solution 2 Solution 3 Solution 4 F X1 0,50 X2 0,96 F X1 0,60 X2 0,80 F X1 0,70 X2 0,69 F X1 0,90 X2 0,53 0,50*0,96=0,48 0,60*0,80=0,48 0,70*0,69=0,48 0,90*0,53=0,48

Two independent factors F1, F2, two indicators X1, X2 b11 X1 X1 U1 F1 b21 d2 X2 X2 U2 b12 b22 F2 Assumptions Unique factors U1 and U2 are linearly independent and independent on common factors F1 and F2: Common factors are linearly independent: Orthogonality of factors Consequences: Common (explained) variance of an indicator with a common factor is the sum of factor loadings squares, with both common factors F1 and F2: Correlatin coefficient between indicators equals the sum of factor loadings products

Perfect reproduction of correlations between indicators can be derived from different factor models   F1 F2 X1 ,614 -,513 X2 ,537 -,449 X3 ,845 ,076 X4 ,513 X5 ,385 ,460 F1’ X3 X1 F2’ X2 X4 X5 F2 Model 2   F1 F2 X1 ,800 ,000 X2 ,700 X3 ,600 X4 X5

Oblique factor models are as good as orthogonal ones X1 X2 X3 F1 F2 X1 ,766 -,232 X2 ,670 -,203 X3 ,574 -,174 X4 ,454 ,533 X5 ,389 ,457 X6 ,324 ,381 F1 F2 X1 0,586 0,054 X2 0,449 0,041 X3 0,330 0,030 X4 0,206 0,284 X5 0,152 0,208 X6 0,105 0,145 1,827 0,763 2,590 X4 X5 X6 F2 F1 F2 X1 ,800 ,000 X2 ,700 X3 ,600 X4 X5 X6 ,500 F1 F2 X1 0,640 0,000 X2 0,490 X3 0,360 X4 X5 X6 0,250 1,490 1,100 2,590 F1 F2 X1 ,783 ,163 X2 ,685 ,143 X3 ,587 ,123 X4 X5 X6 ,102 ,489 F1 F2 X1 0,613 0,027 X2 0,470 0,020 X3 0,345 0,015 X4 X5 X6 0,010 0,240 1,474 1,116 2,590

Permanent Problems of FACTOR ANALYSIS as a scaling tool How to find factor solution Permanent Problems of FACTOR ANALYSIS as a scaling tool How to evaluate its quality Which indicators are useless What variables can be used as an indicators of latent factor What to do if my indicators are binary or ordinary

Matrix - eigenvalue matrix decomposition Eigenvalues of R Eigenvectors of R Eigenvalue decomposition of R =

Factor model in matrix notation Common assumptions indicators (n) (1) F common factors (k < n) Unique factors are mutually independent U unique factors (n) (2) B Factor loadings matrix (n,k) Unique and common factors are independent Factor model assumptions Orthogonal factors (3) Common factors are mutually linearly independent; C(Fi, Fj) = 0 Oblique factors (3) Common factors are linearly dependent; C(Fi, Fj) ≠ 0

Decomposition of R between Σ and Ψ is not unique Factor equation X = Where: Ψ – diagonal matrix with di2 on main diagonal Σ – symmetric matrix with rij out-diagonal and hi2 on the diagonal Decomposition of R between Σ and Ψ is not unique

Finding factor model parameters Data: empirical correlation between indicators with unknown decomposition between 𝛴 and 𝛹 Decomposition theorem Solution: factor loading matrix Correlations between indicators implied by the solution Finding factor model parameters

Obliczalność kowariancji między elementami modelu ścieżkowego

Recursive models calculus Heise 2001

Z=X3 Y = X2 X = X1 Model implications Model parameters 0,64 0,29 Kim, 1973 Z=X3 Y = X2 X = X1 Model implications Pyx P21 0,64 Pyz P32 0,29 Pzx P31 Model parameters Cov(X,Y) Pxy = 0,64 Cov(Y, Z) Pzy+ PyxPzx 0,29 + (0,64*0,29) Cov(Z, X) Pzx + PyxPzy

Formatywne modele skalowania SEI Potencjał partycypacyjny Zadowolenie z okolicy miejsca zamieszkania Pozycja społeczna ACSI - MJR

Cecha ukryta: poziom zadowolenia Z Idea pomiaru strukturalnego: skalowanie poziomu zadowolenia z miejsca zamieszkania Jak bardzo zadowolony(a) jest Pan(i) Wyznacz takie wartości Z, które najlepiej przewidują odpowiedź Y X1 ze swoich sąsiadów Cecha ukryta: poziom zadowolenia Z X2 z poziomu czystości Biorąc to wszystko pod uwagę, proszę powiedzieć, jak Panu(i) się żyje w Pana(i) okolicy? Y X3 z zaopatrzenia sklepów X4 z placówek kulturalnych X5 z poziomu bezpieczeństwa Wskaźniki typu „źródła” Wskaźniki typu „skutki”

Bariery – katalizatory partycypacji Dlaczego nie uczestniczę? bariery bronię dóbr indywidualnych Dlaczego uczestniczę bronię dobra wspólnego katalizatory tworzę dobro wspólne

Potencjał partycypacyjny: schemat pomiarowy Katalizatory potencjał Świadomość prawna Umiejętności komunikacyjne Standardy etyczne Kapitały: społeczne kulturowe ekonomiczne Zachowania partycypacyjne partycypacyjny Bariery

Od American Customer Satisfaction Index (ACSI) do MJR Podstawowe wyniki MJR Katarzyna Wądołowska

Amerykański Indeks Satysfakcji Klienta (ACSI) Przedstawiony jesienią 1994 roku przez Claesa Fornella Pierwowzór: Szwedzki Barometr Satysfakcji Klienta z 1989 roku Wskaźnik długookresowej wydajności ekonomicznej państwa oraz sektora prywatnego Pomiar wydajności oparty na subiektywnej ewaluacji jakości dóbr i usług nabywanych w USA, dokonywanej przez konsumentów Odzwierciedla satysfakcję z dóbr i usług dostępnych na rynku krajowym Pozwala oszacować przyszłe zyski przedsiębiorstwa, promować jakość i zwiększać konkurencyjność firm ACSI obejmuje 100 instytucji federalnych dostarczających 200 usług publicznych

Monitor Jakości Rządzenia (MJR) Geneza MJR Monitor Jakości Rządzenia (MJR) Adaptacja amerykańskiego schematu pomiarowego do warunków polskich Wykorzystuje doświadczenia z badań rynku i usług federalnych w USA Państwo traktowane jako dostarczyciel usług publicznych Rynek: konsument – produkt – jakość/wartość Państwo: obywatel – usługa publiczna – jakość

Założenia modelu teoretycznego poziom satysfakcji oczekiwania wobec danej usługi publicznej zachowania i deklaracje dotyczące przyszłości: generalizacja Konsekwencje - skargi na jakość - zaufanie - rekomendacje doświadczenie w korzystaniu z usługi

poziom satysfakcji z usługi poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości oczekiwania i doświadczenia konsekwencje oczekiwań i doświadczeń odczuwana jakość usługi Od czego zależy satysfakcja? Co zależy od satysfakcji?

poziom satysfakcji z usługi poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości Q1 ogólne oczekiwania Q6 ogólna satysfakcja Q11 polecanie usługi innym Q7 spełnianie oczekiwań Q8 porównanie z ideałem Q5 ogólna ocena jakości Q2 ocena jakości wymiaru 1 Q3 ocena jakości wymiaru 2 Q4 ocena jakości wymiaru 3 Q9 czy złożył skargę Q10A/B reakcja na skargę Q12 wiara w stabilność poziomu jakości odczuwana jakość usługi

Usługi objęte badaniem Komunikacja publiczna Urząd Gminy Urząd Skarbowy ZUS / KRUS Urząd Pocztowy Policja Biblioteka Publiczna Dom lub Ośrodek Kultury Usługi medyczne (5 rodzajów usług) Szkoła podstawowa / gimnazjum w podziale na prywatną i publiczną służbę zdrowia

Wymiary jakości usług (1) Wymiary jakości badanych usług publicznych Częstotliwość kursowania środków transportu Punktualność kursowania środków transportu Wygląd i czystość środków transportu Komunikacja publiczna Sprawność załatwienia sprawy Łatwość uzyskania informacji na temat sposobu załatwienia sprawy, opłat, potrzebnych dokumentów Kompetencje urzędników załatwiających sprawę Urząd Gminy Urząd Skarbowy ZUS / KRUS Szybkość dostarczania przesyłek Dogodność terminów dostarczania przesyłek poleconych Szybkość załatwiania spraw i kolejek Urząd Pocztowy

Wymiary jakości usług (2) Wymiary jakości badanych usług publicznych Szybkość reakcji Skuteczność interwencji Sposób potraktowania przez policjantów Policja Pomocność pracowników biblioteki Dostępność informacji o zbiorach bibliotecznych Dostępność książek i materiałów multimedialnych Biblioteka Publiczna Oferta organizowanych zajęć i imprez Jakość organizowanych zajęć i imprez Poziom wyposażenia, jakość pomieszczeń, jakość sprzętu technicznego Dom lub Ośrodek Kultury

Wymiary jakości usług (3) Wymiary jakości badanych usług publicznych Możliwość umówienia się na wizytę w odpowiadającym terminie Posiadane kompetencje lekarza, personelu Życzliwość wobec pacjenta Usługi medyczne (5 rodzajów usług) Poziom bezpieczeństwa dziecka w szkole Poziom nauczania w szkole Relacje rodzica z wychowawcą Szkoła podstawowa / gimnazjum

Przykładowe pytanie z kwestionariusza dla Urzędu Skarbowego

Struktura MJR . . . . I1 I10-100 MJR1 I2 I20-100 MJR2 MJR(o) Ik modele SEM-PLS satysfakcja obywateli unormowana satysfakcja obywateli (skala 0-100) indeks MJR dla usługi wagi proporcjonalne do liczby osób, które korzystały z usługi w ciągu ostatniego roku poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi średnia I1 I10-100 MJR1 usługa 1. u1 poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi średnia u2 I2 I20-100 MJR2 usługa 2. MJR(o) . . . . uk względem usługi poziom wymagań wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości odczuwana jakość usługi średnia usługa k. Ik Ik0-100 MJRk

Sposób wyznaczania indeksu satysfakcji (1) Satysfakcja z usługi pojedynczego obywatela Ik(x) poziom satysfakcji z usługi k dla respondenta x wki współczynniki dla wskaźników Qi uzyskane w wyniku estymacji modelu strukturalnego dla usługi k Qki(x) odpowiedź respondenta x na pytanie wskaźnikowe Qi dotyczące usługi k Pytania wskaźnikowe opierają się na skali od 1 do 9

Sposób wyznaczania indeksu satysfakcji (2) Satysfakcja z usługi pojedynczego obywatela na skali 0-100 Ik0-100(x) poziom satysfakcji z usługi k dla respondenta x na skali 0-100 wki współczynniki dla wskaźników Qi uzyskane w wyniku estymacji modelu strukturalnego dla usługi k Qki(x) odpowiedź respondenta x na pytanie wskaźnikowe Qi dotyczące usługi k Zmienna Ik0-100 jest wyrażona na skali od 0 do 100

Sposób wyznaczania indeksu satysfakcji (3) Ogólna forma indeksu satysfakcji (MJR) Indeks satysfakcji obywateli wyliczany jest jako średnia satysfakcja (wyrażona na skali 0-100) zbadanych osób z danej usługi Taka średnia może zostać policzona zarówno dla całej Polski, jak i np. dla poszczególnych województw (bierzemy wtedy pod uwagę tylko mieszkańców danego województwa) MJR jest wyrażony na skali od 0 do 100

Sposób wyznaczania indeksu satysfakcji (4) Indeks jakości rządzenia na danym obszarze MJRk(o) indeks satysfakcji z usługi k na obszarze o (w województwie lub w całej Polsce) uk waga proporcjonalna do częstości korzystania obywateli z usługi k (wagi unormowano tak, aby MJR(o) było wyrażane na skali 0-100) MJR jest wyrażony na skali od 0 do 100

Zalety podejścia Zalety MJR Zalety metodologiczne Sprawdzona metodologia Standaryzowany sposób oceny satysfakcji Możliwość agregacji i porównań uzyskanych ocen Możliwość śledzenia zmian w uzyskanych ocenach w czasie Zalety praktyczne Zobiektywizowana ocena jakości działania służb publicznych Opis jakości usług na poziomie ogólnokrajowym i lokalnym Pozyskanie informacji na temat oczekiwań obywateli wobec instytucji publicznych Możliwość wdrożenia okresowej kontroli jakości działania służb publicznych

Prywatna służba zdrowia 81 pkt Polska 70 pkt Jakość usług publicznych w Polsce

Województwo lubelskie 74 pkt Prywatna służba zdrowia 85 pkt Jakość usług publicznych w woj. lubelskim

Województwo śląskie 67 pkt Prywatna służba zdrowia 82 pkt Jakość usług publicznych w woj. śląskim

Indeksy satysfakcji z usług publicznych w przekroju terytorialnym

Biłgoraj na tle pozostałych gmin wiejskich

Gołdap na tle pozostałych miast do 20 tys. mieszkańców

Słupsk na tle pozostałych miast od 20 tys. do 100 tys. mieszkańców

Poznań na tle pozostałych miast pow. 100 tys. mieszkańców

Polska: 70 pkt Porównanie wyników ACSI versus MJR (1)

Publiczna służba zdrowia Prywatna służba zdrowia USA 2010 Polska 2010 Koszyk 10 usług 70 Publiczna służba zdrowia 75 Prywatna służba zdrowia 81 Poczta 64 Porównanie wyników ACSI versus MJR (2)

PLS rekonstrukcja metody Tomasz Żółtak

Statystyczna geneza PLS Podstawy podejścia opracowane na przełomie lat 60. i 70. XX w. przez Hermana Wolda. Uczniem Wolda był Jöreskog, twórca modeli SEM-ML. W odróżnieniu od modeli SEM-ML metoda PLS z założenia miała być mało wymagająca względem danych: Nie odwoływać się do założeń o rozkładach zmiennych. Umożliwiać estymację nawet przy małej liczbie jednostek obserwacji. W latach 80. w pracach Wolda i Lohmöllera przedstawiono dowody, że przy pomocy pewnych wariantów modeli PLS można estymować: Korelacje kanoniczne (w tym dwa uogólnienia korelacji kanonicznej na wiele grup zmiennych zaproponowane przez Horsta i Carolla). Regresję PLS. Inter-battery factor analysis. Redundancy analysis. I wymienione w ostatniej kropie są jedynymi sytuacjami, w których udowodniono, że algorytm zawsze zbiega (odpowiada to, po pierwsze wszystkim możliwym rodzajom modeli dla dwóch bloków zmiennych i modelowi hierarchicznemu z wieloma blokami-czynnikami i jednym czynnikiem wyższego rzędu – p. Tenenhaus i. in. s. 196).

Własności estymacji metodą PLS W odróżnieniu od modeli SEM-ML algorytm estymacji PLS w ogólności nie dąży do maksymalizacji żadnej globalnej funkcji dopasowania modelu do danych. Choć dla szczególnych modeli (por. poprzedni slajd) można wskazać, że efektem działania algorytmu jest optymalizacja pewnego kryterium. Estymacja modelu strukturalnego metodą PLS w ogólności daje się opisać tylko jako realizacja rozsądnego algorytmu działania. Nie można jednak (w ogólności) syntetycznie powiedzieć, do czego ten algorytm dąży. Modele PLS są nakierowane na przewidywanie i eksplorację (możliwość uwzględnienia bardzo wielu zmiennych bez napotykania problemów z identyfikowalnością modelu czy niestabilnością wyników), a nie (jak SEM-ML) na testowanie hipotez. Kasia w swojej prezentacji ma już coś o zaletach, więc ja wspominam jeśli nie o wadach, to o wątpliwościach ;) Niemniej zawsze możesz tu dopowiedzieć, że za to możemy bez obaw wrzucać tu praktycznie wszystko i mamy bardzo małe wymagania względem liczby obserwacji (gdyby ktoś pytał dlaczego – zaraz będzie). Mówienie o tym, że modele PLS są dobre do przewidywania opiera się na następującej argumentacji: do modeli PLS można bezkarnie wrzucić całą masę zmiennych (no bo co robisz jak chcesz dobrze przewidzieć, wrzucasz w model wszystko, co może mieć jakikolwiek związek ;) ) i one to cały czas pociągną, podczas gdy SEM-ML się tą liczbą zmiennych zapcha i na Ciebie wypnie.

Estymacja PLS W modelu wydziela się część pomiarową (zewnętrzną) i część strukturalną (wewnętrzną). Ogólna idea estymacji sprowadza się do naprzemiennego wyliczania współczynników zewnętrznej i wewnętrznej części modelu w oparciu o wartości zmiennych ukrytych obliczone na podstawie współczynników z poprzedniego kroku estymacji. ξ1 X11 X51 ξ5 Tu nie ma strzałeczek, bo kierunek strzałeczek zależy od wariantu. Warianty na kolejnych slajdach. X31 X52 ξ4 ξ3 X21 X61 ξ6 ξ2 X22 X62 X23 X41 X42 X43

Warianty dla części pomiarowej Warianty można wybrać niezależnie od siebie dla każdego bloku zmiennych. Blok typu reflective: Xij= ωij0+ ωijξj+εij E(εij)=0, cor(εij, ξj)=0 Dla każdej zmiennej w bloku estymowane jest oddzielne równanie regresji liniowej. Blok powinien być jednowymiarowy (teoria plus sprawdzian empiryczny, np. PCA, alfa Cronbacha). X21 ξ2 X22 X23 Blok typu formative: ξj=∑ω ijXij+δj E(δj)=0, i cor(δj, Xij)=0 Dla całego bloku estymuje się jedno równanie regresji liniowej. Z analizy należy usunąć zmienne, dla których okazałoby się, że sign(ω ij)≠sign(cor(Xij, ξj)) Można się oczywiście posłużyć analogią: reflective to coś na kształt analizy czynnikowej, formative coś na kształt metody głównych składowych. Gdy w bloku jest tylko jedna zmienna, to oczywiście uznaje się ją za tożsamą ze zmienną ukrytą, składniki błędów wylatują i w praktyce nie ma żadnej różnicy między jednym wariantem a drugim. Pewnie warto będzie wspomnieć, że w MJRze wykorzystujemy wariant reflective. X21 ξ2 X22 X23

Warianty dla części strukturalnej ξj=ej0+∑eijξi+νj gdzie ξi są bezpośrednio połączone z ξj (również gdy ξi następują po ξi ) Centroid scheme: eij=sign(cor(ξi, ξj)) Factorial scheme: eij=cor(ξi, ξj) Path weghting scheme: eij=βξj|ξi; ξi’ dla ξi poprzedzających ξj w porządku czasowym eij=cor(ξi, ξj) dla ξi następujących po ξj w porządku czasowym A tu wspomnieć, że w MJRze korzystamy z Path weigting scheme. Beta w path weigthing scheme to standaryzowany współczynnik przy danej zmiennej w regresji ξj ze względu na wszystkie poprzedzające go ξi ξ1 ξ5 ξ4 ξ3 ξ2 ξ6

Algorytm estymacji PLS Załóż początkowe wartości współczynników dla pomiarowej części modelu (ωij). Współcześnie używa się zwykle wag z 1. składowej głównej. Oblicz zewnętrzne estymatory zmiennych ukrytych jako: ξj ∑ωij [Xij –E(Xij)] gdzie  oznacza standaryzację wyrażenia po prawej. Na podstawie tak wyliczonych estymatorów oblicz wartości współczynników strukturalnej części modelu (eij). Oblicz wewnętrzne estymatory zmiennych ukrytych jako: ξj ∑ei ξi Na podstawie tak wyliczonych estymatorów oblicz nowe wartości współczynników zewnętrznej części modelu (ωij). Powtarzaj kroki 2.- 5. do uzyskania zbieżności. Obliczenia w punktach 3. i 5. przebiegają oczywiście zgodnie z tym, co było pokazane na dwóch poprzednich slajdach.

Algorytm estymacji PLS Po uzyskaniu zbieżności wykonuje się dwa ostatnie kroki: Wyliczenie ostatecznych wartości estymatorów zmiennych ukrytych: ξj=∑ωij [Xij –E(Xij)] / σ gdzie σ=D(∑ωij [Xij –E(Xij)] ) Tak uzyskane estymatory zwykle unormowuje się jeszcze na jeden z dwóch sposobów: 1) ξj‘= ξj+∑ωijE(Xij) / σ („odcentrowanie” zmiennej) 2) ξj‘’= [ξj‘+∑ωijE(Xij) ] / ∑ωij równoważnie: ξj‘’= ∑ωijXij / ∑ωij (przedstawieniu zmiennej ukrytej na tej samej skali, co zmienne mierzalne danego bloku) Wyliczenie współczynników opisujących zależności przyczynowe w części strukturalnej modelu, przy użyciu analizy ścieżkowej. Sposób 2) jest oczywiście ACSI’owy. Można dodać, że żeby dało się to tak policzyć, muszą być spełnione dwa założenia: 1. wszystkie zmienne mierzalne danego bloku są mierzone na jednej skali, 2. wszystkie wagi zewnętrzne w danym bloku są nieujemne. Sposób 1) to właśnie „odcentrowanie”, tak aby zmienna ukryta miała średnią równą średniej ważonej (wagami) zmiennych mierzalnych z bloku.

Własności Estymacja metodą PLS sprowadza się do liczenia dużej liczby regresji liniowych, przy czym w każdym kroku procedury iteracyjnej każde z równań opisujących model jest wyliczane oddzielnie. Stąd niewielkie zapotrzebowanie na liczbę jednostek obserwacji – decyduje tutaj największa liczba zmiennych niezależnych występujących w pojedynczym równaniu (np. w modelu MJR cztery zmienne). Mniejsze są też problemy w przypadku braków danych – dany brak występuje bowiem tylko lokalnie, w jednym równaniu. W związku z tym nie występują też (dosyć często występujące w SEM-ML) problemy z nieidentyfikowalnością modelu. Błędy standardowe współczynników modelu można uzyskać z regresji obliczanych w ostatnim kroku estymacji, jednak obecnie często oblicza się je przy pomocy metod symulacyjnych (jakcknife, bootstrap). Duże zapotrzebowanie na obserwacje modeli SEM-ML wynika z tego, że wszystkie równania opisujące model są w nich estymowane jednocześnie.

Indeks zmienności wspólnej (communality index): Miary dopasowania Model PLS nie optymalizuje żadnego globalnego kryterium dopasowania do danych. Zaproponowano jednak kilka miar pozwalających ocenić wyniki estymacji: Indeks zmienności wspólnej (communality index): Miara wyliczana dla każdego bloku oddzielnie: communalityj=E[cor2(Xij, ξj)] Jako miary globalnej można użyć średnią ze wszystkich bloków. Redundancy index: redundancyj=communalityj R2ξj|ξ{i} gdzie ξi wyjaśniają ξj GoF (Goodness-of-fit): GoF=[ E(communality) E(R2ξj|ξ{i}) ]0,5 GoF to w gruncie rzeczy średnia geometryczna średniej wartości indeksu zmienności wspólnej i średniego R-kwadrat.

SEM: MLE vs PLS Wyznaczanie pametrów modelu MJR: SEM - PLS cecha cel estymacja parametrów modelu przyczynowego test hipotez na temat modelu przewidywanie wartości zmiennych ukrytych identyfikacja modelu zależy od modelu zawsze zidentyfikowany zależności między zmiennymi nie dopuszcza współliniowości dopuszcza współliniowość zarówno w części pomiarowej jak i strukturalnej modelu konieczna liczba jednostek obserwacji duża: 15-20 razy liczba zmiennych w modelu niewielka: max(15-20 razy liczba zmiennych niezależnych w pojedynczym równaniu modelu) metoda estymacji ML iteracyjna OLS założenia o rozkładach parametryczne: wielowymiarowy rozkład normalny nieparametryczne: dopuszcza brak normalności SEM: MLE vs PLS

Model Realizacja sondażu Otoczenie modelu Co dalej z MJR ? Model Weryfikacja trafności modelu reakcji klienta (relacje między konstruktami) Weryfikacja trafności wskaźników Problemy statystyczne: nieliniowość relacji konstrukt-wskaźnik, respondent-bias, Realizacja sondażu Definicja populacji użytkownków usługi i kontrola reprezentatywności ich prób Tanie technologie dotarcia do klientów usług Otoczenie modelu Wyczerpujące badanie triady lokalnej (O – W – N) Statystyka publiczna – efektywność usługi na obszarze