Twarze sondażu Twarze sondażu ADI 2014 Henryk Banaszak

Prezentacja na temat: "Twarze sondażu Twarze sondażu ADI 2014 Henryk Banaszak"— Zapis prezentacji:

1 Twarze sondażu Twarze sondażu ADI 2014 Henryk Banaszak
Zakład Statystyki, Demografii i Socjologii Matematycznej

2 Czym jest sondaż: pytanie
Pytanie: jaka jest frakcja (odsetek, procent, proporcja)zielonych kul w tym pudle? odpowiedź Pudło z kulkami dwóch kolorów, czerwonym i zielonym. Kul jest bardzo dużo. Nie jesteśmy w stanie ustalić koloru wszystkich kul. Chcemy wiedzieć jaką część stanowią kule zielone. Możemy ustalić kolor pewnej liczby kul wyjętych z pojemnika. Ustalenie koloru każdej kuli wyjętej z pojemnika kosztuje

3 Czym jest sondaż: wymagania wobec odpowiedzi
Pytanie Jaka jest frakcja (odsetek, procent, proporcja)zielonych kul w pojemniku? Trafna - odpowiedź ma być bliska stanowi rzeczy Wiarygodna – wykorzystam w pełni wszystkie informacje, za które zapłaciłem, nic istotnego dla jakości odpowiedzi nie zostanie pominięte ani zniekształceone Precyzyjna - z jak największą dokładnością, z jak najlepszym przybliżeniem Tania – jak najmniejszym kosztem.

4 Czym jest sondaż: składniki problemu i rozwiązania
Przedmiot Zakres Kolor kul Cel odsetek kul zielonych Rozwiązanie Metoda Wybiorę z pudła n kul Wybierał będę losowo ze zwracaniem Policzę, ile wśród wybranych jest kul zielonych – k Wyznaczę odsetek zielonych wśród wybranych p=k/n Na podstawie p udzielę odpowiedzi Wynik Odpowiedź jest przedziałem [p – e ; p + e]

5 Czym jest sondaż: parametry rozwiązania
Trafność Wiarygodność poziom ufności wniosku Precyzyja Koszt Koszt = n* 1 color cost

6 Czym jest sondaż: proporcja kul a „sondaż prawdziwy”
Problem proporcji zielonych w pojemniku W badaniu sondażowe 1 Pudło z kulami to Populacja 2 Nieznany odsetek zielonych kul w pudle Parametr populacji – frakcja zielonych 3 Liczba kul wybranych z populacji - n Liczebność próby pobranej z populacji - n 4 Sposób wybierania kul z pudła Schemat doboru próby (losowania) 5 Wybranie kul Realizacja badania sondażówego 6 Ustalenie koloru kul wybranych Ustalenie wartości zmiennej kolor dla każdej wybranej kuli - pomiar 7 Wyznaczenie proporcji zielonych wśród wybranych Analiza danych w próbie 8 p=k/n – proporcja zielonych Wynik w próbie – statystyka z próby 9 Odpowiedź na pytanie Wniosek na temat populacji 10 Sposob sformułowania odpowiedzi (szerokość przedziału) Reguła wnioskowania na temat wartości parametru poulacji na podstawie próby

7 Czym jest sondaż: struktura logiczna
Nieznana proporcja zielonych w populacji Znana własność próby skład próby: k kulek zielonych losowanie obliczenia pytanie ze zwracaniem Estymacja p odpowiedź wniosek Czym jest sondaż dokładność Populacja Schemat doboru próby Metoda wnioskowania

8 Sondaż jest badaniem statystycznym
Przedmiot populacja Zakres zestaw zmiennych służących do wyznaczenia odpowiedzi na pytania Cel zestaw pytań na temat rozkładów zmiennych w populacji Metoda badanie próby pobieranej z badanej populacji według schematu opisywanego w kategoriach probabilistycznych Wynik odpowiedzi na pytania na temat populacji na podstawie analizy łącznego rozkładu zmiennych wyznaczonych w próbie dobranej wedle schematu opisywanego w kategoriach probabilistycznych; oszacowania parametrów populacji

9 Dlaczego sondaż jest zawsze badaniem statystycznym
Przedmiotem każdego badania sondażowego jest zbiorowość, agregat statystyczny nazywany populacją, Sondaż jest diagnozą stanu populacji przeprowadzaną w warunkach niepewności i ryzyka popełnienia błędu Stan populacji (diagnoza) jest sformułowany stosownie do jej specyfiki - w języku statystyki opisowej O stanie populacji wnioskuje się na podstawie wyników uzyskanych w rezultacie badania próby wylosowanej z populacji Wynik uzyskany w wylosowanej i zbadanej próbie jest zdarzeniem losowym Sposób losowania próby opisany jest w języku rachunku prawdopodobieństwa Reguły wnioskowania na temat populacji na podstawie wyniku w próbie są wywiedzione z twierdzeń statytyki inferencyjnej Reguły wnioskowania na temat populacji na podstawie stanu próby wynikają ze sposobu jej losowania i wymagań odnośnie poziomu wiarygodności i precyzji wniosków

10 Statystyczna jakość sondażu – dokładność oszacowań
Wynik badania jest parametrem statystycznym Wynik badania jest obciążony niepewnością Rozmiar niepewności można wyliczyć znając: Własności operatu Schemat doboru próby Poziom non-response Poziom braków odpowiedzi Jakość realizacji (false records) Czynniki 3, 4 i 5 zależą głównie od wykonawcy badania

11 Praktyka sondażu: od czego zależy dokładność oszacowań
Populacja Schemat doboru próby Próba wylosowana lista obiektów populacji Operat Złożony wielstopniowy Dziurawa, stara Próba zbadana Non- response (400) No answer (30%) False responses (5%) Field-work Źródła obniżania precyzji oszacowań 1 2 3 4 5 2000 1600 Nierówne p-twa inkluzji Dlatego dokładność oszacowań jest prawie zawsze gorsza niż /-

12 Dokładność oszacowań w literaturze – „survey error”
Groves (2004; str vi) : Weisberg (2005, str 2) Błąd pokrycia (coverage error) Błąd wynikający ze schematu losowania (sampling error) Błąd powodowany przez niepełną realizację próby (nonresponse error) Błąd pomiaru (measurement error) spowodowany przez: „efekt ankieterski” ( effects of interviewers on the respondents’ answers); „efekt respondenta” (error due to respondents) pojawiający się, gdy respondent nie jest w stanie odpowiedzieć na pytanie (na przykład gdy nie rozumie jego treści) „efekt złych pytań kwestionariuszowych” (error due to the weaknesses in the wording of survey questionnaires) „efekt metody kontaktu z respondentem” (error due to effects of the mode of data collection) Pojęcie „błędu” jest zbędne - wystarczy pojęcie „dokładności oszacowania”

13 Survey sequence – Groves et. al., 2004

14 Sondaż: przedsięwzięcie
złożone multi-dyscyplinarne kosztowne

15 zaprojektowanym, zamówionym i przeprowadzonym typowym ogólnopolskim
Przebieg sondażu Operat: dostępność, koszt Schemat doboru (optymalność) Liczebność (wielkość) próby Kwestionariusz Projekt Przedmiot , cel, metoda, zakres, jakość Próba Wstępny projekt Pilotaże Czas trwania wywiadu Przetarg Kryteria wyboru oferty OPZ - SIWZ - Umowa Realizacja Kontrola ankieterów Monitoring jakości realizcji Analiza danych Raport Dokumentacja Podział budżetu: co kto robi Harmonogram Dokumentacja realizacji Rozliczenie z wykonawcą Wszystkie te elementy muszą znaleźć się w poprawnie zaprojektowanym, zamówionym i przeprowadzonym typowym ogólnopolskim badaniu sondażowym średniej wielkości o budżecie tys. zł

16 Sondaż – złożone, zbiorowe przedsięwzięcie multidiscyplinarne - 1
Etap Elementy etapu Niezbędne kwalifikacje zespołu sondażowego Przygotowanie projektu czy są dane i kwestionariusze z podobnych badań, jak badano dotychczas (F2F, CAPI - CATI - CAWI) i jak dobierano próby, ile kosztowały te badania Znawca badanej dziedziny Specjalista od sondażu Statystyk Projekt Określenie przedniotu (populacja) zakresu (objętość kwestionariusza) docelowej precyzji oszacowań operatu losowania sposobu doboru próby metody kontaktu z respondentem celu (szkic projektu analizy danych) Wstępny podział budżetu Wstępny harmonogram badania Znawca badanej dziedziny (populacja + zmienne) Próba Operat Schemat doboru próby Losowanie Kwestionariusz Wstępny projekt Pilotaż laboratoryjny (n=30) – pretest 1 Pilotaż statystyczny (n > 400) – pretest 2 Wersja ostateczna Przetarg Sporządzenie OPZ, SIWZ i projektu umowy Kryteria wyboru opferty Korespondencja z oferentami Wybór wykonawcy i podpisanie umowy Prawnik

17 Sondaż – złożone, zbiorowe przedsięwzięcie multidiscyplinarne - 2
Etap Elementy etapu Niezbędne kwalifikacje zespołu sondażowego Analiza danych Codebook – rozkłady brzegowe Skalowanie jedno- i wielo-wymiarowe Modelowanie Statystyk Metodolog Dokumentacja badania Opis schematu doboru próby: prawdopodobieństwa inkluzji, wagi analityczne Rozkłady przyczyn non-responsów Zastosowane procedury imputacji braków danych Zastosowane procedury kalibracji Zastosowane klasyfikacje zmiennych metryczkowych: zawód (ISCO), wykształcenie (ESCED), sektor zatrudnienia (PKD) typ gospodarstwa domowego Specjalista od sondażu Statystyk Analityk statystyczny Raport z badania Grafika Tabele Tekst Prezentacje Znawca badanej dziedziny

18 Kogo potrzebujemy w sondażu?
Teoria zjawiska Teoria pomiaru Dobór próby Fieldwork Ankieterzy Teoria skalowania Analiza danych Dobór wskaźników Statystyczne odpowiedzi na statystyczne pytania Precyzja oszacowań Estymacja „KWESTIONARIUSZ” Interpretacja wyników analiz w teorii zjawiska Pytania statystyczne kompetencje statystyczne Zmienne statystyczne Sondaż – przedsięwzięcie multi-dyscyplinarne

19 Sondaż dobrej jakości Kosztuje nie więcej niż to niezbędne
Trwa nie dłużej niż to niezbędne Odpowiada na te pytania Które zamawiający postawił Odpowiada trafnie Odpowiada wiarygodnie Odpowiada precyzyjnie

20 Na dobry sondaż składa się sekwencja dobrych i zależnych od siebie składników
Czy wyniki badania sondażowego dostarczą odpowiedzi na nasze pytania Projekt Czy wiemy, jakiej dokładności oszacowań potrzebujemy Czy nasz budżet starczy na wykonanie badania dostarczającego potrzebnej dokładności oszacowań Czy starczy czasu na badanie: projekt, kwestionariusz, przetarg, wykonanie, dokumentację, raport Próba Czy istnieje operat, z którego można wylosować próbę niezbędną do uzyskania założonej dokładności oszacowań? Czy istnieją dane populacyjne pozwalające warstwować próbę? Kwestionariusz Czy ktoś przeprowadził badania na podobny temat? Jakie błędy w konstrukcji kwestinariusza popełniono w tych ch badaniach? Przetarg Które elementy sekwencji sondażowej możemy wykonać sami a które zlecimy wykonawcy badania? Czy kryteria jakości wykonania sondażu stosowane w rozliczeniach z wykonawcą chronią nasz interes Realizacja Czy mamy w budżecie środki na terenową kontrolę realizacji badania? Czy mamy firmę, która przeprowadzi rzetelną i wiarygodną kontrolę terenową? Dokumentacja Czy lista dokumentów dostarczanych przez wykonawcę badania jest kompletna? Czy pozwalają one na wyliczenie parametrów jakości badania, w tym dokładności oszacowań ?

21 Jakość realizacji badania
Budżet badania Koszt realizacji Dokładność oszacowań Wielkość próby Koszt jakości Koszt dojazdów Schemat doboru próby Jakość realizacji badania Fieldwork Operat Koszt operatu Czas trwania - koszt 1 wywiadu Response-rate Missing values False records Projekt Kwestionariusz Pominięte pytanie Odmowa odpowiedzi Raport Koszt projektowania Zewnętrzna kontrola ankieterów wykonawcy Koszt kontroli jakości realizacji

22 Projektowanie sondażu – budżet
Etap Elementy etapu Koszt % 1. Prace poprzedzające projekt czy są dane i kwestionariusze z podobnych badań (archiwa sondażowe, statystyka publiczna) jak badano dotychczas (F2F, CAPI - CATI - CAWI) i jak dobierano próby, ile kosztowały te badania 1-2 2. Przygotowanie projektu Określenie podstawowych elementów badania: przedniotu (populacja), celu (pytań badawczych), metody kontaktu z respondentem zakresu (objętość kwestionariusza) docelowej precyzji oszacowań, operatu losowania i sposobu doboru próby Podział budżetu i harmonogram badania 5-10 3. Przygotowanie kwestionariusza Analiza kwestionariuszy z wykonanych badań, projekt własnego kwestionariusza Pilotaż laboratoryjny (n=30) – pretest 1, pilotaż statystyczny (n > 400) – pretest 2, wersja ostateczna Test skryptu CAPI 5-7 4. Dobór próby Operat (zakup, przetwarzanie), projekt schematu doboru próby, losowanie, dokumentacja 3-5 5. Przygotowanie i przeprowadzenie przetargu Sporządzenie OPZ, SIWZ, projektu umowy (kryteria wyboru opferty Korespondencja z oferentami Wybór wykonawcy i podpisanie umowy 6. Realizacja badania w terenie 7. Nadzór nad realizacją Bieżąca kontrola realizacji (zakresów i spójność logiczna danych, non-response, wywiady podejrzane) Kontrola terenowa ankieterów – firma zewnętrzna (5%) Rozliczenie z wykonawcą (1%) 8-10 8. Analiza danych Codebook – rozkłady brzegowe, skalowanie jedno- i wielo-wymiarowe, Modelowanie 2-5 9. Dokumentacja badania Dokumentacja realizacji w warstwach i podgrupach, rozkłady przyczyn non-responsów Zastosowane procedury imputacji braków danych i kalibracji 10. Raport z badania Grafika, tabele, tekst, Prezentacje Podział budżet typowego badania ogółnopolskiego średniej welkości ( tys.PLN) między wszystkie jego etapy oprócz realizacji w terenie

23 Projektowanie sondażu – struktura kosztów wykonawcy
pozycja Koszt zł % kosztu całowitego Koszty stałe 10,0 zł 10 Realizacja w terenie 88 wynagrodzenia ankieterów 30,0 zł 30 koordynacja 8,3 zł koszty przejazdów 40,0 zł 40 druk materiałów 0,4 zł koszty przesyłek 1,7 zł koszty telefomunikacyjne 2,0 zł szkolenia ankieterów i koordynatorów 1,5 zł koszty listów zapowiednich 4,0 zł Razem realizacja 87,9 zł Kontrola wewnętrzna ankieterów 2,1 zł 2 Razem 100,0 zł Orientacyjna struktura kosztów z badania ogólmpolskiego, próbie imiennej adresowej pobieranej z operatu PESEL, trwającego 12 miesięcy, w którym wyknawca dostarcza zamawiającemu 2000 wywiadów miesięcznie realizowanych metodą CAPI

24 Projektowanie sondażu – harmonogram
Etap Czas (tygodnie) 1. Prace poprzedzające projekt 1-2 2. Przygotowanie projektu 2-3 3. Przygotowanie kwestionariusza 3-4 4. Dobór próby 1 5. Przygotowanie i przeprowadzenie przetargu 2 (przygotowanie) 4 (przeprowadzenie) 6. Realizacja badania w terenie 4-5 7. Nadzór nad realizacją 8. Analiza danych 9. Dokumentacja badania 10. Raport z badania 2 Razem 20-26 Harmonogram typowego badania ogółnopolskiego średniej welkości o budżecie tys.pln

25 Zanim zaczniesz projektować własny sondaż
Sprawdź, czy potrzebne Ci dane na temat populacji nie zostały już zebrane i są dostępne w postaci „surowej” w domenie publicznej Dane z sondaży prowadzonych przez GUS cyklicznie Symbol Pełna nazwa badania Liczba gd. badanych rocznie Liczba osób. badanych rocznie BAEL Badanie aktywności ekonomicznej ludności 106255 422000 BBGD Badanie budżetu gospodarstw domowych 37584 101477 SILC Statistics on Income and Living Conditions 12930 37379 BSS*) Badanie spójności społecznej razem 169699 598235 Dane z sondaży tematycznych ad hoc prowadzonych przez GUS uczestnictwo ludności w kulturze (1990, 2005, 2009), ochrona zdrowia w gospodarstwach domowych (1998, 1999, 2000, 2003, 2006, 2010), ubezpieczenia osobowe i majątkowe w gospodarstwach domowych (1998, 2004) turystyka i wypoczynek w gospodarstwach domowych (1998, 2001, 2005, 2009), uczestnictwo Polaków w sporcie i rekreacji (1999, 2007), budżet czasu ludności (2003/4, 2013) wykorzystanie technologii informacyjno-telekomunikacyjnej w gospodarstwach domowych (co rok od 2004),

26 Zanim zaczniesz projektować własny sondaż
Zawartość danych z sondaży prowadzonych przez GUS Listy wszystkich badań prowadzonych przez GUS w poszczególnych latach znajdują się w programach badań statystyki publicznej publikowanych w Dziennikach Ustaw Kwestionariusze stosowane w sondażach GUS są publikowane w dwóch miejscach Dostęp do danych sondażowych GUS: prawo i deklaracje Ustawa o statystyce publicznej z dnia 29 czerwca 1995 r. Ustawa o ochronie danych osobowych 29 sierpna 1997 Ustawa o dostępie do informacj publicznej 6 wrzesnia

27 Zanim zaczniesz projektować własny sondaż
Wykorzystaj dane sondażowe (surowe) w domenie publicznej Archiwum danych społecznych (ADS) Instytutu Studiów Społecznych UW oraz Instytutu Filozofii i Socjologii PAN zawiera dane (min.) z następującyh badań: PGSS Polski Generalny Sondaż Społeczny ISSP International Social Survey Programme ESS European Social Survey DS Diagnoza Społeczna EUBar European Commission's Eurobarometer Dane z ostatnich lat, których nie ma w ADS mogą być dostęne (za darmo) na stronach projektu

28 Zanim zaczniesz projektować własny sondaż
Wykorzystaj zasoby firm badawczych prowadzących sondaże typu „Omnibus” firma link Obroty w roku 2013 (mln zł) Millward Brown 112 GfK Polonia 90 TNS Polska 77 IPSOS 54 PBS 30 Grupa IQS 17 4P research mix 9 ARC Rynek i Opinia Fundacja CBOS 3 Sprawdź kwestionariusze, ceny i dostępność danych surowych

29 Zanim zaczniesz projektować własny sondaż
Sprawdź, czy wystarczy Ci umieścić własny blok pytań w badaniu typu „Omnibus” pytanie zamknięte wielowyborowe 1 800 zł pytanie otwarte, wymagające głębszej analizy semantycznej wypowiedzi (preferencje, opinie, oczekiwania itp.) 2 100 zł Zanim zamówisz, sprawdź metryczkę kwestionariusza stosowanego w badaniu typu „Omnibus” oraz dostępność dokumentacji badania pozwalającej ustalić dokładność populacyjnych oszacowań dokonywanych na jego podstawie: Definicję badanej populacji (terytorium, wiek) Opis operatu i schematu doboru próby (alokacja, warstwy, wiązki, wagi analityczne) Sposób kontaktu z respondentem (CATI, CAPI, WAPI) Response rate w podstawowych warstwach Rozkłady przyczyn nieuzyskania wywiadu Rozkłady odpowiedzi nieważone (bez wag wykonawcy) Dokładność oszacowań podawaną przez wykonawcę badania Sposób wyznaczania dokładniości oszacowań przez wykonawcę badania Jeśli firma nie gwarantuje wszystkich w/w dokumentów – nie zamawiaj u niej niczego

30 Projektowanie własnego sondażu – sprawy najważniesze
Założenia Przedmiot (populacja), zakres (zmienne), cel (pytania statystyczne), metoda kontaktu z respondentem, wymagana jakość (dokładność oszacowań) Kwestionariusz Dobry kwestionariusz nie ma błędów formalnych, językowych i znaną wartość diagnostyczną – odpowiedzi na jego pytania są trafnymi wskaźnikami cech, które nas interesują. Próba Aby próbę wylosować, trzeba mieć dobry operat, pozbawiony błędów i braków. Dobra próba ma niski koszt realizacji i daje dużą dokładność oszacowań. Przetarg Wybieramy wykonawcę, który jest w stanie wykonać badanie z należytą jakością. Umowa z wykonawcą chroni interes zamawiającego i pozwala nie płacić za usługę, której jakość nie spełnia wymagań zamówienia Realizacja Sposób kontaktu z respondentem jest dopasowany do specyfiki badania. Jakość pracy ankieterów wykonawcy jest kontrolowana przez firmę zewnętrzną Wyniki zewnętrznej kontroli nie podlegają negocjacjom z wykonawcą badania Dokumentacja Dokumentacja badania dostarczana przez wykonawcę spełnia standardy AAPOR (patrz zamawianie pytań w badaniu typu „Omnibus”)

31 Założenia: co trzeba wiedzieć przed sondażem
aby warto było płacić za jego wykonanie Przedmiot czyli Populacja – zbiorowość jednostek obserwacji statystycznej, której stan ma diagnozować sondaż Jeśli nie wiesz, jakiej zbiorowości diagnoza ma być wykonana – nie potrzebujesz sondażu Zakres i cel czyli Zmienne statystyczne określone w popullacji i ich parametry, których wartości trzeba oszacować Jeśli nie wiesz, jakie parametry i jakich zmiennych w populacji trzeba oszacować – nie potrzebujesz sondażu Jakość czyli Trafność, wiarygodność i dokładność oszacowań parametrów zmiennych w populacji Jeśłi nie wiesz, jakiej potrzebujesz dokładności oszacowań parametrów zmiennych w populacji – nie potrzebujesz sondażu Jeśli znasz odpowiedzi na powyższe pytania, możesz wybrać metodę zbierania danych o jednostkach populacji w wylosowanej ich próbie Metoda kontaktu CAPI CATI WAPI

32 Kwestionariusz

33 Kwestionariusz – podsawowe zasady
Zanim zaczniesz projektować własny kwestionariusz – przeczytaj cudze i nie powtarzaj cudzych błędów Nie wymyślaj własnych pytań ”metryczkowych” i kategoryzacji – zastosuj te, które są sprawdzone i pozwalają na porównanie ich rozkładów z danymi populacyjnymi publikowanymi przez GUS. Poprawny kwestionaniusz wywiadu: Nie zawiera błędów logicznych (na przykład nierozłączne zakresy odpowiedzi) Jest poprawny językowo Jest językowo prosty - nie zawiera abstrakcyjnych pojęć i terminów, których respondent nie zna lub nie rozumie Nie zawiera pytań o na tematy dla respondenta drażliwe Jest krótki Jeśli nie może być krótki, pytania muszą podtrzymywać uwagę respondenta także w drugiej części wywiadu Uwzględnia proces przetwarzania danych i raportowania wyników Pamiętaj, że odpowiedzi na pytania ankietowe to wskaźniki cech odpowiadającego

34 (estymacja parametru populacji)
Dobry kwestionariusz dobra teoria, trafne wskaźniki, dobre modele pomiarowe Dobry kwestionariusz: Odpowiedzi to wskaźniki wskaźniki cechy ukrytej Teoria zjawiska, teoria reakcji, teoria skalowania model pomiarowy Cecha ukryta (estymacja parametru populacji)

35 Inteligentne wskaźniki
Szacowanie frekwencji wyborczej w wyborach parlamentarnych Czy zamierza Pan(i) wziąć udział w wyborach w najbliższą niedzielę? Jak Pan(i) sądzi, jaka będzie frekwencja w wyborach w najbliższą niedzielę? 1. Tak 2. Nie 3. Nie wiem |___| % Średnia odsetków podawanych przez respondentów % odpowiedzi TAK

36 Inteligentne wskaźniki
Wyznaczanie ceny produktu, przy której oczekiwana liczba nabywców będzie największa Przy jakiej cenie uznałbyś produkt za zbyt tani, aby mógł być dobrej jakości? (Cheap) Przy jakiej cenie uznałbyś produkt za tani, ale odpowiedniej jakości? (Too Cheap) Przy jakiej cenie uznałbyś produkt za drogi, ale wart ewentualnego zakupu? (Expensive) Przy jakiej cenie uznałbyś produkt za zbyt drogi i nie wart zakupu? (Too Expensive) Za ile kupiłbyś produkt? |_______| zł kwota średnia środkowa

37 Skalowanie złożone – SEI
Socio-Economic-Index: skala społeczno-ekonomicznego statusu zawodu

38 Skalowanie złożone: poziom zadowolenia z ….
Jak bardzo zadwolony(a) jest Pan(i) ze swojego miejsca zamieszkania ? Bardzo zadowolony(a) Zadowolony(a) Niezadowolony(a) Bardzo niezadowolony(a) % odpowiedzi 1, 2 Jak bardzo zadowolony(a) jest Pan(i) X1 ze swoich sąsiadów Cecha ukryta: poziom zadowolenia Z X2 z poziomu czystości Biorąc to wszystko pod uwagę, proszę powiedzieć, jak Panu(i) się żyje w Pana(i) okolicy? Y X3 z zaopatrzenia sklepów X4 z placówek kulturalnych X5 z poziomu bezpieczeństwa Wyznacz takie wartości Z, które najlepiej przewidują odpowiedź Y Wskaźniki typu „źródła” Wskaźniki typu „skutki”

39 Skalowanie złożone: American Consumer Satisfaction Index (ACSI)
Jak bardzo zadwolony(a) jest Pan(i) z usługi? Bardzo zadowolony(a) Zadowolony(a) Niezadowolony(a) Bardzo niezadowolony(a) % odpowiedzi 1, 2 poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości Q1 ogólne oczekiwania Q6 ogólna satysfakcja Q11 polecanie usługi innym Q7 spełnianie oczekiwań Q8 porównanie z ideałem Q5 ogólna ocena jakości Q2 ocena jakości wymiaru 1 Q3 ocena jakości wymiaru 2 Q4 ocena jakości wymiaru 3 Q9 czy złożył skargę Q10A/B reakcja na skargę Q12 wiara w stabilność poziomu jakości odczuwana jakość usługi Model pomiarowy ACSI dla usług

40 Skalowanie poziomu ekonomicznego i kulturowego kapitału jednostki
KE-in Źródła kapitału ekonomicznego Kapitał sieciowy Manifestacje kapitału ekonomicznego Źródła kapitału kulturowego Manifestacje kapitału kulturowego Model skalowania strukturalnego inspirowany przez teorię Bourdieu KK-in KE-out KK-out KE-in KK-in Liczba samochodów w gosp dom. Doch na 1 os w gosp dom Głowa rodziny kieruje pracą innych Liczba pracujących w gosp dom Resp pracuje w sektorze prywatnym Resp prowadzi własną firmę Wskaźniki Wykszt resp Wykszt matki respo Liczba książek w gosp dom Wykszt głowy gosp dom Wykszt ojca resp Liczba DVD w gosp dom Liczba CD w gosp dom Wskaźniki KK-out KE-out Poziom kompetencji komputerowej (skala) Liczba opanowanych jezyków obcych Rachunek bankowy obsługiwany internetowo Intensywność używania internetu Liczba przeczytanych książek Intensywność używania komputera Samoocena sytuacji materialnej obecnej Wyjazd podczas urlopu Oczekiwana sytuacja materialna za 5 lat Wyjazd urlopowy za granicę Korzystanie z prywatnej służby zdrowia Zasoby czasu wolnego Wskaźniki Wskaźniki

41 Próba

42 Przykłady prostych operatów:
Próba - operat Aby próbę wylosować, trzeba mieć z czego. Operatem jest to, z czego próbę się losuje. Operat (ang. sampling frame) to lista (ponumerowanych) obiektów populacji, na której można oznaczyć jednostki wylosowane Operat występuje zazwyczaj w wersji elektronicznej lub papierowej Jakość operatu (współ-)decyduje o jakości sondażu - dokładności oszacowań Dobry operat: Jest kompletny – zawiera listę wszystkich elementów populacji. Odsetek elementów populacji nieobecnych w operacie to błąd pokrycia (ang. coverage error) – im większy, tym gorsza jest dokładność populacyjnych oszacowań. Jest bezbłędny i aktualny Przykłady prostych operatów: Lista uczniów zapisana w dziennikiu klasowym Lista bezrobotnych zarejestrowanych w pojedynczym UP Lista uprawnjionych do głosowania w komisji wyborczej XYZ

43 Operaty używane za granicą - Szwecja, Kanada (Sarndal, 1992)

44 Operaty dostępne w Polsce
Dane statystyki publicznej jako operaty doboru próby Skrót Rozwinięcie Zawartość Liczba rekordów PESEL Państowy system ewidencji ludności Dane osobowe osoby zameldowanej (imię, nazwisko, rok urodzenia, płeć, adres zameldowania) Wszyscy - 38,5 mln NOBC Centralny rejestr lokali mieszkalnych systemu TERYT Adres lokalu: miejscowość, budynek, numer lokalu w budynku Wszyscy - 6 mln budynków 13 mln mieszkań REGON Centralny rejestr podmiotów gospodarczych Nazwa, adres, sektor gospodarki (PKD), forma własności, forma prawna, liczba zatrudnionych Około 3 mln, z tego ok. 2 mln to jednoosobowe działalności gospodarcze CEPiK Centralny rejestr pojazdów i kierowców Samochody i kierowcy SIO System Informacji Oświatowej MEN szkoły, nauczyciele, uczniowie, oceny Szkoły publiczne? CRP Centralny rejestr płatników płatnicy składek ZUS ? CRU Centralny rejestr uprawnionych (do pobierania świadczeń) pobierający świadczenia ZUS POLTAX Krajowa Ewidencja Podatników (PIT, CIT) KRS Krajowy Rejestr Sądowy Podnmioty gospodarcze RPWDL Rejestr Podmiotów Wykonujących Działalność Leczniczą Lekarze i i przychodnie na kontraktach z NFZ Adane adresowe, właściciela lub kierownika jednostki , adresy telefony i z systemu informatycznego MZ

45 Wady i zalety popularnych operatów dla prób ogólnopolskich
PESEL osoby zameldowane Centralny system ewidencji meldunkowej Zawiera informację o zameldowaniu a nie o faktycznym zamieszkiwaniu Stopa błędnych danych adresowych nie przekracza 5% Pozwala dokładnie kontrolować ankieterów Pozwala dokładnie wyznaczać response rate Konieczne złożone schematy doboru próby celem uniknięcia nadmiernych kosztów realizacji (dojazdy) NOBC spis mieszkań Prawie 100%-owa aktualność (mieszkania nie migrują) Konieczne losowanie osoby z wylosowanego mieszkania – ankieter decyduje o tym, kto zostaje respondentem Utrudniona kontrola pracy ankieterów Lokalne spisy Wyborców Starzeją się – migracje Nieznana stopa błędów Trudno dostępny (administracja)

46 Operaty dostępne w Polsce
Dane statystyki publicznej jako operaty doboru próby Pełną listę wszystkich (?) baz danych i resjestrów prowadzonych przez administrację państwową publikuje GUS Rejestry prowadzone przez GUS: Katalog baz i rejestrów poza GUS RPWDL SIO PESEL REGON Mimo ich publicznego charakteru dostęp do danych z rejestrów publicznych kosztuje: 1 rekord z rejestru PESEL to co 2-3 PLN (cały PESEL jest niedostępny) NOBC - dostęp do całej bazy to 3000 PLN

47 Losowy dobór próby

48 Próba losowa - formalnie
Sarndal (1992)

49 Probabilistyczny sposób doboru próby – mniej formalnie
1) o wyborze obiektów do badania, decyduje mechanizm losowy o znanych własnościach, a w konsekwencji: 2) każdy obiekt populacji ma dającą się obliczyć szansę (prawdopodobieństwo) bycia wylosowanym, nazywaną prawdopodobieństwem inkluzji a w konsekwencji: 3) dla każdego składu próby (rezultatu losowania) daje się obliczyć prawdopodobieństwo jego uzyskania, a w konsekwencji: a) umożliwia obliczenie dokładności oszacowań parametrów populacji przy założonym schemacie doboru próby i założonym poziomie ufności wniosku, b) pozwala na ustalenie minimalnej liczebności próby niezbędnej do osiągnięcia założonej dokładności oszacowań błędu przy założonym schemacie doboru próby i założonym poziomie ufności wniosku

50 Konsekwencje losowego doboru próby
§ Wynik losowania próby jest zdarzeniem losowym. § Wartości parametrów statystycznych wyznaczonych w próbie również są zdarzeniami losowymi. § Jeśli zdarzenie losowe jest charakteryzowane za pomocą liczb, mamy do czynienia ze zmiennymi losowymi. § Znajomość rozkładów prawdopodobieństwa na zbiorze rezultatów badania statystycznego, tak zwanych statystyk z próby, jest niezbędna do uzasadnienia reguł wnioskowania statystycznego. § Wnioskowanie statystyczne jest możliwe dzięki temu, iż rozkłady statystyk z próby bywają zbliżone do rozkładów zmiennych losowych dobrze znanych w rachunku prawdopodobieństwa. § Zbieżność rozkładów statystyk z póby badają zawodowi matematycy (specjaliści w zakresie raachunku prawdopodobieństwa) a rezultaty ich badań noszą nazwę twierdzeń granicznych

51 Forma twierdzeń granicznych
Wraz ze wzrostem liczby losowanych obiektów rozkłady prawdopodobieństwa wyników badania statystycznego stają się tak podobne do rozkładów pewnych zmiennych losowych, że można używać tych zmiennych jako podstawy do estymacji parametrów populacji i testowania hipotez na jej temat

52 Rozkład normalny  =10

53 Rozkład normalny standaryzowany
m=0, s=1 x

54 Kostrukcja reguł wnioskowania statystycznego Dokładnośc oszacowania
Pytanie Parametr rozkładu zmiennej X w populacji Próba Schemat losowania póby Prawdopodobieństwa inkluzji Wynik Statystyka z próby Dobry estymator parametru Rozkład estymatora Liczebność póby Założenia Dokładnośc oszacowania Reguła wnioskowania Poziom ufności

55 Kostrukcja reguł wnioskowania statystycznego: przykład ogólny
Pytanie Parametr rozkładu zmiennej X w populacji Losowanie ze zwracaniem Próba Schemat losowania póby Każdy obiekt ma identyczne p-two inkluzji równe P(wh  S) = n/N Estymator Statystyka z próby Rozkład estymatora Centralne twierdzenie graniczne Założenia Poziom ufności  = 0,95 Dokładność oszacowania Reguła wnioskowania

56 Dokładność oszacowań populacyjnej proporcji a liczebność losowej próby
Dokładność szacowania populacyjnej proporcji

57 Przykład twierdzenia granicznego dla średniej z próby
Twierdzenie o zbieżności rozkładu średniej z próby do rozkładu normalnego (CTG) Błąd oszacowania Minimalna liczebność próby Kwestionariusz – Próba – Realizacja – Analiza danych

58 a1 a2 a3 a4 1 2 3 1,5 2,5 Populacja Zmienna próba nr skład próby X1 X2
średnia 1 a1 2 a2 1,5 3 a3 5 9 4 a4 6 7 10 11 13 8 2,5 12 14 15 16

59 Granice stosowalności CTG w estymacji populacyjnej proporcji
Proporcja w populacji Minimalny rozmiar próby p n 0,50 30 0,40 50 0,30 80 0,20 200 0,10 600 0,05 1400 Źródło: W.G.Cochran, Sampling Techniques, John Wiley and Sons, New York, 1953, s..41 Używanie CTG poza granicami jego stosowalności prowadzi czasami do absurdu

60 Centralne twierdzenie graniczne – pułapka niskich proporcji
Przykład 1 Dane Z populacji uprawnionych do głosowania wylosowano ze zwracaniem 400 osób. Wśród wylosowanych 250 zamierza wziąć udział w wyborach. Na poziomie ufności 0,95 oszacuj populacyjną proporcję deklaracji udziału w wyborach Wniosek Przykład 2 Dane Z populacji uprawnionych do głosowania wylosowano ze zwracaniem 400 osób. Wśród wylosowanych 15 zamierza głosować na kandydata X. Na poziomie ufności 0,95 oszacuj populacyjną proporcję deklaracji głosowania na kandydata X TO niemożliwe !!!!! Wniosek

61 Kostrukcja reguł wnioskowania nie zawsze jest prosta:
W populacji Ω składającej się z N elementów jest nieznana liczba M elementów wyrożnionych. Oszacuj przedziałowo populacyjną frakcję  = M/N na podstawie wyniku w n-elementowej próbie pobranej z populacji Ω . Problem Przedział ufności dla frakcji Rozwiązanie ogólne Reguła wnioskowania Rozwiązanie przykładu 2

62 Wnioskowanie przy złożonych schematacch doboru próby
Complex sampling • Stratified sampling: fix the number sampled from a population stratum • Cluster sampling: recruit participants in clusters, eg, to reduce travel time between interviews • Unequal probability: oversample important subgroups, eg. high-poverty neighbourhoods Individuals are sampled with known probabilities i Estimation of population total Wnioskowanie przy złożonych schematach doboru próby wymaga znajomości prawdopodobieństw inkluzji dla wszystkich elementów populacji

63 Wnioskowanie przy złożonych schematacch doboru próby
Kish, Frankel (1974) Wnioskowanie przy złożonych schematacch doboru próby staje się tym trudniejsze im bardziej złożone są modele statystyczne, których populacyjne parametry należy oszacować

64 Popularne złożone schematy doboru prób
Próba adresowa gospodarstw domowych i schemat Kish Jednostką losowania jest mieszkanie losowane z operatu GUS W wylosowanym mieszkaniu ankieter przeprowadza mikrospis członków gospodarstwa domowego Po przeprowadzeniu mikrospisu ankieter wybiera (przy użyciu tabel z liczbami losowymi) losowo członka gospodarstwa, który staje się respondentem Wady: Trudność kontroli jakości mikrospisu trudność kontroli przyczyn niezrealizowania wywiadu Konieczność wyznaczania wag analitycznych post-factum Losowo-kwotowy dobór prób w badaniach typu OMNIBUS Populację dzieli się na warstwy terytorialne i klasy wielkości miejscowości Dla każdej z warstw losuje się taką liczbę gmin jaka wynika z założonego sposobu podziału próby między warstwy, W każdej z wylosowanych gmin ankieter rekrutuje respondentów zgodnie z listą ich profili definiowaną przez kryteria doboru (płeć, wiek, wykształcenie i ewentualne kryteria dodatkowe) Nielosowość doboru ogranicza się tu do wąskiej warstwy osób spełniających wszystkie kryteria rekrutacji Kwestionariusz – Próba – Realizacja – Analiza danych

65 Dobór nielosowy Cechy doboru celowego: o składzie badanej próby decydują badacz (określa kryteria doboru) i ankieter - wybiera spośród obiektów spełniających kryteria, do określenia kryteriów doboru dla każdego respondenta potrzebna jest wiedza o łącznych rozkładach cech w interesującej badacza zbiorowości - należy ją zdobyć zwykle za pomocą badań na próbach losowych . Dobór losowo-kwotowy: losowa alokacja terytorialna (miasto-wieś, regiony, województwa, gminy wiejskie, miejskie) a następnie celowy dobór respondentów Dobrze skonstruowana próba kwotowa (dobierana celowo) daje niekiedy dokładniejsze oszacowania niż mało liczna próba losowa. Pożądane własności nielosowych metod doboru: uzyskanie “dobrego przedstawicielstwa” populacji ze względu na ważne dla nas cechy, czyli reprezentatywności grupy zbadanej w przedmiotowym sensie.

66 Próba losowo-kwotowa: konstrukcja
Liczebności PŁEĆ WYKSZT Kobieta Mężczyzna Grand Total podstawowe 2 1 3 średnie 4 6 10 wyższe 7 9 16 GMINA PŁEĆ WYKSZT WIEK Warszawa-Bemowo Kobieta średnie 40-49 lat Mężczyzna 20-29 lat wyższe Bolesławiec podstawowe 15-19 lat 30-39 lat 60-64 lat Bydgoszcz 50-59 lat Bystrzyca Kłodzka Liczebności PŁEĆ WIEK Kobieta Mężczyzna Grand Total 15-19 lat 1 20-29 lat 3 4 30-39 lat 2 40-49 lat 5 50-59 lat 60-64 lat 7 9 16 Liczebności WYKSZT WIEK podstawowe średnie wyższe Grand Total 15-19 lat 1 20-29 lat 2 4 30-39 lat 3 40-49 lat 5 50-59 lat 60-64 lat 10 16 Kwestionariusz – Próba – Realizacja – Analiza danych

67 Kiedy warto stosować próby kwotowe
Warto stosować losowo-kwotowe gdy: Rozkłady zmiennych zależnych zależą silnie od regionu (typu) miejsca zamieszkania Rozkłady zmiennych zależnych zależą silnie od tych cech, które mogą być kryteriami doboru respondentów (płeć, wiek, wykształcenie); Rozkłady łączne cech doboru respondentów w populacji są dostępne i wiarygodne, Target group stanowi niewielką część populacji generalnej lecz jego członkowie daja się łatwo (najlepiej bez pytania) zidentyfikować - wówczas przynależność do target group może być dodatkowym kryterium selekcji Kwestionariusz – Próba – Realizacja – Analiza danych

68 Sondaże złe oraz nie-sondaże
Sonda telefoniczna (na losowej próbie abonentów) RDD Populacja posiadaczy telefonów stacjonarnych różni się istotnie od populacji dorosłych Polaków; Wyniki sondażu nie dają się uogólnić na całą populację dorosłych Polaków (operat jest niepełny i skrzywiony) Ankieta pocztowa (oparta na imiennej próbie adresowej) Response rate rzadko przekracza 20% a nigdy 40%, co czyni wyniki bezwartościowymi Ankieta umieszczana w gazecie (periodyku), Sondaż internetowy, Ankieta uliczna, Audio-tele (SMS-y) Nielosowy dobór uczestników badania – potencjalny respondent sam decyduje czy weźmie udział w badaniu czy nie; Nie można ustalić response rate ani dokładności oszacowań Nie wiadomo jaką zbiorowość reprezentują zebrane odpowiedzi Kwestionariusz – Próba – Realizacja – Analiza danych

69 Pułapki sondaży telefonicznych
Firma badawcza X GUS NSP2002 Wieś M-W Miasto Razem 1 dolnośląskie 76,4% -1,3% 75,1% 75,5% 57,7% 21,8% 79,5% 74,1% 2 kujawsko-pomorskie 70,7% -3,1% 67,6% 68,8% 53,2% 23,7% 77,0% 69,2% 3 lubelskie 73,6% 10,4% 84,0% 78,8% 57,5% 20,1% 77,6% 67,5% 4 lubuskie 62,7% 14,6% 77,3% 72,2% 61,5% 15,9% 77,5% 72,4% 5 łódzkie 63,5% 5,9% 69,4% 67,4% 54,5% 20,8% 75,3% 69,1% 6 małopolskie 70,1% 12,0% 82,1% 76,3% 67,2% 13,9% 81,1% 7 mazowieckie 2,0% 74,4% 73,8% 58,0% 25,1% 83,1% 75,6% 8 opolskie -0,3% 75,4% 54,3% 68,3% 62,3% 9 podkarpackie 70,9% 15,7% 86,5% 77,4% 56,0% 26,8% 82,8% 68,4% 10 podlaskie -1,7% 69,0% 61,2% 19,0% 80,2% 73,2% 11 pomorskie 69,7% 10,6% 80,3% 77,1% 55,4% 23,4% 78,7% 72,6% 12 śląskie 71,8% 0,8% 72,7% 72,5% 57,2% 12,2% 13 świętokrzyskie 59,1% 18,5% 44,5% 32,3% 76,8% 60,9% 14 warmińsko-mazurskie 12,1% 73,0% 68,2% 70,4% 64,7% 15 wielkopolskie 72,0% 0,4% 72,3% 67,0% 12,6% 79,6% 16 zachodniopomorskie 56,1% 14,2% 70,3% 66,3% 59,4% 16,9% 71,9% razem 69,6% 5,2% 74,8% 72,9% 58,2% 77,2% 71,0% min (M-W) 12,2% MAX (M-W) 32,3% min (M-W) -3,1% MAX (M-W) 18,5%

70 Realizacja

71 Czy ankieterzy oszukują Efekt ankieterski. Dlaczego CAPI.
Realizacja Sposoby komunikacji z respondentem i ich własności: PAPI – CAPI – CATI - WAPI Czy ankieterzy oszukują Efekt ankieterski. Dlaczego CAPI. Lekarstwo na złą realizację - terenowa kontrola jakości pracy ankieterów

72 Kryteria oceny jakości realizacji
DoKŁADNOŚĆ oszacowań: (% non-response, równomierność realizacji, % missing-data, % “sufitów”) Czas realizacji (od zamówienia do wyników) Koszt realizacji (koszt 1 rekordu) JAKOŚĆ KOSZTUJE Nie istnieją sondaże szybkie, tanie i dobrze zrealizowane

73 Komputerowa rejestracja przebiegu wywiadu
Jak pytać: CAPI Komputerowa rejestracja przebiegu wywiadu czas rozpoczęcia i zakończenia wywiadu – czas trwania wywiadu czas reakcji na poszczególne pytania długość przerwy między wywiadami Możliwość drobiazgowej kontroli ankietera Eliminacja efektu ankieterskiego

74 Kontrola jakości pracy ankietera
Systematyczna: wywiady zrealizowane non-response (adresy osób wylosowanych) Zobiektywizowana: Metodą F2F: kontroler dociera do respondenta lub osoby wylosowanej do badania, od której wywiadu nie uzyskano Przeprowadzana przez firmę zewnętrzną

75 Konsekwencje dobrej kontroli
Eliminacja wywiadów zrealizowanych budzących wątpliwości ankieterów, koordynatorów mało sprawnych, nierzetelnych systematyczna poprawa jakości danych Koszt kontroli

76 Response rate a dokładność oszacowań
Niedostępni, n2 Populacja próba = n -elementowa próba wylosowana z populacji Zbadani, n1 Response rate =

77 Response rate a dokładność oszacowań
Populacja dostępnych Populacja nie-dostępnych n1 = 1600 n2 = 400 Quasi-przedział ufności dla frakcji populacyjnej

78 Response rate a dokładność oszacowań populacyjnej frakcji
resp rate 95 90 85 80 75 70 wielkość próby dokładność przy 100%-owej realizacji próby optym pesym 100 10,0 12,0 12,2 12,6 14,5 13,1 16,7 13,4 18,9 13,7 21,2 13,8 23,4 400 5,0 6,0 7,4 6,3 9,7 6,5 12,1 6,7 6,8 16,8 6,9 19,2 900 3,3 4,0 5,7 4,2 8,2 4,4 10,6 4,5 13,0 4,6 15,4 17,8 1600 2,5 3,0 4,9 3,2 9,8 3,4 14,7 3,5 17,1 optymistyczny rozkład w niezrealizowanej części próby 50% +/- 1/ Ö n2 pesymistyczny rozkład w niezrealizowanej części próby 50% +/- 50%

79 p0+e Response rate a przewidywanie wyników referendum p0-e
Dane: PGSS 1992 Do you think, woman should have the possibility of legal abortion, when: 1 Yes 2 No 8 DK p1 e1 e p0 p0-e p0+e THERE IS STRONG CHANCE OF SERIOUS DEFECT of A CHILD 81,9 10,7 7,4 88% 1,61% 11,3% 81% 69,5% 92,0% SHE IS MARRIED AND DOES NOT WANT ANY MORE CHILDREN 46,0 40,3 13,7 53% 2,60% 12,1% 40,5% 64,7% THE WOMAN'S OWN HEALTH IS SERIOUSLY ENDANGERED BY THE PREGNACY 84,5 8,4 7,1 91% 1,44% 11,2% 83% 71,6% 93,9% FANY MORE CHILDREN 53,7 33,7 12,7 61% 2,52% 12,0% 59% 47,1% 71,2% SHE BECAME PREGNANT AS RESULT OF RAPE 76,8 13,0 10,1 85% 1,80% 11,4% 78% 66,9% 89,8% SHE IS NOT MARRIED AND DOES NOT WANT TO MARRY THE MAN 40,0 45,4 14,6 47% 2,61% 35,4% 59,5% IF THE WOMAN WANTS IT FOR ANY REASON 38,7 48,0 13,3 45% 2,58% 46% 33,6% 57,8% n=2000; n1=1640

80 Społeczny kontekst badań sondażowych

81 Społeczny kontekst badań sondażowych
O czym sa sondaże Kto sondaże zamawia Po co zamawiane są sondaże Sondaż – przedsięwzięcie multi-dyscyplinarne Sondaż – niezbędne kwalifikacje zespołu Zamawianie sondażu – podział kompetencji Zamawianie sondażu – gra z wykonawcą

82 O czym są sondaże Prosta proporcja - polityków popularności wzrosty u spadki..... Budżet czasu - kiedy studenci Warszawy zasypiają Postawa wobec obcych Czym kierują się konsumenci kupując produkt - conjoint ocena jakości rządzenia Zasięg pisma, segmentacja klientów: kim oni są i czym się różnią od siebie satysfakcja konsumenta Badania cenowe - ile klienci zechcą zapłacić. Dobra matura - dylematy kalibracji pytań testowych

83 nadawca, wydawca, dziennikarz urzędnik publicznej administracji
Kto zamawia sondaż nadawca, wydawca, dziennikarz urzędnik publicznej administracji sprzedawca, producent, agencja reklamowa naukowiec, zazwyczaj socjolog

84 Media Rynek Nauka Administracja Po co zamawia (teoria)
Aby poinformować widownię o jej preferencjach, nastrojach, ocenach wydarzeń, instytucji i osób Diagnoza potrzeb, ocena efektywności programów (unijnych), konsultacje decyzji, ocena jakości usług publicznych Administracja Rozpoznanie klientów obecnych i potencjalnych (segmentacja, szacowanie popytu), wyznaczanie optymalnych cen produktów, ocena efektywności kampanii reklamowej Rynek Test hipotez teoretycznych, eksploracja struktury populacji, identyfikacja trendów, modelowanie dynamiki populacji (nauki społeczne, medyczne) Nauka

85 Nauka Media Administracja Rynek Za co płaci (praktyka)
Aby utrzymać lub zwiększyć swoje audytorium: liczbę widzów, czytelników Media Administracja Aby wydać środki zaplanowane na badanie Aby podjąć optymalne decyzje o inwestycjach, polityce cenowej, kampanii relamowej Rynek Nauka Rozszerzyć lub zweryfikować wiedzę o populacji Kto potrzebuje sondażu dobrej jakości aby osiągnąć swój faktyczny cel ?

86 Zamawianie sondażu: gra o podział odpowiedzialności i kosztów

87 Usługą jest udzielenie odpowiedzi na pytania na temat populacji
Sondaż jest usługą Usługą jest udzielenie odpowiedzi na pytania na temat populacji Usługę można wykonać lepiej lub gorzej a nawet źle Statystyczna ocena jakości usługi sondażowej sprowadza się do oceny dokładności populacyjnych oszacowań Niestatystyczne kryteria oceny jakości sondażu to trafność czas koszt Przedmiotem gry Zamawiającego z Wykonawcą jest podział odpowiedzialności za jakość poszczególnych elementów badania sondażowego i koszt ich wykonania

88 Odpowiedzialność wykonawcy Odpowiedzialność zamawiającego
Statystyczna wersja pytań zamawiającego Odpowiedzialność wykonawcy Projekt Metoda wywiadu Operat Próba Liczebność Fieldwork Schemat doboru próby Dokumentacja realizacji Przyczyny non-responsów Kwestionariusz Wstępny projekt Błędy operatu Pilotaże Jakość realizacji badania Czas trwania wywiadu Przetarg Kryteria wyboru oferty SIWZ + Umowa Realizacja Monitoring jakości Response-rate Missing values False records Kontrola ankieterów Analiza danych Dokumentacja badania Pominięte pytanie Odmowa odpowiedzi Raport Odpowiedzialność zamawiającego Sondaż akademicki

89 Podział odpowiedzialności w sondażu idealnym
Zamawiający Sondaż akademicki Zadaje pytania o stan populacji: JAK/CZY Dobiera wskaźniki – definiuje zmienne - konstruuje kwestionariusz Przekłada swoje pytania na pytania statystyczne Definiuje dopuszczalny poziom dokładności oszacowań Definiuje jakościowe kryteria wykonania „field-work” (przetarg) Statystyk zamawiającego Szuka operatu doboru próby Projektuje optymalny dla operatu i kosztów badania schemat doboru próby Wyznacza wielkość błędu oszacowań z uwzględnieniem czynników 1,2,3,4,5 Uczestniczy w interpetacji wyników analizy danych

90 Taki podział ról i zadań jest możliwy, gdy
zamawiający: umie badanie zaprojektować, umie kontrolować jakość realizacji umie wyniki wykorzystać Sondaż akademicki Często zamawiający nie umie 1, 2, 3 Często zamawiający nie wie że powinien umieć

91 Błędne przeświadczenia zamawiających badanie sondażowe

92 Błędne przeświadczenia zamawiających
Przedmiotem zamówienia jest pewna liczba dostarczonych zapisów wywiadów Agencja badawcza potrafi odpowiedzieć na pytania zamawiającego Agencja badawcza potrafi dopasować „metodologię” do potrzeb zamawiającego Zamawiający, który nie potrafi określić „metodologii” dopasowanej do własnych potrzeb potrafi ocenić „metodologie” oferowane przez potencjalnych wykonawców Cena jest racjonalnym kryterium wyboru wykonawcy sondażu Istnieją tanie sondaże dobrej jakości, szybko i dobrze wykonane W sondażu z wykorzystaniem ogólnopolskiej imiennej próby adresowej można osiągnąć response rate powyżej 50% płacąc za 1 wywiad nie więcej niż 100 PLN Dobry sondaż można zaprojektować, zamówić, skontrolować i opracować bez udziału statystyka „Sondaż” jest dyscypliną naukową

93 Popularne błędne przeświadczenia na temat sondażu - 1
Sondaż polega na zebraniu odpowiedzi na te same pytania od wielu osób: im więcej osób zapytamy tym sondaż jest lepszy Sondaże są mniej lub bardziej naukowe Naukowe sondaże nie są potrzebne poza nauką Parametry populacji można oszacować bez losowania próby Jakość realizacji można poprawić za pomocą „prób rezerwowych” Im większa populacja tym większa musi być próba Jakość realizacji można porawić za pomocą wag porealizacyjnych Random route jest skutecznym antidotum na non-response

94 Popularne błędne przeświadczenia na temat sondażu - 2
Wielkość populacji a wielkość próby dokładność oszacowań zależy od wielkości populacji: z małej populacji powinno się losować małe próby, z dużych – duże; im mniejsza populacja tym mniejszą próbę należy z niej pobierać; Próba rezerwowa jeśli nie udało się próby zrealizować w 100%, sięganie do próby rezerwowej nie zmienia jakości uzyskanych wyników (dokładności oszacowań) Random route “random route” jest schematem losowego doboru próby jeśli nie udało się zrealizować w 100% imiennej adresowej próby pobranej z operatu PESEL, można bez szkody dla jakości wyników (dokładności oszacowań) dorobić brakuące wywiady metodą „random route” Wagi porealizacyjne jeśli próba zrealizowana (nie w pełni) jest niereprezentatywna (przedmiotowo) ze względu na kluczowe cechy (płeć, wiek, wykształcenie), bez szkody dla dokłądności oszacowań można „poprawić” jej strukturę za pomocą wag porealizacyjnych „Sondaże”, w których próba nie ma charakteru losowego, są mimo to wiarygodnym źródłem informacji o populacji: porzedwyborcza ankieta uliczna sondaż opinii publicznej: SMS-y wysyłane podczas trwania programu TV sondaż internetowy ogólnopolski sondaż telefoniczny w Polsce ankieta drukowana w czasopiśmie jako sondaż jej czytelników

95 Zamawianie sondażu – gra asymetryczna
Asymetria kompetencji: wykonawca – specjalista od sondaży; zamawiający – laik, który nie zawsze wie, po co zamawia sondaż Strategia zamawiającego – ufam, że usługa zostanie dobrze wykonana, choć nie wiem za co płacę Strategia wykonawcy – maksymalizuję zyski wykorzystując popularne błędne przeświadczenia na temat sondażu

96 Przykład udanej perswazji agencji badawczej - 1

97 Przykład udanej perswazji agencji badawczej - 2
Rynek usług telekomunikacyjnych w Polsce Badanie klientów indywidualnych 2012, strona 8

98 Zwodniczy termin „reprezentatywność próby zrealizowanej”
Perswazyjna funkcja określenia „próba reprezentatywna” Wady potocznego rozumienia terminu „próba reprezentatywna” Ograniczony zakres zmiennych Stopniowalność Abstrakcja od problemu dokładności oszacowań „Reprezentatywność” jako własność procedury doboru próby

99 Odchylenia od proporcji w populacji
Pułapki potocznego rozumienia terminu „próba reprezentatywna” Reprezentatywność próby jest zawsze ograniczona do standardowych zmiennych stratyfikacyjnych Stopniowalność Proporcje w próbie Odchylenia od proporcji w populacji Populacja N= Próba n=100 Próba n=400 Próba n=1600 Próba n=10000 Próba n=100 Próba n=400 Próba n=1600 Próba n=10000 1 Miasto 61,4% 67,0% 65,3% 62,3% 61,3% 5,6% -1,8% -2,9% -1,0% 2 Wieś 38,6% 33,0% 34,8% 37,7% 38,7% -5,6% 1,8% 2,9% 1,0% Abstrakcja od problemu dokładności oszacowań

100 „Reprezentatywność” jako własność procedury doboru próby
Próba „reprezentatywna” oznacza tu tyle co „wylosowana”, „losowana”. „Taka, że na podstawie schematu jej doboru można wyliczyć, przy założonym poziomie ufności, dokładność populacyjnych oszacowań” Lissowski (2006, str. 3) proponuje: „Próba reprezentatywna dla populacji U ze względu na parametr T jest to próba dobrana w sposób, który gwarantuje z określonym prawdopodobieństwem otrzymanie oszacowań wartości tego parametru, które spełniają wymagania w kwestii dokładności”. Propozycja ta ma podobne usterki, co termin potocznie interpretowany: niepotrzebną relatywizację do jednej zmiennej i niekonkretność. Ta sama próba może bowiem spełniać pewne wymagania co do dokładności oszacowań parametru pewnej zmiennej a jednocześnie nie spełniać ich w odniesieniu do innej, co daje się powiedzieć po prostu, że dla obu zmiennych dokładność oszacowania jest różna co wiadomo stąd, iż dla obu zmiennych dokładność tę przy założonym poziomie ufności daje się wyliczyć

101 Przetarg

102 Właściwy wybór wykonawcy Kontrakt chroniący jakość
Dobry przetarg Poprawne zamówienie Szczegółowy SIWZ Właściwy wybór wykonawcy Kontrakt chroniący jakość Kontrola jakości realizacji kontraktu

103 Szczegółowy SIWZ Kto projektuje Kryteria wyboru oferty
Kwestionariusz Zamawiający Wykonawca Operat Warstwowanie, alokację i schemat doboru próby Warunki dopuszczenia do udziału w przetargu Realizacja badania o wielkości porównywalnej z wielkością badania zamawianego Personel: liczba ankieterów Wyposażenie: liczba notebooków, oprogramowanie, serwer, łączność Kryteria wyboru oferty Response rate Równomierność realizacji Czas realizacji Jeśli chcemy maksymalizować stosunek jakości do kosztu badania powinniśmy jako kryterium wyboru oferty stosować iloraz błędu oszacowania do ceny za jeden wywiad (rekord) Kontrakt z wykonawcą przewiduje Kary za nieosiągnięcie response rate Kary za nierównomierność realizacji Kary za wywiady sfałszowane Kary za wywiady spóźnione Kto wykonuje /dostarcza Projekt analiz statystycznych Zamawiający Wykonawca CODEBOOK Odpowiedzi na pytania Podobną maksymalizację uzyskuje się zakładając docelową liczbę wywiadów zrealizowanych i wybierając takiego wykonawcę, który zażąda do tego najmniejszej póby

104 Obowiązki dokumentacyjne wykonawcy sondażu według AAPOR
Informacje, które wykonawca sondażu powinien przekazać zamawiającemu nr Czego dotyczą Co zawierają symbol 1 Populacja [!] Dokładna definicja populacji 1.1 Jednostki niebadalne 1.2 [!] Zasięg terytorialny badania 1.3 2 Operat Dokładny opis operatu 2.1 Wielkość błędu pokrycia (stopa błędów operatu) 2.2 4 Dobór próby [!] Dokładny opis schematu losowania 4.1 [!] Liczebność próby wylosowanej 4.2 Alokacja między warstwy 4.3 Wiązkowanie 4.4 Stosowane nad-reprezentacje 4.5 Wagi: sposób wyznaczania 4.6 5 Realizacja [!] Metoda kontaktu z respondentem 5.1 [!] Czas zbierania danych 5.2 Instrukcja ankietera 5.3 Karty odpowiedzi i inne materiały pomocnicze 5.4 Stosowane nagrody dla respondentów 5.5 (*) Wyniki zewnętrznej kontroli ankieterów 5.6 [!] Response rate 5.7 6 Dokładność oszacowań Dokładność oszacowań dla zmiennych 6.1 (*) Sposób wyznaczania dokładności oszacowań 6.2 AAPOR Code of Professional Ethics and Practices. (Revised May 2010)

105 Sondaż według podręcznika

106 Survey planning: Sarndal, 1992

107 Survey sequence – GATS, 2010

108 Dokumentacja projektu GATS
Design Overview and Partnerships Process Chart Tobacco Questions for Surveys A Subset of Key Questions Questionnaire Core Questionnaire with Optional Questions Question by Question Specifications Sample Sample Design Manual Sample Weights Manual Fieldwork Field Interviewer Manual Field Supervisor Manual Mapping and Listing Manual Data Management Programmer’s Guide to General Survey System Core Questionnaire Programming Specifications Data Management Implementation Plan Data Management Training Guide Quality Quality Assurance: Guidelines and Documentation Analysis and Reporting Fact Sheet Template Country Report: Tabulation Plan and Guidelines Indicator Definitions Data Dissemination Data Release Policy Data Dissemination: Guidance for the Initial Release of the Data

109 Założenia projektu GATS
GATS design

110 Typowe praktyczne problemy do rozwiązania w sondażu
Optymalny dobór próby – koszty dojazdu Próba Dostępność operatu: indywidualna – mieszkaniowa - kwota Fieldwork Jak kontrolować ankieterów wykonawcy Kwestionariusz Pilotaż laboratoryjny – statystyczny – kiedy skończyć testy Non-response – jak zminimalizować Braki danych Missing value - jak zminimalizować Trudno powiedzieć - jak zminimalizować

111 Badanie sondażowe według podręcznika: co, z kim, za co
Wymagania zamawiającego (sponsora): co musimy dostarczyć, z czego będziemy rozliczani Jakie jest nasze zadanie: przetłumaczyć zamówienie sponsora na problem badawczy Zespół: (doświadczenie + młodość + statystyk + admin) *zasoby czasu * motywacje indywidualne Zamawiający - zadanie – zespół E1 – Kwerendy-projektowanie E2 – Pilotaże – dobór prób E3 – Przetarg-Kontrakt - SIWZ E4 – Realizacja w terenie E5 – Analiza danych E6 – Dokumentacja badania E7 - Raport Budżet

112 Badanie sondażowe według podręcznika:
Badanie sondażowe według podręcznika: Etap 0 - Przygotowania organizacyjne podział zadań i funkcji uzgodnienie zasad wynagradzania Budowa zespołu - książka adresowa - kalendarz - tablica ogłoszeń (lista mailingowa) - repozytorium publikacji, danych, sprawozdań wewnętrznych, raportów, Infrastruktura informatycznej procedury komunikacyjne - kto komu co i kiedy wysyła, zostawia, zapisuje

113 Badanie sondażowe według podręcznika: Etap 1 - Kwerendy - projekty
Kwerenda teoretyczna: co na temat napisali inni akceptacja i kontynuacja paradygmatu własny schemat teoretyczny zjawiska rozkłady podstawowych cech populacji identyfikacja zjawisk rzadkich lub powszechnych (pralka, NGO) Kwerenda faktograficzna: kontynuacja metodologii stosowanej dotychczas Własna metodologia: Korzystamy z narzędzi z innych dyscyplin (marketing, psychologia eksperymentalna) Własne rozwiązania (będą wymagały testów !!!) Kwerenda metodologiczna: jak badali to inni Wstępne ustalenia projektowe szkielet kwestionariusza – plan skalowań –modelowania–agregacji dostępność operatu schemat doboru próby technologia realizacji (PAPI, CATI, CAPI, CAWI, MOBI, skaner kodów, double screen, touch-screen, żetony, karty, makiety, rejestracja pasywna, telemetria, GPS )

114 Badanie sondażowe według podręcznika:
Badanie sondażowe według podręcznika: Etap 2 – Pilotaże – pilotaż jakościowy Cel: zrozumiałość pytań (trafność „społeczna”) Pierwsza wersja kwestionariusz + instrukcje realizacyjne, filtry, skoki + metryczka Tekst kwestionariusza (MS Word) – wewnętrzne recenzje w zespole (interakcyjnie – rzutnik, zespół, pisarz) Wybór wykonawcy testu jakościowego Zlecenie na test: Translacja tekstu kwestionariusza oraz instrukcji na skrypt CAPI (wskaźniki czasu!!) Akcesoria (żetony, karty, przybory) Rekrutacja respondentów testowych (niski status !) Realizacja wywiadów za szybą ( ) Nagrywanie dźwięku i obrazu Przebieg testu: 5 wywiadów - korekta – 5 wywiadów – korekta etc. Efekt: kwestionariusz zrozumiały i trafny Pilotaż jakościowy

115 Skrypt CAPI – znaczniki czasu przy każdym bloku pytań
Badanie sondażowe według podręcznika: Etap 2 – Pilotaże – pilotaż statystyczny Cel: wybór wskaźników Skrypt CAPI – znaczniki czasu przy każdym bloku pytań Próba 1000 (kwota, badanie typu omnibus) Realizacja pilotażu Raporty z analizy rozkładów w próbie i rekomendacje (wstępne skalowanie i modelowanie): - usunąć wskaźnik/blok wskaźników zbędny - zostawić wskaźnik/blok wskaźników niezbędny (pilotaż statystyczny jest w praktyce pierwszym etapem analizy danych, w tym praktycznym sprawdzianem modeli skalowania) Efekt: ostateczna wersja kwestionariusza zawiera minimalny zestaw wskaźników wystarczający do skalowania, modelowania i agregacji o czasie trwania nie przekraczającym możliwości respondenta i budżetu badania (1 minuta CAPI = 3 złote) Pilotaż statystyczny

116 Dokumenty Kto co komu przekazuje
Badanie sondażowe według podręcznika: Etap 3 – Przetarg - Kontrakt Dokumenty Kto co komu przekazuje zamawiający  kwestionariusz, instrukcje, formularze raportów, instrukcje obsługi platformy komunikacyjnej (serwerowej) Wykonawca  informacje na temat sieci ankieterskiej, dane, raporty, protokoły Czasy dostarczania raportów z przebiegu realizacji rekordów z zapisem odpowiedzi Zasady przyjmowania rekordów (formalna kontrola spójności) - stawka za 1 wywiad - kara z sufit (wyrzucanie wywiadów autora „sufitu”) - kara za spóźnienia (wywiad, raport, warstwa) - kara za response rate poniżej umownego - kara za nierównomierność realizacji Zasady wyznaczania należności Kryteria wyboru oferty Na przykład: response-rate + czas + cena [np. 90% + 5% + 5%]

117 Badanie sondażowe według podręcznika: Etap 5 - Analiza danych
Badanie sondażowe według podręcznika: Etap 6 - Dokumentacja badania CodeBook (kwestionariusz + rozkłady brzegowe) Zastosowane klasyfikacje (ISCO, ESCED, PKD) Zastosowane skale/indeksy (SEI, inne) Opis schematu doboru próby (prawdopodobieństwa inkluzji, wagi analityczne) Projektowana dokładność oszacowań Raport z przebiegu realizacji (rozkłady przyczyn non-responsów) Zastosowane procedury imputacji oraz łączenia danych zewnętrznych Uzyskana dokładność oszacowań po uwzględnieniu operatu i realizacji Badanie sondażowe według podręcznika: Etap 7 - Raport

118 Patologie przetargów

119 Patologie przetargów – przykłady 2013
Gdańsk  II.1.4) Określenie przedmiotu oraz wielkości lub zakresu zamówienia: W ramach przedmiotu zamówienia Wykonawca jest zobowiązany do: 1) konsultowania na etapie sporządzania raportu metodologicznego, szczegółów narzędzi badawczych, 2)przygotowania kwestionariuszy materiałów do badania, 3)realizacji prac terenowych oraz realizacji badania zgodnie z zakresem i minimum metodologicznym określonym w pkt 1 ppkt 4 SIWZ 4)przeprowadzenia (liczba z oferty) kwestionariuszy wywiadu 5)zapewnienia respondentom pełnej anonimowości w celu uzyskania jak najbardziej wiarygodnych danych IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena - 50 2 - narzędzia badawcze - 50

120 Patologie przetargów – przykłady 2013
PFRON 2013 (…) 5. ZAKRES PRAC WYKONAWCY Zakres prac Wykonawcy obejmuje: 1. opracowanie szczegółowej metodologii badania, 2. opracowanie narzędzi badawczych, 3. (…) wylosowanie prób badawczych, 4. realizację badania, 5. analizę danych i przygotowanie raportu z badania, 6. prezentację wyników na spotkaniu/konferencji IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena - 40 2 - Ocena merytoryczna – 60 a) podkryterium koncepcja badania (MK), tj. - kompleksowość i przydatność badawcza zaproponowanej koncepcji z punktu widzenia celu badania (MK1) – od 0 do 13 pkt, - lista pytań badawczych (MK2) – od 0 do 20 pkt

121 Poprawne zamówienie - przykład
Uniwersytet Warszawski, 2011 (fragment ogłoszenia przetargowego) § 3 Opis przedmiotu zamówienia (…) 2. (…) wywiadów indywidualnych metodą CAPI na imiennej próbie adresowej ludności w wieku 18 lub więcej lat pobranej z operatu PESEL i dostarczonej przez Zamawiającego, przy użyciu kwestionariusza dostarczanego przez Zamawiającego. W ramach sondażu wykonawca będzie miał za zadanie zrealizować poniższe prace: 1) wysyłkę listów zapowiednich, 2) podjęcie próby uzyskania wywiadu od każdej z osób w próbie 3) dostarczanie danych z przebiegu realizacji wywiadu w czasie trwania badania 4) Uzyskanie założonych liczebności wywiadów zrealizowanych w każdej z pod-prób 5) maksymalizację równomierności terytorialnej poziomu response-rate, przy założeniu osiągnięcia powyższych celów. PŁACIMY WYKONAWCY NIE (TYLKO) ZA DOSTARCZENIE USTALONEJ LICZBY WYWIADÓW LECZ PODJĘCIE PRÓBY UZYSKANIA WYWIADU OD KAŻDEJ Z JEDNOSTEK W PRÓBIE

122 Badanie sondażowe według podręcznika
Projekt „norweski”

123 FILARY PROJEKTU Poradniki dobrych praktyk (2):
Sondaż ludności Polski (n=13 000, CAPI) Diagnoza barier i katalizatorów partycypacji obywatelskiej Pomiar satysfakcji obywatelskiej z usług publicznych Badanie przedstawicieli administracji publicznej (n=3000, CAWI) Perspektywa administracji na problemy badane w sondażu Kształt relacji między poszczególnymi szczeblami administracji Badanie przedstawicieli III Sektora (n=1000, CAWI) Ustalenie jak z perspektywy potencjalnych partnerów społecznych układa się współpraca z jednostkami administracji Warsztaty Dialogu Społecznego (Biłgoraj, Gołdap, Słupsk, Poznań) Praktyczny eksperyment społeczny Modelowe konsultacje społeczne z udziałem mieszkańców, samorządu i organizacji III sektora Poradniki dobrych praktyk (2): poradnik diagnozy lokalnej i tworzenia lokalnych strategii, poradnik dla samorządu i organizacji pozarządowych o strategiach komunikacyjnych

124 Diagnoza barier partycypacji Monitor Jakości Rządzenia (MJR)
Badanie sondażowe obejmuje populację dorosłych mieszkańców Polski i składa się z dwóch przedsięwzięć: Diagnoza barier partycypacji Monitor Jakości Rządzenia (MJR) Cel socjologiczny: Opisać rzeczywistość i odpowiedzieć na pytanie, co powstrzymuje obywatelską aktywność Polaków Cele szczegółowe: Ujawnić czynniki, które: powstrzymują obywatelską aktywność (są barierami partycypacji) sprzyjają obywatelskiej aktywności (są jej katalizatorami) Ustalić relacje między nimi Cel pragmatyczny: Dostarczyć wiedzy o ocenie jakości usług świadczonych obywatelom przez państwo z punktu widzenia ich codziennych użytkowników Cele szczegółowe: Wypracować użyteczne miary jakości rządzenia pozwalające porównywać: jakość rządzenia na różnych poziomach (od szczebla gminy przez powiat i województwo) jakość rządzenia w różnych jego aspektach (oświata, służba zdrowia, bezpieczeństwo). Wspólną cechą obu przedsięwzięć było świadome ograniczenie zakresu badania do poziomu lokalnego: aktywności obywatelskiej na szczeblu lokalnym, w pobliżu miejsca zamieszkania. lokalnego poziomu rządzenia (władzy, usług publicznych) Sondaż ludności Polski

125 Schemat pomiarowy Katalizatory/Bariery Orientacje partycypacyjne
Proces przebiega zawsze w jakimś lokalnym środowisku Katalizatory/Bariery Orientacje partycypacyjne Potencjał partycypacyjny Kapitały Zachowania „obywatelskie” ekonomiczny Chęć działania w organizacjach pozarządowych kulturowy społeczny „ładowanie” aktywność Zainteresowanie sprawami lokalnymi Wiedza Potrzeba współdecydowania o sprawach lokalnych Wartości/Normy ŚRODOWISKO: okolica, w której mieszkam

126 Koncept operacjonalizacja Procedura Analiza danych
Zasoby kapitałów społecznych Generator zasobów Generator pozycji Skalogram Mokkena Skalogram Rascha Świadomość prawna Test kompetencyjny Pilotaż testu – selekcja pozycji Model pomiarowy 3PL Potencjał partycypacyjny jednostki Katalizatory: zasoby kapitałów Zachowania partycypacyjne Moderatory środowiskowe Model pomiarowy SEM-PLS Jakość rządzenia Indeks satysfakcji użytkownika usługi publicznej (MJR)

127 Pomiar kapitału społecznego w ujęciu sieciowym
kapitał społeczny to ”zbiór zasobów posiadanych przez członków siecispołecznych, które (zasoby) mogą stać się dostępne dla jednostek jako rezultat historii powiązań w obrębie sieci” Ilość oraz rodzaj kapitału społecznego zależy od tego: kogo znamy jak dobrze go znamy co może osoba z którą utrzymujemy kontakt danego rodzaju. Kapitał społeczny jest więc zasobem jednostki a nie zbiorowości W tej definicji kapitału społecznego rezygnuje się z uwzględniania pojęć determinowanych kulturowo czyli norm oraz zaufania. Ma charakter neutralny Występuje jako zmienna wyjaśniana

128 Technika pomiaru kapitału społecznego: „generatory”
Generator Pozycji – jest listą zawodów (pozycji zawodowych) o zróżnicowanym statusie i prestiżu. Respondent jest proszony o odpowiedź na pytanie, czy zna osobiście (i jak dobrze) osoby odpowiadające pozycjom wymienionym na liście. Liczba pozycji, dla których odpowiedź respondenta brzmi „TAK” jest wskaźnikiem poziomu jego kapitału społecznego. Generator Zasobów – jest listą typowych sytuacji życiowych, w których jednostka potrzebuje pomocy innych osób. Respondent proszony jest o odpowiedź na pytanie, czy ma w swoim otoczeniu taką osobę, która w danej sytuacji mogłby mu pomóc a jeśli tak, to kim jest ta osoba. Liczba sytuacji, w których respondent może liczyć na pomoc innych osóbb jest wskaźnikiem poziomu jego kapitału społecznego.

129 Czy zna Pan(i) osobiście kogoś, kto jest
GENERATOR POZYCJI Czy zna Pan(i) osobiście kogoś, kto jest Jeśli TAK, to czy jest to ktoś z rodziny, przyjaciel, znajomy? 4. Ja sam(a) jestem 1. Rodzina 2. Przyjaciel 3. Znajomy 1 Radnym 1 Tak 2 Nie □ 2 Urzędnikiem Gminy 3 Pracownikiem naukowym wyższej uczelni – profesorem, doktorem 4 Dziennikarzem 5 Lekarzem 6 Pielęgniarką, innym pracownikiem służby zdrowia 7 Przedsiębiorcą, właścicielem firmy

130 GENERATOR ZASOBÓW Czy zna Pan(i) osobiście kogoś, kto mógłby Panu(i) pomóc w następujących kwestiach Jeśli TAK, to czy jest to ktoś z rodziny, przyjaciel, znajomy? 4. Sam(a) bym sobie z tym poradził(a) 1. Rodzina 2. Przyjaciel 3. Znajomy 1 Dokonać w domu drobnej naprawy (wymienić gniazdko, przepchać zlew) 1 Tak 2 Nie □ 2 Zrobić zakupy, gdy Pan(i) i inni domownicy są chorzy 3 Znaleźć wakacyjną pracę dla Pana(i) dziecka 4 Znaleźć dla Pana(i) pracę za granicą 5 Znaleźć dla Pana(i) stałą pracę 6 Pożyczyć Panu(i) znaczną sumę pieniędzy (więcej niż 5000 zł) 7 Wypełnić dla Pana(i) PIT (zeznanie podatkowe)

131 Skalowanie poziomu kapitału społecznego
Modele skalowania kumulatywnego (IRT) Skalogram Mokkena dla danych binarnych Skalogram Mokkena dla danych politomicznych Skalogram Rascha Selekcja wskaźników – zasada podwójnej monoteiczności Ocena stopnia skalowalności – Współczynnik skalowalności H Loevingera. , gdzie licznik ułamka oznacza kowariancję zaobserwowaną w rozkładzie empirycznym, zaś mianownik jest graniczną wartością tej kowariancji

132 FILARY MONITORA: państwo-usługa-klient-jakość
państwo to: usługi świadczone obywatelom za pieniądze podatników państwo to usługi lokalne: gminna przychodnia, szkoła, posterunek policji, urząd gminy, … obywatel to: użytkownik państwa klient - – petent - interesariusz Jakość państwa to: satysfakcja z jakości lokalnych usług publicznych

133 Metodologia: założenia i problemy
Jakość usługi mierzona jest na podstawie pomiaru satysfakcji tylko tych osób, które faktycznie z niej korzystały Satysfakcja z usługi jest zmienną ukrytą, której wartość średnią w populacji użytkowników należy oszacować Problem: reprezentatywność próby użytkowników Problem: strukturalny model pomiarowy satysfakcji Dobór póby SEM/PLS

134 Założenia modelu poniarowego satysfakcji z usług publicznych
poziom satysfakcji oczekiwania wobec danej usługi publicznej zachowania i deklaracje dotyczące przyszłości: generalizacja dyspozycja - skargi na jakość - zaufanie - rekomendacje doświadczenie w korzystaniu z usługi

135 Wyzwania metodologiczne
Jak dobrać próbę aby uzyskać reprezentatywne próby użytkowników jak największej liczby usług publicznych Jakie usługi można zbadać w sondażu Jak alokować próbę aby móc porównywać jakość koszyka usług na poziomie wojwództw Wyzwania metodologiczne Jak realizować badanie aby zminimalizować efekt respondenta Jak zrealizować badanie aby zminimalizować efekt ankietera Jak uzyskać wysoką jakość danych

136 Władza lokalna dostawca usług publicznych
Sondaż duży i złożony Kwestionariusze „Obywatelski” MJR Władza lokalna dostawca usług publicznych N Próby Polska 4x n=2500 Biłgoraj n=1000 Gołdap n=1000 Słupsk n=1000 Poznań n=1000 Administracja WA Policja WP Edukacja WE Zdrowie WZ NGO N Usługi publiczne: S1 S2 …. S12 Percepcja użytkowników usług publicznych Percepcja otoczenia

137 Przykład złożonego badania sondażowego - próba
Liczebności próby (liczba wiązek) zostały wybrane po: Analizie oczekiwanego response rate dla warstwy. Analizie precyzyjnych danych dla każdej gminy (baza DEMOGRAF) Efektywny dobór wiązek - ankieter był w stanie odwiedzić wszystkie adresy z wiązki w ciągu jednego dnia (rozmiary wiązek różne dla różnych warstw) Analiza opierała się na rzeczywistych danych z badań sondażowych prowadzonych w próbach dobieranych w porównywalny sposób (PBC, ESS). Algorytm Marka Stycznia zapewniający kompletną kontrolę  nad prawdopodobieństwami doboru jednostek do próby przy losowaniu z operatu PESEL „Jakość próby” była kluczowa dla wyboru Wykonawcy badania - nowatorska funkcja punktująca za szerokość przedziału ufności (80%) i tylko w niewielkim stopniu (20%) za cenę oferty.

138 Przykład złożonego schematu doboru próby w projekcie norweskim
Próba docelowa (netto) N = 9000 I II III IV DOLNOŚLĄSKIE 141 KUJAWSKO-POMORSKIE LUBELSKIE LUBUSKIE ŁÓDZKIE MAŁOPOLSKIE MAZOWIECKIE OPOLSKIE PODKARPACKIE PODLASKIE POMORSKIE ŚLĄSKIE ŚWIĘTOKRZYSKIE WARMIŃSKO-MAZURSKIE WIELKOPOLSKIE ZACHODNIO-POMORSKIE Alokacja wiązek gminnych I II III IV DOLNOŚLĄSKIE 16 17 KUJAWSKO-POMORSKIE LUBELSKIE LUBUSKIE ŁÓDZKIE MAŁOPOLSKIE MAZOWIECKIE OPOLSKIE PODKARPACKIE PODLASKIE POMORSKIE ŚLĄSKIE ŚWIĘTOKRZYSKIE WARMIŃSKO-MAZURSKIE WIELKOPOLSKIE ZACHODNIO-POMORSKIE Opis warstw: I – gmina wiejska II – miasto < 20 tys. III – miasto < 100 tys. IV – miasto > 100 tys. warstwa wies m. pon 20 m m Zakładany response rate 62% 51% 43% 35% zakładany rozmiar wiązki 7 8 9 10 liczba wiązek w 1 gminie 3 4 5 liczba losowanych gmin 256 272 Imienna, adresowa próba PESEL Losowane pojedyncze osoby z wylosowanych miejscowości Znane personalia respondenta możliwa kontrola realizacji badania

139 "Bbs„ Biuro Badań Społecznych Barbara Danecka
Przykład złożonego badania sondażowego etap badanie Parametry wykonawca Pilotaż Screening usług publicznych Próba adresowa imienna (PESEL) n=8000 (netto) Pilotaż jakościowy 30 wywiadów z poglądem i rejestracją Test skryptu, kart, instrukcji ankietera Pilotaż statystyczny Próba losowo-kwotowa z badania screeningowego, selekcja wskaźników n=1000, czas trwania: 21 dni Fieldwork Badanie główne Próba losowa adresowa imienna (PESEL) n=13000 (netto), wywiad CAPI, czas trwania: 90 dni Kontrola terenowa 1000 adresów kontrolowanych przez firmę zewnętrzną; wywiad kontrolny F2F - PAPI "Bbs„ Biuro Badań Społecznych Barbara Danecka

140 Technologia Narzędzie Efekt CAPI SERWERY
Technologie informatyczne w realizacji dużych i złożonych badań sondażowych Technologia Narzędzie Efekt CAPI Skrypty sterujące przebiegiem wywiadu Eliminacja efektu ankieterskiego Randomizacja kolejności pytań dla każdego respondenta Minimalizacja efektu pierwszeństwa, kolejności Ekran + karty + żetony Skrócenie czasu wywiadu Rejestracja przebiegu wywiadu w czasie rzeczywistym Możliwość kontroli ankieterów, detekcja anomalii SERWERY Platforma O3 Spaces Wspomaganie pracy grupowej Serwis internetowy administracji sieci ankieterskiej i kontroli terenowej ankieterów Stały monitoring fazy terenowej, szybsza komunikacja z Wykonawcą Portal „Wiem jak jest” Bieżące, stale uaktualniane informacje na temat projektu

141 Gdzie się uczyć sondażu – także na błędach
Badania międzynarodowe Badania krajowe

142 Duże między-narodowe badania sondażowe
GSS – ISSP – PGSS ESS PISA GATS - WHO

143 Duże badania sondażowe w Polsce
PGSS/ISSP, ESS, PISA, Diagnoza Społeczna Badanie prezydencko-premierskie CBOS 2007 Badania GUS: SILC, BAEL, BGD, Z-12, moduły tematyczne BGD Ośrodki kompetencji sondażowej (oprócz IS UW) IFiS PAN: Sztabińscy, Sawiński, Słomczyński, Mach, Domański GUS-Łódź Polskie firmy badawcze: Staff Sieć Próby Technologia Ceny Jakość

144 Źródła wiedzy i kompetencji
Pisma POLSKA Wiadomości Statystyczne Statistics in Transition ASK Web Sources: FCSM Statistics Canada JOS Survey Practice The AAPOR e-journal Instytucje FCSM Statistics Sweeden EUROSTAT GESIS –ZUMA

145