Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Twarze sondaży Henryk Banaszak Warsztat 2013. losowanie ze zwracaniem skład próby: k kulek zielonych Estymacja obliczenia PopulacjaSchemat doboru próby.

Podobne prezentacje


Prezentacja na temat: "Twarze sondaży Henryk Banaszak Warsztat 2013. losowanie ze zwracaniem skład próby: k kulek zielonych Estymacja obliczenia PopulacjaSchemat doboru próby."— Zapis prezentacji:

1 Twarze sondaży Henryk Banaszak Warsztat 2013

2 losowanie ze zwracaniem skład próby: k kulek zielonych Estymacja obliczenia PopulacjaSchemat doboru próby Nieznana proporcja zielonych w populacji Znana własność próby wniosek błąd Czym jest sondaż pytanie odpowiedź Metoda wnioskowania

3 Sondaż jest badaniem statystycznym Przedmiot Zakres Cel Metoda Wynik populacja zestaw pytań na temat populacji zestaw zmiennych służących do wyznaczenia odpowiedzi na pytania badanie próby pobieranej z badanej populacji według schematu opisywanego w kategoriach probabilistycznych

4 Populacja Schemat doboru próby Próba wylosowana lista obiektów populacji Operat Złożony wielstopniowy Dziurawa, stara Próba zbadana Non- response (400) No answer (30%) False responses (5%) Field-work Źródła dodatkowego błędu oszacowań

5 Specyfika badania statystycznego Wynik badania jest parametrem statystycznym Wynik badania jest obciążony błędem Wielkość błędu można wyliczyć znając: 1.Własności operatu 2.Schemat doboru próby 3.Poziom non-response 4.Poziom braków odpowiedzi 5.Jakość realizacji (false records)

6 Dobór póby, fieldwork, estymacja Teoria zjawiska Teoria pomiaru Teoria skalowania Dobór wskaźników Pytania statystyczne KWESTIONARIUSZ Błąd !!! Zmienne statystyczne Statystyczne odpowiedzi na statystyczne pytania Interpretacja wyników analiz w teorii zjawiska Analiza danych kompetencje statystyczne

7 Zamawiający Zadaje pytania o stan populacji: JAK/CZY Dobiera wskaźniki – definiuje zmienne - konstruuje kwestionariusz Definiuje dopuszczalny poziom błędu oszacowań Przekłada swoje pytania na pytania statystyczne Statystyk zamawiającego Szuka operatu doboru próby Projektuje optymalny dla operatu i kosztów badania schemat doboru próby Wyznacza wielkość błędu oszacowań z uwzględnieniem czynników 1,2,3,4,5 Uczestniczy w interpetacji wyników analizy danych Definiuje jakościowe kryteria wykonania field-work (przetarg) Podział zadań i odpowiedzialności

8 Taki podział ról i zadań jest możliwy, gdy

9 Dokładność oszacowań Operat Jakość realizacji badania Schemat doboru próby False records Missing values Response-rate Pominięte pytanie Odmowa odpowiedzi Wielkość próby Koszt dojazdów Fieldwork Kwestionariusz Czas trwania - koszt 1 wywiadu Koszt operatu Koszt realizacji Koszt jakości

10 Zamawiający

11 Kto zamawia sondaż nadawca, wydawca, dziennikarz urzędnik publicznej administracji sprzedawca, producent, agencja reklamowa naukowiec, zazwyczaj socjolog

12 Rynek Rozpoznanie klientów obecnych i potencjalnych (segmentacja, szacowanie popytu), wyznaczanie optymalnych cen produktów, ocena efektywności kampanii reklamowej Administracja Nauka Test hipotez teoretycznych, eksploracja struktury populacji, identyfikacja trendów, modelowanie dynamiki populacji (nauki społeczne, medyczne) Po co zamawia Media Diagnoza potrzeb, ocena efektywności programów (unijnych), konsultacje decyzji, ocena jakości usług publicznych Aby poinformować widownię o jej preferencjach, nastrojach, ocenach wydarzeń, instytucji i osób teoria

13 Po co płaci Praktyka – patologia? Rynek Administracja Nauka Media Aby podjąć optymalne decyzje o inwestycjach, polityce cenowej, kampanii relamowej Rozszerzyć lub zweryfikować wiedzę o populacji Aby wydać środki zaplanowane na badanie Aby utrzymać lub zwiększyć swoje audytorium: liczbę widzów, czytelników Kto potrzebuje sondażu dobrej jakości aby osiągnąć swój faktyczny cel ?

14 Odpowiada na pytania: które zamawiający postawił [ZAMAWIAJĄCY] Odpowiada wystarczająco precyzyjnie [WYKONAWCA] Odpowiada wiarygodnie [WYKONAWCA] Odpowiada na pytania: które zamawiający postawił [ZAMAWIAJĄCY] Odpowiada wystarczająco precyzyjnie [WYKONAWCA] Odpowiada wiarygodnie [WYKONAWCA] Sondaż dobrej jakości

15 Dobry sondaż Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe [ZAMAWIAJĄCY] Dobra próba losowa – optymalne warstwowanie, optymalna alokacja, małe wariancje estymatorów [ZAMAWIAJĄCY] Dobra realizacja – wysoki response rate, równomierność realizacji, niski poziom braków danych, niska stopa oszustw, brak efektu ankieterskiego [WYKONAWCA] Dobra analiza danych - adekwatny opis statystyczny i poprawne wnioskowanie [ZAMAWIAJĄCY] Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe [ZAMAWIAJĄCY] Dobra próba losowa – optymalne warstwowanie, optymalna alokacja, małe wariancje estymatorów [ZAMAWIAJĄCY] Dobra realizacja – wysoki response rate, równomierność realizacji, niski poziom braków danych, niska stopa oszustw, brak efektu ankieterskiego [WYKONAWCA] Dobra analiza danych - adekwatny opis statystyczny i poprawne wnioskowanie [ZAMAWIAJĄCY]

16 Kwestionariusz Kwestionariusz – Próba – Realizacja – Analiza danych

17 model pomiarowy (estymacja parametru populacji) Cecha ukryta Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe

18 Szacowanie frekwencji wyborczej w wyborach parlamentarnych Czy zamierza Pan(i) wziąć udział w wyborach w najbliższą niedzielę? 1. Tak 2. Nie 3. Nie wiem Jak Pan(i) sądzi, jaka będzie frekwencja w wyborach w najbliższą niedzielę? Jak Pan(i) sądzi, jaka będzie frekwencja w wyborach w najbliższą niedzielę? |___| % % odpowiedzi TAK Średnia odsetków podawanych przez respondentów

19 Wyznaczanie ceny produktu, przy której oczekiwana liczba nabywców będzie największa 1.Przy jakiej cenie uznałbyś produkt za zbyt tani, aby mógł być dobrej jakości? (Cheap) 2.Przy jakiej cenie uznałbyś produkt za tani, ale odpowiedniej jakości? (Too Cheap) 3.Przy jakiej cenie uznałbyś produkt za drogi, ale wart ewentualnego zakupu? (Expensive) 4.Przy jakiej cenie uznałbyś produkt za zbyt drogi i nie wart zakupu? (Too Expensive) 1.Przy jakiej cenie uznałbyś produkt za zbyt tani, aby mógł być dobrej jakości? (Cheap) 2.Przy jakiej cenie uznałbyś produkt za tani, ale odpowiedniej jakości? (Too Cheap) 3.Przy jakiej cenie uznałbyś produkt za drogi, ale wart ewentualnego zakupu? (Expensive) 4.Przy jakiej cenie uznałbyś produkt za zbyt drogi i nie wart zakupu? (Too Expensive) kwota średnia środkowa Za ile kupiłbyś produkt? |_______| zł

20 Socio-Economic-Index: skala społeczno-ekonomicznego statusu zawodu

21 Cecha ukryta: poziom zadowolenia Z Cecha ukryta: poziom zadowolenia Z X1X1 X2X2 X3X3 X4X4 Jak bardzo zadowolony(a) jest Pan(i) Y Wskaźniki typu skutkiWskaźniki typu źródła ze swoich sąsiadów z poziomu czystości z zaopatrzenia sklepów z placówek kulturalnych z poziomu bezpieczeństwa X5X5 Biorąc to wszystko pod uwagę, proszę powiedzieć, jak Panu(i) się żyje w Pana(i) okolicy? Wyznacz takie wartości Z, które najlepiej przewidują odpowiedź Y Skalowanie złożone: poziom zadowolenia z …. Jak bardzo zadwolony(a) jest Pan(i) ze swojego miejsca zamieszkania ? 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) % odpowiedzi 1, 2

22 poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości Q1 ogólne oczekiwania Q6 ogólna satysfakcja Q11 polecanie usługi innym Q7 spełnianie oczekiwań Q8 porównanie z ideałem Q5 ogólna ocena jakości Q2 ocena jakości wymiaru 1 Q3 ocena jakości wymiaru 2 Q4 ocena jakości wymiaru 3 Q9 czy złożył skargę Q10A/B reakcja na skargę Q12 wiara w stabilność poziomu jakości odczuwana jakość usługi Skalowanie złożone: American Consumer Satisfaction Index (ACSI) Jak bardzo zadwolony(a) jest Pan(i) z usługi? 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) 1.Bardzo zadowolony(a) 2.Zadowolony(a) 3.Niezadowolony(a) 4.Bardzo niezadowolony(a) % odpowiedzi 1, 2 Model pomiarowy ACSI dla usług

23 Skalowanie poziomu ekonomicznego i kulturowego kapitału jednostki Źródła kapitału ekonomicznego Kapitał sieciowy Manifestacje kapitału ekonomicznego Źródła kapitału kulturowego Manifestacje kapitału kulturowego Model skalowania strukturalnego inspirowany przez teorię Bourdieu Wskaźniki KE-in KE-out KK-in KK-out KE-in KE-out KK-in KK-out Liczba samochodów w gosp dom. Doch na 1 os w gosp dom Głowa rodziny kieruje pracą innych Liczba pracujących w gosp dom Resp pracuje w sektorze prywatnym Resp prowadzi własną firmę Samoocena sytuacji materialnej obecnej Wyjazd podczas urlopu Oczekiwana sytuacja materialna za 5 lat Wyjazd urlopowy za granicę Korzystanie z prywatnej służby zdrowia Zasoby czasu wolnego Wykszt resp Wykszt matki respo Liczba książek w gosp dom Wykszt głowy gosp dom Wykszt ojca resp Liczba DVD w gosp dom Liczba CD w gosp dom Poziom kompetencji komputerowej (skala) Liczba opanowanych jezyków obcych Rachunek bankowy obsługiwany internetowo Intensywność używania internetu Liczba przeczytanych książek Intensywność używania komputera Wskaźniki

24 Próba Kwestionariusz – Próba – Realizacja – Analiza danych

25 Populacja n-elementowa próba losowa z populacji Wnioskowanie statystyczne Dobór próby (1) Parametry próby (2) Parametry populacyjne ( 3 ) Statystyka inferencyjna – zastosowanie rachunku prawdopodobieństwa do uzasadnienia reguł wnioskowania Probabilistyczny schemat doboru, opisany w kategoriach rachunku prawdopodobieństwa Statystyka opisowa: wyznaczenie parametrów w próbie (1) & (2) (3) Przesłanki wniosek Schemat logiczny wnioskowania w sondażu Kwestionariusz – Próba – Realizacja – Analiza danych

26 W badaniu sondażow mamy do czynienia z sytuacją, w której wiadomo, co się może zdarzyć, wiadomo z jakim prawdopodobieństwem co się zdarza lecz nie wiadomo, co zdarzy się w pojedynczym doświadczeniu Rzucamy monetą o nieznanym prawdopodobieństwie upadania z 1EU na wierzchu n-razy Losujemy n-kul ze zwracaniem z urny o nieznanej zawartości Doświadczenie Cel doświadczenia – odpowiedź na pytanie: Jakie jest p-two wyrzucenia 1 Jaka jest w urnie proporcja kul czerwonych Kwestionariusz – Próba – Realizacja – Analiza danych

27 Ile razy trzeba rzucać monetą aby sprawdzić, czy jest rzetelna? n=1 P=0,5 n=2 P=0,25P=0,50P=0,25 n=3 P=0,125P=0,375 P=0,125 Kwestionariusz – Próba – Realizacja – Analiza danych

28 lub P=0,064P=0,288P=0,432P=0,216 Losowanie próby w badaniu sondażowym to jak rzucanie monetą

29 1)o wyborze obiektów do badania, decyduje mechanizm losowy o znanych własnościach, a w konsekwencji: 2)każdy obiekt populacji ma dającą się obliczyć szansę (prawdopodobieństwo) bycia wylosowanym, a w konsekwencji: 3)dla każdego składu próby (rezultatu losowania) daje się obliczyć prawdopodobieństwo jego uzyskania, a w konsekwencji: a)umożliwia obliczenie prawdopodobieństwa popełnienia błędów wnioskowania (nazywanego błędem statystycznym) dla każdego rozmiaru błędu przy założonym schemacie doboru, b)pozwala na ustalenie minimalnej liczebności próby niezbędnej do osiągnięcia założonej dokładności oszacowań (wielkości błędu wnioskowania) błędu przy założonym schemacie doboru Probabilistyczny sposób doboru próby

30 §Wynik losowania próby jest zdarzeniem losowym. §Wartości parametrów statystycznych wyznaczonych w próbie również są zdarzeniami losowymi. §Jeśli zdarzenie losowe jest charakteryzowane za pomocą liczb, mamy do czynienia ze zmiennymi losowymi. §Znajomość rozkładów prawdopodobieństwa na zbiorze rezultatów badania statystycznego, tak zwanych statystyk z próby, jest niezbędna do uzasadnienia reguł wnioskowania statystycznego. §Wnioskowanie statystyczne jest możliwe dzięki temu, iż rozkłady statystyk z próby bywają zbliżone do rozkładów zmiennych losowych dobrze znanych w rachunku prawdopodobieństwa. §Zbieżność rozkładów statystyk z póby badają zawodowi matematycy (specjaliści w zakresie raachunku prawdopodobieństwa) a rezultaty ich badań noszą nazwę twierdzeń granicznych Przy losowym doborze próby

31 Rozkład normalny =10 Kwestionariusz – Próba – Realizacja – Analiza danych

32 Rozkład normalny standaryzowany x Kwestionariusz – Próba – Realizacja – Analiza danych

33 Rozkład chi-kwadrat dla kilku stopni swobody r Kwestionariusz – Próba – Realizacja – Analiza danych

34 Forma twierdzeń granicznych Wraz ze wzrostem liczby losowanych obiektów rozkłady prawdopodobieństwa wyników badania statystycznego stają się tak podobne do rozkładów pewnych zmiennych losowych, że można używać tych zmiennych jako podstawy do estymacji parametrów populacji i testowania hipotez na jej temat Kwestionariusz – Próba – Realizacja – Analiza danych

35 Twierdzenie o zbieżności rozkładu średniej z próby do rozkładu normalnego (CTG) Błąd oszacowania Minimalna liczebność próby Kwestionariusz – Próba – Realizacja – Analiza danych

36 próba nrskładpróbyX1X2średnia 1a a212 1,5 3a1a312 1,5 5a2a121 1,5 9a3a121 1,5 4a1a a a a3a a a4a a2a423 2,5 12a3a423 2,5 14a4a232 2,5 15a4a332 2,5 16a Populacja a1a1 a2a2 a3a3 a4a4 Zmienna 1223

37 Dokładność oszacowań frakcji populacyjnej a wielkość losowej próby

38 Proporcja w populacji Minimalny rozmiar próby n 0, , , , , , Źródło: W.G.Cochran, Sampling Techniques, John Wiley and Sons, New York, 1953, s..41 Granice stosowalności CTG w estymacji populacyjnej frakcji

39 sample mean, sample proportion, S2XS2X sample variance, r X,Y sample Pearson correlation coefficient, b X|Y sample slope coefficient of linear bivariate regression, b Y|X;ZST sample slope coefficient of multiple linear regression for Y as dependent variable and X as a predictor in the equation containing also Z, S and T variables, r 2 Y;XZST sample squared multiple regression correlation coefficient for Y as dependent variable and X Z, S and T as predictors sample statistics t for testing discrepancy between empirical sample r X.Y coefficient with hypothetical population coefficient R X,Y =0 has n-2 degrees of freedom, where n=sample size) sample statistics t for testing hypothesis about equality of means of variable X in two populations W 1 and W 2. Random variable t has n 1 +n 2 -2 degrees of freedom, where n 1, n 2 are size of sample 1 and 2 accordingly sample statistics t for testing discrepancy between empirical sample b Y|X;ZST… coefficient with hypothetical population coefficient B X|Y;ZTS… =0 has n-k-1 degrees of freedom, where n=sample size, k - number of variables in the multiple regression model) sample statistics F for testing discrepancy between empirical sample r 2 Y:XZST… coefficient with hypothetical population coefficient R 2 X,YZTS… =0 has k and n-k-1 degrees of freedom, where n=sample size, k - number of variables in the multiple regression model) Popularne statystyki z póby o rozkładach N, t, F, 2 Kwestionariusz – Próba – Realizacja – Analiza danych

40 (1) Dobrano losowo 1600-osobową próbę wyborców (2) W wylosowanej próbie 400 respondentów, to jest 25% badanych, deklarowało chęć głosowania na partię X wobec tego (3) W populacji wyborców odsetek deklarujących zamiar głosowania na partię X wynosi 25% +/- 2,5%, to jest między 22,5% a 27,5%. Schemat wnioskowania w badaniu sondażowym (1) & (2)(3) Kwestionariusz – Próba – Realizacja – Analiza danych

41 (Przykład fikcyjny) Liczebności prób Styczeń: n=81, Luty: n=121, Marzec: n=64, Kwiecień: n=121, Maj: n=225 Które zmiany proporcji są statystycznie znaczące? Przykład wnioskowania w badaniu sondażowym Kwestionariusz – Próba – Realizacja – Analiza danych

42 Losowy dobór prób – problemy praktyczne Wnioskowanie statystystyczne: – Dokładność oszacowań – Testowanie hipotez – znaczące statystycznie Operaty Response rate a dokładność oszacowań Schematy doboru prób Mitologie agencji badawczych Kwestionariusz – Próba – Realizacja – Analiza danych

43 Operat = lista wszystkich obiektów badanej populacji Losowy dobór w praktyce - operat losowania Powinien być:Może być kompletny o dziurawy, nie obejmuje populacji, ignoruje istone i duze kategorie obiektów; (np. lista abonentów TPSA nie jest operatem dla populacji dorosłych Polaków) o skrzywiony; dziurawy systematycznie - zawiera dane o wielu obiektach pewnego rodzaju a niewiele o innych; (np. Lista prenumeratorów pisma jest złym operatem dla populacji jego czytelników), bezbłędny o niedokładny; ma wysoką stopę błędów w danych (zdarza się często, gdy lista jest tworzona przez obiekty populacji) aktualny o nieaktualny (migracje ludzi, likwidacja lub zmiany profilu firm, zmiany struktury zatrudnienia) Kwestionariusz – Próba – Realizacja – Analiza danych

44 Dostępne operaty dla prób ogólnopolskich PESELCentralny system ewidencji meldunkowej Zawiera informację o zameldowaniu a nie o faktycznym zamieszkiwaniu Stopa błędnych danych adresowych nie przekracza 5% Pozwala dokładnie kontrolować ankieterów Pozwala dokładnie wyznaczać response rate Konieczne złożone schematy doboru próby celem uniknięcia nadmiernych kosztów realizacji (dojazdy ) GUS – spis mieszkań Prawie 100%-owa aktualność (mieszkania nie migrują) Konieczne losowanie osoby z wylosowanego mieszkania – ankieter decyduje o tym, kto zostaje respondentem Utrudniona kontrola pracy ankieterów Lokalne spisy wyborców Starzeją się – migracje Nieznana stopa błędów Trudno dostępny (administracja) Kwestionariusz – Próba – Realizacja – Analiza danych

45 Schematy doboru prób Dobór prosty zależny po jednym obiekcie z badanej zbiorowości (jak liczby w normalnym lotku): przykłady: adresowa próba osób zamieszkałych we wskazanej gminie (uzyskiwana z PESEL,), próba mieszkań z rejonu spisowego (GUS); Dobór taki w postaci czystej dla badań ogólnopolskich nie jest stosowany - można by otrzymać np osobową próbę rozrzuconą między 1000 miejscowości. Dobór systematyczny co k-ty obiekt wylosowany - np. co 40-ty wychodzący z lokalu wyborczego. losuje się jedną tylko liczbę (od 1 do k) określającą punkt startowy; przykłady: co któryś wychodzący ( exit poll), stosowany także w badaniach audytoriów kinowych; Dobór zespołowy zbiorowość podzielona jest na zespoły (części) - losuje się części i potem bada wszystkie obiekty, które do nich należą; np. losowanie klas szkolnych (bada się wszystkich uczniów w klasie) Dobór wielostopniowy: warstwowy: najpierw dzieli się zbiorowość na rozłączne części - warstwy (np. na regiony, województwa, na część miejską i wiejską), a potem losuje obiekty z każdej z warstw osobno (być może nawet dla każdej w inny sposób); zazwyczaj celem badania jest szacowanie parametrów warstwy jak i populacji generalnej. zespołowy: losuje się najpierw zespół a potem z zespołu losuje się obiekty. Np. losujemy gminy (miejscowości) a potem osoby w nich zamieszkałe. Kwestionariusz – Próba – Realizacja – Analiza danych

46 Próba adresowa gospodarstw domowych i schemat Kish Jednostką losowania jest mieszkanie losowane z operatu GUS W wylosowanym mieszkaniu ankieter przeprowadza mikrospis członków gospodarstwa domowego Po przeprowadzeniu mikrospisu ankieter wybiera (przy użyciu tabel z liczbami losowymi) losowo członka gospodarstwa, który staje się respondentem Wady: Trudność kontroli jakości mikrospisu trudność kontroli przyczyn niezrealizowania wywiadu Konieczność wyznaczania wag analitycznych post-factum Losowo-kwotowy dobór prób w badaniach typu OMNIBUS Populację dzieli się na warstwy terytorialne i klasy wielkości miejscowości Dla każdej z warstw losuje się taką liczbę gmin wjaka wynika z założonego sposobu podziału próby między warstwy, W każdej z wylosowanych gmin ankieter rekrutuje respondentów zgodnie z listą ich profili definiowaną przez kryteria doboru (płeć, wiek, wykształcenie i ewentualne kryteria dodatkowe) Nielosowość doboru ogranicza się tu do wąskiej warstwy osób spełniających wszystkie kryteria rekrutacji Popularne złożone schematy doboru prób Kwestionariusz – Próba – Realizacja – Analiza danych

47 Dobór nielosowy Cechy doboru celowego: o składzie badanej próby decydują badacz (określa kryteria doboru) i ankieter - wybiera spośród obiektów spełniających kryteria, do określenia kryteriów doboru dla każdego respondenta potrzebna jest wiedza o łącznych rozkładach cech w interesującej badacza zbiorowości - należy ją zdobyć zwykle za pomocą badań na próbach losowych. Dobór losowo-kwotowy: losowa alokacja terytorialna (miasto-wieś, regiony, województwa, gminy wiejskie, miejskie) a następnie celowy dobór respondentów Pożądane własności nielosowych metod doboru: uzyskanie dobrego przedstawicielstwa populacji ze względu na ważne dla nas cechy, czyli reprezentatywności grupy zbadanej w przedmiotowym sensie. Pożądane własności nielosowych metod doboru: uzyskanie dobrego przedstawicielstwa populacji ze względu na ważne dla nas cechy, czyli reprezentatywności grupy zbadanej w przedmiotowym sensie. Dobrze skonstruowana próba kwotowa (dobierana celowo) daje niekiedy dokładniejsze oszacowania niż mało liczna próba losowa. Kwestionariusz – Próba – Realizacja – Analiza danych

48 LiczebnościPŁEĆ WYKSZTKobietaMężczyznaGrand Total podstawowe213 średnie4610 wyższe123 Grand Total7916 LiczebnościPŁEĆ WIEKKobietaMężczyznaGrand Total lat lat lat lat lat lat011 Grand Total7916 LiczebnościWYKSZT WIEKpodstawoweśredniewyższe Grand Total lat lat lat lat lat lat0101 Grand Total GMINAPŁEĆWYKSZTWIEK Warszawa-BemowoKobietaśrednie40-49 lat Warszawa-BemowoMężczyznaśrednie20-29 lat Warszawa-BemowoKobietawyższe20-29 lat Warszawa-BemowoMężczyznawyższe40-49 lat BolesławiecKobietapodstawowe15-19 lat BolesławiecMężczyznaśrednie30-39 lat BolesławiecMężczyznaśrednie60-64 lat BolesławiecKobietaśrednie30-39 lat BydgoszczMężczyznaśrednie20-29 lat BydgoszczKobietaśrednie40-49 lat BydgoszczMężczyznaśrednie40-49 lat BydgoszczMężczyznawyższe50-59 lat Bystrzyca KłodzkaKobietaśrednie30-39 lat Bystrzyca KłodzkaMężczyznaśrednie40-49 lat Bystrzyca KłodzkaKobietapodstawowe50-59 lat Bystrzyca KłodzkaMężczyznapodstawowe20-29 lat Próba losowo-kwotowa: konstrukcja Kwestionariusz – Próba – Realizacja – Analiza danych

49 Warto stosować próby kwotowe oraz losowo-kwotowe gdy: Rozkłady zmiennych zależnych zależą silnie od regionu (typu) miejsca zamieszkania Rozkłady zmiennych zależnych zależą silnie od tych cech, które mogą być kryteriami doboru respondentów (płeć, wiek, wykształcenie); Rozkłady łączne cech doboru respondentów w populacji są dostępne i wiarygodne, Target group stanowi niewielką część populacji generalnej lecz jego członkowie daja się łatwo (najlepiej bez pytania) zidentyfikować - wówczas przynależność do target group może być dodatkowym kryterium selekcji Kiedy warto stosować próby kwotowe Kwestionariusz – Próba – Realizacja – Analiza danych

50 Sondaże nietypowe i ich ograniczenia Sonda telefoniczna (na losowej próbie abonentów) RDD Populacja posiadaczy telefonów stacjonarnych różni się istotnie od populacji dorosłych Polaków; Wyniki sondażu nie dają się uogólnić na całą populację dorosłych Polaków (operat jest niepełny i skrzywiony) Ankieta pocztowa (oparta na imiennej próbie adresowej) Response rate rzadko przekracza 20% a nigdy 40%, co czyni wyniki bezwartościowymi Ankieta umieszczana w gazecie (periodyku), Sondaż internetowy, Ankieta uliczna, Audio-tele (SMS-y) Nielosowy dobór uczestników badania – potencjalny respondent sam decyduje czy weźmie udział w badaniu czy nie; Nie można ustalić response rate ani dokładności oszacowań Nie wiadomo jaką zbiorowość reprezentują zebrane odpowiedzi Kwestionariusz – Próba – Realizacja – Analiza danych

51 Firma badawcza X GUS NSP2002 WieśM-WMiastoRazem WieśM-WMiastoRazem 1 dolnośląskie76,4%-1,3%75,1%75,5% 57,7% 21,8% 79,5%74,1% 2 kujawsko-pomorskie70,7%-3,1%67,6%68,8% 53,2% 23,7% 77,0%69,2% 3 lubelskie73,6%10,4%84,0%78,8% 57,5% 20,1% 77,6%67,5% 4 lubuskie62,7%14,6%77,3%72,2% 61,5% 15,9% 77,5%72,4% 5 łódzkie63,5%5,9%69,4%67,4% 54,5% 20,8% 75,3%69,1% 6 małopolskie70,1%12,0%82,1%76,3% 67,2% 13,9% 81,1%75,3% 7 mazowieckie72,4%2,0%74,4%73,8% 58,0% 25,1% 83,1%75,6% 8 opolskie75,6%-0,3%75,3%75,4% 54,3% 13,9% 68,3%62,3% 9 podkarpackie70,9%15,7%86,5%77,4% 56,0% 26,8% 82,8%68,4% 10 podlaskie70,1%-1,7%68,3%69,0% 61,2% 19,0% 80,2%73,2% 11 pomorskie69,7%10,6%80,3%77,1% 55,4% 23,4% 78,7%72,6% 12 śląskie71,8%0,8%72,7%72,5% 57,2% 12,2% 69,4%67,2% 13 świętokrzyskie59,1%18,5%77,6%68,3% 44,5% 32,3% 76,8%60,9% 14 warmińsko-mazurskie60,9%12,1%73,0%68,2% 54,5% 15,9% 70,4%64,7% 15 wielkopolskie72,0%0,4%72,4%72,3% 67,0% 12,6% 79,6%75,1% 16 zachodniopomorskie56,1%14,2%70,3%66,3% 59,4% 16,9% 76,3%71,9% razem 69,6%5,2%74,8%72,9% 58,2% 19,0% 77,2%71,0% Pułapki sondaży telefonicznych min (M-W) -3,1% MAX (M-W) 18,5% min (M-W) 12,2% MAX (M-W) 32,3% Kwestionariusz – Próba – Realizacja – Analiza danych

52 Wielkość populacji a wielkość próby dokładność oszacowań zależy od wielkości populacji: z małej populacji powinno się losować małe próby, z dużych – duże; im mniejsza populacja tym mniejszą próbę należy z niej pobierać; Próba rezerwowa jeśli nie udało się próby zrealizować w 100%, sięganie do próby rezerwowej nie zmienia jakości uzyskanych wyników (dokładności oszacowań) Random route random route jest schematem losowego doboru próby jeśli nie udało się zrealizować w 100% imiennej adresowej próby pobranej z operatu PESEL, można bez szkody dla jakości wyników (dokładności oszacowań) dorobić brakuące wywiady metodą random route Wagi porealizacyjne jeśli próba zrealizowana (nie w pełni) jest niereprezentatywna (przedmiotowo) ze względu na kluczowe cechy (płeć, wiek, wykształcenie), bez szkody dla dokłądności oszacowań można poprawić jej strukturę za pomocą wag porealizacyjnych Sondaże, w których próba nie ma charakteru losowego: porzedwyborcza ankieta uliczna sondaż opinii publicznej: SMS-y wysyłane podczas trwania programu TV sondaż internetowy ogólnopolski sondaż telefoniczny w Polsce ankieta drukowana w czasopiśmie jako sondaż jej czytelników Błędne przeświadczenia, mitologie i oszustwa na temat doboru prób

53 Kiedy próba dobrze reprezentuje propulację? Gdy jest reprezentatywna! Reprezentatywność przedmiotowa = skład próby odpowiada składowi populacji ze względu na ustalony zbiór zmiennych; np. proporcja respondentów z wyższym wykształceniem w próbie i w populacji wynoszą 10% Reprezentatywność proceduralna – próba została dobrana w sposób losowy, co pozwala kontrolować stopień jej reprezentatywności przedmiotowej ze względu na dowolny zestaw zmiennych Losowy dobór gwarantuje de facto przedmiotową reprezentatywność próby wylosowanej ze względu na wszystkie zmienne, o ile próba jest dostatecznie duża a stopień realizacji próby, response rate, jest wystaczająco wysoki

54 PGSS1992PopulacjaLiczebności oczekiwane składniki chi-kwadrat Mężczyzna 73948,2%793,93,8 Kobieta 90851,8%853,13, ,0%16477,3 Wiek PGSS1992PopulacjaLiczebności oczekiwane składniki chi-kwadrat ,3%318,036, ,7%405,40, ,8%283,919, ,8%243,00, ,4%114,75, ,0%1365,062,6 Wykształcenie PGSS1992PopulacjaLiczebności oczekiwane składniki chi-kwadrat niepełne podstawowe1146,1%100,51,8 podstawowe43938,9%640,763,5 zasadnicze zawodowe44623,7%390,37,9 średnie50324,8%408,521,9 wyższe1456,5%107,113, ,0% ,6 Reprezentatywność przedmiotowa PGSS 1992

55 Realizacja Kwestionariusz – Próba – Realizacja – Analiza danych

56 Kryteria oceny jakości realizacji JAKOŚĆ KOSZTUJE Nie istnieją sondaże szybkie, tanie i dobrze zrealizowane

57 Zamawia sondaż: instytucja publiczna Płaci za projekt i wykonanie sondażu: podatnik PRZETARG: projektant realizacja projekt wykonawca Jakość odpowiedzi na pytania zamawiającego Budżet badania Ile i co kosztuje

58 Jakość realizacji Jakość (możliwości) potencjalnego wykonawcy – jaki poziom jakości daje się osiągnąć w praktyce Wymagania zamawiającego zamówienie SIWZ budżet

59 Dokładność oszacowań Operat Jakość realizacji badania Schemat doboru próby False records Missing values Response-rate Pominięte pytanie Odmowa odpowiedzi Wielkość próby Koszt dojazdów Fieldwork Kwestionariusz Czas trwania - koszt 1 wywiadu Koszt operatu Koszt realizacji Koszt jakości Projekt Raport Koszt projektowania Zewnętrzna kontrola ankieterów wykonawcy Koszt kontroli jakości realizacji

60 Dobry przetarg 1.Poprawne zamówienie 2.Szczegółowy SIWZ 3.Właściwy wybór wykonawcy 4.Kontrakt chroniący jakość 5.Kontrola jakości realizacji kontraktu 1.Poprawne zamówienie 2.Szczegółowy SIWZ 3.Właściwy wybór wykonawcy 4.Kontrakt chroniący jakość 5.Kontrola jakości realizacji kontraktu

61 Poprawne zamówienie - przykład Uniwersytet Warszawski, 2011 (fragment ogłoszenia przetargowego) § 3 Opis przedmiotu zamówienia (…) 2. (…) wywiadów indywidualnych metodą CAPI na imiennej próbie adresowej ludności w wieku 18 lub więcej lat pobranej z operatu PESEL i dostarczonej przez Zamawiającego, przy użyciu kwestionariusza dostarczanego przez Zamawiającego. W ramach sondażu wykonawca będzie miał za zadanie zrealizować poniższe prace: 1) wysyłkę listów zapowiednich, 2) podjęcie próby uzyskania wywiadu od każdej z osób w próbie 3) dostarczanie danych z przebiegu realizacji wywiadu w czasie trwania badania 4) Uzyskanie założonych liczebności wywiadów zrealizowanych w każdej z pod-prób 5) maksymalizację równomierności terytorialnej poziomu response-rate, przy założeniu osiągnięcia powyższych celów. Uniwersytet Warszawski, 2011 (fragment ogłoszenia przetargowego) § 3 Opis przedmiotu zamówienia (…) 2. (…) wywiadów indywidualnych metodą CAPI na imiennej próbie adresowej ludności w wieku 18 lub więcej lat pobranej z operatu PESEL i dostarczonej przez Zamawiającego, przy użyciu kwestionariusza dostarczanego przez Zamawiającego. W ramach sondażu wykonawca będzie miał za zadanie zrealizować poniższe prace: 1) wysyłkę listów zapowiednich, 2) podjęcie próby uzyskania wywiadu od każdej z osób w próbie 3) dostarczanie danych z przebiegu realizacji wywiadu w czasie trwania badania 4) Uzyskanie założonych liczebności wywiadów zrealizowanych w każdej z pod-prób 5) maksymalizację równomierności terytorialnej poziomu response-rate, przy założeniu osiągnięcia powyższych celów. PŁACIMY WYKONAWCY NIE (TYLKO) ZA DOSTARCZENIE USTALONEJ LICZBY WYWIADÓW LECZ PODJĘCIE PRÓBY UZYSKANIA WYWIADU OD KAŻDEJ Z JEDNOSTEK W PRÓBIE

62 Patologie przetargów – przykłady 2013 Gdańsk II.1.4) Określenie przedmiotu oraz wielkości lub zakresu zamówienia: W ramach przedmiotu zamówienia Wykonawca jest zobowiązany do: 1) konsultowania na etapie sporządzania raportu metodologicznego, szczegółów narzędzi badawczych, 2)przygotowania kwestionariuszy materiałów do badania, 3)realizacji prac terenowych oraz realizacji badania zgodnie z zakresem i minimum metodologicznym określonym w pkt 1 ppkt 4 SIWZ 4)przeprowadzenia (liczba z oferty) kwestionariuszy wywiadu 5)zapewnienia respondentom pełnej anonimowości w celu uzyskania jak najbardziej wiarygodnych danych IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena narzędzia badawcze - 50 Gdańsk II.1.4) Określenie przedmiotu oraz wielkości lub zakresu zamówienia: W ramach przedmiotu zamówienia Wykonawca jest zobowiązany do: 1) konsultowania na etapie sporządzania raportu metodologicznego, szczegółów narzędzi badawczych, 2)przygotowania kwestionariuszy materiałów do badania, 3)realizacji prac terenowych oraz realizacji badania zgodnie z zakresem i minimum metodologicznym określonym w pkt 1 ppkt 4 SIWZ 4)przeprowadzenia (liczba z oferty) kwestionariuszy wywiadu 5)zapewnienia respondentom pełnej anonimowości w celu uzyskania jak najbardziej wiarygodnych danych IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena narzędzia badawcze - 50

63 Patologie przetargów – przykłady 2013 PFRON 2013 (…) 5. ZAKRES PRAC WYKONAWCY Zakres prac Wykonawcy obejmuje: 1. opracowanie szczegółowej metodologii badania, 2. opracowanie narzędzi badawczych, 3. (…) wylosowanie prób badawczych, 4. realizację badania, 5. analizę danych i przygotowanie raportu z badania, 6. prezentację wyników na spotkaniu/konferencji (…) IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena Ocena merytoryczna – 60 (…) a) podkryterium koncepcja badania (MK), tj. - kompleksowość i przydatność badawcza zaproponowanej koncepcji z punktu widzenia celu badania (MK1) – od 0 do 13 pkt, - lista pytań badawczych (MK2) – od 0 do 20 pkt PFRON 2013 (…) 5. ZAKRES PRAC WYKONAWCY Zakres prac Wykonawcy obejmuje: 1. opracowanie szczegółowej metodologii badania, 2. opracowanie narzędzi badawczych, 3. (…) wylosowanie prób badawczych, 4. realizację badania, 5. analizę danych i przygotowanie raportu z badania, 6. prezentację wyników na spotkaniu/konferencji (…) IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena Ocena merytoryczna – 60 (…) a) podkryterium koncepcja badania (MK), tj. - kompleksowość i przydatność badawcza zaproponowanej koncepcji z punktu widzenia celu badania (MK1) – od 0 do 13 pkt, - lista pytań badawczych (MK2) – od 0 do 20 pkt

64 Błędne przeświadczenia zamawiających Przedmiotem zamówienia jest pewna liczba dostarczonych zapisów wywiadów Agencja badawcza potrafi odpowiedzieć na pytania zamawiającego Agencja badawcza potrafi dopasować metodologię do potrzeb zamawiającego Zamawiający, który nie potrafi określić metodologii dopasowanej do własnych potrzeb potrafi ocenić metodologie oferowane przez potencjalnych wykonawców Cena jest racjonalnym kryterium wyboru wykonawcy sondażu Istnieją tanie sondaże dobrej jakości, szybko i dobrze wykonane W sondażu z wykorzystaniem ogólnopolskiej imiennej próby adresowej można osiągnąć response rate powyżej 50% płacąc za 1 wywiad nie więcej niż 100 PLN Dobry sondaż można zaprojektować, zamówić, skontrolować i opracować bez udziału statystyka Sondaż jest dyscypliną naukową

65 Szczegółowy SIWZ Projekt analiz statystycznych ZamawiającyWykonawca CODEBOOK ZamawiającyWykonawca Odpowiedzi na pytania ZamawiającyWykonawca Kto projektuje Realizacja badania o wielkości porównywalnej z wielkością badania zamawianego Personel: liczba ankieterów Wyposażenie: liczba notebooków, oprogramowanie, serwer, łączność Warunki dopuszczenia do udziału w przetargu Response rate Równomierność realizacji Czas realizacji Kryteria wyboru oferty Kary za nieosiągnięcie response rate Kary za nierównomierność realizacji Kary za wywiady sfałszowane Kary za wywiady spóźnione Kontrakt z wykonawcą przewiduje Kto wykonuje /dostarcza Kto wykonuje /dostarcza Kwestionariusz ZamawiającyWykonawca Operat ZamawiającyWykonawca Warstwowanie, alokację i schemat doboru próby ZamawiającyWykonawca Jeśli chcemy maksymalizować stosunek jakości do kosztu badania powinniśmy jako kryterium wyboru oferty stosować iloraz błędu oszacowania do ceny za jeden wywiad (rekord) Podobną maksymalizację uzyskuje się zakładając docelową liczbę wywiadów zrealizowanych i wybierając takiego wykonawcę, który zażąda do tego najmniejszej póby

66 Jak pytać: CAPI Możliwość drobiazgowej kontroli ankietera Komputerowa rejestracja przebiegu wywiadu czas rozpoczęcia i zakończenia wywiadu – czas trwania wywiadu czas reakcji na poszczególne pytania długość przerwy między wywiadami Eliminacja efektu ankieterskiego

67 Kontrola jakości pracy ankietera Systematyczna: – wywiady zrealizowane – non-response (adresy osób wylosowanych) Zobiektywizowana: – Metodą F2F: kontroler dociera do respondenta lub osoby wylosowanej do badania, od której wywiadu nie uzyskano – Przeprowadzana przez firmę zewnętrzną Systematyczna: – wywiady zrealizowane – non-response (adresy osób wylosowanych) Zobiektywizowana: – Metodą F2F: kontroler dociera do respondenta lub osoby wylosowanej do badania, od której wywiadu nie uzyskano – Przeprowadzana przez firmę zewnętrzną

68 Konsekwencje dobrej kontroli Eliminacja wywiadów zrealizowanych budzących wątpliwości ankieterów, koordynatorów mało sprawnych, nierzetelnych systematyczna poprawa jakości danych

69 Populacja n -elementowa próba wylosowana z populacji Niedostępni, n 2 Zbadani, n 1 Response rate = = Response rate a dokładność oszacowań próba

70 Response rate a dokładność oszacowań Populacja dostępnychPopulacja nie-dostępnych n = 2000 n 1 = 1600 n 2 = 400 Quasi-przedział ufności dla frakcji populacyjnej

71 resp rate wielkość próby dokładność przy 100%- owej realizacji próby optympesymoptympesymoptympesymoptympesymoptympesymoptympesym 10010,012,012,212,614,513,116,713,418,913,721,213,823,4 4005,06,07,46,39,76,512,16,714,56,816,86,919,2 9003,34,05,74,28,24,410,64,513,04,615,44,617, ,53,04,93,27,43,39,83,412,23,414,73,517,1 Response rate a dokładność oszacowań populacyjnej frakcji optymistyczny rozkład w niezrealizowanej części próby 50% +/- 1/ n 2 pesymistyczny rozkład w niezrealizowanej części próby 50% +/- 50%

72 Do you think, woman should have the possibility of legal abortion, when: 1 Yes2 No8 DK p1p THERE IS STRONG CHANCE OF SERIOUS DEFECT of A CHILD 81,910,77,488%1,61%11,3%81%69,5%92,0% SHE IS MARRIED AND DOES NOT WANT ANY MORE CHILDREN 46,040,313,753%2,60%12,1%53%40,5%64,7% THE WOMAN'S OWN HEALTH IS SERIOUSLY ENDANGERED BY THE PREGNACY 84,58,47,191%1,44%11,2%83%71,6%93,9% FANY MORE CHILDREN 53,733,712,761%2,52%12,0%59%47,1%71,2% SHE BECAME PREGNANT AS RESULT OF RAPE 76,813,010,185%1,80%11,4%78%66,9%89,8% SHE IS NOT MARRIED AND DOES NOT WANT TO MARRY THE MAN 40,045,414,647%2,61%12,1%47%35,4%59,5% IF THE WOMAN WANTS IT FOR ANY REASON 38,748,013,345%2,58%12,1%46%33,6%57,8% n=2000; n 1 =1640 Response rate a przewidywanie wyników referendum Dane: PGSS 1992

73 Typowe praktyczne problemy do rozwiązania w sondażu Optymalny dobór próby – koszty dojazdu Próba Dostępność operatu: indywidualna – mieszkaniowa - kwota Fieldwork Jak kontrolować ankietera Kwestionariusz Pilotaż laboratoryjny Pilotaż statystyczny Pilotaż laboratoryjny Pilotaż statystyczny Braki danych Non-response Missing value Trudno powiedzieć

74 Badanie sondażowe według podręcznika: co, z kim, za co Zamawiający - zadanie – zespół Wymagania zamawiającego (sponsora): co musimy dostarczyć, z czego będziemy rozliczani Jakie jest nasze zadanie: przetłumaczyć zamówienie sponsora na problem badawczy Zespół: (doświadczenie + młodość + statystyk + admin) *zasoby czasu * motywacje indywidualne Wymagania zamawiającego (sponsora): co musimy dostarczyć, z czego będziemy rozliczani Jakie jest nasze zadanie: przetłumaczyć zamówienie sponsora na problem badawczy Zespół: (doświadczenie + młodość + statystyk + admin) *zasoby czasu * motywacje indywidualne Budżet E1 – Kwerendy-projektowanie E2 – Pilotaże – dobór prób E3 – Przetarg-Kontrakt - SIWZ E4 – Realizacja w terenie E5 – Analiza danych E6 – Dokumentacja badania E7 - Raport E1 – Kwerendy-projektowanie E2 – Pilotaże – dobór prób E3 – Przetarg-Kontrakt - SIWZ E4 – Realizacja w terenie E5 – Analiza danych E6 – Dokumentacja badania E7 - Raport

75 Badanie sondażowe według podręcznika: Etap 0 - Przygotowania organizacyjne - książka adresowa - kalendarz - tablica ogłoszeń (lista mailingowa) - repozytorium publikacji, danych, sprawozdań wewnętrznych, raportów, - książka adresowa - kalendarz - tablica ogłoszeń (lista mailingowa) - repozytorium publikacji, danych, sprawozdań wewnętrznych, raportów, Budowa zespołu podział zadań i funkcji uzgodnienie zasad wynagradzania podział zadań i funkcji uzgodnienie zasad wynagradzania Infrastruktura informatycznej procedury komunikacyjne - kto komu co i kiedy wysyła, zostawia, zapisuje

76 Badanie sondażowe według podręcznika: Etap 1 - Kwerendy - projekty Kwerenda teoretyczna: co na temat napisali inni Kwerenda faktograficzna: Kwerenda metodologiczna: jak badali to inni Wstępne ustalenia projektowe akceptacja i kontynuacja paradygmatu własny schemat teoretyczny zjawiska akceptacja i kontynuacja paradygmatu własny schemat teoretyczny zjawiska rozkłady podstawowych cech populacji identyfikacja zjawisk rzadkich lub powszechnych (pralka, NGO) rozkłady podstawowych cech populacji identyfikacja zjawisk rzadkich lub powszechnych (pralka, NGO) kontynuacja metodologii stosowanej dotychczas Własna metodologia: Korzystamy z narzędzi z innych dyscyplin (marketing, psychologia eksperymentalna) Własne rozwiązania (będą wymagały testów !!!) kontynuacja metodologii stosowanej dotychczas Własna metodologia: Korzystamy z narzędzi z innych dyscyplin (marketing, psychologia eksperymentalna) Własne rozwiązania (będą wymagały testów !!!) szkielet kwestionariusza – plan skalowań –modelowania–agregacji dostępność operatu schemat doboru próby technologia realizacji (PAPI, CATI, CAPI, CAWI, MOBI, skaner kodów, double screen, touch-screen, żetony, karty, makiety, rejestracja pasywna, telemetria, GPS ) szkielet kwestionariusza – plan skalowań –modelowania–agregacji dostępność operatu schemat doboru próby technologia realizacji (PAPI, CATI, CAPI, CAWI, MOBI, skaner kodów, double screen, touch-screen, żetony, karty, makiety, rejestracja pasywna, telemetria, GPS )

77 Badanie sondażowe według podręcznika: Etap 2 – Pilotaże – pilotaż jakościowy Pilotaż jakościowy Cel: zrozumiałość pytań (trafność społeczna) Pierwsza wersja kwestionariusz + instrukcje realizacyjne, filtry, skoki + metryczka Tekst kwestionariusza (MS Word) – wewnętrzne recenzje w zespole (interakcyjnie – rzutnik, zespół, pisarz) Wybór wykonawcy testu jakościowego Zlecenie na test: Translacja tekstu kwestionariusza oraz instrukcji na skrypt CAPI (wskaźniki czasu!!) Akcesoria (żetony, karty, przybory) Rekrutacja respondentów testowych (niski status !) Realizacja wywiadów za szybą ( ) Nagrywanie dźwięku i obrazu Przebieg testu: 5 wywiadów - korekta – 5 wywiadów – korekta etc. Efekt: kwestionariusz zrozumiały i trafny Cel: zrozumiałość pytań (trafność społeczna) Pierwsza wersja kwestionariusz + instrukcje realizacyjne, filtry, skoki + metryczka Tekst kwestionariusza (MS Word) – wewnętrzne recenzje w zespole (interakcyjnie – rzutnik, zespół, pisarz) Wybór wykonawcy testu jakościowego Zlecenie na test: Translacja tekstu kwestionariusza oraz instrukcji na skrypt CAPI (wskaźniki czasu!!) Akcesoria (żetony, karty, przybory) Rekrutacja respondentów testowych (niski status !) Realizacja wywiadów za szybą ( ) Nagrywanie dźwięku i obrazu Przebieg testu: 5 wywiadów - korekta – 5 wywiadów – korekta etc. Efekt: kwestionariusz zrozumiały i trafny

78 Badanie sondażowe według podręcznika: Etap 2 – Pilotaże – pilotaż statystyczny Pilotaż statystyczny Cel: wybór wskaźników Skrypt CAPI – znaczniki czasu przy każdym bloku pytań Próba 1000 (kwota, badanie typu omnibus) Realizacja pilotażu Raporty z analizy rozkładów w próbie i rekomendacje (wstępne skalowanie i modelowanie): - usunąć wskaźnik/blok wskaźników zbędny - zostawić wskaźnik/blok wskaźników niezbędny (pilotaż statystyczny jest w praktyce pierwszym etapem analizy danych, w tym praktycznym sprawdzianem modeli skalowania) Efekt: ostateczna wersja kwestionariusza zawiera minimalny zestaw wskaźników wystarczający do skalowania, modelowania i agregacji o czasie trwania nie przekraczającym możliwości respondenta i budżetu badania (1 minuta CAPI = 3 złote) Cel: wybór wskaźników Skrypt CAPI – znaczniki czasu przy każdym bloku pytań Próba 1000 (kwota, badanie typu omnibus) Realizacja pilotażu Raporty z analizy rozkładów w próbie i rekomendacje (wstępne skalowanie i modelowanie): - usunąć wskaźnik/blok wskaźników zbędny - zostawić wskaźnik/blok wskaźników niezbędny (pilotaż statystyczny jest w praktyce pierwszym etapem analizy danych, w tym praktycznym sprawdzianem modeli skalowania) Efekt: ostateczna wersja kwestionariusza zawiera minimalny zestaw wskaźników wystarczający do skalowania, modelowania i agregacji o czasie trwania nie przekraczającym możliwości respondenta i budżetu badania (1 minuta CAPI = 3 złote)

79 Badanie sondażowe według podręcznika: Etap 3 – Przetarg - Kontrakt Dokumenty Kto co komu przekazuje zamawiający kwestionariusz, instrukcje, formularze raportów, instrukcje obsługi platformy komunikacyjnej (serwerowej) Wykonawca informacje na temat sieci ankieterskiej, dane, raporty, protokoły zamawiający kwestionariusz, instrukcje, formularze raportów, instrukcje obsługi platformy komunikacyjnej (serwerowej) Wykonawca informacje na temat sieci ankieterskiej, dane, raporty, protokoły Czasy dostarczania raportów z przebiegu realizacji rekordów z zapisem odpowiedzi Zasady przyjmowania rekordów (formalna kontrola spójności) Zasady wyznaczania należności - stawka za 1 wywiad - kara z sufit (wyrzucanie wywiadów autora sufitu) - kara za spóźnienia (wywiad, raport, warstwa) - kara za response rate poniżej umownego - kara za nierównomierność realizacji - stawka za 1 wywiad - kara z sufit (wyrzucanie wywiadów autora sufitu) - kara za spóźnienia (wywiad, raport, warstwa) - kara za response rate poniżej umownego - kara za nierównomierność realizacji Kryteria wyboru oferty Na przykład: response-rate + czas + cena [np. 90% + 5% + 5%]

80 Badanie sondażowe według podręcznika: Etap 5 - Analiza danych Badanie sondażowe według podręcznika: Etap 6 - Dokumentacja badania Badanie sondażowe według podręcznika: Etap 7 - Raport CodeBook (kwestionariusz + rozkłady brzegowe) Zastosowane klasyfikacje (ISCO, ESCED, PKD) Zastosowane skale/indeksy (SEI, inne) Opis schematu doboru próby (prawdopodobieństwa inkluzji, wagi analityczne) Zastosowane procedury ważenia Raport z przebiegu realizacji (rozkłady przyczyn non-responsów) Zastosowane procedury imputacji oraz łączenia danych zewnętrznych

81 1.Zestaw pytań, na które mają odpowiedzieć Zleceniodawcy wyniki sondażu wraz z (opcjonalnie) 2.Definicję populacji, której odpowiedzi dotyczą, dostępność danych populacyjnych 3.Opis operatu losowania próby 4.Sposób doboru próby, jej wielkość oraz uzasadnienie 5.Sposób zbierania informacji na temat obiektów wylosowanych 6.Ogólny opis zawartości kwestionariusza, czasu trwania wywiadu, rodzaju pytań 7.Pilotaż kwestionariusza 8.Ogólny opis procedury kontroli jakości pracy ankieterów 9.Sposób wyznaczania wynagrodzenia Wykonawcy sondażu (szkic) 10.Sposób wyłonienia zwycięzcy przetargu/konkursu ofert 11.Szkic projektu analiz statystycznych 12.Szkic budżetu badania z podziałem na wynagrodzenie Wykonawcy i pozostałe koszty 1.Zestaw pytań, na które mają odpowiedzieć Zleceniodawcy wyniki sondażu wraz z (opcjonalnie) 2.Definicję populacji, której odpowiedzi dotyczą, dostępność danych populacyjnych 3.Opis operatu losowania próby 4.Sposób doboru próby, jej wielkość oraz uzasadnienie 5.Sposób zbierania informacji na temat obiektów wylosowanych 6.Ogólny opis zawartości kwestionariusza, czasu trwania wywiadu, rodzaju pytań 7.Pilotaż kwestionariusza 8.Ogólny opis procedury kontroli jakości pracy ankieterów 9.Sposób wyznaczania wynagrodzenia Wykonawcy sondażu (szkic) 10.Sposób wyłonienia zwycięzcy przetargu/konkursu ofert 11.Szkic projektu analiz statystycznych 12.Szkic budżetu badania z podziałem na wynagrodzenie Wykonawcy i pozostałe koszty Sondaż w 12 krokach: co trzeba mieć i znać

82 Badanie sondażowe według podręcznika Projekt norweski

83 FILARY PROJEKTU Sondaż ludności Polski (n=13 000, CAPI) Diagnoza barier i katalizatorów partycypacji obywatelskiej Pomiar satysfakcji obywatelskiej z usług publicznych Badanie przedstawicieli administracji publicznej (n=3000, CAWI) Perspektywa administracji na problemy badane w sondażu Kształt relacji między poszczególnymi szczeblami administracji Badanie przedstawicieli III Sektora (n=1000, CAWI) Ustalenie jak z perspektywy potencjalnych partnerów społecznych układa się współpraca z jednostkami administracji Warsztaty Dialogu Społecznego (Biłgoraj, Gołdap, Słupsk, Poznań) Praktyczny eksperyment społeczny Modelowe konsultacje społeczne z udziałem mieszkańców, samorządu i organizacji III sektora Poradniki dobrych praktyk (2): poradnik diagnozy lokalnej i tworzenia lokalnych strategii, poradnik dla samorządu i organizacji pozarządowych o strategiach komunikacyjnych

84 – Badanie sondażowe obejmuje populację dorosłych mieszkańców Polski i składa się z dwóch przedsięwzięć: Sondaż ludności Polski Diagnoza barier partycypacjiMonitor Jakości Rządzenia (MJR) Cel socjologiczny: Opisać rzeczywistość i odpowiedzieć na pytanie, co powstrzymuje obywatelską aktywność Polaków Cele szczegółowe: Ujawnić czynniki, które: - powstrzymują obywatelską aktywność (są barierami partycypacji) - sprzyjają obywatelskiej aktywności (są jej katalizatorami) Ustalić relacje między nimi Cel pragmatyczny: Dostarczyć wiedzy o ocenie jakości usług świadczonych obywatelom przez państwo z punktu widzenia ich codziennych użytkowników Cele szczegółowe: Wypracować użyteczne miary jakości rządzenia pozwalające porównywać: -jakość rządzenia na różnych poziomach (od szczebla gminy przez powiat i województwo) - jakość rządzenia w różnych jego aspektach (oświata, służba zdrowia, bezpieczeństwo). Wspólną cechą obu przedsięwzięć było świadome ograniczenie zakresu badania do poziomu lokalnego: aktywności obywatelskiej na szczeblu lokalnym, w pobliżu miejsca zamieszkania. lokalnego poziomu rządzenia (władzy, usług publicznych)

85 Schemat pomiarowy Katalizatory/Bariery Potencjał partycypacyjny Orientacje partycypacyjne aktywnośćładowanie Wartości/Normy Wiedza Kapitały społeczny ekonomiczny kulturowy Zachowania obywatelskie Chęć działania w organizacjach pozarządowych Zainteresowanie sprawami lokalnymi Potrzeba współdecydowania o sprawach lokalnych ŚRODOWISKO: okolica, w której mieszkam Proces przebiega zawsze w jakimś lokalnym środowisku

86 Analiza danych Zasoby kapitałów społecznych Generator zasobów Generator pozycji Skalogram Mokkena Skalogram Rascha Świadomość prawna Test kompetencyjny Pilotaż testu – selekcja pozycji Model pomiarowy 3PL Potencjał partycypacyjny jednostki Katalizatory: zasoby kapitałów Zachowania partycypacyjne Moderatory środowiskowe Model pomiarowy SEM-PLS Jakość rządzenia Indeks satysfakcji użytkownika usługi publicznej (MJR) Model pomiarowy SEM-PLS Koncept operacjonalizacjaProcedura

87 – kapitał społeczny to zbiór zasobów posiadanych przez członków siecispołecznych, które (zasoby) mogą stać się dostępne dla jednostek jako rezultat historii powiązań w obrębie sieci – Ilość oraz rodzaj kapitału społecznego zależy od tego: kogo znamy jak dobrze go znamy co może osoba z którą utrzymujemy kontakt danego rodzaju. Pomiar kapitału społecznego w ujęciu sieciowym Kapitał społeczny jest więc zasobem jednostki a nie zbiorowości W tej definicji kapitału społecznego rezygnuje się z uwzględniania pojęć determinowanych kulturowo czyli norm oraz zaufania. Ma charakter neutralny Występuje jako zmienna wyjaśniana Kapitał społeczny jest więc zasobem jednostki a nie zbiorowości W tej definicji kapitału społecznego rezygnuje się z uwzględniania pojęć determinowanych kulturowo czyli norm oraz zaufania. Ma charakter neutralny Występuje jako zmienna wyjaśniana

88 Technika pomiaru kapitału społecznego: generatory

89 GENERATOR POZYCJI Czy zna Pan(i) osobiście kogoś, kto jest Jeśli TAK, to czy jest to ktoś z rodziny, przyjaciel, znajomy? 4. Ja sam(a) jestem 1. Rodzina 2. Przyjaciel 3. Znajomy 1 Radnym 1 Tak2 Nie 2 Urzędnikiem Gminy 1 Tak2 Nie 3 Pracownikiem naukowym wyższej uczelni – profesorem, doktorem 1 Tak2 Nie 4 Dziennikarzem 1 Tak2 Nie 5 Lekarzem 1 Tak2 Nie 6 Pielęgniarką, innym pracownikiem służby zdrowia 1 Tak2 Nie 7 Przedsiębiorcą, właścicielem firmy 1 Tak2 Nie

90 GENERATOR ZASOBÓW Czy zna Pan(i) osobiście kogoś, kto mógłby Panu(i) pomóc w następujących kwestiach Jeśli TAK, to czy jest to ktoś z rodziny, przyjaciel, znajomy? 4. Sam(a) bym sobie z tym poradził(a) 1. Rodzina 2. Przyjaciel 3. Znajomy 1 Dokonać w domu drobnej naprawy (wymienić gniazdko, przepchać zlew) 1 Tak2 Nie 2 Zrobić zakupy, gdy Pan(i) i inni domownicy są chorzy 1 Tak2 Nie 3Znaleźć wakacyjną pracę dla Pana(i) dziecka1 Tak2 Nie 4Znaleźć dla Pana(i) pracę za granicą1 Tak2 Nie 5Znaleźć dla Pana(i) stałą pracę1 Tak2 Nie 6 Pożyczyć Panu(i) znaczną sumę pieniędzy (więcej niż 5000 zł) 1 Tak2 Nie 7 Wypełnić dla Pana(i) PIT (zeznanie podatkowe) 1 Tak2 Nie

91 , gdzie licznik ułamka oznacza kowariancję zaobserwowaną w rozkładzie empirycznym, zaś mianownik jest graniczną wartością tej kowariancji

92 państwo to: usługi świadczone obywatelom za pieniądze podatników państwo to: usługi świadczone obywatelom za pieniądze podatników obywatel to: użytkownik państwa klient - – petent - interesariusz obywatel to: użytkownik państwa klient - – petent - interesariusz FILARY MONITORA: państwo-usługa-klient-jakość

93 Metodologia: założenia i problemy Jakość usługi mierzona jest na podstawie pomiaru satysfakcji tylko tych osób, które faktycznie z niej korzystały Satysfakcja z usługi jest zmienną ukrytą, której wartość średnią w populacji użytkowników należy oszacować Problem: reprezentatywność próby użytkowników Problem: strukturalny model pomiarowy satysfakcji Dobór póby SEM/PLS

94 Założenia modelu poniarowego satysfakcji z usług publicznych generalizacjadyspozycja oczekiwania wobec danej usługi publicznej doświadczenie w korzystaniu z usługi zachowania i deklaracje dotyczące przyszłości: - skargi na jakość - zaufanie - rekomendacje poziom satysfakcji

95 Wyzwania metodologiczne Jak alokować próbę aby móc porównywać jakość koszyka usług na poziomie wojwództw Jak zrealizować badanie aby zminimalizować efekt ankietera Jak dobrać próbę aby uzyskać reprezentatywne próby użytkowników jak największej liczby usług publicznych Jak realizować badanie aby zminimalizować efekt respondenta Jak uzyskać wysoką jakość danych Jakie usługi można zbadać w sondażu

96 Sondaż duży i złożony Próby Polska 4x n=2500 Biłgoraj n=1000 Gołdap n=1000 Słupskn=1000 Poznańn=1000 AdministracjaWA PolicjaWP EdukacjaWE ZdrowieWZ NGON Kwestionariusze Obywatelski MJR Władza lokalna dostawca usług publicznych N Usługi publiczne: S1 S2 …. S12 Percepcja użytkowników usług publicznych Percepcja otoczenia

97 Liczebności próby (liczba wiązek) zostały wybrane po: Analizie oczekiwanego response rate dla warstwy. Analizie precyzyjnych danych dla każdej gminy (baza DEMOGRAF)DEMOGRAF) Efektywny dobór wiązek - ankieter był w stanie odwiedzić wszystkie adresy z wiązki w ciągu jednego dnia (rozmiary wiązek różne dla różnych warstw) Analiza opierała się na rzeczywistych danych z badań sondażowych prowadzonych w próbach dobieranych w porównywalny sposób (PBC, ESS). Algorytm Marka Stycznia zapewniający kompletną kontrolę nad prawdopodobieństwami doboru jednostek do próby przy losowaniu z operatu PESEL Jakość próby była kluczowa dla wyboru Wykonawcy badania - nowatorska funkcja punktująca za szerokość przedziału ufności (80%) i tylko w niewielkim stopniu (20%) za cenę oferty. Przykład złożonego badania sondażowego - próba

98 Przykład złożonego schematu doboru próby w projekcie norweskim Imienna, adresowa próba PESEL Losowane pojedyncze osoby z wylosowanych miejscowości Znane personalia respondenta możliwa kontrola realizacji badania Próba docelowa (netto) N = 9000 IIIIIIIV DOLNOŚLĄSKIE 141 KUJAWSKO-POMORSKIE 141 LUBELSKIE 141 LUBUSKIE 141 ŁÓDZKIE 141 MAŁOPOLSKIE 141 MAZOWIECKIE 141 OPOLSKIE 141 PODKARPACKIE 141 PODLASKIE 141 POMORSKIE 141 ŚLĄSKIE 141 ŚWIĘTOKRZYSKIE 141 WARMIŃSKO-MAZURSKIE 141 WIELKOPOLSKIE 141 ZACHODNIO-POMORSKIE 141 Alokacja wiązek gminnych IIIIIIIV DOLNOŚLĄSKIE KUJAWSKO-POMORSKIE LUBELSKIE LUBUSKIE ŁÓDZKIE MAŁOPOLSKIE MAZOWIECKIE OPOLSKIE PODKARPACKIE PODLASKIE POMORSKIE ŚLĄSKIE ŚWIĘTOKRZYSKIE WARMIŃSKO-MAZURSKIE WIELKOPOLSKIE ZACHODNIO-POMORSKIE warstwa wiesm. pon 20m m Zakładany response rate62%51%43%35% zakładany rozmiar wiązki liczba wiązek w 1 gminie 3445 liczba losowanych gmin Opis warstw: I – gmina wiejska II – miasto < 20 tys. III – miasto < 100 tys. IV – miasto > 100 tys.

99 etap badanieParametrywykonawca Pilotaż Screening usług publicznych Próba adresowa imienna (PESEL) n=8000 (netto) Pilotaż jakościowy 30 wywiadów z poglądem i rejestracją Test skryptu, kart, instrukcji ankietera Pilotaż statystyczny Próba losowo-kwotowa z badania screeningowego, selekcja wskaźników n=1000, czas trwania: 21 dni Fieldwork Badanie główne Próba losowa adresowa imienna (PESEL) n=13000 (netto), wywiad CAPI, czas trwania: 90 dniwywiad CAPI Kontrola terenowa 1000 adresów kontrolowanych przez firmę zewnętrzną; wywiad kontrolny F2F - PAPI "Bbs Biuro Badań Społecznych Barbara Danecka Przykład złożonego badania sondażowego

100 TechnologiaNarzędzieEfekt CAPI Skrypty sterujące przebiegiem wywiaduEliminacja efektu ankieterskiego Randomizacja kolejności pytań dla każdego respondenta Minimalizacja efektu pierwszeństwa, kolejności Ekran + karty + żetonySkrócenie czasu wywiadu Rejestracja przebiegu wywiadu w czasie rzeczywistym Możliwość kontroli ankieterów, detekcja anomalii SERWERY Platforma O3 SpacesWspomaganie pracy grupowej Serwis internetowy administracji sieci ankieterskiej i kontroli terenowej ankieterów Stały monitoring fazy terenowej, szybsza komunikacja z Wykonawcą Portal Wiem jak jest Bieżące, stale uaktualniane informacje na temat projektu Technologie informatyczne w realizacji dużych i złożonych badań sondażowych

101 Duże między-narodowe badania sondażowe GSS – ISSP – PGSS ESS WVS PISA EuroBarometer GSS – ISSP – PGSS ESS WVS PISA EuroBarometer

102 Duże badania sondażowe w Polsce - PGSS/ISSP, ESS, EVS, PISA, - Diagnoza Społeczna - Badanie prezydencko-premierskie CBOS Badania GUS - PGSS/ISSP, ESS, EVS, PISA, - Diagnoza Społeczna - Badanie prezydencko-premierskie CBOS Badania GUS Polskie firmy badawcze: Staff Sieć Próby Technologia Ceny Jakość Polskie firmy badawcze: Staff Sieć Próby Technologia Ceny Jakość Ośrodki kompetencji sondażowej (oprócz IS UW) IFiS PAN: Sztabińscy, Sawiński, Słomczyński, Mach, Domański GUS-Łódź ISP - Markowski (?) SWPS – Wasilewski (?) Ośrodki kompetencji sondażowej (oprócz IS UW) IFiS PAN: Sztabińscy, Sawiński, Słomczyński, Mach, Domański GUS-Łódź ISP - Markowski (?) SWPS – Wasilewski (?)

103 Źródła wiedzy i kompetencji Pisma POLSKA Wiadomości Statystyczne Statistics in Transition ASK WebSources: FCSM Statistics Canada JOS Instytucje EUROSTAT GESIS –ZUMA Książki Rubin, Donald B., Groves, Robert M., Rässler, Susanne, Särndal, Carl-Erik, Lundström, Sixten, Schafer Joseph L., Kish Leslie, Lynn Peter, Snijders Tom, DOrazio Marcello, Jan de Leeuw

104

105

106


Pobierz ppt "Twarze sondaży Henryk Banaszak Warsztat 2013. losowanie ze zwracaniem skład próby: k kulek zielonych Estymacja obliczenia PopulacjaSchemat doboru próby."

Podobne prezentacje


Reklamy Google