Henryk Banaszak Warsztat 2013 Twarze sondaży Henryk Banaszak Warsztat 2013

Nieznana proporcja zielonych w populacji Znana własność próby skład próby: k kulek zielonych losowanie obliczenia pytanie ze zwracaniem Estymacja p odpowiedź wniosek Czym jest sondaż zawsze błąd Populacja Schemat doboru próby Metoda wnioskowania

Sondaż jest badaniem statystycznym Przedmiot populacja Cel zestaw pytań na temat populacji zestaw zmiennych służących do wyznaczenia odpowiedzi na pytania Zakres Metoda badanie próby pobieranej z badanej populacji według schematu opisywanego w kategoriach probabilistycznych Wynik odpowiedzi na pytania na temat populacji na podstawie analizy łącznego rozkładu zmiennych wyznaczonych w próbie dobranej wedle schematu opisywanego w kategoriach probabilistycznych; oszacowania parametrów populacji + błąd oszacowań

Dlatego błąd jest prawie zawsze większy niż Wynik sondażu zawsze zawiera błąd Populacja Field-work Próba zbadana 1600 3 Non- response (400) Próba wylosowana 4 No answer (30%) 2000 5 False responses (5%) Operat 1 Dziurawa, stara 2 lista obiektów populacji Źródła dodatkowego błędu oszacowań Złożony wielstopniowy Schemat doboru próby Dlatego błąd jest prawie zawsze większy niż

Specyfika badania statystycznego Wynik badania jest parametrem statystycznym Wynik badania jest obciążony błędem Wielkość błędu można wyliczyć znając: Własności operatu Schemat doboru próby Poziom non-response Poziom braków odpowiedzi Jakość realizacji (false records) Czynniki 3, 4 i 5 zależą głównie od wykonawcy badania

Kogo potrzebujemy w sondażu? Teoria zjawiska Teoria pomiaru Dobór póby, fieldwork, estymacja Teoria skalowania Analiza danych Dobór wskaźników Statystyczne odpowiedzi na statystyczne pytania Błąd !!! „KWESTIONARIUSZ” Interpretacja wyników analiz w teorii zjawiska Pytania statystyczne kompetencje statystyczne Zmienne statystyczne

Podział zadań i odpowiedzialności Zamawiający Zadaje pytania o stan populacji: JAK/CZY Dobiera wskaźniki – definiuje zmienne - konstruuje kwestionariusz Przekłada swoje pytania na pytania statystyczne Definiuje dopuszczalny poziom błędu oszacowań Definiuje jakościowe kryteria wykonania „field-work” (przetarg) Statystyk zamawiającego Szuka operatu doboru próby Projektuje optymalny dla operatu i kosztów badania schemat doboru próby Wyznacza wielkość błędu oszacowań z uwzględnieniem czynników 1,2,3,4,5 Uczestniczy w interpetacji wyników analizy danych

Taki podział ról i zadań jest możliwy, gdy zamawiający: umie badanie zaprojektować, umie kontrolować jakość realizacji umie wyniki wykorzystać Często zamawiający nie umie 1, 2, 3 Często zamawiający nie wie że powinien umieć

Odpowiedzialność zamawiającego Odpowiedzialność wykonawcy Budżet badania Koszt realizacji Wielkość próby Dokładność oszacowań Koszt jakości Koszt dojazdów Schemat doboru próby Jakość realizacji badania Fieldwork Operat Czas trwania - koszt 1 wywiadu Response-rate Missing values False records Koszt operatu Kwestionariusz Pominięte pytanie Odmowa odpowiedzi Odpowiedzialność zamawiającego Odpowiedzialność wykonawcy

Zamawiający

Kto zamawia sondaż nadawca, wydawca, dziennikarz urzędnik publicznej administracji sprzedawca, producent, agencja reklamowa naukowiec, zazwyczaj socjolog

Po co zamawia Media Rynek Nauka Administracja teoria Po co zamawia Media Aby poinformować widownię o jej preferencjach, nastrojach, ocenach wydarzeń, instytucji i osób Diagnoza potrzeb, ocena efektywności programów (unijnych), konsultacje decyzji, ocena jakości usług publicznych Administracja Rozpoznanie klientów obecnych i potencjalnych (segmentacja, szacowanie popytu), wyznaczanie optymalnych cen produktów, ocena efektywności kampanii reklamowej Rynek Test hipotez teoretycznych, eksploracja struktury populacji, identyfikacja trendów, modelowanie dynamiki populacji (nauki społeczne, medyczne) Nauka

Po co płaci Nauka Media Administracja Rynek Praktyka – patologia? Po co płaci Aby utrzymać lub zwiększyć swoje audytorium: liczbę widzów, czytelników Media Administracja Aby wydać środki zaplanowane na badanie Aby podjąć optymalne decyzje o inwestycjach, polityce cenowej, kampanii relamowej Rynek Nauka Rozszerzyć lub zweryfikować wiedzę o populacji Kto potrzebuje sondażu dobrej jakości aby osiągnąć swój faktyczny cel ?

Sondaż dobrej jakości Odpowiada na pytania: które zamawiający postawił [ZAMAWIAJĄCY] Odpowiada wystarczająco precyzyjnie [WYKONAWCA] Odpowiada wiarygodnie [WYKONAWCA]

Dobry sondaż Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe [ZAMAWIAJĄCY] Dobra próba losowa – optymalne warstwowanie, optymalna alokacja, małe wariancje estymatorów [ZAMAWIAJĄCY] Dobra realizacja – wysoki response rate, równomierność realizacji, niski poziom braków danych, niska stopa oszustw, brak efektu ankieterskiego [WYKONAWCA] Dobra analiza danych - adekwatny opis statystyczny i poprawne wnioskowanie [ZAMAWIAJĄCY]

Kwestionariusz Kwestionariusz – Próba – Realizacja – Analiza danych

Dobry kwestionariusz: zadanie dla zamawiającego Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe Odpowiedzi to wskaźniki Wskaźniki cechy ukrytej Teoria zjawiska, teoria reakcji, teoria skalowania model pomiarowy Cecha ukryta (estymacja parametru populacji)

Inteligentne wskaźniki Szacowanie frekwencji wyborczej w wyborach parlamentarnych Jak Pan(i) sądzi, jaka będzie frekwencja w wyborach w najbliższą niedzielę? Czy zamierza Pan(i) wziąć udział w wyborach w najbliższą niedzielę? 1. Tak 2. Nie 3. Nie wiem |___| % Średnia odsetków podawanych przez respondentów % odpowiedzi TAK

Inteligentne wskaźniki Wyznaczanie ceny produktu, przy której oczekiwana liczba nabywców będzie największa Przy jakiej cenie uznałbyś produkt za zbyt tani, aby mógł być dobrej jakości? (Cheap) Przy jakiej cenie uznałbyś produkt za tani, ale odpowiedniej jakości? (Too Cheap) Przy jakiej cenie uznałbyś produkt za drogi, ale wart ewentualnego zakupu? (Expensive) Przy jakiej cenie uznałbyś produkt za zbyt drogi i nie wart zakupu? (Too Expensive) Za ile kupiłbyś produkt? |_______| zł kwota średnia środkowa

Skalowanie złożone – SEI Socio-Economic-Index: skala społeczno-ekonomicznego statusu zawodu

Skalowanie złożone: poziom zadowolenia z …. Jak bardzo zadwolony(a) jest Pan(i) ze swojego miejsca zamieszkania ? Bardzo zadowolony(a) Zadowolony(a) Niezadowolony(a) Bardzo niezadowolony(a) % odpowiedzi 1, 2 Jak bardzo zadowolony(a) jest Pan(i) X1 ze swoich sąsiadów Cecha ukryta: poziom zadowolenia Z X2 z poziomu czystości Biorąc to wszystko pod uwagę, proszę powiedzieć, jak Panu(i) się żyje w Pana(i) okolicy? Y X3 z zaopatrzenia sklepów X4 z placówek kulturalnych X5 z poziomu bezpieczeństwa Wyznacz takie wartości Z, które najlepiej przewidują odpowiedź Y Wskaźniki typu „źródła” Wskaźniki typu „skutki”

Skalowanie złożone: American Consumer Satisfaction Index (ACSI) Jak bardzo zadwolony(a) jest Pan(i) z usługi? Bardzo zadowolony(a) Zadowolony(a) Niezadowolony(a) Bardzo niezadowolony(a) % odpowiedzi 1, 2 poziom wymagań względem usługi wskaźniki jakości poziom satysfakcji z usługi skargi na jakość usługi i sposób ich załatwiania zaufanie do jakości usługi w przyszłości Q1 ogólne oczekiwania Q6 ogólna satysfakcja Q11 polecanie usługi innym Q7 spełnianie oczekiwań Q8 porównanie z ideałem Q5 ogólna ocena jakości Q2 ocena jakości wymiaru 1 Q3 ocena jakości wymiaru 2 Q4 ocena jakości wymiaru 3 Q9 czy złożył skargę Q10A/B reakcja na skargę Q12 wiara w stabilność poziomu jakości odczuwana jakość usługi Model pomiarowy ACSI dla usług

Skalowanie poziomu ekonomicznego i kulturowego kapitału jednostki KE-in Źródła kapitału ekonomicznego Kapitał sieciowy Manifestacje kapitału ekonomicznego Źródła kapitału kulturowego Manifestacje kapitału kulturowego Model skalowania strukturalnego inspirowany przez teorię Bourdieu KK-in KE-out KK-out KE-in KK-in Liczba samochodów w gosp dom. Doch na 1 os w gosp dom Głowa rodziny kieruje pracą innych Liczba pracujących w gosp dom Resp pracuje w sektorze prywatnym Resp prowadzi własną firmę Wskaźniki Wykszt resp Wykszt matki respo Liczba książek w gosp dom Wykszt głowy gosp dom Wykszt ojca resp Liczba DVD w gosp dom Liczba CD w gosp dom Wskaźniki KK-out KE-out Poziom kompetencji komputerowej (skala) Liczba opanowanych jezyków obcych Rachunek bankowy obsługiwany internetowo Intensywność używania internetu Liczba przeczytanych książek Intensywność używania komputera Samoocena sytuacji materialnej obecnej Wyjazd podczas urlopu Oczekiwana sytuacja materialna za 5 lat Wyjazd urlopowy za granicę Korzystanie z prywatnej służby zdrowia Zasoby czasu wolnego Wskaźniki Wskaźniki

Próba Kwestionariusz – Próba – Realizacja – Analiza danych

Schemat logiczny wnioskowania w sondażu Dobór próby (1) Populacja n-elementowa próba losowa z populacji Probabilistyczny schemat doboru, opisany w kategoriach rachunku prawdopodobieństwa Statystyka opisowa: wyznaczenie parametrów w próbie Parametry próby (2) Parametry populacyjne (3) Wnioskowanie statystyczne Statystyka inferencyjna – zastosowanie rachunku prawdopodobieństwa do uzasadnienia reguł wnioskowania (1) & (2) (3) Przesłanki wniosek

W badaniu sondażow mamy do czynienia z sytuacją, w której wiadomo, co się może zdarzyć, wiadomo z jakim prawdopodobieństwem co się zdarza lecz nie wiadomo, co zdarzy się w pojedynczym doświadczeniu Cel doświadczenia – odpowiedź na pytanie: Doświadczenie Rzucamy monetą o nieznanym prawdopodobieństwie upadania z 1EU na wierzchu n-razy Jakie jest p-two wyrzucenia „1” Losujemy n-kul ze zwracaniem z urny o nieznanej zawartości Jaka jest w urnie proporcja kul czerwonych

Ile razy trzeba rzucać monetą aby sprawdzić, czy jest rzetelna?

Losowanie próby w badaniu sondażowym to jak rzucanie monetą lub lub lub 3 2 1 P=0,064 P=0,288 P=0,432 P=0,216

Probabilistyczny sposób doboru próby 1) o wyborze obiektów do badania, decyduje mechanizm losowy o znanych własnościach, a w konsekwencji: 2) każdy obiekt populacji ma dającą się obliczyć szansę (prawdopodobieństwo) bycia wylosowanym, a w konsekwencji: 3) dla każdego składu próby (rezultatu losowania) daje się obliczyć prawdopodobieństwo jego uzyskania, a w konsekwencji: a) umożliwia obliczenie prawdopodobieństwa popełnienia błędów wnioskowania (nazywanego błędem statystycznym) dla każdego rozmiaru błędu przy założonym schemacie doboru, b) pozwala na ustalenie minimalnej liczebności próby niezbędnej do osiągnięcia założonej dokładności oszacowań (wielkości błędu wnioskowania) błędu przy założonym schemacie doboru

Przy losowym doborze próby § Wynik losowania próby jest zdarzeniem losowym. § Wartości parametrów statystycznych wyznaczonych w próbie również są zdarzeniami losowymi. § Jeśli zdarzenie losowe jest charakteryzowane za pomocą liczb, mamy do czynienia ze zmiennymi losowymi. § Znajomość rozkładów prawdopodobieństwa na zbiorze rezultatów badania statystycznego, tak zwanych statystyk z próby, jest niezbędna do uzasadnienia reguł wnioskowania statystycznego. § Wnioskowanie statystyczne jest możliwe dzięki temu, iż rozkłady statystyk z próby bywają zbliżone do rozkładów zmiennych losowych dobrze znanych w rachunku prawdopodobieństwa.

Rozkład normalny  =10

Rozkład normalny standaryzowany m=0, s=1 x

Rozkład chi-kwadrat dla kilku stopni swobody r

Twierdzenia o zbieżności Wraz ze wzrostem liczby losowanych obiektów rozkłady prawdopodobieństwa wyników badania statystycznego stają się tak podobne do rozkładów pewnych zmiennych losowych, że można używać tych zmiennych jako podstawy do estymacji parametrów populacji i testowania hipotez na jej temat

Minimalna liczebność próby Twierdzenie o zbieżności rozkładu średniej z próby do rozkładu normalnego (CTG) Błąd oszacowania Minimalna liczebność próby

a1 a2 a3 a4 1 2 3 1,5 2,5 Populacja Zmienna próba nr skład próby X1 X2 średnia 1 a1 2 a2 1,5 3 a3 5 9 4 a4 6 7 10 11 13 8 2,5 12 14 15 16

Dokładność oszacowań frakcji populacyjnej a wielkość losowej próby

Minimalny rozmiar próby Granice stosowalności CTG w estymacji populacyjnej frakcji Proporcja w populacji Minimalny rozmiar próby p n 0,50 30 0,40 50 0,30 80 0,20 200 0,10 600 0,05 1400 Źródło: W.G.Cochran, Sampling Techniques, John Wiley and Sons, New York, 1953, s..41

Popularne statystyki z póby o rozkładach N, t , F, 2 sample mean , sample proportion , S2X sample variance , rX,Y sample Pearson correlation coefficient , bX|Y sample slope coefficient of linear bivariate regression , bY|X;ZST sample slope coefficient of multiple linear regression for Y as dependent variable and X as a predictor in the equation containing also Z, S and T variables , r2Y;XZST sample squared multiple regression correlation coefficient for Y as dependent variable and X Z, S and T as predictors sample statistics t for testing discrepancy between empirical sample rX.Y coefficient with hypothetical population coefficient RX,Y=0 has n-2 degrees of freedom, where n=sample size) sample statistics t for testing hypothesis about equality of means of variable X in two populations W1 and W2. Random variable t has n1+n2-2 degrees of freedom, where n1, n2 are size of sample 1 and 2 accordingly sample statistics t for testing discrepancy between empirical sample b Y|X;ZST… coefficient with hypothetical population coefficient BX|Y;ZTS…=0 has n-k-1 degrees of freedom, where n=sample size, k - number of variables in the multiple regression model) sample statistics F for testing discrepancy between empirical sample r2 Y:XZST… coefficient with hypothetical population coefficient R2X,YZTS…=0 has k and n-k-1 degrees of freedom, where n=sample size, k - number of variables in the multiple regression model)

Schemat wnioskowania w badaniu sondażowym (1) Dobrano losowo 1600-osobową próbę wyborców (2) W wylosowanej próbie 400 respondentów, to jest 25% badanych, deklarowało chęć głosowania na partię X wobec tego (3) W populacji wyborców odsetek deklarujących zamiar głosowania na partię X wynosi 25% +/- 2,5%, to jest między 22,5% a 27,5%. (1) & (2) (3)

Przykład wnioskowania w badaniu sondażowym (Przykład fikcyjny) Liczebności prób Styczeń: n=81, Luty: n=121, Marzec: n=64, Kwiecień: n=121, Maj: n=225 Które zmiany proporcji są statystycznie znaczące?

Losowy dobór prób – problemy praktyczne Wnioskowanie statystystyczne: Dokładność oszacowań Testowanie hipotez – „znaczące statystycznie” Operaty Response rate a dokładność oszacowań Schematy doboru prób Mitologie agencji badawczych

Losowy dobór w praktyce - operat losowania Operat = lista wszystkich obiektów badanej populacji Powinien być: Może być kompletny dziurawy, nie obejmuje populacji, ignoruje istone i duze kategorie obiektów; (np. lista abonentów TPSA nie jest operatem dla populacji dorosłych Polaków) skrzywiony; dziurawy systematycznie - zawiera dane o wielu obiektach pewnego rodzaju a niewiele o innych; (np. Lista prenumeratorów pisma jest złym operatem dla populacji jego czytelników), bezbłędny niedokładny; ma wysoką stopę błędów w danych (zdarza się często, gdy lista jest tworzona przez obiekty populacji) aktualny nieaktualny (migracje ludzi, likwidacja lub zmiany profilu firm, zmiany struktury zatrudnienia)

Dostępne operaty dla prób ogólnopolskich PESEL Centralny system ewidencji meldunkowej Zawiera informację o zameldowaniu a nie o faktycznym zamieszkiwaniu Stopa błędnych danych adresowych nie przekracza 5% Pozwala dokładnie kontrolować ankieterów Pozwala dokładnie wyznaczać response rate Konieczne złożone schematy doboru próby celem uniknięcia nadmiernych kosztów realizacji (dojazdy) GUS – spis mieszkań Prawie 100%-owa aktualność (mieszkania nie migrują) Konieczne losowanie osoby z wylosowanego mieszkania – ankieter decyduje o tym, kto zostaje respondentem Utrudniona kontrola pracy ankieterów Lokalne spisy wyborców Starzeją się – migracje Nieznana stopa błędów Trudno dostępny (administracja)

Schematy doboru prób Dobór prosty zależny po jednym obiekcie z badanej zbiorowości (jak liczby w normalnym lotku): przykłady: adresowa próba osób zamieszkałych we wskazanej gminie (uzyskiwana z PESEL,), próba mieszkań z rejonu spisowego (GUS); Dobór taki w postaci czystej dla badań ogólnopolskich nie jest stosowany - można by otrzymać np. 1000- osobową próbę rozrzuconą między 1000 miejscowości. Dobór systematyczny „co k-ty obiekt wylosowany” - np. co 40-ty wychodzący z lokalu wyborczego. losuje się jedną tylko liczbę (od 1 do k) określającą punkt startowy; przykłady: co któryś wychodzący ( exit poll), stosowany także w badaniach audytoriów kinowych; Dobór zespołowy zbiorowość podzielona jest na zespoły (części) - losuje się części i potem bada wszystkie obiekty, które do nich należą; np. losowanie klas szkolnych (bada się wszystkich uczniów w klasie) Dobór wielostopniowy: warstwowy: najpierw dzieli się zbiorowość na rozłączne części - warstwy (np. na regiony, województwa, na część miejską i wiejską), a potem losuje obiekty z każdej z warstw osobno (być może nawet dla każdej w inny sposób); zazwyczaj celem badania jest szacowanie parametrów warstwy jak i populacji generalnej. zespołowy: losuje się najpierw zespół a potem z zespołu losuje się obiekty. Np. losujemy gminy (miejscowości) a potem osoby w nich zamieszkałe.

Popularne złożone schematy doboru prób Próba adresowa gospodarstw domowych i schemat Kish Jednostką losowania jest mieszkanie losowane z operatu GUS W wylosowanym mieszkaniu ankieter przeprowadza mikrospis członków gospodarstwa domowego Po przeprowadzeniu mikrospisu ankieter wybiera (przy użyciu tabel z liczbami losowymi) losowo członka gospodarstwa, który staje się respondentem Wady: Trudność kontroli jakości mikrospisu trudność kontroli przyczyn niezrealizowania wywiadu Konieczność wyznaczania wag analitycznych post-factum Losowo-kwotowy dobór prób w badaniach typu OMNIBUS Populację dzieli się na warstwy terytorialne i klasy wielkości miejscowości Dla każdej z warstw losuje się taką liczbę gmin wjaka wynika z założonego sposobu podziału próby między warstwy, W każdej z wylosowanych gmin ankieter rekrutuje respondentów zgodnie z listą ich profili definiowaną przez kryteria doboru (płeć, wiek, wykształcenie i ewentualne kryteria dodatkowe) Nielosowość doboru ogranicza się tu do wąskiej warstwy osób spełniających wszystkie kryteria rekrutacji

Dobór nielosowy Cechy doboru celowego: o składzie badanej próby decydują badacz (określa kryteria doboru) i ankieter - wybiera spośród obiektów spełniających kryteria, do określenia kryteriów doboru dla każdego respondenta potrzebna jest wiedza o łącznych rozkładach cech w interesującej badacza zbiorowości - należy ją zdobyć zwykle za pomocą badań na próbach losowych . Dobór losowo-kwotowy: losowa alokacja terytorialna (miasto-wieś, regiony, województwa, gminy wiejskie, miejskie) a następnie celowy dobór respondentów Dobrze skonstruowana próba kwotowa (dobierana celowo) daje niekiedy dokładniejsze oszacowania niż mało liczna próba losowa. Pożądane własności nielosowych metod doboru: uzyskanie “dobrego przedstawicielstwa” populacji ze względu na ważne dla nas cechy, czyli reprezentatywności grupy zbadanej w przedmiotowym sensie.

Próba losowo-kwotowa: konstrukcja Liczebności PŁEĆ   WYKSZT Kobieta Mężczyzna Grand Total podstawowe 2 1 3 średnie 4 6 10 wyższe 7 9 16 GMINA PŁEĆ WYKSZT WIEK Warszawa-Bemowo Kobieta średnie 40-49 lat Mężczyzna 20-29 lat wyższe Bolesławiec podstawowe 15-19 lat 30-39 lat 60-64 lat Bydgoszcz 50-59 lat Bystrzyca Kłodzka Liczebności PŁEĆ   WIEK Kobieta Mężczyzna Grand Total 15-19 lat 1 20-29 lat 3 4 30-39 lat 2 40-49 lat 5 50-59 lat 60-64 lat 7 9 16 Liczebności WYKSZT   WIEK podstawowe średnie wyższe Grand Total 15-19 lat 1 20-29 lat 2 4 30-39 lat 3 40-49 lat 5 50-59 lat 60-64 lat 10 16

Kiedy warto stosować próby kwotowe Warto stosować próby kwotowe oraz losowo-kwotowe gdy: Rozkłady zmiennych zależnych zależą silnie od regionu (typu) miejsca zamieszkania Rozkłady zmiennych zależnych zależą silnie od tych cech, które mogą być kryteriami doboru respondentów (płeć, wiek, wykształcenie); Rozkłady łączne cech doboru respondentów w populacji są dostępne i wiarygodne, Target group stanowi niewielką część populacji generalnej lecz jego członkowie daja się łatwo (najlepiej bez pytania) zidentyfikować - wówczas przynależność do target group może być dodatkowym kryterium selekcji

Sondaże nietypowe i ich ograniczenia Sonda telefoniczna (na losowej próbie abonentów) RDD Populacja posiadaczy telefonów stacjonarnych różni się istotnie od populacji dorosłych Polaków; Wyniki sondażu nie dają się uogólnić na całą populację dorosłych Polaków (operat jest niepełny i skrzywiony) Ankieta pocztowa (oparta na imiennej próbie adresowej) Response rate rzadko przekracza 20% a nigdy 40%, co czyni wyniki bezwartościowymi Ankieta umieszczana w gazecie (periodyku), Sondaż internetowy, Ankieta uliczna, Audio-tele (SMS-y) Nielosowy dobór uczestników badania – potencjalny respondent sam decyduje czy weźmie udział w badaniu czy nie; Nie można ustalić response rate ani dokładności oszacowań Nie wiadomo jaką zbiorowość reprezentują zebrane odpowiedzi

Pułapki sondaży telefonicznych   Firma badawcza X GUS NSP2002 Wieś M-W Miasto Razem 1 dolnośląskie 76,4% -1,3% 75,1% 75,5% 57,7% 21,8% 79,5% 74,1% 2 kujawsko-pomorskie 70,7% -3,1% 67,6% 68,8% 53,2% 23,7% 77,0% 69,2% 3 lubelskie 73,6% 10,4% 84,0% 78,8% 57,5% 20,1% 77,6% 67,5% 4 lubuskie 62,7% 14,6% 77,3% 72,2% 61,5% 15,9% 77,5% 72,4% 5 łódzkie 63,5% 5,9% 69,4% 67,4% 54,5% 20,8% 75,3% 69,1% 6 małopolskie 70,1% 12,0% 82,1% 76,3% 67,2% 13,9% 81,1% 7 mazowieckie 2,0% 74,4% 73,8% 58,0% 25,1% 83,1% 75,6% 8 opolskie -0,3% 75,4% 54,3% 68,3% 62,3% 9 podkarpackie 70,9% 15,7% 86,5% 77,4% 56,0% 26,8% 82,8% 68,4% 10 podlaskie -1,7% 69,0% 61,2% 19,0% 80,2% 73,2% 11 pomorskie 69,7% 10,6% 80,3% 77,1% 55,4% 23,4% 78,7% 72,6% 12 śląskie 71,8% 0,8% 72,7% 72,5% 57,2% 12,2% 13 świętokrzyskie 59,1% 18,5% 44,5% 32,3% 76,8% 60,9% 14 warmińsko-mazurskie 12,1% 73,0% 68,2% 70,4% 64,7% 15 wielkopolskie 72,0% 0,4% 72,3% 67,0% 12,6% 79,6% 16 zachodniopomorskie 56,1% 14,2% 70,3% 66,3% 59,4% 16,9% 71,9% razem 69,6% 5,2% 74,8% 72,9% 58,2% 77,2% 71,0% min (M-W) 12,2% MAX (M-W) 32,3% min (M-W) -3,1% MAX (M-W) 18,5%

Błędne przeświadczenia, mitologie i oszustwa na temat doboru prób Wielkość populacji a wielkość próby dokładność oszacowań zależy od wielkości populacji: z małej populacji powinno się losować małe próby, z dużych – duże; im mniejsza populacja tym mniejszą próbę należy z niej pobierać; Próba rezerwowa jeśli nie udało się próby zrealizować w 100%, sięganie do próby rezerwowej nie zmienia jakości uzyskanych wyników (dokładności oszacowań) Random route “random route” jest schematem losowego doboru próby jeśli nie udało się zrealizować w 100% imiennej adresowej próby pobranej z operatu PESEL, można bez szkody dla jakości wyników (dokładności oszacowań) dorobić brakuące wywiady metodą „random route” Wagi porealizacyjne jeśli próba zrealizowana (nie w pełni) jest niereprezentatywna (przedmiotowo) ze względu na kluczowe cechy (płeć, wiek, wykształcenie), bez szkody dla dokłądności oszacowań można „poprawić” jej strukturę za pomocą wag porealizacyjnych „Sondaże”, w których próba nie ma charakteru losowego: porzedwyborcza ankieta uliczna sondaż opinii publicznej: SMS-y wysyłane podczas trwania programu TV sondaż internetowy ogólnopolski sondaż telefoniczny w Polsce ankieta drukowana w czasopiśmie jako sondaż jej czytelników

Kiedy próba dobrze reprezentuje propulację? Gdy jest reprezentatywna! Reprezentatywność przedmiotowa = skład próby odpowiada składowi populacji ze względu na ustalony zbiór zmiennych; np. proporcja respondentów z wyższym wykształceniem w próbie i w populacji wynoszą 10% Reprezentatywność proceduralna – próba została dobrana w sposób losowy, co pozwala kontrolować stopień jej reprezentatywności przedmiotowej ze względu na dowolny zestaw zmiennych Losowy dobór gwarantuje de facto przedmiotową reprezentatywność próby wylosowanej ze względu na wszystkie zmienne, o ile próba jest dostatecznie duża a stopień realizacji próby, response rate, jest wystaczająco wysoki

Reprezentatywność przedmiotowa PGSS 1992   PGSS1992 Populacja Liczebności oczekiwane składniki chi-kwadrat Mężczyzna 739 48,2% 793,9 3,8 Kobieta 908 51,8% 853,1 3,5 1647 100,0% 7,3 Wiek PGSS1992 Populacja Liczebności oczekiwane składniki chi-kwadrat   20-29 211 23,3% 318,0 36,0 30-39 422 29,7% 405,4 0,7 40-49 359 20,8% 283,9 19,9 50-59 233 17,8% 243,0 0,4 60-64 140 8,4% 114,7 5,6 1365 100,0% 1365,0 62,6 Wykształcenie PGSS1992 Populacja Liczebności oczekiwane składniki chi-kwadrat   niepełne podstawowe 114 6,1% 100,5 1,8 podstawowe 439 38,9% 640,7 63,5 zasadnicze zawodowe 446 23,7% 390,3 7,9 średnie 503 24,8% 408,5 21,9 wyższe 145 6,5% 107,1 13,4 1647 100,0% 108,6

Kogo pytać – dobra próba aktualny, rzetelny, kompletny operat optymalny schemat doboru znany błąd estymacji

Realizacja Kwestionariusz – Próba – Realizacja – Analiza danych

Kryteria oceny jakości realizacji DoKŁADNOŚĆ oszacowań: (% non-response, równomierność realizacji, % missing-data, % “sufitów”) Czas realizacji (od zamówienia do wyników) Koszt realizacji (koszt 1 rekordu) JAKOŚĆ KOSZTUJE Nie istnieją sondaże szybkie, tanie i dobrze zrealizowane

Wymagania zamawiającego budżet Jakość realizacji zamówienie Wymagania zamawiającego SIWZ Jakość (możliwości) wykonawcy

Recepta na dobry jakość realizacji Poprawne zamówienie Szczegółowy SIWZ Właściwy wybór wykonawcy Kontrakt chroniący jakość Kontrola jakości realizacji badania

Komputerowa rejestracja przebiegu wywiadu Jak pytać: CAPI Komputerowa rejestracja przebiegu wywiadu czas rozpoczęcia i zakończenia wywiadu – czas trwania wywiadu czas reakcji na poszczególne pytania długość przerwy między wywiadami Możliwość drobiazgowej kontroli ankietera Eliminacja efektu ankieterskiego

Kontrola jakości pracy ankietera Systematyczna: wywiady zrealizowane non-response (adresy osób wylosowanych) Zobiektywizowana: Metodą F2F: kontroler dociera do respondenta lub osoby wylosowanej do badania, od której wywiadu nie uzyskano Przeprowadzana przez firmę zewnętrzną

Konsekwencje dobrej kontroli Eliminacja wywiadów zrealizowanych budzących wątpliwości ankieterów, koordynatorów mało sprawnych, nierzetelnych systematyczna poprawa jakości danych

Response rate a dokładność oszacowań Niedostępni, n2 Populacja próba = n -elementowa próba wylosowana z populacji Zbadani, n1 Response rate =

Response rate a dokładność oszacowań Populacja dostępnych Populacja nie-dostępnych n1 = 1600 n2 = 400 Quasi-przedział ufności dla frakcji populacyjnej

Response rate a dokładność oszacowań populacyjnej frakcji resp rate   95 90 85 80 75 70 wielkość próby dokładność przy 100%-owej realizacji próby optym pesym 100 10,0 12,0 12,2 12,6 14,5 13,1 16,7 13,4 18,9 13,7 21,2 13,8 23,4 400 5,0 6,0 7,4 6,3 9,7 6,5 12,1 6,7 6,8 16,8 6,9 19,2 900 3,3 4,0 5,7 4,2 8,2 4,4 10,6 4,5 13,0 4,6 15,4 17,8 1600 2,5 3,0 4,9 3,2 9,8 3,4 14,7 3,5 17,1 optymistyczny rozkład w niezrealizowanej części próby 50% +/- 1/ Ö n2 pesymistyczny rozkład w niezrealizowanej części próby 50% +/- 50%

p0+e Response rate a przewidywanie wyników referendum p0-e Dane: PGSS 1992 Do you think, woman should have the possibility of legal abortion, when: 1 Yes 2 No 8 DK p1 e1 e p0 p0-e p0+e THERE IS STRONG CHANCE OF SERIOUS DEFECT of A CHILD 81,9 10,7 7,4 88% 1,61% 11,3% 81% 69,5% 92,0% SHE IS MARRIED AND DOES NOT WANT ANY MORE CHILDREN 46,0 40,3 13,7 53% 2,60% 12,1% 40,5% 64,7% THE WOMAN'S OWN HEALTH IS SERIOUSLY ENDANGERED BY THE PREGNACY 84,5 8,4 7,1 91% 1,44% 11,2% 83% 71,6% 93,9% FANY MORE CHILDREN 53,7 33,7 12,7 61% 2,52% 12,0% 59% 47,1% 71,2% SHE BECAME PREGNANT AS RESULT OF RAPE 76,8 13,0 10,1 85% 1,80% 11,4% 78% 66,9% 89,8% SHE IS NOT MARRIED AND DOES NOT WANT TO MARRY THE MAN 40,0 45,4 14,6 47% 2,61% 35,4% 59,5% IF THE WOMAN WANTS IT FOR ANY REASON 38,7 48,0 13,3 45% 2,58% 46% 33,6% 57,8% n=2000; n1=1640

Typowe praktyczne problemy do rozwiązania w sondażu Optymalny dobór próby – koszty dojazdu Próba Dostępność operatu: indywidualna – mieszkaniowa - kwota Jak kontrolować ankietera Fieldwork Pilotaż laboratoryjny Pilotaż statystyczny Kwestionariusz Non-response Braki danych Missing value Trudno powiedzieć

Badanie sondażowe według podręcznika: co, z kim, za co Wymagania zamawiającego (sponsora): co musimy dostarczyć, z czego będziemy rozliczani Jakie jest nasze zadanie: przetłumaczyć zamówienie sponsora na problem badawczy Zespół: (doświadczenie + młodość + statystyk + admin) *zasoby czasu * motywacje indywidualne Zamawiający - zadanie – zespół E1 – Kwerendy-projektowanie E2 – Pilotaże – dobór prób E3 – Przetarg-Kontrakt - SIWZ E4 – Realizacja w terenie E5 – Analiza danych E6 – Dokumentacja badania E7 - Raport Budżet

Badanie sondażowe według podręcznika: Badanie sondażowe według podręcznika: Etap 0 - Przygotowania organizacyjne podział zadań i funkcji uzgodnienie zasad wynagradzania Budowa zespołu - książka adresowa - kalendarz - tablica ogłoszeń (lista mailingowa) - repozytorium publikacji, danych, sprawozdań wewnętrznych, raportów, Infrastruktura informatycznej procedury komunikacyjne - kto komu co i kiedy wysyła, zostawia, zapisuje

Badanie sondażowe według podręcznika: Etap 1 - Kwerendy - projekty Kwerenda teoretyczna: co na temat napisali inni akceptacja i kontynuacja paradygmatu własny schemat teoretyczny zjawiska rozkłady podstawowych cech populacji identyfikacja zjawisk rzadkich lub powszechnych (pralka, NGO) Kwerenda faktograficzna: kontynuacja metodologii stosowanej dotychczas Własna metodologia: Korzystamy z narzędzi z innych dyscyplin (marketing, psychologia eksperymentalna) Własne rozwiązania (będą wymagały testów !!!) Kwerenda metodologiczna: jak badali to inni Wstępne ustalenia projektowe szkielet kwestionariusza – plan skalowań –modelowania–agregacji dostępność operatu schemat doboru próby technologia realizacji (PAPI, CATI, CAPI, CAWI, MOBI, skaner kodów, double screen, touch-screen, żetony, karty, makiety, rejestracja pasywna, telemetria, GPS )

Badanie sondażowe według podręcznika: Badanie sondażowe według podręcznika: Etap 2 – Pilotaże – pilotaż jakościowy Cel: zrozumiałość pytań (trafność „społeczna”) Pierwsza wersja kwestionariusz + instrukcje realizacyjne, filtry, skoki + metryczka Tekst kwestionariusza (MS Word) – wewnętrzne recenzje w zespole (interakcyjnie – rzutnik, zespół, pisarz) Wybór wykonawcy testu jakościowego Zlecenie na test: Translacja tekstu kwestionariusza oraz instrukcji na skrypt CAPI (wskaźniki czasu!!) Akcesoria (żetony, karty, przybory) Rekrutacja respondentów testowych (niski status !) Realizacja wywiadów za szybą (5-10-15-30) Nagrywanie dźwięku i obrazu Przebieg testu: 5 wywiadów - korekta – 5 wywiadów – korekta etc. Efekt: kwestionariusz zrozumiały i trafny Pilotaż jakościowy

Skrypt CAPI – znaczniki czasu przy każdym bloku pytań Badanie sondażowe według podręcznika: Etap 2 – Pilotaże – pilotaż statystyczny Cel: wybór wskaźników Skrypt CAPI – znaczniki czasu przy każdym bloku pytań Próba 1000 (kwota, badanie typu omnibus) Realizacja pilotażu Raporty z analizy rozkładów w próbie i rekomendacje (wstępne skalowanie i modelowanie): - usunąć wskaźnik/blok wskaźników zbędny - zostawić wskaźnik/blok wskaźników niezbędny (pilotaż statystyczny jest w praktyce pierwszym etapem analizy danych, w tym praktycznym sprawdzianem modeli skalowania) Efekt: ostateczna wersja kwestionariusza zawiera minimalny zestaw wskaźników wystarczający do skalowania, modelowania i agregacji o czasie trwania nie przekraczającym możliwości respondenta i budżetu badania (1 minuta CAPI = 3 złote) Pilotaż statystyczny

Dokumenty Kto co komu przekazuje Badanie sondażowe według podręcznika: Etap 3 – Przetarg - Kontrakt Dokumenty Kto co komu przekazuje zamawiający  kwestionariusz, instrukcje, formularze raportów, instrukcje obsługi platformy komunikacyjnej (serwerowej) Wykonawca  informacje na temat sieci ankieterskiej, dane, raporty, protokoły Czasy dostarczania raportów z przebiegu realizacji rekordów z zapisem odpowiedzi Zasady przyjmowania rekordów (formalna kontrola spójności) - stawka za 1 wywiad - kara z sufit (wyrzucanie wywiadów autora „sufitu”) - kara za spóźnienia (wywiad, raport, warstwa) - kara za response rate poniżej umownego - kara za nierównomierność realizacji Zasady wyznaczania należności Kryteria wyboru oferty Na przykład: response-rate + czas + cena [np. 90% + 5% + 5%]

Badanie sondażowe według podręcznika: Etap 5 - Analiza danych Badanie sondażowe według podręcznika: Etap 6 - Dokumentacja badania CodeBook (kwestionariusz + rozkłady brzegowe) Zastosowane klasyfikacje (ISCO, ESCED, PKD) Zastosowane skale/indeksy (SEI, inne) Opis schematu doboru próby (prawdopodobieństwa inkluzji, wagi analityczne) Zastosowane procedury ważenia Raport z przebiegu realizacji (rozkłady przyczyn non-responsów) Zastosowane procedury imputacji oraz łączenia danych zewnętrznych Badanie sondażowe według podręcznika: Etap 7 - Raport

Sondaż w 12 krokach: co trzeba mieć i znać Zestaw pytań, na które mają odpowiedzieć Zleceniodawcy wyniki sondażu wraz z (opcjonalnie) Definicję populacji, której odpowiedzi dotyczą, dostępność danych populacyjnych Opis operatu losowania próby Sposób doboru próby, jej wielkość oraz uzasadnienie Sposób zbierania informacji na temat obiektów wylosowanych Ogólny opis zawartości kwestionariusza, czasu trwania wywiadu, rodzaju pytań Pilotaż kwestionariusza Ogólny opis procedury kontroli jakości pracy ankieterów Sposób wyznaczania wynagrodzenia Wykonawcy sondażu (szkic) Sposób wyłonienia zwycięzcy przetargu/konkursu ofert Szkic projektu analiz statystycznych Szkic budżetu badania z podziałem na wynagrodzenie Wykonawcy i pozostałe koszty

Agencja badawcza – wykonawca sondażowego zamówienia

Po czym poznać wiarygodny sondaż Wiarygodna firma badawcza wraz z wynikami sondażu podaje dwa wskaźniki: ε, dokładność oszacowań wynikającą ze stosowanego schematu doboru próby Response rate, stopień realizacji próby, czyli proporcję liczby uzyskanych wywiadów względem liczebności próby wylosowanej

Zanim zaczniesz interpretować wyniki sondaży – zapytaj o: Operat losowania próby Jeśli dziurawy, skrzywiony, nieaktualny – próba jest bezwartościowa Schemat doboru próby Czy był to dobór probabilistyczny? Czy znany jest rozkład statystyk z próby dla tego schematu? Czy schemat pozwala na wyznaczenie dokładności oszacowań? Jeśli tak, jaka jest ta dokładność? Jeśli nie znasz dokładności oszacowań, wyniki sondażu są bezwartościowe Response rate Jeśli nie znasz rr interpetuj ostrożnie !!

Nasze są Zamawianie sondażu w agencji badawczej Próba Kwestionariusz Co kupujemy zlecając sondaż ?? Za co płacimy agencji? Jakość realizacji : szkolenie ankietera; kontrola ankietera, rejestrowany czas reakcji Jakość realizacji: równomierność – response rate Wybór oferty

Przykład złożonego badania sondażowego etap Case Parametry wykonawca Pilotaż Screening usług publicznych Próba adresowa imienna (PESEL) n=8000 (netto) Pilotaż jakościowy 30 wywiadów z poglądem i rejestracją Test skryptu, kart, instrukcji ankietera Pilotaż statystyczny Próba losowo-kwotowa z badania screeningowego, selekcja wskaźników n=1000, czas trwania: 21 dni Fieldwork Case główne Próba losowa adresowa imienna (PESEL) n=13000 (netto), wywiad CAPI, czas trwania: 90 dni Kontrola terenowa 1000 adresów kontrolowanych przez firmę zewnętrzną; wywiad kontrolny F2F - PAPI

Przykład złożonego schematu doboru próby w projekcie norweskim Próba docelowa (netto) N = 9000 I II III IV DOLNOŚLĄSKIE 141 KUJAWSKO-POMORSKIE LUBELSKIE LUBUSKIE ŁÓDZKIE MAŁOPOLSKIE MAZOWIECKIE OPOLSKIE PODKARPACKIE PODLASKIE POMORSKIE ŚLĄSKIE ŚWIĘTOKRZYSKIE WARMIŃSKO-MAZURSKIE WIELKOPOLSKIE ZACHODNIO-POMORSKIE Alokacja wiązek gminnych I II III IV DOLNOŚLĄSKIE 16 17 KUJAWSKO-POMORSKIE LUBELSKIE LUBUSKIE ŁÓDZKIE MAŁOPOLSKIE MAZOWIECKIE OPOLSKIE PODKARPACKIE PODLASKIE POMORSKIE ŚLĄSKIE ŚWIĘTOKRZYSKIE WARMIŃSKO-MAZURSKIE WIELKOPOLSKIE ZACHODNIO-POMORSKIE Opis warstw: I – gmina wiejska II – miasto < 20 tys. III – miasto < 100 tys. IV – miasto > 100 tys. warstwa wies m. pon 20 m. 20 - 99 m. 100 + Zakładany response rate 62% 51% 43% 35% zakładany rozmiar wiązki 7 8 9 10 liczba wiązek w 1 gminie 3 4 5 liczba losowanych gmin 256 272 Imienna, adresowa próba PESEL Losowane pojedyncze osoby z wylosowanych miejscowości Znane personalia respondenta możliwa kontrola realizacji badania

Technologia Narzędzie Efekt CAPI SERWERY Technologie informatyczne w realizacji dużych i złożonych badań sondażowych Technologia Narzędzie Efekt CAPI Skrypty sterujące przebiegiem wywiadu Eliminacja efektu ankieterskiego Randomizacja kolejności pytań dla każdego respondenta Minimalizacja efektu pierwszeństwa, kolejności Ekran + karty + żetony Skrócenie czasu wywiadu Rejestracja przebiegu wywiadu w czasie rzeczywistym Możliwość kontroli ankieterów, detekcja anomalii SERWERY Platforma O3 Spaces Wspomaganie pracy grupowej Serwis internetowy administracji sieci ankieterskiej i kontroli terenowej ankieterów Stały monitoring fazy terenowej, szybsza komunikacja z Wykonawcą Portal „Wiem jak jest” Bieżące, stale uaktualniane informacje na temat projektu

Case 2: Nietypowe dane: analiza wypowiedzi Case 3: Pytania zamknięte czy otwarte – mgr Aleks B Case 4: Strategia budowy kwestionariuszy – czytać cudze Case 5: Nietypowe dane: cechy polityków DEMOSKOP Case 6. Nietypowa analiza: mapy (zaufania, percepcji) Case 7: SEI, postawa, ACSI, skale kapitału społecznego Case 8: Co bada GUS: tematy badań, kwestionariusze Case 9: MJR, partycypacja, kapitał społęczny,

Case 10: Dobry SIWZ – kogo obciążyć czym Case 11: Analiza statystyczna a problem skalowania Case 12: Pomiar , skalowanie, teoria, statystyka Case 13: Triada partycypacyjna Case 14: Potencjał partycypacyjny Case 15: Technologia sondażowa – wersja old-school Case 16: Technologia modern: passive, mobile, wireless

Duże między-narodowe badania sondażowe GSS – ISSP – PGSS ESS WVS PISA EuroBarometer

Duże badania sondażowe w Polsce PGSS/ISSP, ESS, EVS, PISA, Diagnoza Społeczna Badanie prezydencko-premierskie CBOS 2007 Badania GUS Ośrodki kompetencji sondażowej (oprócz IS UW) IFiS PAN: Sztabińscy, Sawiński, Słomczyński, Mach, Domański GUS-Łódź ISP - Markowski (?) SWPS – Wasilewski (?) Polskie firmy badawcze: Staff Sieć Próby Technologia Ceny Jakość

Źródła wiedzy i kompetencji Książki Rubin, Donald B., Groves, Robert M., Rässler, Susanne, Särndal, Carl-Erik, Lundström, Sixten, Schafer Joseph L., Kish Leslie, Lynn Peter, Snijders Tom, D’Orazio Marcello, Jan de Leeuw Pisma POLSKA Wiadomości Statystyczne Statistics in Transition ASK WebSources: FCSM Statistics Canada JOS Instytucje EUROSTAT GESIS –ZUMA

Case 1: Analiza czasu wolnego studentów Warszawy 1978 Czego wskaźnikiem może być czas: zasób, kapitał, dobro, nierówność, dyskryminacja Pomiar zasobów czasu: pytanie wprost, rekonstrukcja wydarzeń, budżet czasu Sezonowość – cykliczność zjawisk w czasie: pora roku, miesiąc, dzień tygodnia, pora dnia Dobór próby: rotacja między dni Realizacja: list zapowiedni, docieranie ankietera, identyfikacja tożsamości respondenta Struktura danych: zmienna liczba pól, zmienne sumy zasobów, zmienne rozkłady sum Analiza danych o nietypowej strukturze: modele liniowe zmiennych o stałej sumie Doba = 24 godziny = 1440 minut jako oś czasu ; interwały a rozkład zbiorowości

Dzień powszedni

Sondaż jest sztuką Sondaż jest działalnością zespołową Dostarczania Pytającym Odpowiedzi Dobrej Jakości Sondaż jest działalnością zespołową O efekcie decyduje najsłabsze ogniwo

Czym jest sondaż Idealny Realny Co w sondażu kosztuje – za co się płaci Zamawianie sondażu – praktyka – patologie Zamawianie sondażu - audyt

Wiedza Uświadomiona potrzeb Fałszywa świadomość zamawiającego - liczba dostarczonych wywiadów (kartofle) - reprezentatywność - za co się płaci - ile co kosztuje - co jest możliwe a co niemożliwe (rr >50%) - wiarygodność CATI - sondaż dobry, tani, szybki Brak statystyka po stronie zamawiającego Brak eksperta w dziedzinie badanej SIWZ - Umowa Zamawianie „metodologii” w agencji badawczej Badania rynkowe – standardy istnieją od dawna i obowiązują Badania „społeczne” – specyficzne prawie zawsze, brak standardów metodologicznych, metodologię trzeba stworzyć zgodnie ze specyfiką przedmiotu badanego KRYTERIUM OCENY OFERT – nie cena !!! Lecz stosunek ceny do jakości Budżet badania powinien zostać wydany w całości a maksymalizowana powinna być jakość osiągana

Audyt przetargów: Populacja Pytania - wskaźniki – skale - kwestionariusz Operat Schemat doboru próby Próba Parametry jakości realizacji badania: response – rate równomierność response rate efekt ankieterski: „sufit”, skrzywienia jakość rekordów danych przysyłanych czas dostarczenia Analiza danych Raport: Codebook Odpowiedzi na pytania zamawiającego Wymagania dla uczestników przetargu: Realizacja badania o wielkości porównywalnej z wielkością badania zamawianego Personel: liczba ankieterów Wyposażenie: liczba notebooków, oprogramowanie, serwer, łączność

Przykłady: Łódź – źle zdefiniowane zamówienie (populacja, próba, kwestionariusz) PARP - horrendalne koszty operatu - właściwa rola statystyka Min RR - przetargi zaskarżone, urwana inicjatywa IBE - standard wynikający z międzynarodowego projektu ESS - można rr ale to kosztuje więcej Medycyna – ogromne próby, response rate 80%