Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej.

Prezentacja na temat: "Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej."— Zapis prezentacji:

1 Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej

2 Po co się robi sondaże Trafność, wiarygodność, precyzja Sondaż – badanie statystyczne Kwestionariusz – próba – realizacja – analiza danych Reprezentatywność prób Losowy vs. nielosowy dobór respondentów Sondaż – NieSondaż - NibySondaż Pułapki interpretacji wyników sondażu Publikacja wyników sondaży Dobry sondaż – Jakość sondażu Koszt jakości

3 Po co zamawia się sondaż Celem sondażu jest udzielenie odpowiedzi na pytanie o aktualny stan populacji.? Celem sondażu jest udzielenie odpowiedzi na pytanie o aktualny stan populacji.? W sondażu preferencji wyborczych pytanie to brzmi : Jaki jest odsetek zwolenników poszczególnych partii w populacji uprawnionych do głosowania Polaków? W sondażu preferencji wyborczych pytanie to brzmi : Jaki jest odsetek zwolenników poszczególnych partii w populacji uprawnionych do głosowania Polaków?

4 Czym jest sondaż Sposób odpowiadania na tego typu pytania: szacowanie (odsetków, średnich itd.) na podstawie wyników uzyskanych w: – poprawnie wylosowanej próbie – pobranej z dobrze zdefiniowanej populacji – przy użyciu dobrej jakości operatu losowania – rzetelnie zrealizowanej Sposób odpowiadania na tego typu pytania: szacowanie (odsetków, średnich itd.) na podstawie wyników uzyskanych w: – poprawnie wylosowanej próbie – pobranej z dobrze zdefiniowanej populacji – przy użyciu dobrej jakości operatu losowania – rzetelnie zrealizowanej

5 (1) Pobrano losowo 1600-osobową próbę wyborców (2) W wylosowanej próbie 400 respondentów, to jest 25% badanych, deklarowało chęć głosowania na partię X wobec tego (3) W populacji wyborców odsetek deklarujących zamiar głosowania na partię X wynosi 25% +/- 2,5%, to jest w przedziale 22,5% - 27,5%. Schemat wnioskowania w badaniu sondażowym (1) & (2)(3)

6 pytanie losowanie 120 osóbzielonych obliczenia PopulacjaSchemat doboru próby Jaka jest proporcja głosujacych (zielonych) ( w populacji ) wniosek dokładność Czym jest sondaż odpowiedź Metoda wnioskowania 400 Wynik w próbie

7 Populacja Schemat doboru próby Próba wylosowana lista obiektów populacji Operat Złożony wielstopniowy Dziurawa, stara Próba zbadana Non- response (400) No answer (30%) False responses (5%) Field-work Źródła dodatkowego błędu oszacowań 1 2 3 4 5 2000 1600

8 Dobry sondaż Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe Dobra próba losowa – dobry operat, optymalne warstwowanie, optymalna alokacja, małe wariancje estymatorów Dobra realizacja – wysoki response rate, równomierność realizacji, niski poziom braków danych, niska stopa oszustw, brak efektu ankieterskiego Dobra dokładność oszacowań Poprawna interpretacja wyników – uwzględnia osiągniętą dokładność oszacowań, istotność różnic Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe Dobra próba losowa – dobry operat, optymalne warstwowanie, optymalna alokacja, małe wariancje estymatorów Dobra realizacja – wysoki response rate, równomierność realizacji, niski poziom braków danych, niska stopa oszustw, brak efektu ankieterskiego Dobra dokładność oszacowań Poprawna interpretacja wyników – uwzględnia osiągniętą dokładność oszacowań, istotność różnic

9 ankieta uliczna SMS-y wysyłane podczas trwania programu TV sondaż internetowy bez weryfikowania tożsamości respondenta ogólnopolski sondaż telefoniczny w Polsce*) ankieta drukowana w czasopiśmie jako sondaż jej czytelników ankieta uliczna SMS-y wysyłane podczas trwania programu TV sondaż internetowy bez weryfikowania tożsamości respondenta ogólnopolski sondaż telefoniczny w Polsce*) ankieta drukowana w czasopiśmie jako sondaż jej czytelników Nie–Sondaże Przedsięwzięcia, w których osoby ankietowane nie są losowane, nie są sondażami : W żadnym z tych przedsięwzięć nie da się wyliczyć dokładności oszacowań

10 Publikowanie wyników

11 Kiedy w dokumentacji dostarczonej przez wykonawcę badania brakuje co najmniej jednego z poniższych elementów: Definicja badanej populacji Treść zadanego pytania Sposób doboru respondentów (próba losowa, losowo-kwotowa, dobór nielosowy) Liczebność próby Sposób zbierania odpowiedzi: PAPI, CAPI, CATI, CAWI Termin badania Kto płacił za sondaż Kto wykonał sondaż

12 Przykłady niepełnych informacji o badaniu Skąd pochodzą te dane ? Artykuł zamieszczony na stronie internetowej Gościa Niedzielnego: Na 1000 pedofilów, 400 to homoseksualiści, a 1 to ksiądz.

13 Przykłady niepełnych informacji o badaniu Polacy zaciskają pasa, Rzeczpospolita, 01.02.2013: Kolejne badania potwierdzają, że konsumenci bojąc się negatywnego wpływu spowolnienia gospodarczego na swój domowy budżet, zaczynają ograniczanie wydatków w wielu dziedzinach. Z przeprowadzonego w styczniu przez dom mediowy OMD badania wynika, że aż 62 proc. z nich w najbliższym czasie planuje mniej wydawać, a jedynie 3 proc. zapowiada wzrost wydatków. Jaką populację badano? Kim są konsumenci?

14 Przykłady niepełnych informacji o badaniu Jak brzmiało pytanie? Uczniowie: »Nie chcemy mieć Żydów w swoim otoczeniu«, Gazeta Wyborcza, 15.04.2013: Niedoinformowanie młodych ludzi dało o sobie znać przy pytaniach o eksterminację ludności żydowskiej w czasie II wojny światowej. Niemal połowa badanych (44%) stwierdziła, że Polacy i Żydzi ucierpieli wtedy w tym samym stopniu, 27,9% uznało większą ofiarę Żydów, a 24,7%. – Polaków. – Ten wynik może dziwić, zważywszy, że w czasie wojny zginęło 90% populacji Żydów i 10% populacji Polaków – ocenia dr Michał Bilewicz z Centrum Badań nad Uprzedzeniami Uniwersytetu Warszawskiego

15 Przykłady niepełnych informacji o badaniu Europa ciągle nieprzyjazna dla gejów i lesbijek, Gazeta Wyborcza, 18.05.2013: Autorzy sondażu, w ramach którego opowiedziano te historie, przepytali w internecie 93 tys. pełnoletnich osób z krajów UE i Chorwacji: gejów, lesbijek, biseksualistów i osób transseksualnych. Jak się pyta w internecie?

16 Przykłady niepełnych informacji o badaniu Mieszkańcy: pieniądze dla samorządów, Dziennik Gazeta Prawna, 29.05.2013 : Prawie trzy czwarte Polaków dostrzega rozwój swojej gminy lub miasta. Z kolei niemal 60% uważa, że więcej pieniędzy niż obecnie z płaconych przez nas podatków powinno wracać do budżetów lokalnych – wynika z badania przeprowadzonego we wszystkich województwach (po 100 ankietowanych na każde województwo) na zlecenie Związku Miast Polskich (ZMP). Jaka firma wykonała badanie?

17 Obowiązki agencji badawczej wobec klienta według AAPOR Who sponsored, conducted & funded the research Kto płaci za sondaż, kto wykonuje badanie Exact question wordingDokładne brzmienie pytań Definition of the populationDefinicja populacji Geographic locationZasięg terytorialny badania Sample frame descriptionOpis operatu, z którego pobierano próbę Sample designSchemat doboru próby Sample size & errorLiczebność próby i dokładność oszacowań Weighting & cluster adjustmentsWagi analityczne wynikające ze schematu doboru próby Results based on parts of sample only Czy wynik wyznaczono na podstawie całej próby czy też jej części Method(s) and dates of data collection Czas i sposób zbierania danych Report Immediately http://www.aapor.org/AAPOR_Code_of_Ethics/4249.htm#.UvFA07Qxjj0 AAPOR Code of Professional Ethics and Practices (Revised May 2010) http://www.aapor.org/AAPOR_Code_of_Ethics/4249.htm#.UvFA07Qxjj0 AAPOR Code of Professional Ethics and Practices (Revised May 2010) Do czego ma prawo zamawiający sondaż

18 Kiedy wynik sondażu zasługuje na publikację 1. dokładność populacyjnych oszacowań i sposób jej wyliczenia *) 2.stopień realizacji próby (response-rate) 3.opis zastosowanego schemat doboru próby 4.opis operatu, z którego próba była losowana 5. sposób wyznaczania wag analitycznych 6.stopień zgodności próby zrealizowanej z danymi GUS ze względu na: a)Miejsce zamieszkania b)Płeć, wiek i poziom wykształcenia c)Źródło utrzymania 7.Dla prób losowo-kwotowych - stopień zgodności próby zrealizowanej z danymi GUS ze względu na zmienne, które nie były kryteriami rekrutacji respondentów 1. dokładność populacyjnych oszacowań i sposób jej wyliczenia *) 2.stopień realizacji próby (response-rate) 3.opis zastosowanego schemat doboru próby 4.opis operatu, z którego próba była losowana 5. sposób wyznaczania wag analitycznych 6.stopień zgodności próby zrealizowanej z danymi GUS ze względu na: a)Miejsce zamieszkania b)Płeć, wiek i poziom wykształcenia c)Źródło utrzymania 7.Dla prób losowo-kwotowych - stopień zgodności próby zrealizowanej z danymi GUS ze względu na zmienne, które nie były kryteriami rekrutacji respondentów Gdy wykonawca badania podaje:

19 Czego unikać przedstawiając wyniki sondaży Porównywania odsetków odpowiedzi na pytania zadane w różny sposób Porównywania wyników sondaży przeprowadzanych różnymi metodami Porównywania wyników sondaży z rezultatami przedsięwzięć sondażo- podobnych Komentowania różnic statystycznie nieistotnych, także zmian Sugerowania się liczbą ankietowanych jako wskaźnikiem wiarygodności sondażu

20 Nieporównywalna treść pytań Gdyby wybory parlamentarne odbywały się w najbliższą niedzielę, czy wzięła(-ął) by Pan(i) udział w głosowaniu (1000): 1. Tak (650) 2. Nie (250) Jeśli tak, to wie Pan(i), na którą partię odda Pan(i) swój głos? 1. Tak (500) 2. Nie (150) Jeśli TAK, to na którą? Wariant 0: brak listy partii – pytanie otwarte wariant 1Nazwa parii bez logo - lista wariant 2Nazwa parii + logo partii - lista wariant 3Nazwa partii + nazwisko lidera partii - lista wariant 4Nazwa partii + logo partii + nazwiko lidera partii - lista Odpowiedzi: numer z listy + trudno powiedzieć (100)

21 Badania nieporónywalne Próba kwotowa(?) CATI Próba losowa z operatu PESEL - CAPI Próba internautów (ważona ?) WAPI http://wiadomosci.wp.pl/kat,129714,title,Zaskakujace-wyniki-sondazu-to-moze-byc-manipulacja,wid,13720660,wiadomosc.html Czy jest sens liczyć średnie poparcie obu partii z trzech sondaży?

22 (Przykład fikcyjny) Liczebności prób Styczeń: n=81, Luty: n=121, Marzec: n=64, Kwiecień: n=121, Maj: n=225 Które zmiany proporcji są statystycznie znaczące? Kwestionariusz – Próba – Realizacja – Analiza danych Różnice statystycznie nieistotne

23 Czy: PO ma poparcie (istotnie) różne od PiS? Polska Razem (istotnie) przekracza próg 5%? http://polska.newsweek.pl/sondaz-newsweeka-platforma-wyprzedza-pis-czytaj-na-newsweek-pl,artykuly,279158,1.html

24 Pułapki interpretacji wyników Pułapki zwykłe Pułapki perfidne

25 Złudna nota Populacja Próba kontakt Operat Dokładność Badanie przeprowadzono 15 i 16 stycznia 2014 na ogólnopolskiej, reprezentatywnej próbie osób dorosłych o liczebności 1200 osób – metodą wywiadów telefonicznych CATI (800 wywiadów) oraz metodą wywiadów ankieterskich w miejscach publicznych (400 wywiadów). W prezentowanych wynikach uwzględniono wyłącznie osoby, które zadeklarowały na jaki komitet wyborczy / jakiego kandydata na prezydenta będą głosować. http://polska.newsweek.pl/sondaz-newsweeka-platforma-wyprzedza-pis-czytaj-na-newsweek- pl,artykuly,279158,1.html

26 Złudna nota NOTA METODOLOGICZNA Czas realizacji badania: 12 kwietnia 2013r. Miejsce realizacji: badanie ogólnopolskie Próba: Losowo-kwotowa, stanowiąca liczebną reprezentację cech demograficznych dla ogółu pełnoletnich mieszkańców Polski z zachowaniem rozkładów terytorialnych (dane wg GUS). Operatem losowania jednostek badania jest baza teleadresowa jednostek będąca powszechnie uznanym spisem zawierającym niezbędne punkty adresowe i spełniający następujące metodologicznie konieczne warunki: aktualności, kompletności, wyłączności i dostępności. Techniką pozyskiwania numerów telefonicznych respondentów jest Random Digit Dialing, polega ona na losowaniu numerów telefonów z bazy powstałej przez generowanie numerów telefonów na podstawie przydziałów prefixów telefonicznych poszczególnym operatorom telefonii stacjonarnej przez Urząd Komunikacji Elektronicznej. Wielkość próby: n= 1081; błąd oszacowania = 3 proc.; poziom ufności 0,95. Technika badawcza: badanie zrealizowane metodą telefonicznych, standaryzowanych wywiadów kwestionariuszowych wspomaganych komputerowo (CATI). http://homohomini.com.pl/Sondaz_130413_RP.pdfhttp://homohomini.com.pl/Sondaz_130413_RP.pdf Populacja Próba Dokładność kontakt Operat

27 Jak przedstawiać wynik sondażu w telewizyjnym programie informacyjnym 1.Przedstawić podstawowe informacje o sondażu na planszy z wykresami reprezentującymi wyniki: a)Szczegóły kwalifikujace sondaż do publikacji oraz b)Dokładność oszacowań 1.Przedstawić podstawowe informacje o sondażu na planszy z wykresami reprezentującymi wyniki: a)Szczegóły kwalifikujace sondaż do publikacji oraz b)Dokładność oszacowań 2. Przed publikacją, interpretacją lub dyskusją a)Ustalić, jak była treść pytań zadawanych respondentom, czy były stosowane filtry. b)Ustalić podstawę procentowania dla każdego publikowanego odsetka (co stanowi 100% - wszyscy, czy ci którzy mają zdanie, zamierzają głosować, wiedzą na kogo będą głosować itd.) c)Ustalić, które różnice są statystycznie istotne d)Ustalić, czy w porównaniu z poprzednim sondażem nastąpiła zmiana statystycznie istotna e)Ustalić, czy w kolejnych porównywalnych sondażach mamy do czynienia z trendem [ patrz p. c)-d) powyżej ] 2. Przed publikacją, interpretacją lub dyskusją a)Ustalić, jak była treść pytań zadawanych respondentom, czy były stosowane filtry. b)Ustalić podstawę procentowania dla każdego publikowanego odsetka (co stanowi 100% - wszyscy, czy ci którzy mają zdanie, zamierzają głosować, wiedzą na kogo będą głosować itd.) c)Ustalić, które różnice są statystycznie istotne d)Ustalić, czy w porównaniu z poprzednim sondażem nastąpiła zmiana statystycznie istotna e)Ustalić, czy w kolejnych porównywalnych sondażach mamy do czynienia z trendem [ patrz p. c)-d) powyżej ]

28 Próba Kwestionariusz – Próba – Realizacja – Analiza danych

29 lub 3 21 0 P=0,064P=0,288P=0,432P=0,216 Losowanie próby w badaniu sondażowym to jak rzucanie monetą

30 Próba dobrana jest w sposób losowy, gdy prawdopodobieństwo dostania się do próby jest znane (nie musi być dla wszystkich identyczne) dla każdego elementu populacji. W konsekwencji : 1.wiadomo jak szacować parametry populacji (co jest ich estymatorem) 2.wiadomo jaka jest dokładność tego oszacowania (szerokość przedziału) przy założonym dopuszczalnym ryzyku popełnienia błędu (poziomie ufności) 3.daje się wyznaczyć minimalną liczebność próby niezbędnej do osiągnięcia założonej dokładności oszacowań 4.daje się sprawdzić, które z różnic lub zależności stwierdzonych w próbie są statystycznie nieistotne Próba dobrana jest w sposób losowy, gdy prawdopodobieństwo dostania się do próby jest znane (nie musi być dla wszystkich identyczne) dla każdego elementu populacji. W konsekwencji : 1.wiadomo jak szacować parametry populacji (co jest ich estymatorem) 2.wiadomo jaka jest dokładność tego oszacowania (szerokość przedziału) przy założonym dopuszczalnym ryzyku popełnienia błędu (poziomie ufności) 3.daje się wyznaczyć minimalną liczebność próby niezbędnej do osiągnięcia założonej dokładności oszacowań 4.daje się sprawdzić, które z różnic lub zależności stwierdzonych w próbie są statystycznie nieistotne Probabilistyczny sposób doboru próby

31 Probabilistyczny dobór próby – konsekwencja n 10010% 4005% 10003,2% 16002,5% 25002% 100001% Uproszczona zależność dla najprostszego schematu losowania

32 Dokładność oszacowań frakcji populacyjnej a wielkość prostej próby losowanej w sposób prosty ze zwracaniem Granica dokładności wyznaczona dla poziomu ufności 0,95

33 Kiedy próba dobrze reprezentuje propulację? Gdy jest reprezentatywna! Między tymi dwiema reprezentatywnościami zachodzi relacja wynikania*) Pojedyncza, konkretna, zrealizowana próba jest reprezentatywna dla pewnej populacji Każda próba pobrana w sposób losowy - dający sie opisać w kategoriach rachunku prawdopodobieństwa

34 Próba zrealizowana ma strukturę zgodną ze strukturą badanej populacji Reprezentatywność – zgodność z populacją Zgodność ta jest stopniowalna Zgodność zachodzi zawsze ze względu na skończony zestaw cech. Ta sama próba może zatem być wysoce reprezentatywna ze względu na płeć i wiek badanych a jednocześnie wysoce niereprezentatywna ze względu na poziom ich wykształcenia O ile nie jest losowana, zrealizowana w jednym badaniu próba może być dla badanej populacji wystarczająco reprezentatywna a w następnym badaniu już nie Stopień reprezentatywności konkretnej próby można sprawdzić tylko ze względu na te cechy, których populacyjne rozkłady sa znane Nie da się sprawdzić czy zrealizowana próba ma strukturę zgodną z populacyjną ze względu na te cechy jednostek, których Narodowy Spis Powszechny nie rejestruje: preferencji wyborczych, poglądów, wartości i tak dalej

35 Próba jest reprezentatywna – została dobrana w sposób losowy. Prawdopodobieństwo dostania się do próby jest znane (nie musi być dla wszystkich identyczne) dla każdego elementu populacji, z której jest losowana Reprezentatywność – dobór losowy wiadomo, w jaki sposób na podstawie próby najlepiej oszacować rozkłady cech w populacji wiadomo (daje się wyliczyć) jaka jest tych dokładność oszacowań każda wylosowana w ten sam sposób próba jest w takim samym stopniu zgodna z populacją ze względu na wszystkie określone w niej zmienne. Stopień jej reprezentatywności i dokładność oszacowań oznaczają de facto to samo

36 Dobór nielosowy Cechy doboru celowego: o składzie badanej próby decydują badacz (określa kryteria doboru) i ankieter - wybiera spośród obiektów spełniających kryteria. Dobór losowo-kwotowy: losowa alokacja terytorialna (miasto-wieś, regiony, województwa, gminy wiejskie, miejskie) a następnie celowy dobór respondentów Cel nielosowych metod doboru: uzyskanie dobrego przedstawicielstwa populacji ze względu na ważne dla nas cechy, czyli wysokiej zgodności strukctury próby kwotowej ze strukturą populacji Cel nielosowych metod doboru: uzyskanie dobrego przedstawicielstwa populacji ze względu na ważne dla nas cechy, czyli wysokiej zgodności strukctury próby kwotowej ze strukturą populacji Dobrze skonstruowana próba kwotowa daje niekiedy dokładniejsze oszacowania niż mało liczna i źle zrealizowana próba losowa. Kwestionariusz – Próba – Realizacja – Analiza danych Przykład - arkusz Do określenia kryteriów doboru potrzebna jest wiedza o łącznych rozkładach cech w populacji – pochodząca z GUS albo z badań na dużych próbach losowych.

37 Losować – z czego?

38 Operat = lista wszystkich obiektów badanej populacji Operat losowania Powinien być:Może być kompletny o dziurawy, nie obejmuje populacji, ignoruje istone i duze kategorie obiektów; (np. lista abonentów TPSA nie jest operatem dla populacji dorosłych Polaków) o skrzywiony; dziurawy systematycznie - zawiera dane o wielu obiektach pewnego rodzaju a niewiele o innych; (np. Lista prenumeratorów pisma jest złym operatem dla populacji jego czytelników), bezbłędny o niedokładny; ma wysoką stopę błędów w danych (zdarza się często, gdy lista jest tworzona przez obiekty populacji) aktualny o nieaktualny (migracje ludzi, likwidacja lub zmiany profilu firm, zmiany struktury zatrudnienia) Kwestionariusz – Próba – Realizacja – Analiza danych

39 Dostępne operaty dla prób ogólnopolskich PESELZawiera informację o zameldowaniu a nie o faktycznym zamieszkiwaniu Stopa błędnych danych adresowych nie przekracza 5% Pozwala dokładnie kontrolować ankieterów Pozwala dokładnie wyznaczać response rate Konieczne złożone schematy doboru próby celem uniknięcia nadmiernych kosztów realizacji (dojazdy ) NOBC (GUS) rejestr mieszkań Prawie 100%-owa aktualność (mieszkania nie migrują) Konieczne losowanie osoby z wylosowanego mieszkania – ankieter decyduje o tym, kto zostaje respondentem Utrudniona kontrola pracy ankieterów Spis abonentów telefonów stacjonarnych Szybko się starzeje, Niepełne pokrycie populacji SIO System informacji oświatowej (stosuje PISA) Zawiera informacje o liczbie klas i uczniów w każdej polskiej szkole Nie zawiera informacji o pojedynczych klasach i uczniach Kwestionariusz – Próba – Realizacja – Analiza danych

40 Realizacja Kwestionariusz – Próba – Realizacja – Analiza danych

41 Populacja n -elementowa próba wylosowana z populacji Niedostępni, n 2 Zbadani, n 1 Response rate = = Response rate a dokładność oszacowań próba

42 Response rate a dokładność oszacowań: przykład Populacja dostępnychPopulacja nie-dostępnych n = 2000 n 1 = 1600 n 2 = 400 Quasi-przedział ufności dla frakcji populacyjnej Dokładność oszacowania po wykonaniu 1600 wywiadów d = 12%

43 resp rate 95% 90% 85% 80% 75% 70% wielkość próby d dokładność przy 100%- owej realizacji próby optympesymoptympesymoptympesymoptympesymoptympesymoptympesym 10010,0%12,012,212,614,513,116,713,418,913,721,213,823,4 4005,0%6,07,46,39,76,512,16,714,56,816,86,919,2 9003,3%4,05,74,28,24,410,64,513,04,615,44,617,8 16002,5%3,04,93,27,43,39,83,412,23,414,73,517,1 Response rate a graniczna dokładność oszacowań populacyjnej frakcji

44 Koszt jakości

45 Kryteria oceny jakości sondażu JAKOŚĆ KOSZTUJE Nie istnieją sondaże szybkie, tanie i dobrze zrealizowane

46 Dokładność oszacowań Operat Jakość realizacji badania Schemat doboru próby Wielkość próby Koszt dojazdów Kwestionariusz Czas trwania 1 wywiadu Koszt operatu Projekt Raport Koszt projektowania Zewnętrzna kontrola ankieterów wykonawcy Koszt kontroli jakości realizacji Koszt liczebności Płace ankieterów

47 Jak można sprawdzić jakość sondażu? Jeśli wykonawca nie dostarczy szczegółowych informacji o tym, jak sondaż wykona ł, zazwyczaj nie można sprawdzić, jaka jest trafność, wiarygodność i precyzja oszacowań dokonywanych na podstawie jego wyników Czasami jednak można ocenić jakość sondażu pośrednio: 1.Gdy decyzje biznesowe podejmowane na podstawie badań ( na przykład marketingowych) okazują się tak nietrafne, że nie da się tego wytłumaczyć naturalnym losowym składnikiem wyniku sondażowego 2.Gdy wynik wyborów weryfikuje trafność oszacowań wykonanych na podstawie sondażu Czasami jednak można ocenić jakość sondażu pośrednio: 1.Gdy decyzje biznesowe podejmowane na podstawie badań ( na przykład marketingowych) okazują się tak nietrafne, że nie da się tego wytłumaczyć naturalnym losowym składnikiem wyniku sondażowego 2.Gdy wynik wyborów weryfikuje trafność oszacowań wykonanych na podstawie sondażu Nigdy nie można sprawdzić, czy wynik sondażu jest zgodny z rzeczywistością – wymagałoby to zbadania całej populacji Jedynym sposobem oceny jakości sondażu jest kontrola poprawności jego przeprowadzenia; opis zastosowanej procedury wykonawca ma obowiązek dostarczyć klientowi zawsze i natychmiast

48 Przetarg

49 Dobry przetarg 1.Szczegółowy SIWZ 2.Poprawny OPZ 3.Umowa chroniąca jakość 4.Właściwy wybór wykonawcy 5.Kontrola jakości realizacji kontraktu 1.Szczegółowy SIWZ 2.Poprawny OPZ 3.Umowa chroniąca jakość 4.Właściwy wybór wykonawcy 5.Kontrola jakości realizacji kontraktu

50 Szczegółowy SIWZ Projekt analiz statystycznych ZamawiającyWykonawca CODEBOOK ZamawiającyWykonawca Odpowiedzi na pytania ZamawiającyWykonawca Kto projektuje Realizacja badania o wielkości porównywalnej z wielkością badania zamawianego Personel: liczba ankieterów Wyposażenie: liczba notebooków, oprogramowanie, serwer, łączność Warunki dopuszczenia do udziału w przetargu Response rate Równomierność realizacji Czas realizacji Kryteria wyboru oferty Kary za nieosiągnięcie response rate Kary za nierównomierność realizacji Kary za wywiady sfałszowane Kary za wywiady spóźnione Kontrakt z wykonawcą przewiduje Kto wykonuje /dostarcza Kto wykonuje /dostarcza Kwestionariusz ZamawiającyWykonawca Operat ZamawiającyWykonawca Warstwowanie, alokację i schemat doboru próby ZamawiającyWykonawca Jeśli chcemy maksymalizować stosunek jakości do kosztu badania powinniśmy jako kryterium wyboru oferty stosować iloraz dokładności oszacowania do ceny za jeden wywiad (rekord) Podobną maksymalizację uzyskuje się zakładając docelową liczbę wywiadów zrealizowanych i wybierając takiego wykonawcę, który zażąda do tego najmniejszej póby

51 Patologie przetargów – przykłady 2013 Gdańsk 2013-11-06 II.1.4) Określenie przedmiotu oraz wielkości lub zakresu zamówienia: W ramach przedmiotu zamówienia Wykonawca jest zobowiązany do: 1) konsultowania na etapie sporządzania raportu metodologicznego, szczegółów narzędzi badawczych, 2)przygotowania kwestionariuszy materiałów do badania, 3)realizacji prac terenowych oraz realizacji badania zgodnie z zakresem i minimum metodologicznym określonym w pkt 1 ppkt 4 SIWZ 4)przeprowadzenia (liczba z oferty) kwestionariuszy wywiadu 5)zapewnienia respondentom pełnej anonimowości w celu uzyskania jak najbardziej wiarygodnych danych IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena - 50 2 - narzędzia badawcze - 50 Gdańsk 2013-11-06 II.1.4) Określenie przedmiotu oraz wielkości lub zakresu zamówienia: W ramach przedmiotu zamówienia Wykonawca jest zobowiązany do: 1) konsultowania na etapie sporządzania raportu metodologicznego, szczegółów narzędzi badawczych, 2)przygotowania kwestionariuszy materiałów do badania, 3)realizacji prac terenowych oraz realizacji badania zgodnie z zakresem i minimum metodologicznym określonym w pkt 1 ppkt 4 SIWZ 4)przeprowadzenia (liczba z oferty) kwestionariuszy wywiadu 5)zapewnienia respondentom pełnej anonimowości w celu uzyskania jak najbardziej wiarygodnych danych IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena - 50 2 - narzędzia badawcze - 50

52 Patologie przetargów – przykłady 2013 PFRON 2013 (…) 5. ZAKRES PRAC WYKONAWCY Zakres prac Wykonawcy obejmuje: 1. opracowanie szczegółowej metodologii badania, 2. opracowanie narzędzi badawczych, 3. (…) wylosowanie prób badawczych, 4. realizację badania, 5. analizę danych i przygotowanie raportu z badania, 6. prezentację wyników na spotkaniu/konferencji (…) IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena - 40 2 - Ocena merytoryczna – 60 (…) a) podkryterium koncepcja badania (MK), tj. - kompleksowość i przydatność badawcza zaproponowanej koncepcji z punktu widzenia celu badania (MK1) – od 0 do 13 pkt, - lista pytań badawczych (MK2) – od 0 do 20 pkt PFRON 2013 (…) 5. ZAKRES PRAC WYKONAWCY Zakres prac Wykonawcy obejmuje: 1. opracowanie szczegółowej metodologii badania, 2. opracowanie narzędzi badawczych, 3. (…) wylosowanie prób badawczych, 4. realizację badania, 5. analizę danych i przygotowanie raportu z badania, 6. prezentację wyników na spotkaniu/konferencji (…) IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena - 40 2 - Ocena merytoryczna – 60 (…) a) podkryterium koncepcja badania (MK), tj. - kompleksowość i przydatność badawcza zaproponowanej koncepcji z punktu widzenia celu badania (MK1) – od 0 do 13 pkt, - lista pytań badawczych (MK2) – od 0 do 20 pkt

53 Poprawne zamówienie - przykład Uniwersytet Warszawski, 2011 (fragment ogłoszenia przetargowego) § 3 Opis przedmiotu zamówienia (…) 2. (…) 13000 wywiadów indywidualnych metodą CAPI na imiennej próbie adresowej ludności w wieku 18 lub więcej lat pobranej z operatu PESEL i dostarczonej przez Zamawiającego, przy użyciu kwestionariusza dostarczanego przez Zamawiającego. W ramach sondażu wykonawca będzie miał za zadanie zrealizować poniższe prace: 1) wysyłkę listów zapowiednich, 2) podjęcie próby uzyskania wywiadu od każdej z osób w próbie 3) dostarczanie danych z przebiegu realizacji wywiadu w czasie trwania badania 4) Uzyskanie założonych liczebności wywiadów zrealizowanych w każdej z pod-prób 5) maksymalizację równomierności terytorialnej poziomu response-rate, przy założeniu osiągnięcia powyższych celów. Uniwersytet Warszawski, 2011 (fragment ogłoszenia przetargowego) § 3 Opis przedmiotu zamówienia (…) 2. (…) 13000 wywiadów indywidualnych metodą CAPI na imiennej próbie adresowej ludności w wieku 18 lub więcej lat pobranej z operatu PESEL i dostarczonej przez Zamawiającego, przy użyciu kwestionariusza dostarczanego przez Zamawiającego. W ramach sondażu wykonawca będzie miał za zadanie zrealizować poniższe prace: 1) wysyłkę listów zapowiednich, 2) podjęcie próby uzyskania wywiadu od każdej z osób w próbie 3) dostarczanie danych z przebiegu realizacji wywiadu w czasie trwania badania 4) Uzyskanie założonych liczebności wywiadów zrealizowanych w każdej z pod-prób 5) maksymalizację równomierności terytorialnej poziomu response-rate, przy założeniu osiągnięcia powyższych celów. PŁACIMY WYKONAWCY NIE (TYLKO) ZA DOSTARCZENIE USTALONEJ LICZBY WYWIADÓW LECZ PODJĘCIE PRÓBY UZYSKANIA WYWIADU OD KAŻDEJ Z JEDNOSTEK W PRÓBIE

54 Błędne przeświadczenia zamawiających Przedmiotem zamówienia jest pewna liczba dostarczonych zapisów wywiadów Agencja badawcza potrafi odpowiedzieć na pytania zamawiającego Agencja badawcza potrafi dopasować metodologię do potrzeb zamawiającego Zamawiający, który nie potrafi określić metodologii dopasowanej do własnych potrzeb potrafi ocenić metodologie oferowane przez potencjalnych wykonawców Cena jest racjonalnym kryterium wyboru wykonawcy sondażu Istnieją tanie sondaże dobrej jakości, szybko i dobrze wykonane W sondażu z wykorzystaniem ogólnopolskiej imiennej próby adresowej można osiągnąć response rate powyżej 50% płacąc za 1 wywiad nie więcej niż 100 PLN Dobry sondaż można zaprojektować, zamówić, skontrolować i opracować bez udziału statystyka Sondaż jest dyscypliną naukową

55 Propozycje zmiany systemu zamówień Oddzielić projektowanie badań sondażowych od zadań administracji publicznej Powierzyć projektowanie badań sondażowych zespołom kompetentnych specjalistów wśród których co najmniej jeden będzie kompetentny statystycznie Przyjąć, że zamawiający sondaż odpowiada za całą metodologię badania, to znaczy: -Sformułowanie celu sondażu, -Kwestionariusz (dobór wskaźników) -Dobór próby (warstwowanie, alokacja, wiązkowanie) -Wymagania jakościowe realizacji Przyjąć, że zamawiający sondaż odpowiada za całą metodologię badania, to znaczy: -Sformułowanie celu sondażu, -Kwestionariusz (dobór wskaźników) -Dobór próby (warstwowanie, alokacja, wiązkowanie) -Wymagania jakościowe realizacji Przy wyborze wykonawcy jako podstawowe kryterium stosować relację między jakością i kosztem Zaprojektować i uruchomić system dokształcania sondażowego pracowników administracji publicznej aby nie wydawali środków publicznych na badania bezwartościowe, niepotrzebne lub niemożliwe do poprawnej realizacji Przyjąć zasadę, że jakość wykonania sondażu podlega zewnętrznej kontroli a jej wyniki decydują o wysokości wynagrodzenia wykonawcy