Przetarg na wykonanie sondażu z punktu widzenia podatnika Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej SONDAŻ POLSKI. METODA, ETYKA, MEDIA 8 listopada 2013 Konferencja Instytutu Socjologii UW

Losowanie próby ze zwracaniem k kulek zielonych Estymacja obliczenia PopulacjaSchemat doboru próby Jaka jest proporcja zielonych kul w kuble Skład próby wylosowanej wniosek błąd Czym jest sondaż Odpowiedź Metoda wnioskowania Pytanie

Sondaż jest badaniem statystycznym Przedmiot Zakres Cel Metoda Wynik populacja zestaw pytań na temat populacji zestaw zmiennych służących do wyznaczenia odpowiedzi na pytania badanie próby pobieranej z populacji według schematu opisywanego w kategoriach probabilistycznych

Populacja Schemat doboru próby Próba wylosowana lista obiektów populacji Operat Złożony wielstopniowy Dziurawa, stara Próba zbadana Non- response (400) No answer (30%) False responses (5%) Field-work Źródła dodatkowego błędu oszacowań

Specyfika badania sondażowego

Dokładność i wiarygodność odpowiedzi na pytania, które zamawiający postawił badanej populacji, czyli WIELKOŚĆ BŁĘDU OSZACOWAŃ JEJ PARAMETRÓW Jakość a koszt sondażu Jakość sondażu

Zamawia sondaż: instytucja publiczna Płaci za projekt i wykonanie sondażu: podatnik PRZETARG: projektant realizacja projekt wykonawca Jakość odpowiedzi na pytania zamawiającego Budżet badania Ile i co kosztuje

Jakość realizacji Jakość (możliwości) wykonawcy Wymagania zamawiającego Kontrakt SIWZ Budżet

Dokładność oszacowań Operat Jakość realizacji badania Schemat doboru próby False records Missing values Response-rate Pominięte pytanie Odmowa odpowiedzi Wielkość próby Koszt dojazdów Fieldwork Kwestionariusz Czas trwania - koszt 1 wywiadu Koszt operatu Koszt realizacji Koszt jakości Projekt Raport Koszt projektowania Zewnętrzna kontrola ankieterów wykonawcy Koszt kontroli jakości realizacji

Dobry przetarg 1.Poprawne zamówienie 2.Szczegółowy SIWZ 3.Właściwy wybór wykonawcy 4.Kontrakt chroniący jakość 5.Kontrola jakości realizacji kontraktu 1.Poprawne zamówienie 2.Szczegółowy SIWZ 3.Właściwy wybór wykonawcy 4.Kontrakt chroniący jakość 5.Kontrola jakości realizacji kontraktu

Poprawne zamówienie - przykład Uniwersytet Warszawski, 2011 (fragment ogłoszenia przetargowego) § 3 Opis przedmiotu zamówienia (…) 2. (…) wywiadów indywidualnych metodą CAPI na imiennej próbie adresowej ludności w wieku 18 lub więcej lat pobranej z operatu PESEL i dostarczonej przez Zamawiającego, przy użyciu kwestionariusza dostarczanego przez Zamawiającego. W ramach sondażu wykonawca będzie miał za zadanie zrealizować poniższe prace: 1) wysyłkę listów zapowiednich, 2) podjęcie próby uzyskania wywiadu od każdej z osób w próbie 3) dostarczanie danych z przebiegu realizacji wywiadu w czasie trwania badania 4) Uzyskanie założonych liczebności wywiadów zrealizowanych w każdej z pod-prób 5) maksymalizację równomierności terytorialnej poziomu response-rate, przy założeniu osiągnięcia powyższych celów. Uniwersytet Warszawski, 2011 (fragment ogłoszenia przetargowego) § 3 Opis przedmiotu zamówienia (…) 2. (…) wywiadów indywidualnych metodą CAPI na imiennej próbie adresowej ludności w wieku 18 lub więcej lat pobranej z operatu PESEL i dostarczonej przez Zamawiającego, przy użyciu kwestionariusza dostarczanego przez Zamawiającego. W ramach sondażu wykonawca będzie miał za zadanie zrealizować poniższe prace: 1) wysyłkę listów zapowiednich, 2) podjęcie próby uzyskania wywiadu od każdej z osób w próbie 3) dostarczanie danych z przebiegu realizacji wywiadu w czasie trwania badania 4) Uzyskanie założonych liczebności wywiadów zrealizowanych w każdej z pod-prób 5) maksymalizację równomierności terytorialnej poziomu response-rate, przy założeniu osiągnięcia powyższych celów. PŁACIMY WYKONAWCY NIE (TYLKO) ZA DOSTARCZENIE USTALONEJ LICZBY WYWIADÓW LECZ PODJĘCIE PRÓBY UZYSKANIA WYWIADU OD KAŻDEJ Z JEDNOSTEK W PRÓBIE

Szczegółowy SIWZ Projekt analiz statystycznych ZamawiającyWykonawca CODEBOOK ZamawiającyWykonawca Odpowiedzi na pytania ZamawiającyWykonawca Kto projektuje Realizacja badania o wielkości porównywalnej z wielkością badania zamawianego Personel: liczba ankieterów Wyposażenie: liczba notebooków, oprogramowanie, serwer, łączność Warunki dopuszczenia do udziału w przetargu Response rate Równomierność realizacji Czas realizacji Kryteria wyboru oferty Kary za nieosiągnięcie response rate Kary za nierównomierność realizacji Kary za wywiady sfałszowane Kary za wywiady spóźnione Kontrakt z wykonawcą przewiduje Kto wykonuje /dostarcza Kto wykonuje /dostarcza Kwestionariusz ZamawiającyWykonawca Operat ZamawiającyWykonawca Warstwowanie, alokację i schemat doboru próby ZamawiającyWykonawca Jeśli chcemy maksymalizować stosunek jakości do kosztu badania powinniśmy jako kryterium wyboru oferty stosować iloraz błędu oszacowania do ceny za jeden wywiad (rekord) Podobną maksymalizację uzyskuje się zakładając docelową liczbę wywiadów zrealizowanych i wybierając takiego wykonawcę, który zażąda do tego najmniejszej póby

Błędne przeświadczenia zamawiających Przedmiotem zamówienia jest pewna liczba dostarczonych zapisów wywiadów Agencja badawcza potrafi odpowiedzieć na pytania zamawiającego Agencja badawcza potrafi dopasować metodologię do potrzeb zamawiającego Zamawiający, który nie potrafi określić metodologii dopasowanej do własnych potrzeb potrafi ocenić metodologie oferowane przez potencjalnych wykonawców Cena jest racjonalnym kryterium wyboru wykonawcy sondażu Istnieją tanie sondaże dobrej jakości, szybko i dobrze wykonane W sondażu z wykorzystaniem ogólnopolskiej imiennej próby adresowej można osiągnąć response rate powyżej 50% płacąc za 1 wywiad nie więcej niż 100 PLN Dobry sondaż można zaprojektować, zamówić, skontrolować i opracować bez udziału statystyka Sondaż jest dyscypliną naukową

Patologie przetargów – przykłady 2013 Gdańsk II.1.4) Określenie przedmiotu oraz wielkości lub zakresu zamówienia: W ramach przedmiotu zamówienia Wykonawca jest zobowiązany do: 1) konsultowania na etapie sporządzania raportu metodologicznego, szczegółów narzędzi badawczych, 2)przygotowania kwestionariuszy materiałów do badania, 3)realizacji prac terenowych oraz realizacji badania zgodnie z zakresem i minimum metodologicznym określonym w pkt 1 ppkt 4 SIWZ 4)przeprowadzenia (liczba z oferty) kwestionariuszy wywiadu 5)zapewnienia respondentom pełnej anonimowości w celu uzyskania jak najbardziej wiarygodnych danych IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena narzędzia badawcze - 50 Gdańsk II.1.4) Określenie przedmiotu oraz wielkości lub zakresu zamówienia: W ramach przedmiotu zamówienia Wykonawca jest zobowiązany do: 1) konsultowania na etapie sporządzania raportu metodologicznego, szczegółów narzędzi badawczych, 2)przygotowania kwestionariuszy materiałów do badania, 3)realizacji prac terenowych oraz realizacji badania zgodnie z zakresem i minimum metodologicznym określonym w pkt 1 ppkt 4 SIWZ 4)przeprowadzenia (liczba z oferty) kwestionariuszy wywiadu 5)zapewnienia respondentom pełnej anonimowości w celu uzyskania jak najbardziej wiarygodnych danych IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena narzędzia badawcze - 50

Patologie przetargów – przykłady 2013 PFRON 2013 (…) 5. ZAKRES PRAC WYKONAWCY Zakres prac Wykonawcy obejmuje: 1. opracowanie szczegółowej metodologii badania, 2. opracowanie narzędzi badawczych, 3. (…) wylosowanie prób badawczych, 4. realizację badania, 5. analizę danych i przygotowanie raportu z badania, 6. prezentację wyników na spotkaniu/konferencji (…) IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena Ocena merytoryczna – 60 (…) a) podkryterium koncepcja badania (MK), tj. - kompleksowość i przydatność badawcza zaproponowanej koncepcji z punktu widzenia celu badania (MK1) – od 0 do 13 pkt, - lista pytań badawczych (MK2) – od 0 do 20 pkt PFRON 2013 (…) 5. ZAKRES PRAC WYKONAWCY Zakres prac Wykonawcy obejmuje: 1. opracowanie szczegółowej metodologii badania, 2. opracowanie narzędzi badawczych, 3. (…) wylosowanie prób badawczych, 4. realizację badania, 5. analizę danych i przygotowanie raportu z badania, 6. prezentację wyników na spotkaniu/konferencji (…) IV.2.1) Kryteria oceny ofert: cena oraz inne kryteria związane z przedmiotem zamówienia: 1 - Cena Ocena merytoryczna – 60 (…) a) podkryterium koncepcja badania (MK), tj. - kompleksowość i przydatność badawcza zaproponowanej koncepcji z punktu widzenia celu badania (MK1) – od 0 do 13 pkt, - lista pytań badawczych (MK2) – od 0 do 20 pkt

Dobre przetargi – dobre sondaże PARP Wykorzystanie zawodowego statystyka w oszacowaniu efektywności netto programów aktywizacji zawodowej bezrobotnych (Propensity Score Matching, J. Górniak, UJ) IBE Prawie poprawnie sformułowane przetargi na skutek (między innymi) uczestnictwa w międzynarodowych projektach badawczych ESS Response rate 70% w sondażu z wykorzystaniem ogólnopolskiej, imiennej próby adresowej (za cenę !) MEN /CMPPP Badanie gotowości szkolnej sześciolatków (2006): zamawiający dał wykonawcy operat, kwestionariusz, instrukcje realizacyjne, jednoznaczne wymagania dotyczące doboru próby i dokładnie wiedział co zrobi z wynikami sondażu (standaryzacja skal i pdskal SGS)

Propozycje zmiany systemu zamówień Oddzielić projektowanie badań sondażowych od zadań administracji publicznej Powierzyć projektowanie badań sondażowych zespołom kompetentnych specjalistów wśród których co najmniej jeden będzie kompetentny statystycznie Przyjąć, że zamawiający sondaż odpowiada za całą metodologię badania, to znaczy: -Sformułowanie celu sondażu, -Kwestionariusz (dobór wskaźników) -Dobór próby (warstwowanie, alokacja, wiązkowanie) -Wymagania jakościowe realizacji Przyjąć, że zamawiający sondaż odpowiada za całą metodologię badania, to znaczy: -Sformułowanie celu sondażu, -Kwestionariusz (dobór wskaźników) -Dobór próby (warstwowanie, alokacja, wiązkowanie) -Wymagania jakościowe realizacji Przy wyborze wykonawcy jako podstawowe kryterium stosować relację między jakością i kosztem Zaprojektować i uruchomić system dokształcania sondażowego pracowników administracji publicznej aby nie wydawali środków publicznych na badania bezwartościowe, niepotrzebne lub niemożliwe do poprawnej realizacji Przyjąć zasadę, że jakość wykonania sondażu podlega zewnętrznej kontroli a jej wyniki decydują o wysokości wynagrodzenia wykonawcy