Komentarz do raportu Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej przetargów na badania sondażowe z roku 2014

Źródłem patologii przergowej są błędne przeświadczenia zamawiających sondaż Agencja badawcza potrafi odpowiedzieć na pytania zamawiającego Agencja badawcza potrafi dopasować „metodologię” do potrzeb zamawiającego Zamawiający, który nie potrafi określić „metodologii” dopasowanej do własnych potrzeb potrafi ocenić „metodologie” oferowane przez potencjalnych wykonawców Cena jest racjonalnym kryterium wyboru wykonawcy sondażu Istnieją tanie sondaże dobrej jakości, szybko i dobrze wykonane W sondażu z wykorzystaniem ogólnopolskiej imiennej próby adresowej można osiągnąć response rate powyżej 50% płacąc za 1 wywiad nie więcej niż 100 PLN Dobry sondaż można zaprojektować, zamówić, skontrolować i opracować bez udziału specjalisty od badań sondażowych oraz statystyka Tym, za co płaci się w badaniu sondażowym jest liczba zapisów wywiadów dostarczonych zamawiającemu przez agencję badawczą

Sondaż jest przedsięwzięciem kosztownym Koszt zł Koszt % 1. Prace poprzedzające projekt (dane i badania zrealizowane wcześniej) Przygotowanie projektu: dokładność oszacowań, podział budżetu, harmonogram Przygotowanie kwestionariusza (testy, pilotaże) Dobór próby, koszt operatu, optymalizacja dojazdów Przygotowanie i przeprowadzenie przetargu Realizacja badania w terenie 7. Nadzór nad realizacją (kontrola zewnętrzna ankieterów) Analiza danych Dokumentacja badania Raport z badania razem % Podział budżet typowego badania ogółnopolskiego średniej welkości 100 między wszystkie jego etapy oprócz realizacji w terenie

Projektowanie sondażu – harmonogram Etap Czas (tygodnie) 1. Prace poprzedzające projekt Przygotowanie projektu Przygotowanie (testy) kwestionariusza Dobór próby 1 5. Przygotowanie i przeprowadzenie przetargu 2 (przygotowanie) 4 (przeprowadzenie) 6. Realizacja badania w terenie Nadzór nad realizacją 1 8. Analiza danych 1 9. Dokumentacja badania Raport z badania 2 Razem Harmonogram typowego badania ogółnopolskiego średniej welkości o budżecie 100 tys. zł

Poprawne wymagania wobec próby Poprawny projekt Poprawbe wymagania wobec realizacji Komentarz Obraz uzyskany z monitoringu jest zbyt optymistyczny, gdyż zastosowane w nim kryteria oceny przetargów były bardzo – wobec zamawiających - pobłażliwe. Rzeczywistość jest znacznie gorsza, niż to raport pokazuje. Komentarz Obraz uzyskany z monitoringu jest zbyt optymistyczny, gdyż zastosowane w nim kryteria oceny przetargów były bardzo – wobec zamawiających - pobłażliwe. Rzeczywistość jest znacznie gorsza, niż to raport pokazuje.

Co trzeba zmienić w prawie i w praktyce zamawiania sondażu Oddzielić projektowanie badań sondażowych od zadań administracji publicznej Powierzyć projektowanie badań sondażowych zespołom kompetentnych specjalistów wśród których co najmniej jeden będzie kompetentny statystycznie Przyjąć, że zamawiający sondaż odpowiada za całą „metodologię” badania, to znaczy: - Sformułowanie celu sondażu, - Kwestionariusz (dobór wskaźników) - Dobór próby (warstwowanie, alokacja, wiązkowanie) - Wymagania jakościowe realizacji Przyjąć, że zamawiający sondaż odpowiada za całą „metodologię” badania, to znaczy: - Sformułowanie celu sondażu, - Kwestionariusz (dobór wskaźników) - Dobór próby (warstwowanie, alokacja, wiązkowanie) - Wymagania jakościowe realizacji Przy wyborze wykonawcy jako podstawowe kryterium stosować relację między jakością i kosztem Zaprojektować i uruchomić system dokształcania „sondażowego” pracowników administracji publicznej aby nie wydawali środków publicznych na badania bezwartościowe, niepotrzebne lub niemożliwe do poprawnej realizacji Przyjąć zasadę, że jakość wykonania sondażu podlega zewnętrznej kontroli a jej wyniki decydują o wysokości wynagrodzenia wykonawcy

Dziękuję za uwagę