Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Administracja oparta na wiedzy Jak wykorzystać badania sondażowe?

Prezentacja na temat: "Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Administracja oparta na wiedzy Jak wykorzystać badania sondażowe?"— Zapis prezentacji:

1 Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Administracja oparta na wiedzy Jak wykorzystać badania sondażowe?

2 Spis treści 1. Wstęp – Opis badania 2. Rynek zamówień publicznych na badania sondażowe 3. Od pomysłu do raportu - Proces badawczy realizowany w ramach Prawa Zamówień Publicznych 4. Wnioski z badania 5. Wyniki monitoringu 6. Wnioski z monitoringu

3 Wstęp Badanie zostało przeprowadzone na przestrzeni listopada i grudnia 2014 wśród Zamawiających i Wykonawców biorących udział w różnorodnych projektach badawczych. Przeprowadziliśmy wywiady z 15 rozmówcami. Wśród Wykonawców wszyscy respondenci byli badaczami z przynajmniej kilkuletnim stażem, natomiast wśród Urzędników doświadczenie w przeprowadzaniu projektów badawczych było bardzo zróżnicowane (od jednego do ponad 50 projektów).

4 Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Rynek zamówień publicznych na badania sondażowe

5 Wizerunek rynku badawczego Kto zamawia i realizuje badania – typy idealne NIEKOMPETENTNI I NIEUCZCIWI WYKONAWCY MERYTORYCZNIE PRZYGOTOWANI ZAMAWIAJĄCY RZETELNE AGENCJE O DUŻYCH KOMPETENCJACH INSTYTUCJE POZBAWIONE WIEDZY MERYTORYCZNEJ WYKONAWCY ZAMAWIAJĄCY Nieprzygotowani w wystarczającym stopniu do zlecania badań Dobrze wykorzystujący finanse publiczne Trudni do wychwycenia na poziomie składania ofert Oprócz stworzenia dobrej oferty potrafią w rzetelny sposób przeprowadzić badanie Jak sprawić, żeby współpraca w badaniach finansowanych z funduszy publicznych przebiegała między kompetentnymi Zamawiającymi i Wykonawcami?

6 Rynek badań w Polsce Kompetencje Zamawiających Przygotowany Zamawiający Dobrze skonstruowany SIWZ i SOPZ Dialog i umiejętna kontrola w procesie badawczym Zdolność do efektywnego wykorzystania danych z badania Merytorycznie poprawna ocena ofert

7 Rynek badań w Polsce Kompetencje Zamawiających Główne zagrożenia wynikające z braku wiedzy Zamawiających: Źle skonstruowany SOPZ – nieścisłości, nieprawidłowe dobranie narzędzi do pytań badawczych Nietrafione kryteria oceny ofert – sprowadzanie ich do kryterium cenowego, które nie wymaga merytorycznego przygotowania do rozpatrywania ofert Trudności w nadzorowaniu i weryfikacji pracy Wykonawców – ryzyko niewykrycia naruszeń Nieumiejętność wykorzystania wyników badań W EFEKCIE: ZMARNOTRAWIENIE FUNDUSZY PUBLICZNYCH

8 Wizerunek rynku badawczego Z jakich powodów robi się badania? POTRZEBA ROBIENIA BADAŃ WŚRÓD ZAMAWIAJĄCYCH JEST CORAZ WIĘKSZA, JEDNAK NIE ZOSTAŁA JESZCZE ZASZCZEPIONA RÓWNOMIERNIE WE WSZYSTKICH INSTYTUCJACH PUBLICZNYCH Mniejsze instytucje zlecające mniej badań nie zostały w pełni wyedukowane, dlatego badań się boją i najczęściej robią je z przymusu Idea badań nie został jeszcze do końca zaimplementowana – tyczy się to szczególnie badań ewaluacyjnych, które wciąż są finansowane głównie z Funduszy unijnych „Aż się sam ostatnio zdziwiłem, kiedy przy zupełnie innej okoliczności zaczepił mnie mężczyzna mówiąc, że korzystali z naszego raportu i powiedział, że dostał go od urzędu X i zamierzają go wykorzystać u siebie” Wykonawca

9 Wizerunek rynku badawczego Jak jest oceniana ustawa? „Moi koledzy ciągle powtarzają, że jest to ustawa antykorupcyjna, a nie ustawa pozwalająca wybrać najlepszego Wykonawcę” Zamawiający USTAWA PRAWO ZAMÓWIEŃ PUBLICZNYCH - GŁÓWNE ZARZUTY Wydłużanie czasu postępowaniaNieprzystosowanie do zlecania badań Trudność z stosowaniu kryteriów i tego konsekwencje Niepewność co o wyboru odpowiedniego Wykonawcy

10 Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Od pomysłu do raportu

11 Proces powstawania Zamówienia Przygotowywanie dokumentacji i składanie ofert Główne problemy przy przygotowywaniu ofert od strony Wykonawców: Brak dostosowania terminu na składanie ofert do stopnia zaawansowania badania – za mało czasu na konsultacje i merytoryczne przygotowanie Wymogi nieadekwatne w stosunku charakteru badania Jakie główne wady ofert widzą Zamawiający? Pobieżnie traktowane istotnych kwestii zawartych w SOPZ, niedokładność, brak precyzji, ogólnikowość „Kiedy widzimy na przykład, że jeden Wykonawca przygotował 3 strony metodologii badania, a drugi 30, to wiemy, który się przyłożył do swojej pracy. Jednak przecież nie możemy oceniać oferty wedle jej długości” Zamawiaający

12 Proces powstawania Zamówienia Rozpatrywanie ofert NIEMOŻNOŚĆ PORÓWNYWANIA OFERT MIĘDZY SOBĄ RYZYKO, ŻE DOBRA OFERTA NIE OZNACZA DOBRZE WYKONANEGO BADANIA ZWIĘKSZENIE LICZBY KRYTERIÓW WYDŁUŻA I KOMPLIKUE PROCES OCENY OFERT ZAGROŻENIE BYCIA OSKARŻONYM O BRAK OBIEKTYWIZMU W OCENIE OFERT Z CZYM SIĘ MUSI MIERZYĆ ZAMAWIAJĄCY PRZY ROZPATRYWANIU OFERT?

13 Proces powstawania Zamówienia Co jest najważniejsze w SIWZ i SOPZ NA POZIOMIE ROZPISYWANIA PRZETARGU WYMOGI NAKŁADANE NA POTENCJALNYCH WYKONAWCÓW – DAJĄ ZABEZPIECZENIE, ŻE PRZETARG WYGRA DOŚWIADCZONA I RZETELNA FIRMA NA POZIOMIE SKŁADANIA OFERTY NAJISTOTNIEJSZE SĄ KRYTERIA WYBORU WYKONAWCY I WYMOGI ODNOŚNIE UDZIAŁU W POSTĘPOWANIU PRZETARGOWYM – TEMATYKA I CELE BADANIA NA TYM ETAPIE SCHODZĄ NA DRUGI PLAN NA POZIOMIE REALIZACJI PROJEKTU WSZYSTKIE ELEMENTY MAJĄCE NA CELU UTRZYMANIE KONTROLI NAD PROCESEM BADAWCZYM: HARMONOGRAM, ZAPISY O KONTROLI ANKIETERÓW/BADACZY I SZCZEGÓŁY ODNOSNIE RAPORTOWANIA POSTĘPÓW, ALE TAKŻE PRZEWIDZIANE KARY UMOWNE NA POZIOMIE REALIZACJI PROJEKTU JASNY CEL, SPÓJNOŚĆ METODOLOGII Z CELAMI BADANIA ORAZ HARMONOGRAM BADANIA ISTOTNE ELEMENTY Z PUNKTU WIDZENIA WYKONAWCY ISTOTNE ELEMENTY Z PUNKTU WIDZENIA ZAMAWIAJĄCEGO

14 Proces powstawania Zamówienia Szczegółowość SOPZu Badania trackingowe Badania na wykorzystanej już metodologii Badania porównawcze USZCZEGÓŁOWIONY SOPZ OGÓLNE WYTYCZNE Luźny pomysł Zamawiającego, bez konkretnej koncepcji, oczekujący na inwencję Wykonawcy Od czego zależy szczegółowość SOPZu w perspektywie badanych?

15 Proces powstawania Zamówienia Kryteria doboru wykonawcy - cena Kryterium ceny jest jednym z najbardziej kontrowersyjnych tematów, które były poruszane w trakcie badania. W środowisku panuje przekonanie, że udział kryterium cenowego wiele mówi o kompetencjach Zamawiającego, a doświadczony Zamawiający będzie unikał tego kryterium jako jedynego czynnika wyboru oferty. „Ja wiem, że za te pieniądze można zrobić badanie, nie mam podstaw do odrzucenia oferty. Wiem jednak, że ta cena nie pozwala na zrobienie dobrego badania – z odpowiednim zespołem badawczym, współpracownikami i sprzętem.” Zamawiający Urzędnicy sami psują rynek badań poprzez kryterium 100% ceny. Prowadzi to do ograniczania kosztów, w tym kosztów pracy” Wykonawca

16 Proces powstawania Zamówienia Kryteria doboru wykonawcy - cena WYŁĄCZNOŚĆ KRYTERIUM CENOWEGO ZALETY WYKORZYSTANIA WYŁĄCZNOŚĆ KRYTERIUM CENOWEGO WADY WYKORZYSTANIA Krótszy czas rozpatrywania ofert Przejrzyste kryterium – brak możliwości posądzenia o stronniczość Nie wymaga angażowania ekspertów do oceny ofert Brak jakiejkolwiek wiedzy o merytorycznym przygotowaniu wygrywającego Wykonawcy do projektu Zagrożenie niską jakością produktu końcowego „Psucie rynku” – cięcie kosztów w agencji kosztem wypłat pracowników

17 Proces powstawania Zamówienia Pozacenowe kryteria doboru wykonawcy Kryterium uznane za najlepsze: dodatkowe pytania badawcze CEL: Sprawdzenie, jak Wykonawca myśli i jak „czuje” badanie WIELKOŚĆ PRÓBY KRYTERIA RYZYKOWNE: HARMONOGRAM

18 Proces badawczy Komunikacja między Wykonawcą, a Zamawiającym Kontakt to gwarancja poczucia bezpieczeństwa, a zaburzona komunikacja miedzy oboma podmiotami może być źródłem niedoinformowania, asymetrii wiedzy po obu stronach i niespełnionych oczekiwań odnośnie projektu. Zamawiający i Wykonawcy wiedzą, że muszą współpracować, żeby wspólnie osiągnąć jak najlepsze efekty, nawet wtedy, kiedy współpraca jest trudna poprzez nierówno rozłożone kompetencje. „Cenię sobie kontakt z Wykonawcami, szczególnie, kiedy siadamy i się wspólnie głowimy jak rozwiązać jakiś problem. Generalnie, jak wykonawca nie dzwoni, to odbieram to jako oznakę kłopotów” Zamawiający

19 Proces badawczy Kontrola Wykonawców Dlaczego zamawiający chcą mieć kontrolę nad badaniem: Złe doświadczenia z poprzednich projektów uczą, że Wykonawcom nie można ufać i trzeba ich kontrolować Prawo Zamówień Publicznych nie gwarantuje wyboru rzetelnej agencji – ta świadomość uczy, że trzeba przykładać jeszcze większą wagę do pilnowania standardów Błędów popełnionych w terenie nie da się naprawić, będą rzutować na jakość raportu Coraz większa waga przypisywana wynikom badań wpływa na chęć kontroli nad całym procesem Podstawą udanego projektu: agencja badawcza, która potrafi prowadzić efektywną kontrolę wewnętrzną oraz Zamawiający, który nie ogranicza się jedynie do ciągłego sprawdzania każdego elementu badania, ale buduje relacje partnerskie. Zamawiający powinien jednak czuwać nad całym procesem badawczym – to on ostatecznie jest odbiorcą projektu i powinien dawać odczuć, że zależy mu na najwyższych standardach. Kontrola nie jest więc niczym niepożądanym, istotne jest to w jaki sposób jest ona przeprowadzana. „Zdarzyło się, ze musieliśmy wytłumaczyć Zamawiającemu, że nagrywanie wypełniania ankiety jest niemożliwe i może zakłócić proces badawczy” Wykonawca

20 Proces badawczy Wykorzystanie wyników badań Raporty w wyniku edukacji urzędniczej i popularyzacji badań społecznych są coraz częściej postrzegane jako źródło rzetelnej wiedzy dla przyszłych działań, wzrost świadomości na temat ich wagi jest wciąż nierównomierny Raporty Wytyczne do podejmowania działań „Podkładka” do planowania przyszłych badań Ocena dotychczasowych działań

21 Proces badawczy Wykorzystanie wyników badań „Kiedyś myślałam, ze zamawiający nie nadał sensu badaniu to my nadamy... w tym momencie mam inne odczucia. (Wyniki badań) nie są wykorzystywane tak jak trzeba” Wykonawca Wykonawcy: „Jest coraz lepiej, ale wciąż wiele projektów się marnuje” – poprzez rozdrobnienie celów badawczych i chaos w projekcie często zatraca się główną myśl przyświecającą badaniu Zamawiający: „Wykorzystujemy wyniki badań” – nawet jeśli zebranych danych jest za dużo, służą one jako baza do kolejnych projektów DWA RÓŻNE SPOJERZENIA

22 Proces badawczy Obecność zewnętrznych ekspertów Obecność ekspertów, którzy mają pomóc Zamawiającemu zamawianiu i koordynowaniu badań jest bardzo dobrym wyjściem dla urzędników, którzy rzadko mają do czynienia z projektami badawczymi: Pozwala napisać poprawny metodologicznie SOPZ Pomaga w ocenie ofert i zapobiega rezygnacji z jakościowych kryteriów Daje poczucie bezpieczeństwa w całym procesie badawczym poprzez umiejętną kontrolę nad działaniami Wykonawcy Pozwala na uzyskanie wysokiej jakości wyników zgodnych z założeniami projektu i oczekiwaniami instytucji …ALE Wykonawcy spotkali się z ekspertami, który posiadali wiedzę czysto teoretyczną i małe doświadczenie z pracy w terenie. Rozbieżność realiów, w których funkcjonują agencje i eksperci mogą prowadzić do rozbieżności w punktach widzenia i znacznie utrudniać współpracę.

23 Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Wnioski z badania

24 Wnioski z badania Największe problemy – perspektywa Wykonawców Wykonawcy spotykają się z trudnościami, które stwarza postępowanie w trybie Zamówień Publicznych już na tyle długo, że wytworzyli pewne mechanizmy ochronne przeciw nim, jednak niektórych problemów nie da się lekceważyć: Kryterium cenowe, które do tej pory przeważało w większości postepowań przetargowych prowadziło do zepsucia rynku – agencje zmuszone do obniżania drastycznie kosztów zatrudniają swoich pracowników na umowach śmieciowych i poniżej rzeczywistych kosztów ich pracy. Kryteria pozacenowe, do których coraz częściej odnoszą się Zamawiający nie odwołują się do kompetencji Wykonawców, a często są jedynie „zakamuflowanym kryterium cenowym” Wymogi odnośnie Wykonawców, określone w SIWZach niejednokrotnie są niesłusznie zawyżane i nieprzystosowane do rzeczywistych celów i poziomu badania. Niejednokrotnie wybrana przez Zamawiającego metodologia nie odpowiada w żaden sposób celom badania, przez co Wykonawca, nie posiadający prawa do negocjacji musi ją przyjąć, jednocześnie będąc przekonany, że badanie nie da odpowiednich wyników. Chaos w instytucji i niejednoznaczne określenie osób odpowiedzialnych za projekt sprawia, że Wykonawca odczuwa niejednomyślność podejmowanych decyzji i niepewność, co do tego, w którą stronę powinien kierować działania Wykonawcom zdarza się spotykać z bardzo wyśrubowanymi wytycznymi, które w ich odczuciu bywają absurdalne – spotykają się z karami finansowymi za literówki w raporcie czy wymóg nagrywania na video przebiegu badania ankietowego Problemem, który najczęściej jednak psuje relacje jest nieuzasadniona kontrola i wrogość zamiast dialogu i zaufania

25 Wnioski z badania Największe problemy – perspektywa Zamawiających To, że Prawo Zamówień Publicznych i sposób jego wdrażania w obszar badań społecznych są niedoskonałe jest dla Zamawiających oczywiste. Na co dzień spotykają się z trudnościami, które w znacznym stopniu komplikują proces zamawiania i często pozbawiają gwarancji otrzymania dobrze wykonanego badania. Do szczególnych trudności zaliczane jest: Zero-jedynkowy status wymogów kierowanych do Wykonawców (brak możliwości oceny np. ekspertów w zespołach badawczych) Zakaz porównywania ze sobą ofert, co w praktyce jest często niemożliwe Niemożność wykluczenia Wykonawcy proponującego cenę, która uniemożliwia wykonanie badania o dobrej jakości Trudności w konstruowaniu i ocenianiu kryteriów pozacenowych, które świadczą o merytorycznym przygotowaniu agencji do projektu bez obawy o posądzenie o stronniczość W wyniku długich terminów związanych z prawem Zamówień Publicznych zmuszeni są skracać harmonogram badań, żeby otrzymać efekty badania odpowiednio wcześnie

26 Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Wyniki monitoringu

27 Monitoring W ramach projektu codziennie w okresie od 01.01.2014 do 01.01.2015 monitorowaliśmy Biuletyn Zamówień Publicznych (BZP) oraz Suplement do Dziennika Urzędowego Unii Europejskiej (TED) pod kątem ogłoszeń przetargowych dotyczących badań sondażowych z jednego z następujących kodów CPV: – CPV 79.31.00.00-0 - Usługi badania rynku – CPV 79.31.50.00-5 - Usługi badań społecznych – CPV 79.31.12.00-9 - Usługi przeprowadzania badań ankietowych – CPV 79.31.12.10-2 - Usługi prowadzenia ankiet telefonicznych – CPV 79.31.13.00-0 - Usługi analizy ankiet – CPV 79.32.00.00-3 - Usługi badania opinii publicznej – CPV 79.31.10.00-7 - Usługi w zakresie ankiet – CPV 79.34.23.10-9 - Usługi badania opinii klientów – CPV 79.34.23.11-6 - Usługi ankietowania zadowolenia klientów – CPV 79.41.90.00-4 - Usługi konsultacyjne w zakresie ewaluacji Przez rok monitoringu pojawiło się ponad 200 takich zamówień, z czego 119 zostało zaklasyfikowanych jako badania sondażowe. Każdy Opis Przedmiotu Zamówienia (OPZ) i Specyfikacja Istotnych Warunków Zamówienia (SIWZ) takich badań zostały przeanalizowane, a informacje o zamówieniu oraz jego ocena merytoryczna była zapisywana we wcześniej przygotowanym do tego celu zbiorze. Analogicznie monitorowano również rozstrzygnięcia – spośród 119 zamówień, 12 zostało unieważnionych, dla kilku nie udało się znaleźć części informacji o rozstrzygnięciach.

28 Kryteria formalne Cena stanowiła średnio 68% kryteriów oceny zamówień (n=119), w 36% zamówień cena była jedynym kryterium (n=119) W 64% zamówień wygrała oferta z najniższą ceną (n=99) Średnia różnica w cenie między ofertą najtańszą i najdroższą wyniosła 191 583 zł (n=79), przy średniej cenie zamówienia równej 392 562 zł (n=79) Średni czas od ogłoszenia zamówienia do wyboru wykonawcy to 43 dni

29 Zamawiający

30 Wykonawcy

31 Cel badania Populacja: Brak precyzji w definiowaniu respondentów (np. turyści, elity) Brak określenia z jakimi osobami z podmiotów zbiorowych (np. przedsiębiorstwa) przeprowadzić badanie Zakres badania: Pytania badawcze nieodpowiadające specyfice badania sondażowego Brak pytań badawczych Termin badania: Krótki czas realizacji badania

32 Kwestionariusz Wymagania metodologiczne: Brak wymagań odnośnie kwestionariusza dotyczących formy pytań (np. stosowania skal, zamiast pojedynczych wskaźników) Konsultacji kwestionariusza: Brak zapisu o konsultacji, gdy zamawiający przygotowywał kwestionariusz Pilotaż: Nieokreślenie formy pilotażu Czas trawania kwestionariusza: Brak zapisów dotyczących zakładanego czasu trwania kwestionariusza lub liczby pytań

33 Dobór próby Sposób doboru próbu: Brak informacji o rodzaju próby (losowa czy kwotowa), która ma być zastosowana w badaniu Liczebność próby: Brak zapisu dotyczącego liczebności próby Kwoty: W zamówieniach dotyczących prób kwotowych brakowało zapisów ze względu na jakie cechy mają być one zachowane Operat: Niewystarczająco precyzyjne wymagania odnośnie operatów dostarczanych przez wykonawców

34 Realizacja badania Certyfikat: Brak informacji na jaki typ badań ma być posiadany certyfikat (CATI, CAPI itd.) Technika zbierania danych: Dowolność w technice zbierania danych Szkolenia dla ankieterów: Nie zawsze wymóg szkoleń był zapisany w zamówieniach przy których takie szkolenie powinno zostać zorganizowane, natomiast przy niektórych projektach wymóg ten się pojawiał, choć nie był konieczny. Kontrola realizacji: Brak informacji na czym taka kontrola ma polegać (terenowa, telefoniczna, czy spójności danych)

35 Poziom realizacji próby Liczba prób kontaktu: Brak zapisów o zróżnicowanym terminie wizyt/przypomnień List zapowiedni: Brak takiego wymogu Poziom realizacji próby: Brak zapisów dotyczących poziomu realizacji próby Czasem wymóg zbyt wysokiego poziomu realizacji, skutkujący brakiem ofert

36 Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Wnioski z monitoringu

37 64% zamówień na badania sondażowe zostało rozstrzygniętych na korzyść oferenta, który przedstawił najtańszą ofertę. Średnia różnica w cenie oferty najtańszczej i najdroższej wynosi niemal 50% średniej ceny zamówienia. Średni czas od ogłoszenia zamówienia do rozstrzygnięcia przetargu to 43 dni, zdarzały się jednak przypadki, że przetarg rozstrzygano już po 15 dniach. W wielu zamówieniach brakowało podstawowych wymagań metodologicznych względem ofert. Brakowało kryteriów takich jak sposób doboru próby czy poziom realizacji. Część ofert nie pozwalała na rzetelną wycenę badania (np. przez brak informacji o oczekiwanym czasie trwania wywiadów). W wielu przypadkach dobór metodologii do badania był przerzucany na wykonawców, co przy braku pozacenowych kryteriów oceny zamówień promowało oferty o niskiej cenie. Oferenci rywalizowali na obniżenie kosztów badania, na czym cierpiała jego jakość, a więc i wiedza na podstawie której instytucje publiczne powinny podejmować decyzje.

38 Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego z Funduszy EOG Dziękujemy za uwagę