Główne wyzwania dla ewaluacji w perspektywie Województwo Małopolskie Toruń, 21 – 22 czerwca 2016 r.

Edukacja Wiedza Aktualność Ludzie Ufność Analiza Cel Jakość Ankieta

Małopolska Jednostka Ewaluacyjna powstała 1 stycznia 2015 roku mieści się w Departamencie Zarządzania Programami Operacyjnymi Urzędu Marszałkowskiego Województwa Małopolskiego, w Zespole ds. Monitoringu, Sprawozdawczości i Ewaluacji liczy 3 osoby, posiadające doświadczenie w prowadzeniu ewaluacji w pespektywie oraz wiedzę zdobytą na licznych szkoleniach, warsztatach i studiach podyplomowych z zakresu ewaluacji jest odpowiedzialna za ewaluację RPO WM

Problem: niewielka wiedza nt. metod kontrfaktycznych zamawiających oraz małe doświadczenie wykonawców w realizacji badań z ich wykorzystaniem trudności w przygotowaniu i realizacji badań, w szczególności w napisaniu OPZ kiedy i w jakich badaniach stosować metody kontrfaktyczne? zdiagnozowanie grup kontrolnych skąd pozyskać dane? – niekompletne systemy gromadzenia danych (SL, e-RPO), nieaktualność danych („opóźnienia” w publikowaniu danych przez GUS), ograniczony dostęp do danych (ZUS) jak wybrać dobrą ofertę? – niewielka wiedza przeszkodą w wyborze dobrej oferty? 1. Wyzwanie: stosowanie metod kontrfaktycznych w badaniach

Środki zaradcze: warsztaty/szkolenia „szyte na miarę” „przerzucenie” przygotowania szczegółowych założeń badawczych na wykonawców – dialog techniczny, dialog konkurencyjny Plan Ewaluacji pozwala odpowiednio wcześniej zabezpieczyć dane korzystanie z doświadczeń takich instytucji jak PARP czy Ministerstwo Rozwoju wiedza ze świata nauki – wykorzystanie potencjału ośrodków naukowych, letnie szkoły metod kontrfaktycznych 1. Wyzwanie: stosowanie metod kontrfaktycznych w badaniach

Problem: niska jakość badań powstaje coraz więcej firm, które mają niewielkie doświadczenie w realizacji badań ewaluacyjnych niezrozumienie potrzeb zamawiającego - wykonawcy ewaluacji często nie znają specyfiki funkcjonowania danej instytucji, projektu, czy programu minimum z minimum – ubogość ofert przetargowych prowadzenie Wykonawcy za rękę niska jakość raportów: duże zaangażowanie czasowe i kadrowe zamawiającego do poprawy raportów niska jakość raportów zniechęca do korzystania z zawartych w nich wyników 2. Wyzwanie: lepsza jakość badań

Środki zaradcze: poprawa współpracy z wykonawcą poprzez częste spotkania i kontakty w trakcie realizacji badania raportowanie z przebiegu prac, np. w formie cotygodniowych, codwutygodniowych sprawozdań lepsza jakość badań – większy nacisk Zamawiającego na wysoką jakość raportów końcowych wyższe kary za niewłaściwą realizację zapisów umowy i ich egzekwowanie 2. Wyzwanie: lepsza jakość badań

Problem: zbyt szczegółowe OPZ, tendencja do zawierania w OPZ „sztampowych”, najbardziej popularnych metod i technik badawczych brak zaufania do wykonawcy inwencja wykonawców ograniczona do minimum, niechętnie wychodzą z propozycjami innych metod, technik badawczych niż te zawarte w OPZ „nieprofesjonalne” firmy, niemające wiele do zaoferowania ubogie oferty niewielka specjalistyczna wiedza zamawiającego w zakresie niestandardowych technik badawczych ograniczenia w stosowaniu niestandardowych technik badawczych może prowadzić do obniżenia jakości wyników 3. Wyzwanie: Opis Przedmiotu Zamówienia

Środki zaradcze: dajmy szansę wykonawcy na zaproponowanie czegoś nowego = mniej szczegółowe OPZ nie bójmy się wykorzystywać mniej znanych technik badawczych budujmy zaufanie po obu stronach – na tym powinno zależeć zamawiającym i wykonawcom 3. Wyzwanie: Opis Przedmiotu Zamówienia

Problem: niechęć do ewaluacji, „bo to kolejny rodzaj kontroli” ewaluacja = kontrola realizacja ewaluacji poprzez pryzmat obowiązku narzuconego przez UE /”zło konieczne”/ traktowanie ewaluacji jedynie jako krytyka podejmowanych działań, wytykanie błędów systemu zarządzania i wdrażania opór wobec wdrażania rekomendacji

5. Wyzwanie: ewaluacja zewnętrzna vs. ewaluacja mieszana/wewnętrzna Problem: brak możliwości realizowania ewaluacji mieszanych/ wewnętrznych opieranie się na ewaluacjach zlecanych na zewnątrz często o niewystarczającej jakości braki kadrowe vs. duża ilość planowanych badań ewaluacyjnych brak podstawowych narzędzi, np. oprogramowania do obróbki danych

5. Wyzwanie: ewaluacja zewnętrzna vs. ewaluacja mieszana/wewnętrzna Środki zaradcze: wzrost zatrudnienia osób posiadających wiedzę z zakresu prowadzenia analiz, badań terenowych, etc. właściwe wyposażenie stanowiska pracy specjalistyczne szkolenia z zakresu realizacji badań, staże u wykonawców

6. Wyzwanie: przetargi powyżej progów unijnych Problem (?): stosowanie przetargów unijnych łączenie badań ewaluacyjnych w planach zamówień publicznych tworzonych dla projektu Pomocy Technicznej ryzyko wejścia w przetargi powyżej progów unijnych = znaczne wydłużenie procedur przetargowych = zagrożenie dla terminowej realizacji badań czy audyt i kontrola rozumieją się z ewaluacją?

6. Wyzwanie: przetargi powyżej progów unijnych Środki zaradcze: stosowanie racjonalnego podejścia do łączenia badań ewaluacyjnych w planach zamówień publicznych traktowanie badań ewaluacyjnych jako odrębnych bytów – każde jest specyficzne uświadamianie o wyjątkowości ewaluacji poprzez spotkania z decydentami, osobami odpowiedzialnymi za tworzenie projektu PT oraz za realizację zamówień publicznych

Dziękujemy za uwagę Barbara Porębska-Maciołek Agnieszka Zawrzykraj