Wyzwania stojące przed ewaluacją w perspektywie finansowej 2014-20 Tomasz Kot Krajowa Jednostka Ewaluacji Departament Koordynacji Strategii i Polityk Rozwoju, MIR VI Podkarpacka Konferencja Ewaluacyjna Rzeszów, 8 maja 2014

Plan Skrócona diagnoza systemu ewaluacji PS w PL – w jakim punkcie się znajdujemy? Kierunki rozwoju i wyzwania dla ewaluacji w okresie 2014-20 – dokąd zmierzamy?

Ewaluacja w Polsce – o czym należy pamiętać Rozwinięty system ewaluacji PS w Polsce nie wykształcił się w wyniku naturalnego procesu rozwoju kultury politycznej ale został wprowadzony jako wymóg formalny związany z wdrażaniem funduszy UE Etap przygotowawczy 2004-2005 (mało badań (20), niski potencjał JE (7), brak rynku) Etap przejściowy 2006-07 (duży wzrost liczby ewaluacji i JE, pierwszy duży proces – ex ante perspektywy 07-13) Od 2007-08 r. – osiągnięcie funkcjonalności systemu (duża liczba badań i JE, problemy ich jakości i wykorzystania wyników), duży rynek 2014-20 – stagnacja czy ekspansja ewaluacji na inne polityki publiczne?

Rozwiązania organizacyjno-prawne System ewaluacji PS w Polsce – skrócona diagnoza Rozwiązania organizacyjno-prawne Zasoby finansowe i kadrowe Budowa kultury ewaluacyjnej Planowanie i organizacja badań Realizacja i jakość badań Wykorzystanie wyników

Słabe strony systemu ewaluacji PS w Polsce Ryzyko związane z niewystarczającym poziomem integracji procesu ewaluacji z procesem planowania i realizacji polityk publicznych w Polsce: wciąż niewystarczająca świadomość korzyści ze stosowania koncepcji evidence based policy w administracji → zbyt małe zaangażowanie podmiotów odpowiedzialnych za programowanie i wdrażanie w procesy analityczno-ewaluacyjne → niedopasowanie wyników badań ewaluacyjnych do potrzeb informacyjnych administracji → „autonomizacja” systemu ewaluacji względem procesu wdrażania (wymogi formalne jako główne uzasadnienie funkcjonowania systemu) Duże obciążenie administracji zadaniami biurokratycznymi → koncentracja na problemach bieżących i brak perspektywy długoterminowej → ewaluacja często traktowana instrumentalnie lub jako narzędzie rozwiązywania bieżących problemów („ostatnia deska ratunku”)

Słabe strony systemu ewaluacji PS w Polsce Zachowawcza interpretacja zasad i procedur prawa zamówień wpływająca pośrednio na jakość otrzymanych produktów duża rola ceny w kryteriach wyboru wykonawców – zbyt mała rola kryteriów jakościowych, w tym w szczególności związanych z metodologią, nieróżnicujący charakter kryteriów (coraz rzadsze zjawisko) procedury PZP niedostosowane do sposobów określania parametrów zadania w przypadku działań badawczo - analitycznych lęk przed stosowaniem dostępnych instrumentów prawnych (kar)

Słabe strony systemu ewaluacji PS w Polsce Zróżnicowany poziom jakości merytorycznej produktów ewaluacji (raportów, wniosków i rekomendacji) ilość vs jakość, obecność na rynku wykonawców dostarczających niskiego poziomu badań, niski udział jednostek naukowych

Źródło: Baza badań ewaluacyjnych, stan na 24.04.2014 *Prognoza na rok 2014 na podstawie planów ewaluacji

Niska aktywność jednostek akademickich na rynku badań ewaluacyjnych Źródło: Baza badań ewaluacyjnych wg stanu na dzień 24.04.2014 r.

Słabe strony systemu ewaluacji PS w Polsce Niewystarczające wykorzystanie wyników badań (ale stan faktyczny lepszy niż panująca w środowisku opinia) Przykłady: Ocena korzyści krajów UE…, timing+jakość+odpowiedź na zapotrzebowanie = sukces; ewaluacja ex ante 14-20

Źródło: Baza rekomendacji Krajowej Jednostki Ewaluacji Stan na marzec 2014

Mocne strony systemu ewaluacji PS w Polsce Znaczne zasoby systemu ewaluacji: rozbudowany system Jednostek Ewaluacyjnych na poziomie krajowym i regionalnym koordynowany przez Krajową Jednostkę Ewaluacji generalnie wysoki poziom merytoryczny pracowników Jednostek Ewaluacyjnych wysoki poziom kultury ewaluacyjnej „wewnątrz” systemu ewaluacji (świadomość korzyści z realizacji zasady evidence based policy) znaczny poziom „usieciowienia” współpracy w ramach systemu ewaluacji (współpraca formalna/zinstytucjonalizowana jak i nieformalna) Wystarczające nakłady finansowe na działania ewaluacyjne zaawansowane instrumenty techniczne: ogólnodostępna baza badań ewaluacyjnych, baza SWR

Zasoby kadrowe systemu ewaluacji PS w Polsce Liczba członków zespołu Jednostki ewaluacyjne przy instytucjach centralnych 63 Regionalne jednostki ewaluacyjne 103 Jednostki ewaluacyjne przy Instytucjach Zarządzających 80 Jednostki ewaluacyjne przy Instytucjach Pośredniczących I 78 Jednostki koordynujące (KJE, IK InfoPromo) 8 RAZEM: 166

Mocne strony systemu ewaluacji w Polsce Zdecentralizowany system ewaluacji pozwalający na dostosowanie procesu ewaluacji do specyficznych potrzeb sektorowych czy regionalnych Systematyczny i zauważalny wzrost poziomu jakości metodologii badań ewaluacyjnych – w wybranych przykładach podejście metodologiczne stanowi innowacje w skali europejskiej (np. ewaluacja dot. korzyści płatników netto z realizacji polityki spójności) Aktywność naukowo- badawcza w dziedzinie ewaluacji i metodologii badań wiodących ośrodków akademickich (UJ, UW) Duża aktywność w zakresie budowy potencjału ewaluacyjnego (szkolenia, studia podyplomowe, konferencje itp.) Coraz bardziej sprzyjające uwarunkowania formalno-prawne (UoZPPR, PZP)

Zdecentralizowany system ewaluacji PS Instytucje realizujące badania ewaluacyjne wg liczby badań

Kierunki rozwoju ewaluacji w Polsce – kontekst prawny Rozporządzenia UE - zwiększenie roli ewaluacji oraz wymagań formalnych w procesie realizacji polityki spójności w okresie 2014-2020 w tym m.in.: bardziej szczegółowe uregulowanie kwestii ewaluacji w rozp. UE, obowiązek realizacji ewaluacji bieżących (w tym: przeprowadzenia przynajmniej jednej ewaluacji w okresie programowania dla każdego priorytetu) obowiązek planowania procesu ewaluacji w celu ściślejszego powiązania z procesem wdrażania PO, konieczność stosowania zaawansowanych metod badawczych w celu podniesienia wiarygodności ewaluacji, konieczność zapewnienia transparentności procesu ewaluacji (publikacja wyników badań + przekazanie każdego badania do KE) większy nacisk na wykorzystywanie wyników ewaluacji w procesie wdrażania programów operacyjnych (monitorowane przez KE, zwiększona rola KM).

Kierunki rozwoju ewaluacji w Polsce – kontekst prawny Nowelizacja Ustawy o zasadach prowadzenia polityki rozwoju wprowadza istotne zmiany w obszarze ewaluacji polityki rozwoju w Polsce w tym w szczególności: wprowadzenie procedury koordynacji przez MIR procesu ewaluacji polityki rozwoju (art. 4a i 6b) m.in. poprzez przygotowywanie standardów i zaleceń w zakresie ewaluacji instytucjonalizacja procesu koordynacji ewaluacji polityki rozwoju poprzez wskazanie Krajowej Jednostki Ewaluacji jako podmiotu odpowiedzialnego za ww. zadanie (art. 6b)

Kierunki rozwoju ewaluacji w Polsce Nowy kontekst prawny oraz doświadczenia z realizacji polityki spójności powodują konieczność dostosowania systemu ewaluacji w Polsce Prace nad rozwojem systemu ewaluacji ukierunkowane są w szczególności na dwa podstawowe cele: Dalsze systematyczne podnoszenie jakości procesu ewaluacji (2) Zwiększenie użyteczności i zakresu wykorzystywania wyników badań ewaluacyjnych w procesie wdrażania polityki spójności i polityki rozwoju

Plany ewaluacji jako instrument koordynacji procesu ewaluacji: Wybrane kierunki rozwoju systemu ewaluacji w Polsce – większa koordynacja Wzmocnienie funkcji koordynacyjnych w ramach systemu ewaluacji w Polsce Plany ewaluacji jako instrument koordynacji procesu ewaluacji: proces ewaluacji realizowany na podstawie planów ewaluacji umożliwiający badania horyzontalne i tematyczne za pomocą ustandaryzowanej metodologii umożliwiającej agregację wyników i prowadzenie metaanaliz (w tym realizacja badań wg zakresów rekomendowanych przez KJE) integracja procesu planowania z procesem wdrażania programów operacyjnych (Plany ewaluacji wynikające z logiki interwencji programów)

Wybrane kierunki rozwoju systemu ewaluacji w Polsce – większa koordynacja ściślejszy monitoring procesu ewaluacji, w tym postępów w realizacji Planów ewaluacji oraz sposobów wykorzystywania wyników ewaluacji: JE zobowiązane będą do bieżącego sprawozdawania z realizacji procesu ewaluacji w ramach poszczególnych programów przedstawiane (w tym sprawozdania rocznego z procesu ewaluacji – sprawozdanie spójne z raportem rocznym) grupy tematyczne wg zadań oraz obszarów interwencji z udziałem partnerów standaryzacja zasad prowadzenia ewaluacji w ramach całej polityki rozwoju (zalecenie i standardy określane przez KJE)

Kierunki rozwoju systemu ewaluacji w Polsce Integracja systemu ewaluacji konieczność uwzględnienia zintegrowanego podejścia do polityki rozwoju potrzeba „uchwycenia” i koordynacji wszystkich działań ewaluacyjnych podejmowanych w systemie integracja systemu w wymiarze funduszowym (ERDF + ESF) – podejście horyzontalne/tematyczne do procesu ewaluacji

Kierunki rozwoju systemu ewaluacji w Polsce Konieczność wzmocnienia roli jednostek ewaluacyjnych w procesie wdrażania programów operacyjnych wyodrębnienie w ramach każdego z PO jednostek ewaluacyjnych mających w swoim zakresie kompetencji zadania ewaluacyjne redefinicja roli jednostek ewaluacyjnych w procesie wykorzystania wyników ewaluacji (brokerzy wiedzy) zwiększenie zasobów kadrowych w wymiarze ilościowym i jakościowym (zwiększanie kompetencji merytorycznych, szkolenia)

Kierunki rozwoju systemu ewaluacji w Polsce Standaryzacja wymagań metodologicznych ukierunkowanie na stosowanie rygorystycznych metod ewaluacyjnych dopasowanie metod ewaluacyjnych do poszczególnych obszarów interwencji oraz potrzeb informacyjnych (w tym na użytek Planów ewaluacji) przygotowanie przez KJE wytycznych/zaleceń metodologicznych przebudowa systemu zbierania danych na potrzeby ewaluacji (w tym w szczególności na potrzeby zaawansowanych metod badawczych)

Kierunki rozwoju ewaluacji w Polsce Ukierunkowanie procesu ewaluacyjnego na odbiorców wypracowanie dobrych praktyk w zakresie identyfikacji potrzeb informacyjnych lepsze dostosowanie produktów ewaluacyjnych do potrzeb informacyjnych odbiorców w szczególności decydentów (nowe standardy dot. raportów ewaluacyjnych i materiałów „towarzyszących” – prezentacje, syntezy, dokumenty typu policy implications itp.) zwiększenie użyteczności produktów ewaluacji – wykorzystanie wniosków i rekomendacji (m.in. zmiany w ZSWiR/SWR)

Dziękuję za uwagę www.ewaluacja.gov.pl