Wyzwania stojące przed ewaluacją w perspektywie finansowej

Prezentacja na temat: "Wyzwania stojące przed ewaluacją w perspektywie finansowej"— Zapis prezentacji:

1 Wyzwania stojące przed ewaluacją w perspektywie finansowej 2014-20
Tomasz Kot Krajowa Jednostka Ewaluacji Departament Koordynacji Strategii i Polityk Rozwoju, MIR VI Podkarpacka Konferencja Ewaluacyjna Rzeszów, 8 maja 2014

2 Plan Skrócona diagnoza systemu ewaluacji PS w PL – w jakim punkcie się znajdujemy? Kierunki rozwoju i wyzwania dla ewaluacji w okresie – dokąd zmierzamy?

3 Ewaluacja w Polsce – o czym należy pamiętać
Rozwinięty system ewaluacji PS w Polsce nie wykształcił się w wyniku naturalnego procesu rozwoju kultury politycznej ale został wprowadzony jako wymóg formalny związany z wdrażaniem funduszy UE Etap przygotowawczy (mało badań (20), niski potencjał JE (7), brak rynku) Etap przejściowy (duży wzrost liczby ewaluacji i JE, pierwszy duży proces – ex ante perspektywy 07-13) Od r. – osiągnięcie funkcjonalności systemu (duża liczba badań i JE, problemy ich jakości i wykorzystania wyników), duży rynek – stagnacja czy ekspansja ewaluacji na inne polityki publiczne?

4 Rozwiązania organizacyjno-prawne
System ewaluacji PS w Polsce – skrócona diagnoza Rozwiązania organizacyjno-prawne Zasoby finansowe i kadrowe Budowa kultury ewaluacyjnej Planowanie i organizacja badań Realizacja i jakość badań Wykorzystanie wyników

5 Słabe strony systemu ewaluacji PS w Polsce
Ryzyko związane z niewystarczającym poziomem integracji procesu ewaluacji z procesem planowania i realizacji polityk publicznych w Polsce: wciąż niewystarczająca świadomość korzyści ze stosowania koncepcji evidence based policy w administracji → zbyt małe zaangażowanie podmiotów odpowiedzialnych za programowanie i wdrażanie w procesy analityczno-ewaluacyjne → niedopasowanie wyników badań ewaluacyjnych do potrzeb informacyjnych administracji → „autonomizacja” systemu ewaluacji względem procesu wdrażania (wymogi formalne jako główne uzasadnienie funkcjonowania systemu) Duże obciążenie administracji zadaniami biurokratycznymi → koncentracja na problemach bieżących i brak perspektywy długoterminowej → ewaluacja często traktowana instrumentalnie lub jako narzędzie rozwiązywania bieżących problemów („ostatnia deska ratunku”)

6 Słabe strony systemu ewaluacji PS w Polsce
Zachowawcza interpretacja zasad i procedur prawa zamówień wpływająca pośrednio na jakość otrzymanych produktów duża rola ceny w kryteriach wyboru wykonawców – zbyt mała rola kryteriów jakościowych, w tym w szczególności związanych z metodologią, nieróżnicujący charakter kryteriów (coraz rzadsze zjawisko) procedury PZP niedostosowane do sposobów określania parametrów zadania w przypadku działań badawczo - analitycznych lęk przed stosowaniem dostępnych instrumentów prawnych (kar)

7 Słabe strony systemu ewaluacji PS w Polsce
Zróżnicowany poziom jakości merytorycznej produktów ewaluacji (raportów, wniosków i rekomendacji) ilość vs jakość, obecność na rynku wykonawców dostarczających niskiego poziomu badań, niski udział jednostek naukowych

8 Źródło: Baza badań ewaluacyjnych, stan na 24.04.2014
*Prognoza na rok 2014 na podstawie planów ewaluacji

9 Niska aktywność jednostek akademickich na rynku badań ewaluacyjnych
Źródło: Baza badań ewaluacyjnych wg stanu na dzień r.

10 Słabe strony systemu ewaluacji PS w Polsce
Niewystarczające wykorzystanie wyników badań (ale stan faktyczny lepszy niż panująca w środowisku opinia) Przykłady: Ocena korzyści krajów UE…, timing+jakość+odpowiedź na zapotrzebowanie = sukces; ewaluacja ex ante 14-20

11 Źródło: Baza rekomendacji Krajowej Jednostki Ewaluacji
Stan na marzec 2014

12 Mocne strony systemu ewaluacji PS w Polsce
Znaczne zasoby systemu ewaluacji: rozbudowany system Jednostek Ewaluacyjnych na poziomie krajowym i regionalnym koordynowany przez Krajową Jednostkę Ewaluacji generalnie wysoki poziom merytoryczny pracowników Jednostek Ewaluacyjnych wysoki poziom kultury ewaluacyjnej „wewnątrz” systemu ewaluacji (świadomość korzyści z realizacji zasady evidence based policy) znaczny poziom „usieciowienia” współpracy w ramach systemu ewaluacji (współpraca formalna/zinstytucjonalizowana jak i nieformalna) Wystarczające nakłady finansowe na działania ewaluacyjne zaawansowane instrumenty techniczne: ogólnodostępna baza badań ewaluacyjnych, baza SWR

13 Zasoby kadrowe systemu ewaluacji PS w Polsce
Liczba członków zespołu Jednostki ewaluacyjne przy instytucjach centralnych 63 Regionalne jednostki ewaluacyjne 103 Jednostki ewaluacyjne przy Instytucjach Zarządzających 80 Jednostki ewaluacyjne przy Instytucjach Pośredniczących I 78 Jednostki koordynujące (KJE, IK InfoPromo) 8 RAZEM: 166

14

15

16 Mocne strony systemu ewaluacji w Polsce
Zdecentralizowany system ewaluacji pozwalający na dostosowanie procesu ewaluacji do specyficznych potrzeb sektorowych czy regionalnych Systematyczny i zauważalny wzrost poziomu jakości metodologii badań ewaluacyjnych – w wybranych przykładach podejście metodologiczne stanowi innowacje w skali europejskiej (np. ewaluacja dot. korzyści płatników netto z realizacji polityki spójności) Aktywność naukowo- badawcza w dziedzinie ewaluacji i metodologii badań wiodących ośrodków akademickich (UJ, UW) Duża aktywność w zakresie budowy potencjału ewaluacyjnego (szkolenia, studia podyplomowe, konferencje itp.) Coraz bardziej sprzyjające uwarunkowania formalno-prawne (UoZPPR, PZP)

17 Zdecentralizowany system ewaluacji PS
Instytucje realizujące badania ewaluacyjne wg liczby badań

18 Kierunki rozwoju ewaluacji w Polsce – kontekst prawny
Rozporządzenia UE - zwiększenie roli ewaluacji oraz wymagań formalnych w procesie realizacji polityki spójności w okresie w tym m.in.: bardziej szczegółowe uregulowanie kwestii ewaluacji w rozp. UE, obowiązek realizacji ewaluacji bieżących (w tym: przeprowadzenia przynajmniej jednej ewaluacji w okresie programowania dla każdego priorytetu) obowiązek planowania procesu ewaluacji w celu ściślejszego powiązania z procesem wdrażania PO, konieczność stosowania zaawansowanych metod badawczych w celu podniesienia wiarygodności ewaluacji, konieczność zapewnienia transparentności procesu ewaluacji (publikacja wyników badań + przekazanie każdego badania do KE) większy nacisk na wykorzystywanie wyników ewaluacji w procesie wdrażania programów operacyjnych (monitorowane przez KE, zwiększona rola KM).

19 Kierunki rozwoju ewaluacji w Polsce – kontekst prawny
Nowelizacja Ustawy o zasadach prowadzenia polityki rozwoju wprowadza istotne zmiany w obszarze ewaluacji polityki rozwoju w Polsce w tym w szczególności: wprowadzenie procedury koordynacji przez MIR procesu ewaluacji polityki rozwoju (art. 4a i 6b) m.in. poprzez przygotowywanie standardów i zaleceń w zakresie ewaluacji instytucjonalizacja procesu koordynacji ewaluacji polityki rozwoju poprzez wskazanie Krajowej Jednostki Ewaluacji jako podmiotu odpowiedzialnego za ww. zadanie (art. 6b)

20 Kierunki rozwoju ewaluacji w Polsce
Nowy kontekst prawny oraz doświadczenia z realizacji polityki spójności powodują konieczność dostosowania systemu ewaluacji w Polsce Prace nad rozwojem systemu ewaluacji ukierunkowane są w szczególności na dwa podstawowe cele: Dalsze systematyczne podnoszenie jakości procesu ewaluacji (2) Zwiększenie użyteczności i zakresu wykorzystywania wyników badań ewaluacyjnych w procesie wdrażania polityki spójności i polityki rozwoju

21 Plany ewaluacji jako instrument koordynacji procesu ewaluacji:
Wybrane kierunki rozwoju systemu ewaluacji w Polsce – większa koordynacja Wzmocnienie funkcji koordynacyjnych w ramach systemu ewaluacji w Polsce Plany ewaluacji jako instrument koordynacji procesu ewaluacji: proces ewaluacji realizowany na podstawie planów ewaluacji umożliwiający badania horyzontalne i tematyczne za pomocą ustandaryzowanej metodologii umożliwiającej agregację wyników i prowadzenie metaanaliz (w tym realizacja badań wg zakresów rekomendowanych przez KJE) integracja procesu planowania z procesem wdrażania programów operacyjnych (Plany ewaluacji wynikające z logiki interwencji programów)

22 Wybrane kierunki rozwoju systemu ewaluacji w Polsce – większa koordynacja
ściślejszy monitoring procesu ewaluacji, w tym postępów w realizacji Planów ewaluacji oraz sposobów wykorzystywania wyników ewaluacji: JE zobowiązane będą do bieżącego sprawozdawania z realizacji procesu ewaluacji w ramach poszczególnych programów przedstawiane (w tym sprawozdania rocznego z procesu ewaluacji – sprawozdanie spójne z raportem rocznym) grupy tematyczne wg zadań oraz obszarów interwencji z udziałem partnerów standaryzacja zasad prowadzenia ewaluacji w ramach całej polityki rozwoju (zalecenie i standardy określane przez KJE)

23 Kierunki rozwoju systemu ewaluacji w Polsce
Integracja systemu ewaluacji konieczność uwzględnienia zintegrowanego podejścia do polityki rozwoju potrzeba „uchwycenia” i koordynacji wszystkich działań ewaluacyjnych podejmowanych w systemie integracja systemu w wymiarze funduszowym (ERDF + ESF) – podejście horyzontalne/tematyczne do procesu ewaluacji

24 Kierunki rozwoju systemu ewaluacji w Polsce
Konieczność wzmocnienia roli jednostek ewaluacyjnych w procesie wdrażania programów operacyjnych wyodrębnienie w ramach każdego z PO jednostek ewaluacyjnych mających w swoim zakresie kompetencji zadania ewaluacyjne redefinicja roli jednostek ewaluacyjnych w procesie wykorzystania wyników ewaluacji (brokerzy wiedzy) zwiększenie zasobów kadrowych w wymiarze ilościowym i jakościowym (zwiększanie kompetencji merytorycznych, szkolenia)

25 Kierunki rozwoju systemu ewaluacji w Polsce
Standaryzacja wymagań metodologicznych ukierunkowanie na stosowanie rygorystycznych metod ewaluacyjnych dopasowanie metod ewaluacyjnych do poszczególnych obszarów interwencji oraz potrzeb informacyjnych (w tym na użytek Planów ewaluacji) przygotowanie przez KJE wytycznych/zaleceń metodologicznych przebudowa systemu zbierania danych na potrzeby ewaluacji (w tym w szczególności na potrzeby zaawansowanych metod badawczych)

26 Kierunki rozwoju ewaluacji w Polsce
Ukierunkowanie procesu ewaluacyjnego na odbiorców wypracowanie dobrych praktyk w zakresie identyfikacji potrzeb informacyjnych lepsze dostosowanie produktów ewaluacyjnych do potrzeb informacyjnych odbiorców w szczególności decydentów (nowe standardy dot. raportów ewaluacyjnych i materiałów „towarzyszących” – prezentacje, syntezy, dokumenty typu policy implications itp.) zwiększenie użyteczności produktów ewaluacji – wykorzystanie wniosków i rekomendacji (m.in. zmiany w ZSWiR/SWR)

27 Dziękuję za uwagę