Ewaluacja – cele, formy, narzędzia Justyna Ratajczak Spotkanie konferencyjno-szkoleniowe dla członków Komitetów Monitorujących maja 2009

Definicja osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.

Podstawy prawne ewaluacji w okresie programowania Rozporządzenie Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności + ustawa o zasadach prowadzenia polityki rozwoju (artykuł 17) = Wytyczne nr 6 w zakresie ewaluacji programów operacyjnych na lata (MRR) oraz plany oceny poszczególnych PO

Cel ewaluacji (art. 47 rozporządzenia ogólnego 1083/2006) „poprawa jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoczesnym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko”

Rodzaje ewaluacji w okresie programowania ewaluacje strategiczne, których celem jest ocena i analiza ewolucji programów operacyjnych w odniesieniu do priorytetów krajowych i wspólnotowych, ewaluacje operacyjne, których celem jest wspieranie procesu monitorowania programów operacyjnych.

Rodzaje ewaluacji ze względu na czas ich przeprowadzania Początkowa/szacunkowa/ex ante - przed realizacją interwencji Bieżąca/okresowa/on-going - podczas realizacji interwencji Końcowa/podsumowująca/ex- post - po zakończeniu realizacji interwencji

Ewaluatorzy Ocenę przeprowadzają eksperci lub podmioty, wewnętrzne lub zewnętrzne w stosunku do struktur Komisji i państw członkowskich, którzy są funkcjonalnie niezależni od instytucji certyfikującej i instytucji audytowej

Finansowanie Działania związane z przeprowadzaniem oceny finansowane są ze środków przeznaczonych na pomoc techniczną.

System ewaluacji PO w Polsce Zaangażowane instytucje: Krajowa Jednostka Oceny Instytucja Zarządzająca PO Instytucje Pośredniczące Komitet Monitorujący (Podkomitety Monitorujące) Grupa Sterująca Ewaluacją PO (Regionalne Grupy Sterujące Ewaluacją)

System ewaluacji POKL

Etapy procesu ewaluacji Konceptualizacja ewaluacji (planowanie i projektowanie ewaluacji Zbieranie i analiza danych Raportowanie Wykorzystanie wyników ewaluacji

Co przyczynia się do lepszego wykorzystania wyników ewaluacji Wiedza w zakresie ewaluacji Wykorzystanie wyników/doświadczeń zrealizowanych badań Aktywny udział wszystkich zaangażowanych stron Usuwanie uprzedzeń i obaw Wysoka jakość raportów Monitorowanie realizacji rekomendacji Włączenie ewaluacji w proces decyzyjny Zaplanowanie wykorzystania wyników już na etapie planowania ewaluacji Promowanie przykładów użyteczności rekomendacji Stosowanie standardów ewaluacji

Cel standardów ewaluacji Poprawa jakości działań poprzez zwiększenie ich adekwatności, skuteczności, użyteczności, efektywności i trwałości. Wskazanie osobom zaangażowanym w proces ewaluacyjny sposobu zapewnienia najwyższej jakości prowadzonych ewaluacji. Punkt odniesienia przy przygotowywaniu, zamawianiu, realizacji ewaluacji oraz wykorzystywaniu jej wyników.

Standardy ewaluacji (1) Rozdział I: Postanowienia ogólne Rozdział II: Planowanie ewaluacji 1. Zasadność podejmowania ewaluacji 2. Precyzyjne określenie celu, przedmiotu i zakresu badania 3. Realistyczne określenie sposobu przeprowadzenia ewaluacji 4. Określenie przejrzystych kryteriów wyboru ewaluatora 5. Zapewnienie niezależności ewaluacji 6. Zapewnienie zgodności z zasadami etycznymi

Standardy ewaluacji (2) Rozdział III: Realizacja ewaluacji 7. Zapewnienie wysokiej jakości ewaluacji 8. Zapewnienie trafności i rzetelności badań ewaluacyjnych 9. Dbanie o partycypacyjność i jakość współpracy w procesie ewaluacji 10. Przestrzeganie warunków umowy 11. Dbanie o jakość relacji ewaluator - badani

Standardy ewaluacji (3) Rozdział IV: Komunikowanie i wykorzystanie wyników ewaluacji 12. Zachowanie przejrzystości struktury i języka 13. Zapewnienie rzetelność raportu ewaluacyjnego 14. Formułowanie precyzyjnych wniosków i rekomendacji 15. Konsultowanie wniosków i rekomendacji 16. Wykorzystanie rekomendacji

Model zarządzania rekomendacjami PO KL

Wykorzystanie wyników – decyzje Podkomitetu Monitorującego Decyzje mogą dotyczyć: 1) zmodyfikowania lub uzupełnienia zaproponowanego w Karcie: - adresata rekomendacji, - sposobu wdrożenia, - terminu realizacji, 2) uwzględnienia dodatkowych rekomendacji, 3) zaproponowania sposobu upowszechnienia wyników badania, 4) podjęcia uchwały lub działań Komitetu (Podkomitetu) w sprawie wdrożenia rekomendacji wykraczających poza system instytucjonalny PO itp.

Dziękuję!

Metody badawcze  analiza dokumentów  obserwacja  wywiad (indywidualny i grupowy)  ankieta  studium przypadku  modelowanie makroekonomiczne  badanie efektu netto  benchmarking  inne metody z zakresu nauk społecznych, ekonomicznych i zarządzania

Zastosowania ewaluacji (1) Wymóg formalny Usprawnienie przepływu informacji Poprawa przejrzystości i kontrola działań władz publicznych Określanie kierunków i celów działań publicznych Poznawanie mechanizmów wdrażania programów i projektów Zwiększanie skuteczności i efektywności programów/projektów Wspomaganie procesu podejmowania decyzji

Zastosowania ewaluacji (2) Identyfikacja słabych i mocnych stron interwencji Sygnalizowanie pojawiających się problemów Określanie stopnia zgodności z przyjętymi założeniami Badanie potrzeb Zwiększanie profesjonalizmu świadczonych usług Pogłębienie odpowiedzialności za program Demokratyzacja procesu zarządzania Element uczenia się i samodoskonalenia...

Cel ewaluacji PO KL (wg Planu Oceny PO KL) Ewaluacja PO KL jest prowadzona aby: określić efekty realizacji PO KL oraz wpływ PO KL na osiąganie celów społeczno- gospodarczych określonych w strategiach krajowych i unijnych, poprawić jakość, skuteczność i efektywność PO KL oraz usprawnić sposób funkcjonowania instytucji uczestniczących w realizacji PO KL, lepiej odpowiadać na potrzeby (zarówno aktualnych, jak i przyszłych) odbiorców programu, dostarczyć pogłębione informacje dla zarządzających PO KL, społeczności oraz opinii publicznej.

Zadania IZ PO odpowiada za proces ewaluacji PO opracowuje (i realizuje) PLAN OCENY PO opracowuje (i realizuje) okresowy Plan działań ewaluacyjnych IZ przyjmuje okresowe Plany działań ewaluacyjnych IP (centralnych i regionalnych) prowadzi ewaluacje PO (w tym całości komponentu regionalnego) przedstawia wyniki ewaluacji Komitetowi Monitorującemu wdraża rekomendacje przyjęte przez KM przekazuje informacje o zrealizowanych ewaluacjach do KJO

Zadania KM PO nadzór nad procesem ewaluacji PO zatwierdza PLAN OCENY PO i jego modyfikacje analizuje rezultaty realizacji PO, w szczególności realizację celu głównego i celów szczegółowych, oraz wskazuje obszary, które powinny zostać poddane ocenie przyjmuje wyniki (wnioski i rekomendacje) ewaluacji podejmuje decyzje o sposobie wykorzystania wyników oraz monitoruje realizację wdrażania rekomendacji

Zadania IP PO odpowiada za ewaluację priorytetów w ramach komponentu regionalnego opracowuje (i realizuje) okresowy Plan działań ewaluacyjnych IP prowadzi ewaluacje priorytetów w ramach komponentu regionalnego, w tym ocenę projektów systemowych przedstawia wyniki ewaluacji Podkomitetowi Monitorującemu oraz IZ wdraża rekomendacje przyjęte przez Podkomitet Monitorujący przekazuje informacje o zrealizowanych działaniach ewaluacyjnych do IZ

Zadania Podkomitetu Monitorującego PO nadzór nad procesem ewaluacji priorytetów w ramach komponentu regionalnego opiniuje okresowy Plan działań ewaluacyjnych IP analizuje rezultaty realizacji priorytetów w ramach komponentu regionalnego oraz wskazuje obszary, które powinny zostać poddane ocenie przyjmuje wyniki (wnioski i rekomendacje) ewaluacji podejmuje decyzje o sposobie wykorzystania wyników oraz monitoruje realizację wdrażania rekomendacji