Ewaluacja – cele, formy, narzędzia Justyna Ratajczak Spotkanie konferencyjno-szkoleniowe dla członków Komitetów Monitorujących 2007-2013 8 maja 2009.

Prezentacja na temat: "Ewaluacja – cele, formy, narzędzia Justyna Ratajczak Spotkanie konferencyjno-szkoleniowe dla członków Komitetów Monitorujących 2007-2013 8 maja 2009."— Zapis prezentacji:

1 Ewaluacja – cele, formy, narzędzia Justyna Ratajczak Spotkanie konferencyjno-szkoleniowe dla członków Komitetów Monitorujących 2007-2013 8 maja 2009

2 Definicja osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.

3 Podstawy prawne ewaluacji w okresie programowania 2007-2013 Rozporządzenie Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności + ustawa o zasadach prowadzenia polityki rozwoju (artykuł 17) = Wytyczne nr 6 w zakresie ewaluacji programów operacyjnych na lata 2007-2013 (MRR) oraz plany oceny poszczególnych PO

4 Cel ewaluacji (art. 47 rozporządzenia ogólnego 1083/2006) „poprawa jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoczesnym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko”

5 Rodzaje ewaluacji w okresie programowania 2007 - 2013 ewaluacje strategiczne, których celem jest ocena i analiza ewolucji programów operacyjnych w odniesieniu do priorytetów krajowych i wspólnotowych, ewaluacje operacyjne, których celem jest wspieranie procesu monitorowania programów operacyjnych.

6 Rodzaje ewaluacji ze względu na czas ich przeprowadzania Początkowa/szacunkowa/ex ante - przed realizacją interwencji Bieżąca/okresowa/on-going - podczas realizacji interwencji Końcowa/podsumowująca/ex- post - po zakończeniu realizacji interwencji

7 Ewaluatorzy Ocenę przeprowadzają eksperci lub podmioty, wewnętrzne lub zewnętrzne w stosunku do struktur Komisji i państw członkowskich, którzy są funkcjonalnie niezależni od instytucji certyfikującej i instytucji audytowej

8 Finansowanie Działania związane z przeprowadzaniem oceny finansowane są ze środków przeznaczonych na pomoc techniczną.

9 System ewaluacji PO w Polsce Zaangażowane instytucje: Krajowa Jednostka Oceny Instytucja Zarządzająca PO Instytucje Pośredniczące Komitet Monitorujący (Podkomitety Monitorujące) Grupa Sterująca Ewaluacją PO (Regionalne Grupy Sterujące Ewaluacją)

10 System ewaluacji POKL

11 Etapy procesu ewaluacji Konceptualizacja ewaluacji (planowanie i projektowanie ewaluacji Zbieranie i analiza danych Raportowanie Wykorzystanie wyników ewaluacji

12 Co przyczynia się do lepszego wykorzystania wyników ewaluacji Wiedza w zakresie ewaluacji Wykorzystanie wyników/doświadczeń zrealizowanych badań Aktywny udział wszystkich zaangażowanych stron Usuwanie uprzedzeń i obaw Wysoka jakość raportów Monitorowanie realizacji rekomendacji Włączenie ewaluacji w proces decyzyjny Zaplanowanie wykorzystania wyników już na etapie planowania ewaluacji Promowanie przykładów użyteczności rekomendacji Stosowanie standardów ewaluacji

13 Cel standardów ewaluacji Poprawa jakości działań poprzez zwiększenie ich adekwatności, skuteczności, użyteczności, efektywności i trwałości. Wskazanie osobom zaangażowanym w proces ewaluacyjny sposobu zapewnienia najwyższej jakości prowadzonych ewaluacji. Punkt odniesienia przy przygotowywaniu, zamawianiu, realizacji ewaluacji oraz wykorzystywaniu jej wyników.

14 Standardy ewaluacji (1) Rozdział I: Postanowienia ogólne Rozdział II: Planowanie ewaluacji 1. Zasadność podejmowania ewaluacji 2. Precyzyjne określenie celu, przedmiotu i zakresu badania 3. Realistyczne określenie sposobu przeprowadzenia ewaluacji 4. Określenie przejrzystych kryteriów wyboru ewaluatora 5. Zapewnienie niezależności ewaluacji 6. Zapewnienie zgodności z zasadami etycznymi

15 Standardy ewaluacji (2) Rozdział III: Realizacja ewaluacji 7. Zapewnienie wysokiej jakości ewaluacji 8. Zapewnienie trafności i rzetelności badań ewaluacyjnych 9. Dbanie o partycypacyjność i jakość współpracy w procesie ewaluacji 10. Przestrzeganie warunków umowy 11. Dbanie o jakość relacji ewaluator - badani

16 Standardy ewaluacji (3) Rozdział IV: Komunikowanie i wykorzystanie wyników ewaluacji 12. Zachowanie przejrzystości struktury i języka 13. Zapewnienie rzetelność raportu ewaluacyjnego 14. Formułowanie precyzyjnych wniosków i rekomendacji 15. Konsultowanie wniosków i rekomendacji 16. Wykorzystanie rekomendacji

17 Model zarządzania rekomendacjami PO KL

18 Wykorzystanie wyników – decyzje Podkomitetu Monitorującego Decyzje mogą dotyczyć: 1) zmodyfikowania lub uzupełnienia zaproponowanego w Karcie: - adresata rekomendacji, - sposobu wdrożenia, - terminu realizacji, 2) uwzględnienia dodatkowych rekomendacji, 3) zaproponowania sposobu upowszechnienia wyników badania, 4) podjęcia uchwały lub działań Komitetu (Podkomitetu) w sprawie wdrożenia rekomendacji wykraczających poza system instytucjonalny PO itp.

19 Dziękuję! justyna.ratajczak@pte.org.pl

20 Metody badawcze  analiza dokumentów  obserwacja  wywiad (indywidualny i grupowy)  ankieta  studium przypadku  modelowanie makroekonomiczne  badanie efektu netto  benchmarking  inne metody z zakresu nauk społecznych, ekonomicznych i zarządzania

21 Zastosowania ewaluacji (1) Wymóg formalny Usprawnienie przepływu informacji Poprawa przejrzystości i kontrola działań władz publicznych Określanie kierunków i celów działań publicznych Poznawanie mechanizmów wdrażania programów i projektów Zwiększanie skuteczności i efektywności programów/projektów Wspomaganie procesu podejmowania decyzji

22 Zastosowania ewaluacji (2) Identyfikacja słabych i mocnych stron interwencji Sygnalizowanie pojawiających się problemów Określanie stopnia zgodności z przyjętymi założeniami Badanie potrzeb Zwiększanie profesjonalizmu świadczonych usług Pogłębienie odpowiedzialności za program Demokratyzacja procesu zarządzania Element uczenia się i samodoskonalenia...

23 Cel ewaluacji PO KL (wg Planu Oceny PO KL) Ewaluacja PO KL jest prowadzona aby: określić efekty realizacji PO KL oraz wpływ PO KL na osiąganie celów społeczno- gospodarczych określonych w strategiach krajowych i unijnych, poprawić jakość, skuteczność i efektywność PO KL oraz usprawnić sposób funkcjonowania instytucji uczestniczących w realizacji PO KL, lepiej odpowiadać na potrzeby (zarówno aktualnych, jak i przyszłych) odbiorców programu, dostarczyć pogłębione informacje dla zarządzających PO KL, społeczności oraz opinii publicznej.

24 Zadania IZ PO odpowiada za proces ewaluacji PO opracowuje (i realizuje) PLAN OCENY PO opracowuje (i realizuje) okresowy Plan działań ewaluacyjnych IZ przyjmuje okresowe Plany działań ewaluacyjnych IP (centralnych i regionalnych) prowadzi ewaluacje PO (w tym całości komponentu regionalnego) przedstawia wyniki ewaluacji Komitetowi Monitorującemu wdraża rekomendacje przyjęte przez KM przekazuje informacje o zrealizowanych ewaluacjach do KJO

25 Zadania KM PO nadzór nad procesem ewaluacji PO zatwierdza PLAN OCENY PO i jego modyfikacje analizuje rezultaty realizacji PO, w szczególności realizację celu głównego i celów szczegółowych, oraz wskazuje obszary, które powinny zostać poddane ocenie przyjmuje wyniki (wnioski i rekomendacje) ewaluacji podejmuje decyzje o sposobie wykorzystania wyników oraz monitoruje realizację wdrażania rekomendacji

26 Zadania IP PO odpowiada za ewaluację priorytetów w ramach komponentu regionalnego opracowuje (i realizuje) okresowy Plan działań ewaluacyjnych IP prowadzi ewaluacje priorytetów w ramach komponentu regionalnego, w tym ocenę projektów systemowych przedstawia wyniki ewaluacji Podkomitetowi Monitorującemu oraz IZ wdraża rekomendacje przyjęte przez Podkomitet Monitorujący przekazuje informacje o zrealizowanych działaniach ewaluacyjnych do IZ

27 Zadania Podkomitetu Monitorującego PO nadzór nad procesem ewaluacji priorytetów w ramach komponentu regionalnego opiniuje okresowy Plan działań ewaluacyjnych IP analizuje rezultaty realizacji priorytetów w ramach komponentu regionalnego oraz wskazuje obszary, które powinny zostać poddane ocenie przyjmuje wyniki (wnioski i rekomendacje) ewaluacji podejmuje decyzje o sposobie wykorzystania wyników oraz monitoruje realizację wdrażania rekomendacji