Ewaluacja i jej rola w ocenie działań realizowanych w ramach ZPORR

Prezentacja na temat: "Ewaluacja i jej rola w ocenie działań realizowanych w ramach ZPORR"— Zapis prezentacji:

1 Ewaluacja i jej rola w ocenie działań realizowanych w ramach ZPORR
dr Barbara Worek Zakład Socjologii Gospodarki, Edukacji i Metod Badań Społecznych IS UJ Centrum Ewaluacji i Analiz Polityk Publicznych UJ

2 „Ewaluatorzy są często pytani przez decydentów: dlaczego mam traktować ewaluację poważnie i poświęcić czas i środki na jej poprawne przeprowadzenie? Odpowiadając na to pytanie, możemy powiedzieć, że doświadczenie dowodzi, iż dobrze zaprojektowana ewaluacja, przeprowadzona w odpowiednim czasie, opracowana w ścisłej współpracy z jej przyszłymi odbiorcami, może być wysoce efektywnym sposobem na usprawnienie projektowanych interwencji.” Influential Evaluation, Detailed Case Studies, The World Bank, 2005

3 Dlaczego ewaluacja? Inna (szersza) perspektywa niż audyt i monitoring
Koncentracja na efektach programów i sposobach ich osiągania Dobre narzędzie do wspierania budowania porządku demokratycznego i wzmacniania standardów dobrego rządzenia (Górniak 2007)

4 Funkcje ewaluacji (Chleminsky, 1997)
Funkcja rozliczania i egzekwowania odpowiedzialności (accountability) Funkcja poznawcza (knowledge) Funkcja stymulowania usprawnień i rozwoju organizacyjnego (development) Funkcja legitymizacyjna

5 Zadania ewaluacji 1) Poprawa planowania 2) Poprawa wdrażania i wzmacniania zaangażowania 3) Ocena efektów zrealizowanych działań i wzmacniania rozliczalności działań finansowanych ze środków publicznych

6 Ewaluacja w cyklu polityk publicznych
Identyfikacja problemów Analiza polityk , tworzenie i wybór rozwiązań Opracowanie narzędzi (projektu) Konsultacje Ewaluacja ex-ante i korekty Decyzja o przyjęciu rozwiązania Wdrożenie, monitoring, ewaluacja w toku Ewaluacja ex-post

7 Proces ewaluacji

8 Ewaluacja: konieczność czy wybór?
Obowiązkowa ewaluacja programów finansowanych ze środków europejskich: artykuł 47 pkt 3 Rozporządzenia Rady nr 1083/2006 Ocena ex post programów przeprowadzana przez KE we współpracy z państwami członkowskimi i IZ Obowiązkowa ewaluacja ex ante każdego PO W zależności od potrzeb prowadzone są ewaluacje on going

9 Ewaluacja ZPORR w Małopolsce
Wpływ projektów infrastrukturalnych realizowanych w ramach ZPORR na rozwój gospodarczy Województwa Małopolskiego Badania realizowane przez firmę ECORYS

10 Cele badania Oszacowanie potencjalnych i rzeczywistych efektów realizacji ZPORR dla gospodarki regionalnej Analiza wpływu programu na problemy strukturalne i ustalenia skuteczności interwencji Wyciągnięcie wniosków i zaproponowanie rozwiązań podnoszących jakość i racjonalność przyszłych, analogicznych działań

11 Kryteria uwzględnione w ocenie
Trafność Skuteczność Trwałość Użyteczność (Efektywność)

12 Trafność Oceniona wysoko: program bardzo trafnie sformułowany - nie wszystkie złożone projekty otrzymały dofinansowanie z powodu wyczerpania środków Projekty infrastrukturalne są istotnym czynnikiem mogącym pobudzić rozwój poszczególnych gmin oraz całego regionu Praktycznie niemożliwe byłoby opracowanie założeń programu, który byłby oderwany od rzeczywistości i nie trafiałby w potrzeby województwa

13 Skuteczność Trudności w ocenie: swoboda beneficjentów w formułowaniu wskaźników realizacji projektów. Ponadto: beneficjenci dążyli do tego, by w sprawozdaniach było jak najmniej odstępstw od zakładanych rezultatów Z badań wynika, że: najbardziej skuteczne okazały się projekty realizowane w ramach Priorytetu 1, w szczególności działania: 1.1 (infrastruktura transportowa), 1.3.1, (infrastruktura edukacyjna i ochrony zdrowia) oraz 1.4 (turystyka) Program uznano za skuteczny głównie w kontekście zaspakajania potrzeb lokalnych społeczności, w mniejszym stopniu pozytywnie oceniono wpływ programu na rozwój lokalny

14 Trwałość Oceniona wysoko ze względu na specyfikę projektów infrastrukturalnych (trwałość produktów versus trwałość rezultatów?) Trudność oceny ze względu na krótki czas od zakończenia projektów Trwałość rozwiązań podkreślana jest przez beneficjentów

15 Użyteczność Projekty uznano za użyteczne (z jednym wyjątkiem)
Największy wpływ na powstawanie nowych inwestycji miały projekty realizowane w ramach działań 1.4 Rozwój turystyki oraz 1.6 Rozwój transportu publicznego w aglomeracjach Wpływ na powstawanie nowych miejsc pracy: działania 1.3 – Regionalna Infrastruktura Społeczna oraz 1.4 – Rozwój turystyki i kultury), związane z dużymi inwestycjami bezpośrednio generującymi nowe stanowiska pracy Wysoka ocena użyteczności może wynikać z dużych (najbardziej podstawowych) potrzeb inwestycyjnychwojewództwa

16 Wyniki oceny: podsumowanie
Źródła informacji Trafność Skuteczność Trwałość Użyteczność Sprawozdania * * * * * ** Beneficjenci badania *** Analizy statystyczne * brak oceny Eksperci *** jednoznacznie pozytywnie, ** niemal jednoznaczne pozytywnie, * raczej pozytywnie z wieloma wątpliwościami, (-) raczej negatywnie z wieloma wątpliwościami, (- -) niemal jednoznacznie negatywnie, (- - -) jednoznacznie negatywnie.

17 Trudności Ocena efektywności Ocena trwałości rezultatów
Ocena oddziaływania programu Oszacowanie efektu netto podjętych działań Ocena systemu wdrażania (relacja pomiędzy kosztami transakcyjnymi a wydatkami na realizację działań merytorycznych)

18 Podsumowanie „profesjonalna ewaluacja stanowi zaledwie niewielką część ogólnego procesu krytyki i oceny polityk publicznych” (Majone, 2004)