Ewaluacja i jej rola w ocenie działań realizowanych w ramach ZPORR dr Barbara Worek Zakład Socjologii Gospodarki, Edukacji i Metod Badań Społecznych IS UJ Centrum Ewaluacji i Analiz Polityk Publicznych UJ

„Ewaluatorzy są często pytani przez decydentów: dlaczego mam traktować ewaluację poważnie i poświęcić czas i środki na jej poprawne przeprowadzenie? Odpowiadając na to pytanie, możemy powiedzieć, że doświadczenie dowodzi, iż dobrze zaprojektowana ewaluacja, przeprowadzona w odpowiednim czasie, opracowana w ścisłej współpracy z jej przyszłymi odbiorcami, może być wysoce efektywnym sposobem na usprawnienie projektowanych interwencji.” Influential Evaluation, Detailed Case Studies, The World Bank, 2005

Dlaczego ewaluacja? Inna (szersza) perspektywa niż audyt i monitoring Koncentracja na efektach programów i sposobach ich osiągania Dobre narzędzie do wspierania budowania porządku demokratycznego i wzmacniania standardów dobrego rządzenia (Górniak 2007)

Funkcje ewaluacji (Chleminsky, 1997) Funkcja rozliczania i egzekwowania odpowiedzialności (accountability) Funkcja poznawcza (knowledge) Funkcja stymulowania usprawnień i rozwoju organizacyjnego (development) Funkcja legitymizacyjna

Zadania ewaluacji 1) Poprawa planowania 2) Poprawa wdrażania i wzmacniania zaangażowania 3) Ocena efektów zrealizowanych działań i wzmacniania rozliczalności działań finansowanych ze środków publicznych

Ewaluacja w cyklu polityk publicznych Identyfikacja problemów Analiza polityk , tworzenie i wybór rozwiązań Opracowanie narzędzi (projektu) Konsultacje Ewaluacja ex-ante i korekty Decyzja o przyjęciu rozwiązania Wdrożenie, monitoring, ewaluacja w toku Ewaluacja ex-post

Proces ewaluacji

Ewaluacja: konieczność czy wybór? Obowiązkowa ewaluacja programów finansowanych ze środków europejskich: artykuł 47 pkt 3 Rozporządzenia Rady nr 1083/2006 Ocena ex post programów przeprowadzana przez KE we współpracy z państwami członkowskimi i IZ Obowiązkowa ewaluacja ex ante każdego PO W zależności od potrzeb prowadzone są ewaluacje on going

Ewaluacja ZPORR w Małopolsce Wpływ projektów infrastrukturalnych realizowanych w ramach ZPORR na rozwój gospodarczy Województwa Małopolskiego Badania realizowane przez firmę ECORYS

Cele badania Oszacowanie potencjalnych i rzeczywistych efektów realizacji ZPORR dla gospodarki regionalnej Analiza wpływu programu na problemy strukturalne i ustalenia skuteczności interwencji Wyciągnięcie wniosków i zaproponowanie rozwiązań podnoszących jakość i racjonalność przyszłych, analogicznych działań

Kryteria uwzględnione w ocenie Trafność Skuteczność Trwałość Użyteczność (Efektywność)

Trafność Oceniona wysoko: program bardzo trafnie sformułowany - nie wszystkie złożone projekty otrzymały dofinansowanie z powodu wyczerpania środków Projekty infrastrukturalne są istotnym czynnikiem mogącym pobudzić rozwój poszczególnych gmin oraz całego regionu Praktycznie niemożliwe byłoby opracowanie założeń programu, który byłby oderwany od rzeczywistości i nie trafiałby w potrzeby województwa

Skuteczność Trudności w ocenie: swoboda beneficjentów w formułowaniu wskaźników realizacji projektów. Ponadto: beneficjenci dążyli do tego, by w sprawozdaniach było jak najmniej odstępstw od zakładanych rezultatów Z badań wynika, że: najbardziej skuteczne okazały się projekty realizowane w ramach Priorytetu 1, w szczególności działania: 1.1 (infrastruktura transportowa), 1.3.1, 1.3.2 (infrastruktura edukacyjna i ochrony zdrowia) oraz 1.4 (turystyka) Program uznano za skuteczny głównie w kontekście zaspakajania potrzeb lokalnych społeczności, w mniejszym stopniu pozytywnie oceniono wpływ programu na rozwój lokalny

Trwałość Oceniona wysoko ze względu na specyfikę projektów infrastrukturalnych (trwałość produktów versus trwałość rezultatów?) Trudność oceny ze względu na krótki czas od zakończenia projektów Trwałość rozwiązań podkreślana jest przez beneficjentów

Użyteczność Projekty uznano za użyteczne (z jednym wyjątkiem) Największy wpływ na powstawanie nowych inwestycji miały projekty realizowane w ramach działań 1.4 Rozwój turystyki oraz 1.6 Rozwój transportu publicznego w aglomeracjach Wpływ na powstawanie nowych miejsc pracy: działania 1.3 – Regionalna Infrastruktura Społeczna oraz 1.4 – Rozwój turystyki i kultury), związane z dużymi inwestycjami bezpośrednio generującymi nowe stanowiska pracy Wysoka ocena użyteczności może wynikać z dużych (najbardziej podstawowych) potrzeb inwestycyjnychwojewództwa

Wyniki oceny: podsumowanie Źródła informacji Trafność Skuteczność Trwałość Użyteczność Sprawozdania * * * * * ** Beneficjenci badania *** Analizy statystyczne * brak oceny Eksperci *** jednoznacznie pozytywnie, ** niemal jednoznaczne pozytywnie, * raczej pozytywnie z wieloma wątpliwościami, (-) raczej negatywnie z wieloma wątpliwościami, (- -) niemal jednoznacznie negatywnie, (- - -) jednoznacznie negatywnie.

Trudności Ocena efektywności Ocena trwałości rezultatów Ocena oddziaływania programu Oszacowanie efektu netto podjętych działań Ocena systemu wdrażania (relacja pomiędzy kosztami transakcyjnymi a wydatkami na realizację działań merytorycznych)

Podsumowanie „profesjonalna ewaluacja stanowi zaledwie niewielką część ogólnego procesu krytyki i oceny polityk publicznych” (Majone, 2004)