Proces ewaluacji i efekty polityki spójności z perspektywy Komisji Europejskiej i Polski – Stanisław Bienias, Fundacja IDEA Rozwoju Tomasz Kot, Naczelnik Krajowej Jednostki Ewaluacji w Ministerstwie Rozwoju

Post scriptum do prezentacji Przyszłość i rola ewaluacji w nowym okresie programowania na konferencji „toruńskiej” w 2013 r. Ziściły się wszystkie przewidywania dotyczące zwiększenia roli ewaluacji w regulacjach unijnych, a system PL je zinternalizował, ale.. nie zostały zwiększone zasoby kadrowe – pomimo większych wyzwań liczba pracowników administracji rządowej i regionalnej zaangażowanych w proces ewaluacji systematycznie się zmniejsza

Możliwa redefinicja polityki spójności 1233 Założenie Torunia Ex post Plan ewaluacji UP Przygotowanie Systemu Wdrażania Rekomendacji Koordynacja i aktualizacje planu UP Ex ante Monitorowanie wdrażania rekomendacji Koordynacja i aktualizacje planów PO Ex post Koncepcja nowych rozporządzeń Negocjacje rozporządzeń tu jesteśmy Dyskusja nad tym co chcemy zmienić w ewaluacji Plany ewaluacji PO Plan ewaluacji Plany ewaluacji nowych PO On-going

Na jakim etapie jesteśmy – perspektywa KE  Zakończenie oceny planów ewaluacji  VII Europejska Konferencja Ewaluacyjna w Bułgarii  PRIORYTET Ewaluacja ex post perspektywy (bo jesteśmy mocno opóźnieni)!

Plany ewaluacji Programów Operacyjnych oraz Umowy Partnerstwa – wstępna analiza

 Przegląd planów ewaluacji objął plany dla EFRR, EFS i FS; łącznie 217 PO (do końca maja 2016)  Liczba ewaluacji zaplanowanych średnio na jeden PO – 11 (3 w okresie )  W tym średnio 5 ewaluacji wpływu na PO (mniej niż 1 w okresie ) + 2 mieszane (wpływu i procesowe/proceduralne)  Nierówny rozkład planowanych ewaluacji w PCZ – liderzy – Estonia, Litwa i Polska  Wyniki oceny planów – łącznie 217 przeszło proces oceny (do maja 2016) – najsłabsze oceny w obszarze – dostępność danych oraz metody i koncepcja badań Plany ewaluacji – perspektywa KE

BADANIA EWALUACYJNE W RAMACH PO W LATACH *pozostałe badania mają charakter mieszany ~ 600 badań realizowanych w ramach 870 etapów > 140 mln PLN na realizację badań = średnio 200 tys. PLN / badanie 55% to ewaluacje wpływu 24% to ewaluacje procesowe 58% on-going* 34% ex-post5% ex-ante 21% to ewaluacje mieszane

BADANIA WG OBSZARÓW TEMATYCZNYCH W RAMACH EWALUACJI PO

BADANIA WG FUNDUSZY I PI 1b 3c 3a i 10i 10iii

METODOLOGIA BADAŃ Analiza danych zastanych pojawia się w 94% badań Prawie w 50% badań zostaną wykorzystane wywiady Ankiety zostaną użyte w ~35% badań W 25% badań będziemy się inspirować studiami przypadku Po ~20% badań wykorzysta warsztaty, panele eksperckie i grupy fokusowe Metody kontrfaktyczne zostaną użyte w ok. 15% badań Dominuje podejście jakościowe - tam, gdzie konkretnych metod i technik nie wskazano

HARMONOGRAM EWALUACJI W RAMACH PO

ZASOBY KADROWE JE W LATACH VS. Docelowo 159 etatów 188 w w 2013 Średnia liczba badań na jednego pracownika JE

BADANIA EWALUACYJNE NA POZIOMIE UP PODSUMOWANIE *pozostałe (6,78%) badania mają charakter mieszany ~ 58 badań ewaluacyjnych (69 osobnych procesów badawczych) > 16,86 mln PLN na realizację badań = średnio 244 tys. PLN / badanie 81,6% to ewaluacje wpływu 10,17% to ewaluacje procesowe 16,95% on-going* 71,19% ex-post3,39% ex-ante 6,78% to ewaluacje mieszane

HARMONOGRAM EWALUACJI W RAMACH UP Liczba badań w podziale na lata (w szt.)

HARMONOGRAM EWALUACJI EWALUACJE UP vs PO Liczba badań w podziale na lata (w szt.)

BADANIA WG OBSZARÓW TEMATYCZNYCH UMOWA PARTNERSTWA Kategoria „inne” – 15,13%

Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE

EFRR+FS badanie ex post objęło 75% wszystkich wydatków; koncentrowało się na głównych obszarach wsparcia tj. przedsiębiorczość, transport, środowisko, B+R Wyzwania dla badania:  2014/2015 – za wcześnie – PO nie zakończone  Zbyt późno na uwzględnienie wniosków w nowej perspektywie,  Wielość celów - trudność w ocenie  Trudno wyróżnić efekty netto interwencji Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE

EFRR+FS – wyniki badania:  Wydatkowano 269,9 mld euro (88% w regionach konwergencji)  W EU 12 – 70% środków na infrastrukturę, 23% przedsiębiorstwa i innowacje, 7% inne  W EU 15 – 56% - przedsiębiorstwa i innowacje, 31% - infrastruktura, 13 % inne  Redukcja zróżnicowań międzyregionalnych (Theil index) - między krajami (ale wewnątrzkrajowe zróżnicowania rosną)  Pozytywny wpływ na wzrost gospodarczy– największy w Polsce (6% do 2023) i na Węgrzech (5% do 2023) Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE

EFRR+FS – lekcje na przyszłość – wyniki badań podobne do :  Niejasne cele –trudne do oceny – większe ukierunkowanie celów na rezultaty w okresie  Duże rozproszenie finansowania – obowiązkowa koncentracja tematyczna w okresie  Zbytnia koncentracja na absorpcji  Mało ewaluacji wpływu  Wymagający system realizacji – duże obciążenia administracyjne (zamówienia publiczne głównym źródłem opóźnień)  Szersze użycie instrumentów finansowych Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE

EFS – badanie ex post objęło 117 PO (68% finansowania EFS w krajach celu konwergencja). Ograniczenia badania: dostęp do danych i ich porównywalność, brak wspólnych definicji wspólnych wskaźników rezultatu, mało ewaluacji dotyczących wpływu Wyniki:  główne obszary wsparcia to Kapitał Ludzki (45% EFS) i dostęp do zatrudnienia (34% wsparcia),  91.7 mld euro wydane do końca 2014 roku (79,3%),  48 mln uczestników działań do 2014 roku,  30,5 mln pozytywnych rezultatów,  9 mln osób weszło na rynek pracy,  8,6 mln osób uzyskało kwalifikacje,  12,8 mln innych pozytywnych rezultatów,  0,3 mln samozatrudnionych. Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE

EFS – wyniki badań:  EFS mocno dostosowany do UE i krajowych priorytetów i wyzwań ( w tym Country Specific Recommendations),  EFS elastyczny – reakcja na kryzys,  Wdrażanie przebiegało właściwie pod względem absorpcji,  EFS dosięgnął większość grup docelowych (tj. młodzi, nieaktywni zawodowo, z niskimi kwalifikacjami),  Zrównoważony udział kobiet (większość programów stosowała zasadę równości kobiet i mężczyzn. Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE

EFS – wyniki badań:  EFS był generalnie skuteczny (większość celów (targets) osiągnięta),  Słabe dowody dotyczące trwałości rezultatów,  Średni koszt na uczestnika to 900 euro,  Wartość dodana EFS – zapewnia dodatkowe środki dla wsparcia polityk krajowych oraz umożliwia rozszerzenie wsparcia na nowe grupy i bardziej dostosowane do potrzeb usługi,  Wpływ EFS widoczny na poziomie mikro/ trudniej uchwytny na poziomie makro (efekty makroekonomiczne). Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE

EFS – lekcja na przyszłość:  Kontynuacja dostosowania EFS do unijnych i krajowych priorytetów,  Zachowanie elastyczności funduszu,  Na etapie programowania jasne definiowanie celów i rezultatów, programowanie w oparciu o dowody,  Zapewnienie wsparcia dla grup znajdujących się w gorszej sytuacji (disadvantaged groups),  Standaryzacja wskaźników,  Zwiększenie znaczenia ewaluacji wpływu. Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE

Wybrane efekty Polityki Spójności w świetle ewaluacji PL

Ewaluacja korzyści UE15 z realizacji PS w V4 Ostateczne wyniki badania dostępne w lipcu 2016 → do wykorzystania m.in. w ramach przeglądu WRF → lipiec/ sierpień 2016 strategia komunikacji wyników badania we współpracy z MSZ i partnerami z V4 Jedno z największych przedsięwzięć ewaluacyjnych w UE:  badanie realizowane jednocześnie w 4 krajach Grupy Wyszehradzkiej koordynowane przez POL → duże wyzwanie organizacyjne (i polityczne…)  część mikroekonomiczna badania w oparciu o ok. 27 tys. wypełnionych ankiet z POL, CZE, HUN i SLK (ankiety rozesłane do ok. 120 tys. respondentów/beneficjentów wsparcia PS)

Ewaluacja korzyści UE15 z realizacji PS w V4

Przykładowe pozytywne efekty zewnętrzne: Wsparcie przedsiębiorstw:  Nowe technologie produkcji, pozwalające spółkom z V4 nawiązać współpracę (jako dostawcy) z czołowymi producentami z UE-15 (przykłady w raporcie końcowym) np. wsparcie Continental Automotive Czech Republic s.r.o. (grupa projektów) → wzrost majątku czeskiej spółki-córki niemieckiego koncernu Continental, dostęp do relatywnie niżej opłacanych kadr naukowych i eksperckich Transport:  Zwiększenie możliwości portu należącego do sieci TEN-T korytarza Bałtyk- Adriatyk → stworzenie warunków rozwoju oferty operatorów logistycznych i armatorów z UE-15, korzystających z Portu Gdynia

Ewaluacja korzyści UE15 z realizacji PS w V4 Przykładowe pozytywne efekty zewnętrzne: Dydaktyka i B+R:  Stworzenie centrum doskonalenia dla budownictwa drogowego (Słowacja) → włączenie centrum do sieci najlepszych jednostek badawczo-rozwojowych w europejskim obszarze badawczym oraz stworzenie możliwości wykorzystania zasobów na rzecz firm (w tym: prace B+-R na rzecz firmy z Finlandii) Ochrona środowiska i energetyka:  Projekt: ograniczenie emisji zanieczyszczeń w Elektrowni Dolna Odra → ograniczenie emisji zanieczyszczeń i poprawa jakości powietrza w krajach UE- 15, w szczególności we wschodnich landach Niemiec

Po 2006 r. okresie Polska Wschodnia rozwijała się nieznacznie wolniej niż Polska ogółem (PKB per capita w relacji całego kraju spadło o około 3 punkty procentowe). W tym samym czasie makroregion odrobił jednak około 1/5 dystansu rozwojowego w stosunku do całej Unii Europejskiej. Wartość PKB per capita w 2014 r. na poziomie 48% średniej unijnej oznacza realizację celu SRPW z 2008 r. przewidzianego na 2020 r. Tempo zmian nie było równomierne w poszczególnych województwach. Relatywnie mniejsza była dynamika województw warmińsko-mazurskiego oraz świętokrzyskiego, które w okresie przedakcesyjnym wyróżniały się względnie wyższym poziomem rozwoju. Wyższy wzrost odnotowano z kolei w województwach podkarpackim, podlaskim i lubelskim. Około 50% zmiany w latach PKB per capita w latach r. można przypisać programom finansowanym z polityki spójności, a więc około dwukrotnie więcej niż w całej Polsce. Oznacza to, że w okresie analizy interwencja finansowana ze środków europejskich miała kluczowe znacznie dla realizacji celów rozwojowych makroregionu. Za około 52% łącznego oddziaływania makroekonomicznego NSS w makroregionie odpowiadają działania związane z rozbudową infrastruktury podstawowej, 26% - ze wsparciem przedsiębiorstw a pozostałe 22% - z rozwojem zasobów ludzkich. Wpływ funduszy europejskich perspektywy finansowej na rozwój społeczno-gospodarczy Polski Wschodniej (1)

Na poziomie lokalnym pozytywna zmiana społeczno-gospodarcza jest silniejsza w tych jednostkach, w których w przeliczeniu na mieszkańca dofinansowanie ze środków europejskich było większe. Odnotowano m.in. pozytywny wpływ całej interwencji na dynamikę wynagrodzeń oraz dynamikę wpływów z PIT. Jednocześnie nie zidentyfikowano wpływu interwencji na wskaźniki opisujące sytuację na lokalnych rynkach pracy (tj. stopę bezrobocia oraz udział pracujących w populacji). Wpływ funduszy europejskich perspektywy finansowej na rozwój społeczno-gospodarczy Polski Wschodniej (2) Wpływ na poszczególne gałęzie gospodarki: innowacyjność i konkurencyjność - pozytywne efekty na poziomie mikroekonomicznym - brak przełożenia na odwrócenie większości negatywnych tendencji dotyczących konkurencyjności/ innowacyjności, przy dużym wkładzie w zmianę niektórych wskaźników (B+R) - decydujące znaczenie interwencji w tym obszarze dla pozytywnego oddziaływania całego wsparcia ze środków europejskich (polityka spójności i PROW) rynek pracy i kapitał ludzki - pozytywne efekty na poziomie beneficjentów, choć ciągle niewiele wiemy o efektach netto - poprawa kluczowych wskaźników sytuacji na rynku pracy, jednak tempo zmian wolniejsze niż w całym kraju; - silny makroekonomiczny wpływ całości interwencji - brak oddziaływania zróżnicowania skali interwencji na poziomie lokalnym dostępność i infrastruktura techniczna - poprawa dostępności w ruchu drogowym (choć względna poprawa wskaźników mniejsza niż w innych województwach), co w szczególności dotyczyło stolic województw, a w mniejszym stopniu terenów peryferyjnych - mniejsza skala i oddziaływanie inwestycji kolejowych - pozytywne zmiany w obszarze transportu publicznego, częściowo powiązane z projektami finansowanymi ze środków UE jakość życia i ochrona środowiska - koncentracja interwencji w obszarach funkcjonalnych stolic województw (w szczególności Rzeszów i Lublin), które dzięki środkom UE rozwinęły swoje funkcje metropolitalne - fundusze UE zmniejszyły lukę cywilizacyjną (np. infrastruktura sanitarna) oraz zwiększyły dostępność niektórych usług publicznych (np. przedszkola) - badania wskazują na ograniczone efekty rozwojowe rozbudowy infrastruktury społecznej

Prognoza tempa rozwoju w poszczególnych regionach Polski Wschodniej: w najbliższych latach można spodziewać się zmian względnych pozycji poszczególnych województw makroregionu. W 2013 r. wszystkie 5 regionów znajdowało się na bardzo zbliżonym poziomie rozwoju. Utrzymanie tych tendencji będzie oznaczało, że pomiędzy 2015 i 2018 r rokiem województwa świętokrzyskie i warmińsko-mazurskie stracą swoją dominującą pozycję, co więcej staną się najsłabiej rozwiniętymi częściami Polski Wschodniej. W tym samym okresie na czoło wysuną się województwa podkarpackie i lubelskie, które jako jedyne w makroregionie będą rozwijać się w tempie zbliżonym do Polski ogółem. Do 2020 r. pięć województw Polski Wschodniej utrzyma pięć ostatnich pozycji w rankingu polskich regionów. Dalsze podtrzymanie tendencji będzie jednak oznaczać, że po 2020 r. znacznie zbliżą się one do województw kujawsko-pomorskiego, zachodniopomorskiego oraz opolskiego, w których dynamika wzrostu jest niższa niż w Polsce Wschodniej.

Wpływ Programów EWT na życie lokalnych społeczności przejawia się w czterech wymiarach: upadek dotychczas utrzymywanych stereotypów, tj. lepsze zrozumienie funkcjonowania sąsiedniego państwa lub regionu, ale także wzrost samowiedzy dzięki możliwości porównania. zmiana w przestrzeni fizycznej i dostępności do usług związana z budową lub odnową infrastruktury transgranicznej i przygranicznej. zmiana w zakresie potencjału instytucjonalnego - instytucje realizujące projekty i biorące w nich udział w trwały sposób zmieniają swój potencjał, przybierając nieraz charakter międzynarodowy, rozwijając i rozszerzając swoją działalność. zmiana w zakresie aktywności - sama realizacja projektów wzbudza niejednokrotnie uśpioną od dawna aktywność mieszkańców (np. kulturalną, sportową itp.). Projekty EWT wpływają na umiędzynarodowienie polskich organizacji, w szczególności samorządów terytorialnych. Wysoki poziom aktywności samorządów we współpracy terytorialnej jest wpisany w założenia EWT. W partnerstwa tworzone na szczeblu lokalnym przez samorząd zaangażowane są szkoły, domy kultury, służby ratownicze i bezpieczeństwa (straż pożarna, policja), inne instytucje kultury, urzędy pracy (na szczeblu powiatowym), organizacje turystyczne oraz organizacje pozarządowe. Za pomocą środków EWT organizacje włączają się w działalności, których prawdopodobnie by nie podjęli gdyby tych środków nie było. Wpływ Polityki Spójności na rozwój przygranicznej i ponadnarodowej współpracy terytorialnej polskich regionów w perspektywie

Udział ludności korzystającej z sieci wodociągowej wzrósł z poziomu 87,3% do poziomu 91,6% ogółu mieszkańców, czyli o 4,3 punkty procentowe, w tym wkład NSRO odpowiada wartości 0,7 punktu procentowego. Liczba ludności korzystającej z sieci kanalizacyjnej wzrosła o 3,1 mln osób, a udział ludności podłączonej do sieci kanalizacyjnej wzrósł z poziomu 61,5% do poziomu 68,7% (wkład NSRO – ok. 70% przyrostu ogólnej liczby osób podłączonych do sieci kanalizacyjnej, co odpowiada zmianie na poziomie 6 pkt. procentowych). Gospodarka wodno- ściekowa Instalacje wybudowane lub zmodernizowane w ramach NSRO mogą zagospodarować około 50% wszystkich odpadów komunalnych zbieranych w ciągu roku. Oddziaływaniem ww. instalacji zostało objętych 1115 gmin, a więc 46% wszystkich gmin w Polsce. Dofinansowane instalacje obejmując zasięgiem swojego oddziaływania 17,7 mln mieszkańców, tj. 46% populacji kraju. Gospodarka odpadami Środki NSRO umożliwiły rekultywację składowisk odpadów odpowiadających liczbowo ponad 85% obiektów wyłączonych z użytkowania. Oczyszczono także większość gruntów powojskowych i popoligonowych, na których występowały niewypały i niewybuchy oraz zabezpieczono ok. 5% linii wybrzeża. Rekultywacja terenów zdegradowanych i ochrona powierzchni ziemi Wpływ polityki spójności na środowisko naturalne

Dzięki inwestycjom w infrastrukturę przeciwpowodzio wą oraz wielozadaniowe zbiorniki retencyjne w ramach NSRO , ochroną przeciwpowodzio wą objęto około 4% mieszkańców kraju. Poziom retencji wód zwiększył się o co najmniej 58,3 mln m 3, w większości za sprawą przyjaznych środowisku działań dotyczących małej retencji. Dzięki rozwojowi systemów kanalizacji deszczowej przed podtopieniami lub powodzią zabezpieczono tereny o powierzchni około 3,6 tys. ha. Zapobieganie zagrożeniom naturalnym, adaptacja do zmian klimatu i monitoring środowiska Szacunkowa redukcja emisji CO2 w wyniku realizacji przedsięwzięć w ramach NSRO stanowi 1,1 – 1,2% rocznej emisji gazów cieplarnianych w Polsce w okresie Ochrona powietrza oraz redukcja emisji gazów cieplarnianych Środki transportu zakupione w ramach NSRO stanowią prawie 1/5 środków transportu obsługujących komunikację publiczną w roku Z kolei liczba miejsc w pojazdach zakupionych lub zmodernizowanych w ramach NSRO stanowi około 1/4 wszystkich miejsc w pojazdach komunikacji miejskiej użytkowanych w roku Czysty transport miejski Zmniejszeniu uległ poziom emisji zanieczyszczeń do powietrza, ograniczona została ilość nieoczyszczonych ścieków przemysłowych odprowadzanych do wody i gleby, oraz poziom zużycia wody. Środki dostępne w ramach NSRO miały niewątpliwie wkład w powyższe korzystne zmiany, w szczególności w obszarze ochrony powietrza, jednak nie były kluczowym impulsem działań prośrodowiskowych podejmowanych przez przedsiębiorstwa Ochrona środowiska w przedsiębiorstwach

Efekty społeczne identyfikowane przez przedstawicieli gmin, w których realizowano projekty środowiskowe Wpływ polityki spójności na środowisko naturalne

E FEKTY GOSPODARCZE IDENTYFIKOWANE PRZEZ PRZEDSTAWICIELI GMIN, W KTÓRYCH REALIZOWANO PROJEKTY ŚRODOWISKOWE

Dziękuję za uwagę Tomasz Kot