Doświadczenia i wyzwania w zakresie ewaluacji Europejskiego Funduszu Społecznego

2 Ocena efektów interwencji publicznej, źródło informacji o rezultatach wsparcia, jego skuteczności, trafności, efektywności, trwałości, itd. W celach informacyjnych – dla mediów, władz, opinii publicznej Do celów sprawozdawczych – jako źródło informacji na temat efektów i rezultatów wsparcia, osiągniętych wartości wskaźników Wsparcie dla zarządzania – podejmowanie kluczowych decyzji, argumentacja, negocjacje, planowanie wsparcia, poprawa jakości interwencji Formułowanie wizji rozwoju opartej o dowody (evidence based policy) Cele i założenia ewaluacji EFS

3  Środki finansowe: w ramach PO KL 31,35 mln zł w PE PO WER – blisko 33 mln zł  Osoby na stanowiskach ds. ewaluacji: W IZ i IP PO KL około 30 osób W IZ i IP PO WER około 14 osób Dla wszystkich funduszy 2014 – osoby  Relacje: Bieżąca współpraca KJE – IZ – IP – IW Ewaluacja EFS – Zasoby

4 Liczba badań PO KL

5 W PO KL zrealizowano ok. 350 ewaluacji (z 530 zaplanowanych) Tematyka badań PO KL Zrealizowane badania w obszarach

6 Nie tylko ewaluacja = baza projektów badawczych PO KL Prawie 700 badań na poziomie projektów!

7 Ponad 600 rekomendacji tylko z badań IZ, ponad 1000 z badań IP. Zarządzanie wynikami badań

8 Co wiemy dzięki ewaluacji EFS? Trwałość edukacji przedszkolnej, działalności gospodarczej, zatrudnienia Sprawność instytucji (czas oceny wniosków, tempo kontraktacji, jakość współpracy, komunikacja) Mapowanie skuteczności i potrzeb wsparcia (subregionalizacja, obszary niedoinwestowane, potrzeby grup docelowych) Bariery prawne i organizacyjne dla wdrażania Efektywność wsparcia (skuteczność zatrudnieniowa, powrót do nauki, lepsza praca) Percepcja i rozpoznawalność EFS w społeczeństwie (znajomość marki, ocena efektów)

9 POLSKA SKUTECZNIE ROZWIJA: Potencjał PSZ i JOPS Usługi społeczne Dostęp do opieki żłobkowej i przedszkolnej Szkolnictwo zawodowe i wyższe EX-POST EFS Polska to dla UE: 13% wszystkich nowozatrudnionych 17% wszystkich pozytywnych efektów EFEKTY W LICZBACH: zatrudnieni 6 m-cy po…: os. (3 lokata) zdobyte nowe kwalifikacje: os. (6 lokata) inne pozytywne rezultaty: os. (1 lokata)

10 Metaanaliza Okres realizacji : W br. analizą zostaną objęte: wszystkie badania ewaluacyjne PO KL wszystkie badania projektów PO KL wskaźniki długoterminowe Co roku analizą zostaną objęte: wyniki badań ewaluacyjnych PO WER i RPO wybrane wskaźniki długoterminowe dla PO WER i RPO Wykorzystanie danych ZUS, statystyk publicznych, FGI Ocena jakości badań, ocena użyteczności, meta-wiedza

11 Zbyt dużo badań = brak jednoznaczności wyników, chaos informacyjny : Ograniczenie liczby badań na poziomie projektów Meta-analizy Lepsze planowanie Wspólne definicje, metodologie, sposoby pomiaru Zbyt dużo rekomendacji słabej jakości = brak wykorzystania wyników, „rozczarowanie” efektami ewaluacji. Priorytetyzacja zamiast rozdrobienia Dyskusje i spotkania z wykonawcą Angażowanie odbiorców Wyzwania dla ewaluacji EFS 2014+

12 Kompleksowa wiedza? = rozproszenie efektu oddziaływania, braki informacyjne: Korzystanie z istniejących danych (GUS, Eurostat, inne JE) Sprawdź zanim zlecisz - szczegółowa analiza istniejących badań i danych w obszarze Różne grupy + te same instrumenty = różne efekty wsparcia Kompleksowość wsparcia to trudniejszy pomiar efektów i określenie przyczyn sukcesu/porażki Czy Masaj który ma trzy woły jest bogaty czy biedny? – kluczowa rola benchmarków Wyzwania dla ewaluacji EFS 2014+

13 Dlaczego nikt nas nie słucha? = brak wykorzystania wyników, brak zainteresowania decydentów: Lepsza komunikacja = lepsze wykorzystanie wyników. Czy sami rozumiemy wyniki? Co w nich nowego? Krócej nie znaczy gorzej – czasem mniej znaczy więcej! Zapewnienie lepszej równowagi pomiędzy pomiarem (monitoring) a wyjaśnieniem (ewaluacja) efektów interwencji Nie teraz, nie oznacza że nigdy. Wyzwania dla ewaluacji EFS 2014+

14 Planujemy! A potem się zobaczy… Badania kontrfaktyczne EFS: Doświadczenia Nie taki diabeł straszny… = różne punkty odniesienia Zbierajmy dane lub pracujmy nad dostępem do nich Badania oparte o teorię programu: Par ma foi! il y a plus de 40 ans que je dis de la prose, sans que j'en sache quelque chose. Mniej badań „o wszystkim” oraz procesowych. Wyzwania dla ewaluacji EFS 2014+

15 Pracownik odpowiedzialny za ewaluację: Identyfikuje potrzeby informacyjne Gromadzi dostępną wiedzę i dane Koordynuje Weryfikuje Ekspert w zakresie metodologii Ale przede wszystkim to… broker wiedzy! Kto w tych czasach czyta raport albo załączniki? Wyzwania dla ewaluacji EFS 2014+

mate 16 Wyzwania dla ewaluacji EFS Blisko 8 mln uczestników monitoring sytuacji zawodowej i edukacyjnej (w 4 tyg. po…) Dane zbierane od 2007 roku Od 2014 scentralizowana baza Szeroki zakres zbieranych danych

mate 17 Na przyszłość… Nie można pozostawać w utartych schematach! Konieczność ciągłego poszukiwania: Nowych źródeł danych Nowych możliwości współpracy Niestandardowych metod badawczych Lepszej komunikacji wyników Wykorzystania wyników w działaniach

Dziękuję za uwagę Przemysław Herman Departament EFS Ministerstwo Rozwoju