Planowanie i realizacja badań ewaluacyjnych służących oszacowaniu wartości wskaźników rezultatu długoterminowego EFS 18 stycznia 2015 r.

Ogólne założenia realizacji badań ewaluacyjnych (1) Większość wskaźników rezultatu długoterminowego jest wyliczana przy pomocy ewaluacji przez instytucje zarządzające programami operacyjnymi za pomocą tej samej metodologii, opracowanej przez MR; Dane do wskaźników długoterminowych, co do zasady, nie są generowane w ramach monitorowania realizacji projektu (wyjątki wskazane w WLWK); Każdy PO raportuje sam do KE wartości wskaźników w AIR; Dla Pomocy Technicznej nie liczymy wskaźników rezultatu długoterminowego.

Ogólne założenia realizacji badań ewaluacyjnych (2) Jednolita metodologia pomiaru wskaźników wskazana w Wytycznych KE oraz w załączniku nr 6 do Wytycznych postępu rzeczowego jest uzasadniona: koniecznością gromadzenia i agregowania danych w celu obliczania osiągniętych wartości na poziomie całej Unii Europejskiej; gromadzeniem do celów sprawozdawczych, porównywalnych danych na poziomie regionalnym, które będą mogły zostać włączone do rocznego sprawozdania z wdrażania programu (AIR 2019) oraz do sprawozdania końcowego z realizacji Programu (2025r.).

Ogólne założenia realizacji badań ewaluacyjnych (3) MR podjęło współpracę z ZUS ws. monitorowania trzech wskaźników długoterminowych: Liczba osób pracujących, łącznie z prowadzącymi działalność na własny rachunek, sześć miesięcy po opuszczeniu programu; Liczba osób powyżej 54 roku życia, pracujących, łącznie z prowadzącymi działalność na własny rachunek, sześć miesięcy po opuszczeniu programu; Liczba osób w niekorzystnej sytuacji społecznej, pracujących, łącznie z prowadzącymi działalność na własny rachunek, sześć miesięcy po opuszczeniu programu Wskaźnik niemożliwy do pozyskania z ZUS: Liczba osób znajdujących się w lepszej sytuacji na rynku pracy sześć miesięcy po opuszczeniu programu

Wskaźniki specyficzne RPO - wskaźniki rezultatu długoterminowego Lista wskaźników RPO, dla których źródłem danych będzie badanie ewaluacyjne Wskaźniki specyficzne RPO - wskaźniki rezultatu długoterminowego Liczba nauczycieli prowadzących zajęcia z wykorzystaniem TIK dzięki EFS [osoby] Wskaźnik RPO dla PI 10i Liczba uczniów szkół i placówek kształcenia zawodowego objętych wsparciem w programie, uczestniczących w kształceniu lub pracujących po 6 miesiącach po ukończeniu nauki Wskaźnik RPO dla PI 10iv Liczba miejsc pracy istniejących co najmniej 30 miesięcy, utworzonych w przedsiębiorstwach społecznych Wskaźnik RPO dla PI 9v Liczba utworzonych mikroprzedsiębiorstw działających 30 miesięcy po uzyskaniu wsparcia finansowego Wskaźnik RPO dla PI 8i, 8iii Liczba osób zagrożonych ubóstwem lub wykluczeniem społecznym pracujących 6 miesięcy po opuszczeniu programu (łącznie z pracującymi na własny rachunek) Wskaźnik RPO dla PI 9i Za pomiar 3 ostatnich wskaźników odpowiada IZ RPO wg metodologii wskazanej w załączniku nr 6. do Wytycznych monitorowania

Ewaluacje wskaźników rezultatu długoterminowego Wskaźniki rezultatu długoterminowego (nie dotyczy YEI) sprawozdawane w 2019 i 2025 r., w oparciu o wyniki ewaluacji na reprezentatywnych próbach. Konieczne jest przeprowadzenie badań częściej niż dwukrotnie – nie dotyczy to wszystkich wskaźników. 4 badania lub 4 etapy - konieczność zapewnienia jak najkrótszej perspektywy czasowej pomiędzy badaniami (ze względu na retrospektywny charakter pytań), przy jednoczesnej optymalizacji kosztów realizacji badań; wyniki tych badań będą analizowane przez MR, w celu aktualizacji wymaganego w projektach EFS z obszaru rynku pracy poziomu efektywności zatrudnieniowej.

Pomiar wartości wskaźników – 4 etapy badania ewaluacyjnego Dla osób które zakończyły udział we wsparciu od początku realizacji programu do 30 czerwca 2018 roku: pierwsze badanie na reprezentatywnej próbie osób, w oparciu o populację tych uczestników projektów, którzy zakończyli udział we wsparciu od początku realizacji programu operacyjnego do 31 grudnia 2016 r., drugie badanie na reprezentatywnej próbie osób, w oparciu o populację tych uczestników projektów, którzy zakończyli udział we wsparciu od 1 stycznia 2017 r. do 30 czerwca 2018r. Dla osób które zakończyły udział we wsparciu od 1 lipca 2018 roku do 31 grudnia 2023 roku: trzecie badanie na reprezentatywnej próbie osób, w oparciu o populację tych uczestników projektów, którzy zakończyli udział we wsparciu od 1 lipca 2018 r. do 31 grudnia 2020 r., czwarte badanie na reprezentatywnej próbie osób, w oparciu o populację tych uczestników projektów, którzy zakończyli udział we wsparciu od 1 stycznia 2021 r. do 31 grudnia 2023 r. załącznik do wytycznych postępu rzeczowego – przygotowane zostały w celu określenia wspólnej metodologii pomiaru wartości wskaźników długoterminowych (Załącznik nr 6) Wartości wskaźników dla osób które zakończyły udział we wsparciu do połowy 2018 roku, powinny zostać skonstruowane w oparciu o wartości wskaźników wyliczonych w dwóch badaniach ewaluacyjnych wskazanych w punkcie 1 i 2. tj. należy wyliczyć średnią wartość wskaźnika biorąc pod uwagę wyniki obu badań (pierwszego i drugiego). Wyliczenia tego można dokonać jako średnią ważoną wg wielkości populacji badanej w obu badaniach. Wyliczenia tego należy dokonać dla wszystkich pod-wskaźników czyli wartości wskaźnika w poszczególnych warstwach. Wartości wskaźników dla osób które zakończyły udział we wsparciu od połowy 2018 roku do końca 2023 roku, powinny zostać skonstruowane w oparciu o wartości wskaźników wyliczonych w dwóch badaniach ewaluacyjnych wskazanych w punkcie 3 i 4. tj. należy wyliczyć średnią wartość wskaźnika biorąc pod uwagę wyniki obu badań (pierwszego i drugiego). Wyliczenia tego można dokonać jako średnią ważoną wg wielkości populacji badanej w obu badaniach. Wyliczenia tego należy dokonać dla wszystkich pod-wskaźników czyli wartości wskaźnika w poszczególnych warstwach.

Harmonogram realizacji badań ewaluacyjnych POPULACJA UCZESTNIKÓW KTÓRZY ZAKOŃCZYLI UDZIAŁ W PROJEKCIE DO 30 CZERWCA 2018 POPULACJA UCZESTNIKÓW KTÓRZY ZAKOŃCZYLI UDZIAŁ W PROJEKCIE POMIĘDZY 1 LIPCA 2018 DO 31 GRUDNIA 2023 Próba reprezentatywna Próba reprezentatywna 31 grudzień 2023 r. Początek wdrażania 30 czerwiec 2018 r. III badanie IV badanie I badanie II badanie SPRAWOZDANIE KOŃCOWE Z PROGRAMU 2025 r. AIR 2019 r.

Kiedy planować realizację badania – Plan Ewaluacji Czas realizacji jednego etapu badania - ok 18 tygodni: Realizacja I etapu - III-IV kwartał 2017 r. Realizacja II etapu - I -II kwartał 2019 r. Realizacja III etapu - III-IV kwartał 2021 r. Realizacja IV etapu - najpóźniej III-IV kwartał 2024 r. (środki na ten etap badania nie będą już kwalifikowalne w ramach RPO 2014-2020 – chyba że program skończy się wcześniej – wtedy badanie wcześniej)

Plany Ewaluacji RPO – badania wskaźników długoterminowych (1) różne badania odnoszące się do wyliczenia poszczególnych wskaźników w ramach poszczególnych osi priorytetowych i celów tematycznych (8, 9 i 10) i w ich ramach zaplanowano badania wskaźników – w 11 PE jedno badanie, które będzie miało na celu wyliczenie wszystkich wartości wskaźników długoterminowych dla CT 8, 9 i 10 – w 2 PE dwa badania - w jednym uwzględnia wszystkich pracujących w drugim uwzględnia wszystkich niepracujących objętych wsparciem – w 1 PE

Plany Ewaluacji RPO - badania wskaźników długoterminowych (2) pilotaż badania dotyczącego wskaźników długoterminowych – w 1 PE wskaźniki są badane w dwóch ewaluacjach (część w badaniu celu tematycznego dot. rynku pracy a część w ewaluacji celu tematycznego dot. wykluczenia społecznego) – w 2 PE

Dobór próby i reprezentatywność wyników Możliwość określenia struktury próby za pomocą kalkulatora wielkości i struktury próby – narzędzie skonstruowane przez KE. Losowanie odrębnie dla każdego PI ale we wszystkich PI gdzie są osoby wsparte z EFS (poza PT) - sprawozdanie do KE jest na poziomie wszystkich PI skierowanych do osób. Należy zapewnić odpowiednio niski poziom błędu standardowego - 2% (w sytuacji kiedy jest to nie możliwe do realizacji, akceptowany będzie 5% błąd standardowy).

Reprezentatywność wyników Warstwa główna - priorytet inwestycyjny (dla wszystkich wybranych w PO) – w jej ramach, dla danego wskaźnika następuje dodatkowe warstwowanie na następujące podkategorie.. O ile to możliwe wylosowana próba powinna być reprezentatywna również ze względu na podregion zamieszkania uczestników projektów (poziom poniżej poziomu realizacji programu operacyjnego) ale nie jest to wymaganie bezwzględne. - Sprawozdanie do KE z zakresu osiągniętych wartości wskaźników rezultatów długoterminowych jest raportowane na poziomie wszystkich PI.

Budowa kwestionariusza Budowa kwestionariusza - 1 kwestionariusz dla osób pracujących i nie pracujących z regułami przejścia lub 2 oddzielne kwestionariusze; Zadawane pytania (kafeteria) muszą być wspólne dla przynajmniej większości badanych: określenie sytuacji w momencie wsparcia; określenie sytuacji w 6 miesięcy po zakończeniu udziału w projekcie; subiektywna ocena wpływu wsparcia na zmianę sytuacji uczestnika. IZ RPO muszą bazę danych zachować z badania 6 m-cy po i do tych osób ponownie się odezwać po kolejnych 6 miesiącach. Mogą to zrobić również sami np za pomocą ankiety on-line z prostym formularzem żeby nie ponosić kosztów dodatkowego badania jeśli nie chcą.

Dodatkowe zalecenia przy projektowaniu ewaluacji EFS: Przeprowadzenie ewaluacji z wykorzystaniem metod kontrfaktycznych (co najmniej raz w okresie realizacji PO); Analiza wyników w oparciu o różne formy wsparcia z jakich skorzystali uczestnicy, tak aby określić, które z nich miały największy wpływ na zmianę statusu uczestnika projektu na rynku pracy; Badania panelowe – zaleca się zweryfikować sytuację uczestników projektów również w okresie 12 lub więcej miesięcy po zakończeniu wsparcia, tak aby ocenić długofalowe efekty oddziaływania programu.

Ewaluacja wskaźników rezultatu długoterminowego w obszarze edukacji (1) Liczba uczniów szkół i placówek kształcenia zawodowego objętych wsparciem w programie, uczestniczących w kształceniu lub pracujących po sześciu miesiącach po ukończeniu nauki. Liczba nauczycieli prowadzących zajęcia z wykorzystaniem TIK dzięki EFS [osoby] Źródło danych dla 2 wskaźników z obszaru edukacji – pkt III. Załącznika nr 6. - badanie realizowane będzie przez podmiot zewnętrzny, na zlecenie MR.

Ewaluacja wskaźników rezultatu długoterminowego w obszarze edukacji (2) Współpraca podczas realizacji badania z 16 IZ RPO (osoby do kontaktów roboczych zostały już wskazane przez poszczególne instytucje zarządzające); Zebrano informację na temat harmonogramu rozpoczętych i planowanych konkursów we wszystkich 16 RPO w obszarze edukacji (PI 10i, PI 10iv) – w większości woj. pierwsze projekty rozpoczną się w II połowie roku 2016 ; W ramach badania planowany jest coroczny pomiar wartości wskaźnika (począwszy od grudnia 2017 r.) Do oceny pierwszych efektów wsparcia niezbędny jest kontakt z uczestnikami projektów, którzy zakończyli już w nich udział (6 lub 3 miesiące po zakończeniu projektu – w zależności od wskaźnika) - pierwsze wyniki badania w 2018 roku (AIR 2018) Badanie zostanie zrealizowane kilkukrotnie (obecnie zakłada się 3 etapy pomiaru). W celu zachowania jednakowych standardów pomiaru wskaźników rezultatu długoterminowego, szacowanie wartości wskaźników będzie się odbywało zgodnie z wymaganiami metodologicznymi zawartymi w załączniku nr 6.

Dziękuję za uwagę! Departament Europejskiego Funduszu Społecznego Ministerstwo Rozwoju joanna.obarymska@mir.gov.pl www.mir.gov.pl