Wskaźniki rezultatu długoterminowego – studium przypadku województwa zachodniopomorskiego Monika Koperkiewicz Urząd Marszałkowski Województwa Zachodniopomorskiego

Ewaluacja hybrydowa – kontekst dotyczy wskaźnika rezultatu długoterminowego „Liczba osób znajdujących się w lepszej sytuacji na rynku pracy 6 miesięcy po opuszczeniu programu”; obejmuje uczestników, którzy w okresie od 1.01.2014 roku do 30.06.2018 roku zakończyli udział w projektach w ramach działania 6.1Usługi rozwojowe skierowane do przedsiębiorców i pracowników przedsiębiorstw na podstawie systemu popytowego RPO WZ; jest to jeden z czterech wskaźników rezultatu długoterminowego, za które odpowiada IZ RPO WZ.

Ewaluacja hybrydowa – dlaczego ? nieudane zlecenie badania wykonawcy zewnętrznemu dwukrotne zapytanie ofertowe tylko jedna oferta dwukrotnie ten sam oferent dwukrotnie niespełnione wymagania w zakresie doświadczenia i zespołu

Ewaluacja hybrydowa – jak ? Potencjał Wewnętrzny IZ RPO WZ IWUP (IP) Zewnętrzny Firma ankieterska Eksperci akademiccy

Ewaluacja hybrydowa – etapy powołanie zespołu zadaniowego wybór firmy ankieterskiej wybór ekspertów

Ewaluacja hybrydowa – etapy realizacja badania ankietowego spotkania z ekspertami Opracowanie raportu z badania recenzja raportu

Ewaluacja hybrydowa – zespół zadaniowy opracowanie oraz analiza i interpretacja wyników ankiet według przekrojów: wiek, płeć, miejsce zamieszkania, formy wsparcia; opracowanie raportu zawierającego: wnioski, interpretację wyników, rekomendacje.

Ewaluacja hybrydowa – firma ankieterska opracowanie docelowego kwestionariusza ankiety; przeszkolenie ankieterów; realizacja ankiet wśród uczestników projektów; opracowanie: bazy danych z przeprowadzonego badania ankietowego z opisem kodów, sprawozdania z realizacji badania.

Ewaluacja hybrydowa – eksperci konsultacje bieżące; ekspercka ocena i recenzja: wyników badania ankietowego; interpretacji wyników badania ankietowego dokonanej przez zespół zadaniowy; raportu opracowanego przez zespół zadaniowy.

Ewaluacja hybrydowa – rekomendacje ekspertów wyliczanie niezbędnej minimalnej liczebności próby w oparciu o niemodyfikowaną formułę, gwarantującą największą możliwą minimalną wielkość próby badawczej; „uproszczenie” schematu losowania próby badawczej, pozwalające uniknąć zestawiania kilku schematów wyliczania liczebności oraz konstrukcję struktury próby reprezentatywnej;

Ewaluacja hybrydowa – rekomendacje ekspertów modyfikacja procedury pozyskiwania danych od uczestników projektu, w kierunku optymalizacji jakości danych (aktualnych i wolnych od wad); zobowiązanie uczestników projektu (ewentualnie również ich pracodawców) do wzięcia udziału w badaniu; unikanie syntetyzowania materiału empirycznego na etapie kodowania do bazy danych, gdyż prowadzi to do utraty informacji szczegółowych;

Ewaluacja hybrydowa – rekomendacje ekspertów warto bliżej sprecyzować charakterystykę jednodniowych szkoleń, które sprzyjały osiągnięciu wskaźnika oraz tych, które temu nie sprzyjały; zmniejszenie rygorów związanych z dopuszczalnym, maksymalnym błędem szacunku, a co za tym idzie z wielkością próby; skrócenie czasowego interwału od ukończenia uczestnictwa w Projekcie do udzielenia wywiadu w badaniu ewaluacyjnym;

Ewaluacja hybrydowa – rekomendacje ekspertów przeprowadzenie badania na próbie kontrolnej – osób, które nie korzystają z żadnego rodzaju wsparcia w analizowanym projekcie lub jemu podobnych. Przedmiotem badania powinna być sytuacja na rynku pracy oraz jej zmiany w czasie równoległym do badania realizowanego wśród uczestników ewaluowanego projektu. Inną możliwością jest badanie panelowe, czyli oparte na próbie dobranej tak, by ci sami respondenci udzielali informacji kilkakrotnie po ukończeniu uczestnictwa w projekcie.

Ewaluacja hybrydowa – co dalej ? kontynuacja kolejnych badań w sposób hybrydowy ze względu na m.in. lepszą sterowalność i elastyczność procesu ewaluacji oraz pozytywny wpływ zaangażowania sił własnych Instytucji Zarządzającej; zaangażowanie ekspertów zewnętrznych powinno mieć miejsce już na etapie przygotowywania założeń do badania oraz konstruowania kwestionariusza ankiety;

Ewaluacja hybrydowa – co dalej ? uzupełnienie: kwestionariusza ankiety o pytania, które pozwoliłyby zweryfikować wątpliwości, które ujawniły się w I edycji. Jedno z dodanych pytań powinno np. dotyczyć tego, czy respondent próbował zmienić swoją sytuację na rynku pracy i czy to mu się udało. Drugie z dodanych pytań powinno dotyczyć czynników, które pozwolą dokładniej określić źródła osiągnięcia (lub nie) sukcesu na rynku pracy; metodologii analiz o sposób analizowania wyników badać skumulowanych z wynikami z poprzednich edycji;

Ewaluacja hybrydowa – co dalej ? podjęcie próby uzyskania z bazy BUR danych dotyczących sektorowych kategorii otrzymanego wsparcia szczególnie wobec słabych korelacji kategorii wsparcia w dotychczasowym układzie (szkolenie, doradztwo…) z efektami wsparcia; stały monitoring wsparcia w ramach działania 6.1 RPO WZ 2014-2020 w celu m.in. zweryfikowania terminów przeprowadzenia kolejnych edycji badania oraz identyfikacji kolejnych czynników które powinny być zastosowane w analizach;

Ewaluacja hybrydowa – co dalej ? szersze niż dotychczas uwzględnienie w analizach: kwestii przedsiębiorstw delegujących uczestników do wsparcia, w tym np. przedsiębiorstw jednoosobowych lub sektora działalności przedsiębiorstwa; terytorializacji wsparcia w tym np. przejście z poziomu subregionów na poziom powiatów lub bardziej szczegółowe potraktowanie miejsca realizacji wsparcia; uwzględnienie rekomendacji ekspertów przy zlecaniu kolejnych edycji badania.

Dziękuję za uwagę