Wskaźniki rezultatu długoterminowego – studium przypadku województwa zachodniopomorskiego Monika Koperkiewicz Urząd Marszałkowski Województwa Zachodniopomorskiego.

Prezentacja na temat: "Wskaźniki rezultatu długoterminowego – studium przypadku województwa zachodniopomorskiego Monika Koperkiewicz Urząd Marszałkowski Województwa Zachodniopomorskiego."— Zapis prezentacji:

1 Wskaźniki rezultatu długoterminowego – studium przypadku województwa zachodniopomorskiego
Monika Koperkiewicz Urząd Marszałkowski Województwa Zachodniopomorskiego

2 Ewaluacja hybrydowa – kontekst
dotyczy wskaźnika rezultatu długoterminowego „Liczba osób znajdujących się w lepszej sytuacji na rynku pracy 6 miesięcy po opuszczeniu programu”; obejmuje uczestników, którzy w okresie od roku do roku zakończyli udział w projektach w ramach działania 6.1Usługi rozwojowe skierowane do przedsiębiorców i pracowników przedsiębiorstw na podstawie systemu popytowego RPO WZ; jest to jeden z czterech wskaźników rezultatu długoterminowego, za które odpowiada IZ RPO WZ.

3 Ewaluacja hybrydowa – dlaczego ?
nieudane zlecenie badania wykonawcy zewnętrznemu dwukrotne zapytanie ofertowe tylko jedna oferta dwukrotnie ten sam oferent dwukrotnie niespełnione wymagania w zakresie doświadczenia i zespołu

4 Ewaluacja hybrydowa – jak ?
Potencjał Wewnętrzny IZ RPO WZ IWUP (IP) Zewnętrzny Firma ankieterska Eksperci akademiccy

5 Ewaluacja hybrydowa – etapy
powołanie zespołu zadaniowego wybór firmy ankieterskiej wybór ekspertów

6 Ewaluacja hybrydowa – etapy
realizacja badania ankietowego spotkania z ekspertami Opracowanie raportu z badania recenzja raportu

7 Ewaluacja hybrydowa – zespół zadaniowy
opracowanie oraz analiza i interpretacja wyników ankiet według przekrojów: wiek, płeć, miejsce zamieszkania, formy wsparcia; opracowanie raportu zawierającego: wnioski, interpretację wyników, rekomendacje.

8 Ewaluacja hybrydowa – firma ankieterska
opracowanie docelowego kwestionariusza ankiety; przeszkolenie ankieterów; realizacja ankiet wśród uczestników projektów; opracowanie: bazy danych z przeprowadzonego badania ankietowego z opisem kodów, sprawozdania z realizacji badania.

9 Ewaluacja hybrydowa – eksperci
konsultacje bieżące; ekspercka ocena i recenzja: wyników badania ankietowego; interpretacji wyników badania ankietowego dokonanej przez zespół zadaniowy; raportu opracowanego przez zespół zadaniowy.

10 Ewaluacja hybrydowa – rekomendacje ekspertów
wyliczanie niezbędnej minimalnej liczebności próby w oparciu o niemodyfikowaną formułę, gwarantującą największą możliwą minimalną wielkość próby badawczej; „uproszczenie” schematu losowania próby badawczej, pozwalające uniknąć zestawiania kilku schematów wyliczania liczebności oraz konstrukcję struktury próby reprezentatywnej;

11 Ewaluacja hybrydowa – rekomendacje ekspertów
modyfikacja procedury pozyskiwania danych od uczestników projektu, w kierunku optymalizacji jakości danych (aktualnych i wolnych od wad); zobowiązanie uczestników projektu (ewentualnie również ich pracodawców) do wzięcia udziału w badaniu; unikanie syntetyzowania materiału empirycznego na etapie kodowania do bazy danych, gdyż prowadzi to do utraty informacji szczegółowych;

12 Ewaluacja hybrydowa – rekomendacje ekspertów
warto bliżej sprecyzować charakterystykę jednodniowych szkoleń, które sprzyjały osiągnięciu wskaźnika oraz tych, które temu nie sprzyjały; zmniejszenie rygorów związanych z dopuszczalnym, maksymalnym błędem szacunku, a co za tym idzie z wielkością próby; skrócenie czasowego interwału od ukończenia uczestnictwa w Projekcie do udzielenia wywiadu w badaniu ewaluacyjnym;

13 Ewaluacja hybrydowa – rekomendacje ekspertów
przeprowadzenie badania na próbie kontrolnej – osób, które nie korzystają z żadnego rodzaju wsparcia w analizowanym projekcie lub jemu podobnych. Przedmiotem badania powinna być sytuacja na rynku pracy oraz jej zmiany w czasie równoległym do badania realizowanego wśród uczestników ewaluowanego projektu. Inną możliwością jest badanie panelowe, czyli oparte na próbie dobranej tak, by ci sami respondenci udzielali informacji kilkakrotnie po ukończeniu uczestnictwa w projekcie.

14 Ewaluacja hybrydowa – co dalej ?
kontynuacja kolejnych badań w sposób hybrydowy ze względu na m.in. lepszą sterowalność i elastyczność procesu ewaluacji oraz pozytywny wpływ zaangażowania sił własnych Instytucji Zarządzającej; zaangażowanie ekspertów zewnętrznych powinno mieć miejsce już na etapie przygotowywania założeń do badania oraz konstruowania kwestionariusza ankiety;

15 Ewaluacja hybrydowa – co dalej ?
uzupełnienie: kwestionariusza ankiety o pytania, które pozwoliłyby zweryfikować wątpliwości, które ujawniły się w I edycji. Jedno z dodanych pytań powinno np. dotyczyć tego, czy respondent próbował zmienić swoją sytuację na rynku pracy i czy to mu się udało. Drugie z dodanych pytań powinno dotyczyć czynników, które pozwolą dokładniej określić źródła osiągnięcia (lub nie) sukcesu na rynku pracy; metodologii analiz o sposób analizowania wyników badać skumulowanych z wynikami z poprzednich edycji;

16 Ewaluacja hybrydowa – co dalej ?
podjęcie próby uzyskania z bazy BUR danych dotyczących sektorowych kategorii otrzymanego wsparcia szczególnie wobec słabych korelacji kategorii wsparcia w dotychczasowym układzie (szkolenie, doradztwo…) z efektami wsparcia; stały monitoring wsparcia w ramach działania 6.1 RPO WZ w celu m.in. zweryfikowania terminów przeprowadzenia kolejnych edycji badania oraz identyfikacji kolejnych czynników które powinny być zastosowane w analizach;

17 Ewaluacja hybrydowa – co dalej ?
szersze niż dotychczas uwzględnienie w analizach: kwestii przedsiębiorstw delegujących uczestników do wsparcia, w tym np. przedsiębiorstw jednoosobowych lub sektora działalności przedsiębiorstwa; terytorializacji wsparcia w tym np. przejście z poziomu subregionów na poziom powiatów lub bardziej szczegółowe potraktowanie miejsca realizacji wsparcia; uwzględnienie rekomendacji ekspertów przy zlecaniu kolejnych edycji badania.

18 Dziękuję za uwagę