Wnioski z przeprowadzonych badań ewaluacyjnych EFS w latach

Prezentacja na temat: "Wnioski z przeprowadzonych badań ewaluacyjnych EFS w latach"— Zapis prezentacji:

1 Wnioski z przeprowadzonych badań ewaluacyjnych EFS w latach 2008-2019
- lekcja na przyszłość Toruń, 1

2 Po co nam ewaluacja ? Ocena potrzeb i skutków dla interwencji publicznej - w świetle kryteriów oceny. Monitorowanie, informacja, raportowanie - główne źródło informacji o efektach i ich ocenie, wartościach wskaźników. Wsparcie zarządzania - inspiracja, argumentacja, negocjacje, poprawa jakości. 2

3 Co wiemy dzięki ewaluacji?
Wartości wskaźników długoterminowych Efektywność zatrudnieniowa Trwałość wsparcia – np. firm, miejsc pracy Ścieżki kariery, losy uczestników projektów Zjawiska, zagadnienia – ekonomia społeczna, zatrudnienie kobiet, efektywność szkoleń jak formy wsparcia Budowanie miar syntetycznych dot. warunków życia Jakość usług 3

4 Ewaluacja EFS w liczbach
Źródło: plany ewaluacji programów operacyjnych Źródło: Na podstawie badania ewaluacyjnego Metaanaliza wyników badań ewaluacyjnych współfinansowanych z EFS * dot. liczby dotychczas opracowanych raportów 4

5 Jakie obszary były najczęściej ewaluowane?
Odsetek raportów z badań ewaluacyjnych odnoszących się do poszczególnych dziedzin tematycznych   5

6 Kompleksowo czy szczegółowo?
Dominacja badań z zakresu zarządzania i wdrażania (badanie obowiązkowe) Badania mało przekrojowe – przewaga badań dot. jednej dziedziny Odsetek raportów z badań ewaluacyjnych obejmujących daną liczbę dziedzin 6

7 Metodologia – nowe czy utarte ścieżki?
Odsetek raportów, z zastosowaniem różnego rodzaju podejść metodologicznych Dominują wyraźnie dwa poziomy: badania oparte na deklaracjach wykorzystujące triangulację analizy wykorzystujące różnego rodzaju dane o charakterze urzędowym (np. zbierające dane o uczestnikach jak PEFS czy SL2014, czy o projektach w SIMIK lub SL2014, GUS, BDL) -> Niewielki odsetek badań wykorzystujących techniki kontrfaktyczne 7

8 W stronę jakości . Ocena jakości ewaluacji 8

9 Zmiany „na lepsze” 25% badań nie stosowało triangulacji danych Tylko 8% badań nie zastosowało triangulacji danych „Żelazny zestaw” badanych grup respondentów Obejmowanie badaniem bardziej różnorodnych grup respondentów Niedostatek badań, które badały relacje przyczynowo-skutkowe Większe zastosowanie TBE Niewystarczające stosowanie partycypacyjnego procesu wypracowywanie rekomendacji Większy udział ekspertów w wypracowanie rekomendacji. Stosowanie warsztatów/ panelów dyskusyjnych. 9

10 Rytualizacja procesu ewaluacji ?
Lekcje i wyzwania Rytualizacja procesu ewaluacji ? Dotychczasowe doświadczenie: Ewaluacja jako rozbudowany i sformalizowany proces „Zagubiony” właściwy cel ewaluacji = hit the point but miss the target Lekcja na przyszłość: Zmniejszenie biurokratycznego wymiaru ewaluacji Lepsza diagnoza i spełnianie potrzeb informacyjnych Dla kogo są wyniki? - regulacja poziomu dostarczania wiedzy 10

11 Niska kompleksowość wiedzy
Lekcje i wyzwania Niska kompleksowość wiedzy Dotychczasowe doświadczenie: Zbyt duża liczba wycinkowych ewaluacji = brak spojrzenia na całość procesów, patchworkowe zarządzanie Informacje szczegółowe vs. „przeładowanie” informacjami w raportach Niskie wykorzystanie istniejących danych Lekcja na przyszłość: Zwiększenie roli analiz i metaanaliz Lepsze planowanie tematów i zakresów badań Większa partycypacja odbiorców 11

12 Lekcje i wyzwania Rekomendacje – pomoc czy obowiązek?
Dotychczasowe doświadczenie: Nadal niska jakość treści rekomendacji Proces zatwierdzania rekomendacji – wady i zalety Brak zainteresowania odbiorców wynikami badania Lekcja na przyszłość: Mniejsza liczba rekomendacji = bardziej priorytetowe wyzwania Nie tylko rekomendacje jako efekt badania Komunikacja! 12

13 Na koniec o ewaluacji EFS w kilku słowach
Narzędzie systemu uczenia się – odzwierciedla słabości LLL i FE (w tym EFS) jako całości Czas jako kluczowy warunek refleksji - silniejsze oddziaływanie w dłuższej perspektywie Nie samym raportem… - istotna rola procesu i komunikacji Pełni funkcję silniej wspierającą monitoring niż programowanie Niewielki wpływ na kwestie horyzontalne (przepisy prawa, polityki krajowe) Nie musi być afirmatywna – większa otwartość na ocenę Niedoceniona rola eksplanacyjna 13

14 Pomysły na przyszłość? Dla ewaluatorów
Nacisk na ewaluację a nie na przedstawianie wyników ankiet = raport bez elementów oceny nie jest ewaluacją Przy rekomendacjach konieczność korzystania z innych źródeł informacji niż tylko proces badawczy – np. aktualne polityki, programy, ograniczenia budżetowe itp. Dla jednostek ewaluacyjnych Większa interakcja i współpraca na linii zamawiający – wykonawca = wspólna odpowiedzialność za efekt końcowy Rynek ewaluatora? = zostań ewaluatorem = więcej ewaluacji w jednostkach ewaluacyjnych. 14

15 Dziękuję za uwagę 15