Wnioski z przeprowadzonych badań ewaluacyjnych EFS w latach 2008-2019 - lekcja na przyszłość Toruń, 05.06.2019 1

Po co nam ewaluacja ? Ocena potrzeb i skutków dla interwencji publicznej - w świetle kryteriów oceny. Monitorowanie, informacja, raportowanie - główne źródło informacji o efektach i ich ocenie, wartościach wskaźników. Wsparcie zarządzania - inspiracja, argumentacja, negocjacje, poprawa jakości. 2

Co wiemy dzięki ewaluacji? Wartości wskaźników długoterminowych Efektywność zatrudnieniowa Trwałość wsparcia – np. firm, miejsc pracy Ścieżki kariery, losy uczestników projektów Zjawiska, zagadnienia – ekonomia społeczna, zatrudnienie kobiet, efektywność szkoleń jak formy wsparcia Budowanie miar syntetycznych dot. warunków życia Jakość usług https://leanjestdlaludzi.pl/jakosc-wbudowana-w-procesy/ 3

Ewaluacja EFS w liczbach Źródło: plany ewaluacji programów operacyjnych Źródło: Na podstawie badania ewaluacyjnego Metaanaliza wyników badań ewaluacyjnych współfinansowanych z EFS * dot. liczby dotychczas opracowanych raportów 4

Jakie obszary były najczęściej ewaluowane? Odsetek raportów z badań ewaluacyjnych odnoszących się do poszczególnych dziedzin tematycznych   5

Kompleksowo czy szczegółowo? www.canstockphoto.pl Dominacja badań z zakresu zarządzania i wdrażania (badanie obowiązkowe) Badania mało przekrojowe – przewaga badań dot. jednej dziedziny Odsetek raportów z badań ewaluacyjnych obejmujących daną liczbę dziedzin 6

Metodologia – nowe czy utarte ścieżki? Odsetek raportów, z zastosowaniem różnego rodzaju podejść metodologicznych Dominują wyraźnie dwa poziomy: badania oparte na deklaracjach wykorzystujące triangulację analizy wykorzystujące różnego rodzaju dane o charakterze urzędowym (np. zbierające dane o uczestnikach jak PEFS czy SL2014, czy o projektach w SIMIK lub SL2014, GUS, BDL) -> Niewielki odsetek badań wykorzystujących techniki kontrfaktyczne 7

W stronę jakości . Ocena jakości ewaluacji 8

Zmiany „na lepsze” 2007-2013 2014-2020 25% badań nie stosowało triangulacji danych Tylko 8% badań nie zastosowało triangulacji danych „Żelazny zestaw” badanych grup respondentów Obejmowanie badaniem bardziej różnorodnych grup respondentów Niedostatek badań, które badały relacje przyczynowo-skutkowe Większe zastosowanie TBE Niewystarczające stosowanie partycypacyjnego procesu wypracowywanie rekomendacji Większy udział ekspertów w wypracowanie rekomendacji. Stosowanie warsztatów/ panelów dyskusyjnych. 9

Rytualizacja procesu ewaluacji ? Lekcje i wyzwania Rytualizacja procesu ewaluacji ? Dotychczasowe doświadczenie: Ewaluacja jako rozbudowany i sformalizowany proces „Zagubiony” właściwy cel ewaluacji = hit the point but miss the target Lekcja na przyszłość: Zmniejszenie biurokratycznego wymiaru ewaluacji Lepsza diagnoza i spełnianie potrzeb informacyjnych Dla kogo są wyniki? - regulacja poziomu dostarczania wiedzy www.forsal.pll 10

Niska kompleksowość wiedzy Lekcje i wyzwania Niska kompleksowość wiedzy Dotychczasowe doświadczenie: Zbyt duża liczba wycinkowych ewaluacji = brak spojrzenia na całość procesów, patchworkowe zarządzanie Informacje szczegółowe vs. „przeładowanie” informacjami w raportach Niskie wykorzystanie istniejących danych Lekcja na przyszłość: Zwiększenie roli analiz i metaanaliz Lepsze planowanie tematów i zakresów badań Większa partycypacja odbiorców 11

Lekcje i wyzwania Rekomendacje – pomoc czy obowiązek? Dotychczasowe doświadczenie: Nadal niska jakość treści rekomendacji Proces zatwierdzania rekomendacji – wady i zalety Brak zainteresowania odbiorców wynikami badania Lekcja na przyszłość: Mniejsza liczba rekomendacji = bardziej priorytetowe wyzwania Nie tylko rekomendacje jako efekt badania Komunikacja! www.linkeldin.com 12

Na koniec o ewaluacji EFS w kilku słowach Narzędzie systemu uczenia się – odzwierciedla słabości LLL i FE (w tym EFS) jako całości Czas jako kluczowy warunek refleksji - silniejsze oddziaływanie w dłuższej perspektywie Nie samym raportem… - istotna rola procesu i komunikacji Pełni funkcję silniej wspierającą monitoring niż programowanie Niewielki wpływ na kwestie horyzontalne (przepisy prawa, polityki krajowe) Nie musi być afirmatywna – większa otwartość na ocenę Niedoceniona rola eksplanacyjna 13

Pomysły na przyszłość? Dla ewaluatorów Nacisk na ewaluację a nie na przedstawianie wyników ankiet = raport bez elementów oceny nie jest ewaluacją Przy rekomendacjach konieczność korzystania z innych źródeł informacji niż tylko proces badawczy – np. aktualne polityki, programy, ograniczenia budżetowe itp. Dla jednostek ewaluacyjnych Większa interakcja i współpraca na linii zamawiający – wykonawca = wspólna odpowiedzialność za efekt końcowy Rynek ewaluatora? = zostań ewaluatorem = więcej ewaluacji w jednostkach ewaluacyjnych. 14

Dziękuję za uwagę 15