opracowanie: Agnieszka Haber prowadzący: Maciej Szałaj

Prezentacja na temat: "opracowanie: Agnieszka Haber prowadzący: Maciej Szałaj"— Zapis prezentacji:

1 Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym
opracowanie: Agnieszka Haber prowadzący: Maciej Szałaj 30 października 2008 Wrocław

2 zakres szkolenia Ewaluacja – podstawowe pojęcia Proces ewaluacji Raport ewaluacyjny Wykorzystanie wyników ewaluacji

3 część I pojęcia podstawowe

4 Ewaluacja to..... Proces zmierzający do stwierdzenia w jakim stopniu założone cele są rzeczywiście realizowane (R.W. Tyler; Basic Principles of Curriculum and Instruction) Proces określenia charakteru, uzyskiwaniu i dostarczaniu takich informacji, które pozwoliłyby na ocenę alternatywnych decyzji (D.L. Stufflebeam; Educational Evaluation: Theory and Practice) Wnikliwe badanie charakterystyki i zalet ewaluowanego programu (…) dostarczenie informacji na temat efektywności badanego obiektu, tak by zoptymalizować jego wyniki, jakość i sprawność działania. (A. Fink "Evaluation for Education and Psychology") Systematyczne badanie wartości, zalet ewaluo-wanego programu (Joint Committee on Standards for Educational Evaluation)

5 Ewaluacja – definicja UE / KE
Rozporządzenie Rady Unii Europejskiej nr z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące EFRR, EFS oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999: Oceny mają na celu poprawę jakości, skuteczności i spójności pomocy publicznej funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoznacznym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko. 1083/2006/WE Art. 47 ust. 1 Definicja ewaluacji wg. Komisji Europejskiej: Ocena interwencji według jej rezultatów, oddziaływania oraz potrzeb, które ma/miała spełnić. KE 2000, KE 2004

6 Pojęcia pokrewne Audyt - sprawdzenie zgodności wykorzystania zasobów (głównie finansowych) z obowiązującymi przepisami prawnymi oraz określonymi standardami np. dotyczącymi zarządzania wykorzystaniem pomocy. Kontrola - porównuje stan faktyczny ze stanem wymaganym, może mieć charakter wycinkowy i dotyczyć jednego z aspektów funkcjonowania instytucji. Monitorowanie – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażania projektów i całego programu w aspekcie finansowym i rzeczowym, ma na celu zapewnienie zgodności realizacji programu z wcześniej zatwierdzonymi założeniami i celami.

7 Kontrola-monitoring-ewaluacja

8 Pojęcia pokrewne ewaluacja – monitoring – audyt
różnice: zakres badania moment badania ramy badania sposób realizacji podmioty realizujące konsekwencje badania

9 Funkcje ewaluacji Formatywna – zapewnienie postępu – funkcja stymulowania usprawnień i rozwoju organizacyjnego Konkluzywna – selekcja lub sprawozdawczość – funkcja rozliczenia i egzekwowania odpowiedzialności Społeczno-polityczna – kształtowanie motywacji i uzyskanie poparcia społecznego Administracyjna – sprawowanie władzy

10 Zastosowania wspomaganie procesu podejmowania decyzji / planowanie, poprawa wdrażania i kontrola jakości / podniesienie skuteczności i efektywności działań identyfikacja słabych i mocnych stron wskazanie kierunków rozwoju sygnalizowanie pojawiających się problemów oszacowanie możliwości i ograniczeń określanie stopnia zgodności z przyjętymi założeniami badanie potrzeb zwiększanie profesjonalizmu świadczonych usług demokratyzacja procesu zarządzania element uczenia się i samodoskonalenia

11 Klasyfikacja ewaluacji

12 Klasyfikacja ewaluacji 1. przedmiot
„Ocena ex-ante SPO Rybołówstwo i Przetwórstwo Ryb ” „Ocena procesu zarządzania projektami z zakresu infrastruktury transportowej w kontekście realizacji NPR-u” „Analiza problemów związanych z realizacją projektów infrastrukturalnych realizowanych w ramach ZPORR wynikających ze zmieniającej się stytuacji na rynku”

13 Klasyfikacja ewaluacji
2. Cel przeprowadzania ewaluacji CELE EWALUACJI: poznawczy – zdobycie wiedzy na temat zasad funkcjonowania programów instrumentalny – wykorzystanie wyników oceny do podejmowania decyzji kontrolny – wykorzystanie wyników oceny do kontroli programu – sprawowania władzy EWALUACJA: FORMATYWNA ulepszanie programu i zapewnienie postępu KONKLUZYWNA sprawozdawczość lub selekcja (kontynuacja lub zaniechanie dalszej edycji programu)

14 Klasyfikacja ewaluacji 3. kryterium wykonawcy

15 Klasyfikacja ewaluacji
4. Termin przeprowadzania ewaluacji ex – ante – ocena szacunkowa przed rozpoczęciem programu mid – term – ocena w połowie realizacji programu ex – post – ocena pełna po zakończeniu programu on-going – ocena uzupełniająca, bieżąca

16 Ewaluacja ex-ante Przeprowadzana przed wdrażaniem programu.
Ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb (sektora, beneficjentów) oraz spójna w zakresie planowanych celów i sposobów ich realizacji. Bada kontekst społeczny, gospodarczy, prawny. Służy identyfikacji potencjalnych trudności. Diagnozuje potrzeby i oczekiwania docelowej grupy odbiorców.

17 Ewaluacja on-going Przeprowadzana w trakcie realizacji programu.
Służy identyfikacji aktualnych trudności realizacji przedsięwzięcia bądź ich kontekstu. Stanowi cenne źródło informacji użytecznych przy rozwiązywaniu aktualnych, bądź potencjalnych problemów. Może przyczynić się do szybkiej reakcji na pojawiające się problemy i bieżących modyfikacji realizacji interwencji. Daje możliwość bieżącej analizy pojawiających się efektów programu.

18 Ewaluacja mid-term Realizowana jest w połowie wdrażania interwencji.
Poddaje analizie osiągnięte na tym etapie produkty i rezultaty. Dokonuje pierwszej oceny jakości realizacji programu. Ocenia poczynione na etapie programowania założenia (cele, wskaźniki). Diagnozuje kontekst realizacji przedsięwzięcia. Może przyczynić się do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń.

19 Ewaluacja ex-post Przeprowadzana po zakończeniu realizacji programu.
Bada długotrwałe efekty (oddziaływanie) programu oraz ich trwałość. Ocenia skuteczność i efektywność interwencji oraz jej trafność i użyteczność. Ocenia na ile udało się osiągnąć założone cele. Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji.

20 Ramy badania ewaluacyjnego

21

22 Logika programów UE Oddziaływanie / Wpływ (efekty w długim okresie)
Potrzeby Rezultaty (Bezpośrednie i natychmiastowe) PRZYKŁAD: z NETWINa Produkty / Wyniki (Stworzone dobra i usługi) Nakłady / Wkład (Zasoby) Działania Programu Cele Źródło: opracowanie K. Olejniczak na podstawie opracowanie własne na podstawie KE – DG Regio 2001

23 Ewaluacja a logika programów UE kryteria ewaluacji
Oddziaływanie planowane Potrzeby i nieplanowane Rezultaty planowane MONITORING i nieplanowane Cele Nakłady Działania Produkty PRZYKŁAD: z NETWINa EWALUACJA: WYDAJNOŚĆ EWALUACJA:TRAFNOŚĆ EWALUACJA: SKUTECZNOŚĆ EWALUACJA: UŻYTECZNOŚĆ I TRWAŁOŚĆ

24 Kryteria ewaluacji Najczęściej stosowane kryteria ewaluacji:
Trafność (relevance) - kryterium to pozwala ocenić, w jakim stopniu przyjęte cele programu odpowiadają zidentyfikowanym problemom w obszarze objętym programem i/lub realnym potrzebom beneficjentów • ex ante; ex-post Efektywność (efficiency) - kryterium to pozwala ocenić poziom „ekonomiczności” programu, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas • mid–term; ex-post Skuteczność (effectiveness) - kryterium to pozwala ocenić, do jakiego stopnia cele przedsięwzięcia zdefiniowane na etapie programowania zostały osiągnięte • mid–term; ex-post

25 Kryteria ewaluacji Najczęściej stosowane kryteria ewaluacji cd.:
Oddziaływanie/wpływ (impact) – kryterium to pozwala ocenić związek pomiędzy celem projektu i celami ogólnymi, tj. stopień, w jakim korzyści odniesione przez docelowych beneficjentów miały szerszy ogólny wpływ na większą liczbę ludzi w danym sektorze, regionie lub w całym kraju • mid–term; ex-post Trwałość efektów (sustainability) – kryterium to pozwala ocenić czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu tego projektu w dłuższym okresie na procesy rozwoju na poziomie sektora, regionu czy kraju • ex-post

26 cele / wskaźniki Logika interwencji unijnych
Oddziaływanie / Wpływ (efekty w długim okresie) Cele ogólne Wskaźniki oddziaływania Rezultaty (Bezpośrednie i natychmiastowe) Cele bezpośrednie Wskaźniki rezultatów Produkty / Wyniki (Wyprodukowane dobra i usługi) Cele operacyjne Wskaźniki produktów Działania Programu Wskaźniki działań Nakłady / Wkład (Zasoby) Wskaźniki nakładów Wskaźniki bazowe i kontekstu Źródło: opracowanie K. Olejniczak na podstawie KE – DG Regio 2001

27 część II Podejścia badawcze, proces badania ewaluacyjnego oraz jego uczestnicy

28 Zakres tematyczny ewaluacji
realizacji założeń programu (cele, wskaźniki) skuteczności i efektywności interwencji oraz jej trafności i użyteczności osiągniętych produktów i rezultatów kontekstu społecznego, gospodarczego, prawnego interwencji trudności realizacji przedsięwzięcia bądź ich kontekstu potrzeb i oczekiwań docelowej grupy odbiorców efektów (oczekiwane / nieoczekiwane) mocnych/ słabych stron interwencji kierunków rozwoju i modyfikacji przyszłych interwencji oddziaływania przedsięwzięcia i trwałości jego osiągnięć

29 Wdrażanie rekomendacji
Plan ewaluacji Projekt ewaluacji Realizacja badania ewaluacyjnego Raport końcowy Wykorzystanie wyników ewaluacji Wdrażanie rekomendacji wcześniejsze ewaluacje zakres monitoringu zakres audytu dane statystyczne PROCES EWALUACJI REALIZACJA TERENOWA  ANALIZA OCENA WNIOSKI REKOMENDACJE promocja wyników

30 Etapy planowania ewaluacji
określenie celów ewaluacji wyznaczenie czasu badania określenie zakresu ewaluacji określenie odbiorców ewaluacji identyfikacja dostępnych danych wyjściowych (dokumenty, raporty monitoringowe, dane statystyczne, ekspertyzy itd.) określenie regulacji instytucjonalnych oszacowanie posiadanych zasobów (czasowych, finansowych, instytucjonalnych, technicznych) sformułowanie projektu ewaluacji określenie sposobu wykorzystania wyników ewaluacji A następnie: określenie warunków kontraktu (terms of reference) wybranie ewaluatora

31 Elementy projektu ewaluacji
opis przedmiotu ewaluacji określenie strategii ewaluacji określenie partnerów/uczestników/odbiorców ewaluacji kodyfikacja kluczowych pytań ewaluacyjnych (badawczych) określenie kryteriów ewaluacji dobór metod badawczych określenie próby badawczej określenie zasobów instytucjonalnych, czasowych, ludzkich, finansowych opracowanie harmonogramu prac wyspecyfikowanie zakresu zadań, wymagań i procedur prowadzenia danego badania ewaluacyjnego określenie formatu raportu określenie sposobów wykorzystania i promocji wyników ewaluacji

32 odbiorcy wniosków i rekomendacji
? ? ? ? Warunki realizacji ? ? ? ? ! ? ? ? ? ? ? ? ?

33 Etapy realizacji ewaluacji
Strukturalizację Obserwację Analizę Ocenę

34 Etapy realizacji ewaluacji fazy realizacji badania
Strukturalizacja wybór i określenie kryteriów i elementów, które mają być poddane ewaluacji; dookreślenie sposobu i wskaźników za pomocą których będzie badane dane zjawisko; dopracowanie metodologii badania ewaluacyjnego; wybór / opracowanie narzędzi obserwacji; określenie sposobu dotarcia do respondentów badania; Stosowane metody ewaluacyjne Analiza SWOT Matryca logiczna Mapa oddziaływania Metaplan

35 Etapy realizacji ewaluacji fazy realizacji badania
Strukturalizacja Każda interwencja/program jest wielowymiarową rzeczywistością, dokonanie oceny wiąże się z zamknięciem jej w pewnych ramach. Wiąże się to zawsze kwestią trudnych wyborów. Ocena każdej interwencji dokonywana jest w oparciu o usystematyzowane: pytania kryteria wskaźniki wybór metody

36 Etapy realizacji ewaluacji fazy realizacji badania
Strukturalizacja Określając przedmiot oceny musimy podjąć decyzje, jakie są nasze potrzeby informacyjne odnośnie danej interwencji i jak szeroko przeprowadzimy nasze analizy. Należy określić czy: i jaką perspektywę czasową oddziaływania i rezultatów bierzemy pod uwagę odnosimy się do jednego czy też kilku elementów interwencji odnosimy się do jednej czy tez kilku grup odbiorców (beneficjenci, partnerzy itd..), bierzemy pod uwagę wyłącznie badaną interwencje czy tez uwzględniamy ewentualne jego synergie z innymi interwencjami, bierzemy pod uwagę regiony, grupy osób, które nie są/były objęte programem, ale mogą odczuwać jego oddziaływanie, bierzemy pod uwagę kwestie związane z kolejnym cyklem programowania itp.

37 Etapy realizacji ewaluacji fazy realizacji badania
Obserwacja Identyfikacja źródeł / zbieranie dostępnych danych zastanych /dokumentacji programowej, danych z monitoringu, wyników wcześniejszych wyników ewaluacji, danych statystycznych, ekspertyz itd./; zebranie przez ewaluatorów danych koniecznych do analizy – badanie terenowe; Stosowane metody ewaluacyjne Metody ilościowe Metody jakościowe

38 Etapy realizacji ewaluacji fazy realizacji badania
Analiza interpretacja zebranych danych – uchwycenie różnic weryfikacja hipotez; analiza przyczynowo-skutkowa; oszacowanie efektów programu; Stosowane metody ewaluacyjne Metody statystyczne Metody analizy jakościowej GIS – System Informacji Geograficznej Modele ekonomiczne Grupy porównawcze Panel ekspertów

39 Etapy realizacji ewaluacji fazy realizacji badania
Ocena ocena efektów programu w odniesieniu do uprzednio sformułowanych pytań ewaluacyjnych w oparciu o przyjęte kryteria oceny. Stosowane metody ewaluacyjne Analiza kosztów i korzyści Analiza kosztów i efektywności Analiza wielokryteriowa Panel ekspertów Benchmarking

40 Etapy realizacji ewaluacji fazy realizacji badania
Ocena powinna być przejrzysta trafna bezstronna / obiektywna /niezależna uzasadniona – wynikająca z faktów oparta na wynikach badań oparta na wiarygodnych danych szczegółowej analizie

41 ewaluacja to proces od wszystkich elementów tego procesu zależą wyniki ewaluacji i w konsekwencji jej użyteczność końcowym produktem procesu ewaluacji jest raport końcowy

42 część III Raport ewaluacyjny

43 Aktorzy sceny ewaluacyjnej
środowisko zewnętrzne środowisko instytucji zamawiającej ZAMAWIAJĄCY EWALUATORZY EWALUOWANI INNI ZAINTERESOWANI kontekst społeczno – polityczny kontekst instytucjonalny

44 ODBIORCY RAPORTU EWALUACYJNEGO
Raport ewaluacyjny odbiorcy ewaluacji ODBIORCY RAPORTU EWALUACYJNEGO wyników ewaluacji rekomendacji wniosków metodologii ewaluacji

45 Proces ewaluacji etapy projektowania/konstrukcji/wykorzystania raportu
Projekt zakresu raportu Opracowanie raportu wstępnego Wstępna wersja raportu końcowego Prezentacja raportu końcowego Raport końcowy (ostateczna wersja) REALIZACJA ANALIZA OCENA PROGRAMU WNIOSKI REKOMENDACJE ETAPY ODBIORU RAPORTU KOŃCOWEGO PROMOCJA RAPORTU

46 Typy raportów klasyfikacja ze względu na moment w systemie oceny i fazie badania
w systemie oceny interwencji w procesie realizacji raporty podsumowujące raporty metodologiczne raporty cykliczne/cząstkowe raporty z badań terenowych raporty wew. / zewn raporty końcowe

47 Raport ewaluacyjny cechy dobrego raportu
?

48 Raport ewaluacyjny europejskie standardy
RAPORT EWALUACYJNYC POWINIEN: być związany z tematem, opierać się na dokładnej analizie i odpowiadać standardom naukowym i ewaluacyjnym opisywać przesłanki ewaluacji, jej przedmiot, jak cel, pytania badawcze, procedurę badania (metodologię), rezultaty oraz powinien przedstawiać uzasadnione wnioski (wszystko to powinno mieć przystępną i zrozumiała formę) podawać dokładne źródła informacji. Zebrane dane powinny być zaadaptowane do metodologii badania bez obniżenia wiarygodności, czy odpowiedniości

49 Raport ewaluacyjny europejskie standardy
RAPORT EWALUACYJNYC POWINIEN: zawierać dostatecznie szczegółowy i krytyczny opis i ocenę wykorzystanych metod, tak by umożliwić odbiorcom ocenienie wagi przedstawionych dowodów, na których bazują wnioski i rekomendacje zawierać zidentyfikowane przykłady good practice obrazujące przedstawiane tezy, tym niemniej raport nie powinien - mimo częstych nacisków na ewaluatorów by „produkować historie sukcesów” - stać się przewodnikiem w zakresie good practise, gdyż jest wówczas odbierany podejrzliwie przez społeczeństwo i decydentów podawać dokładne źródła informacji (tak by można je było zweryfikować). Zebrane dane powinny być dostosowane do metodologii badania bez obniżania ich wiarygodności i adekwatności

50 Raport ewaluacyjny europejskie standardy
Proces dedukcji i interpretacji rezultatów powinien być opisany i wyjaśniony. Powinien opierać się na szczegółowo zaprezentowanej hipotezie. Ostateczne wnioski i rekomendacje są opiniami ewaluatorów, więc nie powinny być zmieniane bez ich wiedzy i zgody. Wnioski i rekomendacje powinny być jasne, bezstronne i wystarczająco precyzyjne by można je było wdrożyć.

51 Wdrażanie rekomendacji
Plan ewaluacji Projekt ewaluacji Realizacja badania ewaluacyjnego Raport końcowy Wykorzystanie wyników ewaluacji Wdrażanie rekomendacji wcześniejsze ewaluacje zakres monitoringu zakres audytu dane statystyczne PROCES EWALUACJI REALIZACJA TERENOWA  ANALIZA OCENA WNIOSKI REKOMENDACJE promocja wyników

52 część IV Wykorzystanie wyników ewaluacji

53 informacje wiedza

54

55 promocja wyników

56 więcej na temat ewaluacji w publikacji PARP

57 więcej na temat ewaluacji w publikacji PARP

58 Raporty z ewaluacji

59

60 Baza raportów ewaluacyjnych Fundusze Strukturalne

61 Dziękujemy za uwagę agnieszka_haber@parp.gov.pl