Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym opracowanie: Agnieszka Haber prowadzący: Agnieszka Haber Maciej Szałaj 30 października.

Podobne prezentacje


Prezentacja na temat: "Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym opracowanie: Agnieszka Haber prowadzący: Agnieszka Haber Maciej Szałaj 30 października."— Zapis prezentacji:

1

2 Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym opracowanie: Agnieszka Haber prowadzący: Agnieszka Haber Maciej Szałaj 30 października 2008 Wrocław

3 Ewaluacja – podstawowe pojęcia Proces ewaluacji Raport ewaluacyjny Wykorzystanie wyników ewaluacji zakres szkolenia

4 część I pojęcia podstawowe

5 Ewaluacja to..... Proces zmierzający do stwierdzenia w jakim stopniu założone cele są rzeczywiście realizowane (R.W. Tyler; Basic Principles of Curriculum and Instruction) Proces określenia charakteru, uzyskiwaniu i dostarczaniu takich informacji, kt ó re pozwoliłyby na ocenę alternatywnych decyzji (D.L. Stufflebeam; Educational Evaluation: Theory and Practice) Wnikliwe badanie charakterystyki i zalet ewaluowanego programu ( … ) dostarczenie informacji na temat efektywności badanego obiektu, tak by zoptymalizować jego wyniki, jakość i sprawność działania. (A. Fink "Evaluation for Education and Psychology") Systematyczne badanie wartości, zalet ewaluo- wanego programu (Joint Committee on Standards for Educational Evaluation)

6 Ewaluacja – definicja UE / KE Rozporządzenie Rady Unii Europejskiej nr 1083 z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące EFRR, EFS oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999: Oceny mają na celu poprawę jakości, skuteczności i spójności pomocy publicznej funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoznacznym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko. 1083/2006/WE Art. 47 ust. 1 Definicja ewaluacji wg. Komisji Europejskiej: Ocena interwencji według jej rezultatów, oddziaływania oraz potrzeb, które ma/miała spełnić. KE 2000, KE 2004

7 Pojęcia pokrewne Audyt - sprawdzenie zgodności wykorzystania zasobów (głównie finansowych) z obowiązującymi przepisami prawnymi oraz określonymi standardami np. dotyczącymi zarządzania wykorzystaniem pomocy. Kontrola - porównuje stan faktyczny ze stanem wymaganym, może mieć charakter wycinkowy i dotyczyć jednego z aspektów funkcjonowania instytucji. Monitorowanie – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażania projektów i całego programu w aspekcie finansowym i rzeczowym, ma na celu zapewnienie zgodności realizacji programu z wcześniej zatwierdzonymi założeniami i celami.

8 Kontrola-monitoring-ewaluacja

9 Pojęcia pokrewne ewaluacja – monitoring – audyt różnice: zakres badania moment badania ramy badania sposób realizacji podmioty realizujące konsekwencje badania

10 Funkcje ewaluacji Formatywna – zapewnienie postępu – funkcja stymulowania usprawnień i rozwoju organizacyjnego Konkluzywna – selekcja lub sprawozdawczość – funkcja rozliczenia i egzekwowania odpowiedzialności Społeczno-polityczna – kształtowanie motywacji i uzyskanie poparcia społecznego Administracyjna – sprawowanie władzy

11 Zastosowania wspomaganie procesu podejmowania decyzji / planowanie, poprawa wdrażania i kontrola jakości / podniesienie skuteczności i efektywności działań identyfikacja słabych i mocnych stron wskazanie kierunków rozwoju sygnalizowanie pojawiających się problemów oszacowanie możliwości i ograniczeń określanie stopnia zgodności z przyjętymi założeniami badanie potrzeb zwiększanie profesjonalizmu świadczonych usług demokratyzacja procesu zarządzania element uczenia się i samodoskonalenia

12 Klasyfikacja ewaluacji

13 Klasyfikacja ewaluacji 1. przedmiot Ocena ex-ante SPO Rybołówstwo i Przetwórstwo Ryb Ocena procesu zarządzania projektami z zakresu infrastruktury transportowej w kontekście realizacji NPR-u Analiza problemów związanych z realizacją projektów infrastrukturalnych realizowanych w ramach ZPORR wynikających ze zmieniającej się stytuacji na rynku

14 Klasyfikacja ewaluacji 2. Cel przeprowadzania ewaluacji CELE EWALUACJI: poznawczy – zdobycie wiedzy na temat zasad funkcjonowania programów instrumentalny – wykorzystanie wyników oceny do podejmowania decyzji kontrolny – wykorzystanie wyników oceny do kontroli programu – sprawowania władzy EWALUACJA: FORMATYWNA ulepszanie programu i zapewnienie postępu KONKLUZYWNA sprawozdawczość lub selekcja (kontynuacja lub zaniechanie dalszej edycji programu)

15 Klasyfikacja ewaluacji 3. kryterium wykonawcy

16 Klasyfikacja ewaluacji 4. Termin przeprowadzania ewaluacji ex – ante – ocena szacunkowa przed rozpoczęciem programu mid – term – ocena w połowie realizacji programu ex – post – ocena pełna po zakończeniu programu on-going – ocena uzupełniająca, bieżąca

17 Ewaluacja ex-ante Przeprowadzana przed wdrażaniem programu. Ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb (sektora, beneficjentów) oraz spójna w zakresie planowanych celów i sposobów ich realizacji. Bada kontekst społeczny, gospodarczy, prawny. Służy identyfikacji potencjalnych trudności. Diagnozuje potrzeby i oczekiwania docelowej grupy odbiorców.

18 Ewaluacja on-going Przeprowadzana w trakcie realizacji programu. Służy identyfikacji aktualnych trudności realizacji przedsięwzięcia bądź ich kontekstu. Stanowi cenne źródło informacji użytecznych przy rozwiązywaniu aktualnych, bądź potencjalnych problemów. Może przyczynić się do szybkiej reakcji na pojawiające się problemy i bieżących modyfikacji realizacji interwencji. Daje możliwość bieżącej analizy pojawiających się efektów programu.

19 Ewaluacja mid-term Realizowana jest w połowie wdrażania interwencji. Poddaje analizie osiągnięte na tym etapie produkty i rezultaty. Dokonuje pierwszej oceny jakości realizacji programu. Ocenia poczynione na etapie programowania założenia (cele, wskaźniki). Diagnozuje kontekst realizacji przedsięwzięcia. Może przyczynić się do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń.

20 Ewaluacja ex-post Przeprowadzana po zakończeniu realizacji programu. Bada długotrwałe efekty (oddziaływanie) programu oraz ich trwałość. Ocenia skuteczność i efektywność interwencji oraz jej trafność i użyteczność. Ocenia na ile udało się osiągnąć założone cele. Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji.

21 Ramy badania ewaluacyjnego

22

23 Logika programów UE Potrzeby Cele Nakłady / Wkład (Zasoby) Działania Programu Produkty / Wyniki (Stworzone dobra i usługi) Rezultaty (Bezpośrednie i natychmiastowe) Oddziaływanie / Wpływ (efekty w długim okresie) Źródło: opracowanie K. Olejniczak na podstawie opracowanie własne na podstawie KE – DG Regio 2001

24 Ewaluacja a logika programów UE kryteria ewaluacji EWALUACJA: TRAFNOŚĆ EWALUACJA: UŻYTECZNOŚĆ I TRWAŁOŚĆ EWALUACJA: SKUTECZNOŚĆ EWALUACJA: WYDAJNOŚĆ Potrzeby CeleNakładyDziałania Produkty Rezultaty planowane Oddziaływanie planowane MONITORING i nieplanowane

25 Kryteria ewaluacji Najczęściej stosowane kryteria ewaluacji: Trafność (relevance) - kryterium to pozwala ocenić, w jakim stopniu przyjęte cele programu odpowiadają zidentyfikowanym problemom w obszarze objętym programem i/lub realnym potrzebom beneficjentów ex ante; ex-post Efektywność (efficiency) - kryterium to pozwala ocenić poziom ekonomiczności programu, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas mid–term; ex-post Skuteczność (effectiveness) - kryterium to pozwala ocenić, do jakiego stopnia cele przedsięwzięcia zdefiniowane na etapie programowania zostały osiągnięte mid–term; ex-post

26 Kryteria ewaluacji Najczęściej stosowane kryteria ewaluacji cd.: Oddziaływanie/wpływ (impact) – kryterium to pozwala ocenić związek pomiędzy celem projektu i celami ogólnymi, tj. stopień, w jakim korzyści odniesione przez docelowych beneficjentów miały szerszy ogólny wpływ na większą liczbę ludzi w danym sektorze, regionie lub w całym kraju mid–term; ex-post Trwałość efektów (sustainability) – kryterium to pozwala ocenić czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu tego projektu w dłuższym okresie na procesy rozwoju na poziomie sektora, regionu czy kraju ex- post

27 cele / wskaźniki Logika interwencji unijnych Źródło: opracowanie K. Olejniczak na podstawie KE – DG Regio 2001 Cele ogólne Nakłady / Wkład (Zasoby) Działania Programu Produkty / Wyniki (Wyprodukowane dobra i usługi) Rezultaty (Bezpośrednie i natychmiastowe) Oddziaływanie / Wpływ (efekty w długim okresie) Cele bezpośrednie Cele operacyjne Wskaźniki bazowe i kontekstu Wskaźniki działań Wskaźniki produktów Wskaźniki rezultatów Wskaźniki oddziaływania Wskaźniki nakładów

28 część II Podejścia badawcze, proces badania ewaluacyjnego oraz jego uczestnicy

29 Zakres tematyczny ewaluacji realizacji założeń programu (cele, wskaźniki) skuteczności i efektywności interwencji oraz jej trafności i użyteczności osiągniętych produktów i rezultatów kontekstu społecznego, gospodarczego, prawnego interwencji trudności realizacji przedsięwzięcia bądź ich kontekstu potrzeb i oczekiwań docelowej grupy odbiorców efektów (oczekiwane / nieoczekiwane) mocnych/ słabych stron interwencji kierunków rozwoju i modyfikacji przyszłych interwencji oddziaływania przedsięwzięcia i trwałości jego osiągnięć

30 PROCES EWALUACJI Plan ewaluacji Projekt ewaluacji Realizacja badania ewaluacyjnego Raport końcowy Wykorzystanie wyników ewaluacji Wdrażanie rekomendacji REALIZACJA TERENOWA ANALIZA OCENA WNIOSKI REKOMENDACJE wcześniejsze ewaluacje zakres monitoringu zakres audytu dane statystyczne promocja wyników

31 Etapy planowania ewaluacji określenie celów ewaluacji wyznaczenie czasu badania określenie zakresu ewaluacji określenie odbiorców ewaluacji identyfikacja dostępnych danych wyjściowych (dokumenty, raporty monitoringowe, dane statystyczne, ekspertyzy itd.) określenie regulacji instytucjonalnych oszacowanie posiadanych zasobów (czasowych, finansowych, instytucjonalnych, technicznych) sformułowanie projektu ewaluacji określenie sposobu wykorzystania wyników ewaluacji A następnie: określenie warunków kontraktu (terms of reference) wybranie ewaluatora

32 Elementy projektu ewaluacji opis przedmiotu ewaluacji określenie strategii ewaluacji określenie partnerów/uczestników/odbiorców ewaluacji kodyfikacja kluczowych pytań ewaluacyjnych (badawczych) określenie kryteriów ewaluacji dobór metod badawczych określenie próby badawczej określenie zasobów instytucjonalnych, czasowych, ludzkich, finansowych opracowanie harmonogramu prac wyspecyfikowanie zakresu zadań, wymagań i procedur prowadzenia danego badania ewaluacyjnego określenie formatu raportu określenie sposobów wykorzystania i promocji wyników ewaluacji

33 ! ? ? ? ?? ? ? ? ? ? ? ? ?? ? ? Warunki realizacji odbiorcy wniosków i rekomendacji

34 Etapy realizacji ewaluacji Strukturalizację Obserwację Analizę Ocenę

35 Etapy realizacji ewaluacji fazy realizacji badania Strukturalizacja wybór i określenie kryteriów i elementów, które mają być poddane ewaluacji; dookreślenie sposobu i wskaźników za pomocą których będzie badane dane zjawisko; dopracowanie metodologii badania ewaluacyjnego; wybór / opracowanie narzędzi obserwacji; określenie sposobu dotarcia do respondentów badania; Stosowane metody ewaluacyjne Analiza SWOT Matryca logiczna Mapa oddziaływania Metaplan

36 Etapy realizacji ewaluacji fazy realizacji badania Strukturalizacja Każda interwencja/program jest wielowymiarową rzeczywistością, dokonanie oceny wiąże się z zamknięciem jej w pewnych ramach. Wiąże się to zawsze kwestią trudnych wyborów. Ocena każdej interwencji dokonywana jest w oparciu o usystematyzowane: pytania kryteria wskaźniki wybór metody

37 Etapy realizacji ewaluacji fazy realizacji badania Strukturalizacja Określając przedmiot oceny musimy podjąć decyzje, jakie są nasze potrzeby informacyjne odnośnie danej interwencji i jak szeroko przeprowadzimy nasze analizy. Należy określić czy: i jaką perspektywę czasową oddziaływania i rezultatów bierzemy pod uwagę odnosimy się do jednego czy też kilku elementów interwencji odnosimy się do jednej czy tez kilku grup odbiorców (beneficjenci, partnerzy itd..), bierzemy pod uwagę wyłącznie badaną interwencje czy tez uwzględniamy ewentualne jego synergie z innymi interwencjami, bierzemy pod uwagę regiony, grupy osób, które nie są/były objęte programem, ale mogą odczuwać jego oddziaływanie, bierzemy pod uwagę kwestie związane z kolejnym cyklem programowania itp.

38 Etapy realizacji ewaluacji fazy realizacji badania Obserwacja Identyfikacja źródeł / zbieranie dostępnych danych zastanych /dokumentacji programowej, danych z monitoringu, wyników wcześniejszych wyników ewaluacji, danych statystycznych, ekspertyz itd./; zebranie przez ewaluatorów danych koniecznych do analizy – badanie terenowe; Stosowane metody ewaluacyjne Metody ilościowe Metody jakościowe

39 Etapy realizacji ewaluacji fazy realizacji badania Analiza interpretacja zebranych danych – uchwycenie różnic weryfikacja hipotez; analiza przyczynowo-skutkowa; oszacowanie efektów programu; Stosowane metody ewaluacyjne Metody statystyczne Metody analizy jakościowej GIS – System Informacji Geograficznej Modele ekonomiczne Grupy porównawcze Panel ekspertów

40 Etapy realizacji ewaluacji fazy realizacji badania Ocena ocena efektów programu w odniesieniu do uprzednio sformułowanych pytań ewaluacyjnych w oparciu o przyjęte kryteria oceny. Stosowane metody ewaluacyjne Analiza kosztów i korzyści Analiza kosztów i efektywności Analiza wielokryteriowa Panel ekspertów Benchmarking

41 Etapy realizacji ewaluacji fazy realizacji badania Ocena powinna być przejrzysta trafna bezstronna / obiektywna /niezależna uzasadniona – wynikająca z faktów oparta na wynikach badań oparta na wiarygodnych danych szczegółowej analizie

42 ewaluacja to proces od wszystkich elementów tego procesu zależą wyniki ewaluacji i w konsekwencji jej użyteczność końcowym produktem procesu ewaluacji jest raport końcowy

43 część III Raport ewaluacyjny

44 Aktorzy sceny ewaluacyjnej INNI ZAINTERESOWANI ZAMAWIAJĄCY EWALUATORZY EWALUOWANI środowisko zewnętrzne kontekst społeczno – polityczny środowisko instytucji zamawiającej kontekst instytucjonalny

45 ODBIORCY RAPORTU EWALUACYJNEGO wyników ewaluacji wyników ewaluacji rekomendacji rekomendacji wniosków wniosków metodologii ewaluacji metodologii ewaluacji Raport ewaluacyjny odbiorcy ewaluacji

46 Proces ewaluacji etapy projektowania/konstrukcji/wykorzystania raportu Projekt zakresu raportu Opracowanie raportu wstępnego Wstępna wersja raportu końcowego Prezentacja raportu końcowego Raport końcowy (ostateczna wersja) REALIZACJAANALIZA OCENA PROGRAMU WNIOSKI REKOMENDACJE PROMOCJA RAPORTU ETAPY ODBIORU RAPORTUKOŃCOWEGO ETAPY ODBIORU RAPORTUKOŃCOWEGO

47 Typy raportów klasyfikacja ze względu na moment w systemie oceny i fazie badania moment w systemie oceny interwencji w procesie realizacji raporty podsumowujące raporty metodologiczne raporty cykliczne/cząstkowe raporty z badań terenowych raporty wew. / zewn. raporty końcowe

48 Raport ewaluacyjny cechy dobrego raportu ?

49 Raport ewaluacyjny europejskie standardy RAPORT EWALUACYJNYC POWINIEN: być związany z tematem, opierać się na dokładnej analizie i odpowiadać standardom naukowym i ewaluacyjnymbyć związany z tematem, opierać się na dokładnej analizie i odpowiadać standardom naukowym i ewaluacyjnym opisywać przesłanki ewaluacji, jej przedmiot, jak cel, pytania badawcze, procedurę badania (metodologię), rezultaty oraz powinien przedstawiać uzasadnione wnioski (wszystko to powinno mieć przystępną i zrozumiała formę)opisywać przesłanki ewaluacji, jej przedmiot, jak cel, pytania badawcze, procedurę badania (metodologię), rezultaty oraz powinien przedstawiać uzasadnione wnioski (wszystko to powinno mieć przystępną i zrozumiała formę) podawać dokładne źródła informacji. Zebrane dane powinny być zaadaptowane do metodologii badania bez obniżenia wiarygodności, czy odpowiedniościpodawać dokładne źródła informacji. Zebrane dane powinny być zaadaptowane do metodologii badania bez obniżenia wiarygodności, czy odpowiedniości

50 Raport ewaluacyjny europejskie standardy RAPORT EWALUACYJNYC POWINIEN: zawierać dostatecznie szczegółowy i krytyczny opis i ocenę wykorzystanych metod, tak by umożliwić odbiorcom ocenienie wagi przedstawionych dowodów, na których bazują wnioski i rekomendacjezawierać dostatecznie szczegółowy i krytyczny opis i ocenę wykorzystanych metod, tak by umożliwić odbiorcom ocenienie wagi przedstawionych dowodów, na których bazują wnioski i rekomendacje zawierać zidentyfikowane przykłady good practice obrazujące przedstawiane tezy, tym niemniej raport nie powinien - mimo częstych nacisków na ewaluatorów by produkować historie sukcesów - stać się przewodnikiem w zakresie good practise, gdyż jest wówczas odbierany podejrzliwie przez społeczeństwo i decydentówzawierać zidentyfikowane przykłady good practice obrazujące przedstawiane tezy, tym niemniej raport nie powinien - mimo częstych nacisków na ewaluatorów by produkować historie sukcesów - stać się przewodnikiem w zakresie good practise, gdyż jest wówczas odbierany podejrzliwie przez społeczeństwo i decydentów podawać dokładne źródła informacji (tak by można je było zweryfikować). Zebrane dane powinny być dostosowane do metodologii badania bez obniżania ich wiarygodności i adekwatnościpodawać dokładne źródła informacji (tak by można je było zweryfikować). Zebrane dane powinny być dostosowane do metodologii badania bez obniżania ich wiarygodności i adekwatności

51 Raport ewaluacyjny europejskie standardy Proces dedukcji i interpretacji rezultatów powinien być opisany i wyjaśniony. Powinien opierać się na szczegółowo zaprezentowanej hipotezie.Proces dedukcji i interpretacji rezultatów powinien być opisany i wyjaśniony. Powinien opierać się na szczegółowo zaprezentowanej hipotezie. Ostateczne wnioski i rekomendacje są opiniami ewaluatorów, więc nie powinny być zmieniane bez ich wiedzy i zgody.Ostateczne wnioski i rekomendacje są opiniami ewaluatorów, więc nie powinny być zmieniane bez ich wiedzy i zgody. Wnioski i rekomendacje powinny być jasne, bezstronne i wystarczająco precyzyjne by można je było wdrożyć.Wnioski i rekomendacje powinny być jasne, bezstronne i wystarczająco precyzyjne by można je było wdrożyć.

52 PROCES EWALUACJI Plan ewaluacji Projekt ewaluacji Realizacja badania ewaluacyjnego Raport końcowy Wykorzystanie wyników ewaluacji Wdrażanie rekomendacji REALIZACJA TERENOWA ANALIZA OCENA WNIOSKI REKOMENDACJE wcześniejsze ewaluacje zakres monitoringu zakres audytu dane statystyczne promocja wyników

53 część IV Wykorzystanie wyników ewaluacji

54 informacje wiedza

55

56 promocja wyników

57 więcej na temat ewaluacji w publikacji PARP

58

59 Raporty z ewaluacji

60 /

61 Baza raportów ewaluacyjnych Fundusze Strukturalne 8F02-DEBECDCE56AF/41792/bazawww1912.xls

62 Dziękujemy za uwagę


Pobierz ppt "Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym opracowanie: Agnieszka Haber prowadzący: Agnieszka Haber Maciej Szałaj 30 października."

Podobne prezentacje


Reklamy Google