Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym opracowanie: Agnieszka Haber prowadzący: Maciej Szałaj 30 października 2008 Wrocław

zakres szkolenia Ewaluacja – podstawowe pojęcia Proces ewaluacji Raport ewaluacyjny Wykorzystanie wyników ewaluacji

część I pojęcia podstawowe

Ewaluacja to..... Proces zmierzający do stwierdzenia w jakim stopniu założone cele są rzeczywiście realizowane (R.W. Tyler; Basic Principles of Curriculum and Instruction) Proces określenia charakteru, uzyskiwaniu i dostarczaniu takich informacji, które pozwoliłyby na ocenę alternatywnych decyzji (D.L. Stufflebeam; Educational Evaluation: Theory and Practice) Wnikliwe badanie charakterystyki i zalet ewaluowanego programu (…) dostarczenie informacji na temat efektywności badanego obiektu, tak by zoptymalizować jego wyniki, jakość i sprawność działania. (A. Fink "Evaluation for Education and Psychology") Systematyczne badanie wartości, zalet ewaluo-wanego programu (Joint Committee on Standards for Educational Evaluation)

Ewaluacja – definicja UE / KE Rozporządzenie Rady Unii Europejskiej nr 1083 z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące EFRR, EFS oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999: Oceny mają na celu poprawę jakości, skuteczności i spójności pomocy publicznej funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoznacznym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko. 1083/2006/WE Art. 47 ust. 1 Definicja ewaluacji wg. Komisji Europejskiej: Ocena interwencji według jej rezultatów, oddziaływania oraz potrzeb, które ma/miała spełnić. KE 2000, KE 2004

Pojęcia pokrewne Audyt - sprawdzenie zgodności wykorzystania zasobów (głównie finansowych) z obowiązującymi przepisami prawnymi oraz określonymi standardami np. dotyczącymi zarządzania wykorzystaniem pomocy. Kontrola - porównuje stan faktyczny ze stanem wymaganym, może mieć charakter wycinkowy i dotyczyć jednego z aspektów funkcjonowania instytucji. Monitorowanie – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażania projektów i całego programu w aspekcie finansowym i rzeczowym, ma na celu zapewnienie zgodności realizacji programu z wcześniej zatwierdzonymi założeniami i celami.

Kontrola-monitoring-ewaluacja

Pojęcia pokrewne ewaluacja – monitoring – audyt różnice: zakres badania moment badania ramy badania sposób realizacji podmioty realizujące konsekwencje badania

Funkcje ewaluacji Formatywna – zapewnienie postępu – funkcja stymulowania usprawnień i rozwoju organizacyjnego Konkluzywna – selekcja lub sprawozdawczość – funkcja rozliczenia i egzekwowania odpowiedzialności Społeczno-polityczna – kształtowanie motywacji i uzyskanie poparcia społecznego Administracyjna – sprawowanie władzy http://www.ssc.govt.nz

Zastosowania wspomaganie procesu podejmowania decyzji / planowanie, poprawa wdrażania i kontrola jakości / podniesienie skuteczności i efektywności działań identyfikacja słabych i mocnych stron wskazanie kierunków rozwoju sygnalizowanie pojawiających się problemów oszacowanie możliwości i ograniczeń określanie stopnia zgodności z przyjętymi założeniami badanie potrzeb zwiększanie profesjonalizmu świadczonych usług demokratyzacja procesu zarządzania element uczenia się i samodoskonalenia

Klasyfikacja ewaluacji

Klasyfikacja ewaluacji 1. przedmiot „Ocena ex-ante SPO Rybołówstwo i Przetwórstwo Ryb 2004-2006” „Ocena procesu zarządzania projektami z zakresu infrastruktury transportowej w kontekście realizacji NPR-u” „Analiza problemów związanych z realizacją projektów infrastrukturalnych realizowanych w ramach ZPORR wynikających ze zmieniającej się stytuacji na rynku”

Klasyfikacja ewaluacji 2. Cel przeprowadzania ewaluacji CELE EWALUACJI: poznawczy – zdobycie wiedzy na temat zasad funkcjonowania programów instrumentalny – wykorzystanie wyników oceny do podejmowania decyzji kontrolny – wykorzystanie wyników oceny do kontroli programu – sprawowania władzy EWALUACJA: FORMATYWNA ulepszanie programu i zapewnienie postępu KONKLUZYWNA sprawozdawczość lub selekcja (kontynuacja lub zaniechanie dalszej edycji programu)

Klasyfikacja ewaluacji 3. kryterium wykonawcy

Klasyfikacja ewaluacji 4. Termin przeprowadzania ewaluacji ex – ante – ocena szacunkowa przed rozpoczęciem programu mid – term – ocena w połowie realizacji programu ex – post – ocena pełna po zakończeniu programu on-going – ocena uzupełniająca, bieżąca

Ewaluacja ex-ante Przeprowadzana przed wdrażaniem programu. Ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb (sektora, beneficjentów) oraz spójna w zakresie planowanych celów i sposobów ich realizacji. Bada kontekst społeczny, gospodarczy, prawny. Służy identyfikacji potencjalnych trudności. Diagnozuje potrzeby i oczekiwania docelowej grupy odbiorców.

Ewaluacja on-going Przeprowadzana w trakcie realizacji programu. Służy identyfikacji aktualnych trudności realizacji przedsięwzięcia bądź ich kontekstu. Stanowi cenne źródło informacji użytecznych przy rozwiązywaniu aktualnych, bądź potencjalnych problemów. Może przyczynić się do szybkiej reakcji na pojawiające się problemy i bieżących modyfikacji realizacji interwencji. Daje możliwość bieżącej analizy pojawiających się efektów programu.

Ewaluacja mid-term Realizowana jest w połowie wdrażania interwencji. Poddaje analizie osiągnięte na tym etapie produkty i rezultaty. Dokonuje pierwszej oceny jakości realizacji programu. Ocenia poczynione na etapie programowania założenia (cele, wskaźniki). Diagnozuje kontekst realizacji przedsięwzięcia. Może przyczynić się do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń.

Ewaluacja ex-post Przeprowadzana po zakończeniu realizacji programu. Bada długotrwałe efekty (oddziaływanie) programu oraz ich trwałość. Ocenia skuteczność i efektywność interwencji oraz jej trafność i użyteczność. Ocenia na ile udało się osiągnąć założone cele. Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji.

Ramy badania ewaluacyjnego

Logika programów UE Oddziaływanie / Wpływ (efekty w długim okresie) Potrzeby Rezultaty (Bezpośrednie i natychmiastowe) PRZYKŁAD: z NETWINa Produkty / Wyniki (Stworzone dobra i usługi) Nakłady / Wkład (Zasoby) Działania Programu Cele Źródło: opracowanie K. Olejniczak na podstawie opracowanie własne na podstawie KE – DG Regio 2001

Ewaluacja a logika programów UE kryteria ewaluacji Oddziaływanie planowane Potrzeby i nieplanowane Rezultaty planowane MONITORING i nieplanowane Cele Nakłady Działania Produkty PRZYKŁAD: z NETWINa EWALUACJA: WYDAJNOŚĆ EWALUACJA:TRAFNOŚĆ EWALUACJA: SKUTECZNOŚĆ EWALUACJA: UŻYTECZNOŚĆ I TRWAŁOŚĆ

Kryteria ewaluacji Najczęściej stosowane kryteria ewaluacji: Trafność (relevance) - kryterium to pozwala ocenić, w jakim stopniu przyjęte cele programu odpowiadają zidentyfikowanym problemom w obszarze objętym programem i/lub realnym potrzebom beneficjentów • ex ante; ex-post Efektywność (efficiency) - kryterium to pozwala ocenić poziom „ekonomiczności” programu, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas • mid–term; ex-post Skuteczność (effectiveness) - kryterium to pozwala ocenić, do jakiego stopnia cele przedsięwzięcia zdefiniowane na etapie programowania zostały osiągnięte • mid–term; ex-post

Kryteria ewaluacji Najczęściej stosowane kryteria ewaluacji cd.: Oddziaływanie/wpływ (impact) – kryterium to pozwala ocenić związek pomiędzy celem projektu i celami ogólnymi, tj. stopień, w jakim korzyści odniesione przez docelowych beneficjentów miały szerszy ogólny wpływ na większą liczbę ludzi w danym sektorze, regionie lub w całym kraju • mid–term; ex-post Trwałość efektów (sustainability) – kryterium to pozwala ocenić czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu tego projektu w dłuższym okresie na procesy rozwoju na poziomie sektora, regionu czy kraju • ex-post

cele / wskaźniki Logika interwencji unijnych Oddziaływanie / Wpływ (efekty w długim okresie) Cele ogólne Wskaźniki oddziaływania Rezultaty (Bezpośrednie i natychmiastowe) Cele bezpośrednie Wskaźniki rezultatów Produkty / Wyniki (Wyprodukowane dobra i usługi) Cele operacyjne Wskaźniki produktów Działania Programu Wskaźniki działań Nakłady / Wkład (Zasoby) Wskaźniki nakładów Wskaźniki bazowe i kontekstu Źródło: opracowanie K. Olejniczak na podstawie KE – DG Regio 2001

część II Podejścia badawcze, proces badania ewaluacyjnego oraz jego uczestnicy

Zakres tematyczny ewaluacji realizacji założeń programu (cele, wskaźniki) skuteczności i efektywności interwencji oraz jej trafności i użyteczności osiągniętych produktów i rezultatów kontekstu społecznego, gospodarczego, prawnego interwencji trudności realizacji przedsięwzięcia bądź ich kontekstu potrzeb i oczekiwań docelowej grupy odbiorców efektów (oczekiwane / nieoczekiwane) mocnych/ słabych stron interwencji kierunków rozwoju i modyfikacji przyszłych interwencji oddziaływania przedsięwzięcia i trwałości jego osiągnięć

Wdrażanie rekomendacji Plan ewaluacji Projekt ewaluacji Realizacja badania ewaluacyjnego Raport końcowy Wykorzystanie wyników ewaluacji Wdrażanie rekomendacji wcześniejsze ewaluacje zakres monitoringu zakres audytu dane statystyczne PROCES EWALUACJI REALIZACJA TERENOWA  ANALIZA OCENA WNIOSKI REKOMENDACJE promocja wyników

Etapy planowania ewaluacji określenie celów ewaluacji wyznaczenie czasu badania określenie zakresu ewaluacji określenie odbiorców ewaluacji identyfikacja dostępnych danych wyjściowych (dokumenty, raporty monitoringowe, dane statystyczne, ekspertyzy itd.) określenie regulacji instytucjonalnych oszacowanie posiadanych zasobów (czasowych, finansowych, instytucjonalnych, technicznych) sformułowanie projektu ewaluacji określenie sposobu wykorzystania wyników ewaluacji A następnie: określenie warunków kontraktu (terms of reference) wybranie ewaluatora

Elementy projektu ewaluacji opis przedmiotu ewaluacji określenie strategii ewaluacji określenie partnerów/uczestników/odbiorców ewaluacji kodyfikacja kluczowych pytań ewaluacyjnych (badawczych) określenie kryteriów ewaluacji dobór metod badawczych określenie próby badawczej określenie zasobów instytucjonalnych, czasowych, ludzkich, finansowych opracowanie harmonogramu prac wyspecyfikowanie zakresu zadań, wymagań i procedur prowadzenia danego badania ewaluacyjnego określenie formatu raportu określenie sposobów wykorzystania i promocji wyników ewaluacji

odbiorcy wniosków i rekomendacji ? ? ? ? Warunki realizacji ? ? ? ? ! ? ? ? ? ? ? ? ?

Etapy realizacji ewaluacji Strukturalizację Obserwację Analizę Ocenę

Etapy realizacji ewaluacji fazy realizacji badania Strukturalizacja wybór i określenie kryteriów i elementów, które mają być poddane ewaluacji; dookreślenie sposobu i wskaźników za pomocą których będzie badane dane zjawisko; dopracowanie metodologii badania ewaluacyjnego; wybór / opracowanie narzędzi obserwacji; określenie sposobu dotarcia do respondentów badania; Stosowane metody ewaluacyjne Analiza SWOT Matryca logiczna Mapa oddziaływania Metaplan

Etapy realizacji ewaluacji fazy realizacji badania Strukturalizacja Każda interwencja/program jest wielowymiarową rzeczywistością, dokonanie oceny wiąże się z zamknięciem jej w pewnych ramach. Wiąże się to zawsze kwestią trudnych wyborów. Ocena każdej interwencji dokonywana jest w oparciu o usystematyzowane: pytania kryteria wskaźniki wybór metody

Etapy realizacji ewaluacji fazy realizacji badania Strukturalizacja Określając przedmiot oceny musimy podjąć decyzje, jakie są nasze potrzeby informacyjne odnośnie danej interwencji i jak szeroko przeprowadzimy nasze analizy. Należy określić czy: i jaką perspektywę czasową oddziaływania i rezultatów bierzemy pod uwagę odnosimy się do jednego czy też kilku elementów interwencji odnosimy się do jednej czy tez kilku grup odbiorców (beneficjenci, partnerzy itd..), bierzemy pod uwagę wyłącznie badaną interwencje czy tez uwzględniamy ewentualne jego synergie z innymi interwencjami, bierzemy pod uwagę regiony, grupy osób, które nie są/były objęte programem, ale mogą odczuwać jego oddziaływanie, bierzemy pod uwagę kwestie związane z kolejnym cyklem programowania itp.

Etapy realizacji ewaluacji fazy realizacji badania Obserwacja Identyfikacja źródeł / zbieranie dostępnych danych zastanych /dokumentacji programowej, danych z monitoringu, wyników wcześniejszych wyników ewaluacji, danych statystycznych, ekspertyz itd./; zebranie przez ewaluatorów danych koniecznych do analizy – badanie terenowe; Stosowane metody ewaluacyjne Metody ilościowe Metody jakościowe

Etapy realizacji ewaluacji fazy realizacji badania Analiza interpretacja zebranych danych – uchwycenie różnic weryfikacja hipotez; analiza przyczynowo-skutkowa; oszacowanie efektów programu; Stosowane metody ewaluacyjne Metody statystyczne Metody analizy jakościowej GIS – System Informacji Geograficznej Modele ekonomiczne Grupy porównawcze Panel ekspertów

Etapy realizacji ewaluacji fazy realizacji badania Ocena ocena efektów programu w odniesieniu do uprzednio sformułowanych pytań ewaluacyjnych w oparciu o przyjęte kryteria oceny. Stosowane metody ewaluacyjne Analiza kosztów i korzyści Analiza kosztów i efektywności Analiza wielokryteriowa Panel ekspertów Benchmarking

Etapy realizacji ewaluacji fazy realizacji badania Ocena powinna być przejrzysta trafna bezstronna / obiektywna /niezależna uzasadniona – wynikająca z faktów oparta na wynikach badań oparta na wiarygodnych danych szczegółowej analizie

ewaluacja to proces od wszystkich elementów tego procesu zależą wyniki ewaluacji i w konsekwencji jej użyteczność końcowym produktem procesu ewaluacji jest raport końcowy

część III Raport ewaluacyjny

Aktorzy sceny ewaluacyjnej środowisko zewnętrzne środowisko instytucji zamawiającej ZAMAWIAJĄCY EWALUATORZY EWALUOWANI INNI ZAINTERESOWANI kontekst społeczno – polityczny kontekst instytucjonalny

ODBIORCY RAPORTU EWALUACYJNEGO Raport ewaluacyjny odbiorcy ewaluacji ODBIORCY RAPORTU EWALUACYJNEGO wyników ewaluacji rekomendacji wniosków metodologii ewaluacji

Proces ewaluacji etapy projektowania/konstrukcji/wykorzystania raportu Projekt zakresu raportu Opracowanie raportu wstępnego Wstępna wersja raportu końcowego Prezentacja raportu końcowego Raport końcowy (ostateczna wersja) REALIZACJA ANALIZA OCENA PROGRAMU WNIOSKI REKOMENDACJE ETAPY ODBIORU RAPORTU KOŃCOWEGO PROMOCJA RAPORTU

Typy raportów klasyfikacja ze względu na moment w systemie oceny i fazie badania w systemie oceny interwencji w procesie realizacji raporty podsumowujące raporty metodologiczne raporty cykliczne/cząstkowe raporty z badań terenowych raporty wew. / zewn. raporty końcowe

Raport ewaluacyjny cechy dobrego raportu ?

Raport ewaluacyjny europejskie standardy RAPORT EWALUACYJNYC POWINIEN: być związany z tematem, opierać się na dokładnej analizie i odpowiadać standardom naukowym i ewaluacyjnym opisywać przesłanki ewaluacji, jej przedmiot, jak cel, pytania badawcze, procedurę badania (metodologię), rezultaty oraz powinien przedstawiać uzasadnione wnioski (wszystko to powinno mieć przystępną i zrozumiała formę) podawać dokładne źródła informacji. Zebrane dane powinny być zaadaptowane do metodologii badania bez obniżenia wiarygodności, czy odpowiedniości

Raport ewaluacyjny europejskie standardy RAPORT EWALUACYJNYC POWINIEN: zawierać dostatecznie szczegółowy i krytyczny opis i ocenę wykorzystanych metod, tak by umożliwić odbiorcom ocenienie wagi przedstawionych dowodów, na których bazują wnioski i rekomendacje zawierać zidentyfikowane przykłady good practice obrazujące przedstawiane tezy, tym niemniej raport nie powinien - mimo częstych nacisków na ewaluatorów by „produkować historie sukcesów” - stać się przewodnikiem w zakresie good practise, gdyż jest wówczas odbierany podejrzliwie przez społeczeństwo i decydentów podawać dokładne źródła informacji (tak by można je było zweryfikować). Zebrane dane powinny być dostosowane do metodologii badania bez obniżania ich wiarygodności i adekwatności

Raport ewaluacyjny europejskie standardy Proces dedukcji i interpretacji rezultatów powinien być opisany i wyjaśniony. Powinien opierać się na szczegółowo zaprezentowanej hipotezie. Ostateczne wnioski i rekomendacje są opiniami ewaluatorów, więc nie powinny być zmieniane bez ich wiedzy i zgody. Wnioski i rekomendacje powinny być jasne, bezstronne i wystarczająco precyzyjne by można je było wdrożyć.

Wdrażanie rekomendacji Plan ewaluacji Projekt ewaluacji Realizacja badania ewaluacyjnego Raport końcowy Wykorzystanie wyników ewaluacji Wdrażanie rekomendacji wcześniejsze ewaluacje zakres monitoringu zakres audytu dane statystyczne PROCES EWALUACJI REALIZACJA TERENOWA  ANALIZA OCENA WNIOSKI REKOMENDACJE promocja wyników

część IV Wykorzystanie wyników ewaluacji

informacje wiedza

promocja wyników

więcej na temat ewaluacji w publikacji PARP http://www.parp.gov.pl/index/more/2046

więcej na temat ewaluacji w publikacji PARP http://www.parp.gov.pl

Raporty z ewaluacji http://www.parp.gov.pl/index/index/110

http://www.konferencja-ewaluacja.pl/2008/

Baza raportów ewaluacyjnych Fundusze Strukturalne http://www.funduszestrukturalne.gov.pl/NR/rdonlyres/8292BC86-7BE0-4D50-8F02-DEBECDCE56AF/41792/bazawww1912.xls

Dziękujemy za uwagę agnieszka_haber@parp.gov.pl 0505 600 580 022432 83 65 maciej_szalaj@parp.gov.pl 022432 85 55