Ewaluacja – wprowadzenie Definicje: Rozporządzenie Rady Unii Europejskiej nr 1083 z dnia 11 lipca 2006r. wprowadzające ogólne przepisy dotyczące funduszy strukturalnych (2007-2013): ewaluacja prowadzona jest w celu poprawy „jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoczesnym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko”.

Ewaluacja – wprowadzenie Definicje: Ewaluacja jest definiowana jako osąd wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczność, trafności i trwałości) i standardów. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.

Ewaluacja – wprowadzenie Główne cele ewaluacji: określenie wielorakich efektów programu lub działań instytucji, określanie stopnia zgodności z przyjętymi założeniami, poprawa jakości programów, identyfikacja słabych i mocnych stron, podniesienie skuteczności i efektywności działań,  sygnalizowanie pojawiających się problemów, dostarczanie informacji koniecznych dla podejmowania decyzji.

Ewaluacja – wprowadzenie Główne funkcje ewaluacji: Formatywna – zapewnienie postępu – funkcja stymulowania usprawnień i rozwoju organizacyjnego. Konkluzywna – selekcja lub sprawozdawczość – funkcja rozliczenia i egzekwowania odpowiedzialności.

Ewaluacja – wprowadzenie Typy ewaluacji: Poziom ewaluacji (projektu, działania, priorytetu, programu Cel ewaluacji (formatywna, konkluzywna), Organizacja procesu ewaluacji (wewnętrzna, zewnętrzna) Moment w którym ewaluacja jest dokonywana (ex-ante, mid- term, ex-post, on-going).

Ewaluacja – wprowadzenie Kryteria ewaluacyjne: trafność/adekwatność/odpowiedniość (relevance), efektywność/wydajność (efficiency), skuteczność (effectiveness), użyteczność (utility), trwałość (sustainability).

Ewaluacja – wprowadzenie

System ewaluacji Główne podmioty zaangażowane w proces ewaluacji NSRO i PO: Krajowa Jednostka Oceny, Instytucje Zarządzające (Jednostki Ewaluacyjne), Instytucja Koordynująca RPO, Instytucja Koordynująca NSRO, Instytucje Pośredniczące, Grupy Sterujące, Komitety monitorujące.

System ewaluacji Krajowa Jednostka Oceny: organizacja procesu ewaluacji na poziomie NSRO (kwestie horyzontalne), rozwój kultury ewaluacyjnej w instytucjach zaangażowanych w realizację NSRO (budowa potencjału ewaluacyjnego).

System ewaluacji Instytucje Zarządzające: organizacja procesu ewaluacji na poziomie programów operacyjnych, budowa systemu ewaluacji programu operacyjnego na niższych poziomach wdrażania.

System ewaluacji Jednostka Ewaluacyjna: funkcjonuje w w ramach Instytucji Zarządzającej/Pośredniczącej (może zostać powołana poza komórką organizacyjną pełniącą funkcję Instytucji Zarządzającej), w przypadku RPO oraz PO Kapitał Ludzki na poziomie komponentu regionalnego, kompetencje w zakresie ewaluacji na ww. poziomach wdrażania może sprawować jedna i ta sama JE, współpracuje ściśle z komórkami merytorycznymi oraz innymi instytucjami zaangażowanymi w proces wdrażania (m.in. na forum Grupy Sterującej), odpowiedzialna za zarządzanie procesem ewaluacji w ramach programu/priorytetu.

System ewaluacji Instytucja Koordynująca RPO: ewaluacje dotyczące kwestii horyzontalnych w ramach Regionalnych Programów Operacyjnych, współpraca z Krajową Jednostką Oceny w zakresie koordynacji prac Jednostek Ewaluacyjnych w ramach RPO.

System ewaluacji Instytucja Pośrednicząca: rola IP w zakresie ewaluacji zależy od decyzji Instytucji Zarządzającej, IZ może delegować kompetencje w zakresie ewaluacji na niższe poziomy wdrażania, w przypadku delegowania kompetencji Instytucja Pośrednicząca odpowiedzialna za ewaluację na poziomie osi priorytetowych.

System ewaluacji Grupy sterujące: Wsparcie dla Jednostek Ewaluacyjnych w zakresie realizacji procesu ewaluacji: identyfikacja obszarów badawczych, formułowanie zakresu badań, sterowanie badaniem, wsparcie w zakresie odbioru wyników, monitorowanie procesu wdrażania rekomendacji.

System ewaluacji Komitety monitorujące: monitorowanie procesu ewaluacji, rekomendowanie obszarów badawczych, zapoznawanie się z wynikami ewaluacji.

Planowanie procesu ewaluacji Plany ewaluacji: plany strategiczne na cały okres programowania (organizacja procesu ewaluacji oraz główne kierunki/orientacje działań w zakresie ewaluacji), plany roczne (szczegółowy zakres działań w zakresie ewaluacji przewidzianych do realizacji w roku następnym, w tym w szczególności lista planowanych ewaluacji).

Planowanie procesu ewaluacji Plany ewaluacji: Plan ewaluacji Narodowych Strategicznych Ram Odniesienia na lata 2007-2013 (sporządzany przez KJO), Plan ewaluacji kwestii horyzontalnych w ramach RPO (sporządzany przez Instytucje Koordynującą RPO), Plany ewaluacji programów operacyjnych (sporządzane przez Instytucje Zarządzające) Plany ewaluacji na niższych poziomach wdrażania w przypadku delegowania kompetencji.

Planowanie procesu ewaluacji Monitorowanie realizacji Planów: informacja roczna w zakresie ewaluacji: informacja z wszystkich poziomów wdrażania, lista zrealizowanych badań ewaluacyjnych, wdrożone rekomendacje, działania w zakresie budowy potencjału ewaluacyjnego

Zakres tematyczny: Zakres ewaluacji w okresie 2007-2013 główne obszary tematyczne definiowane na etapie planowania (zawarte w Planach ewaluacji), tematy poszczególnych badań ewaluacyjnych identyfikowane w trakcie realizacji programu/priorytetu w zależności od potrzeb (lista badań zawarta w Okresowych planach ewaluacji).

Zakres ewaluacji w okresie 2007-2013 Typy ewaluacji: ewaluacja ex-ante i ex-post, ewaluacja stopnia realizacji programów operacyjnych – alokacja rezerwy wykonania (do 30 czerwca 2011), w obecnym okresie główny nacisk położony na ewaluację bieżącą (on-going): ewaluacje operacyjne, ewaluacje strategiczne.

Zakres ewaluacji w okresie 2007-2013 Ewaluacje operacyjne: ewaluacje w przypadku gdy monitorowanie ujawniło znaczące odchylenia od założonych pierwotnie celów, ewaluacje w przypadku gdy składane są wnioski o dokonanie przeglądu programu operacyjnego lub jego części, każdym przypadku, gdy Instytucja Zarządzająca/Pośrednicząca uzna to za użyteczne z punktu widzenia zarządzania.

Zakres ewaluacji w okresie 2007-2013 Proponowane obszary tematyczne ewaluacji NSRO: Rozwój i modernizacja infrastruktury. Innowacyjność i rozwój zasobów ludzkich (Strategia Lizbońska). Rozwój regionalny i terytorialny, Budowa potencjału administracji publicznej i realizacja zasady „good governance”, Działania uzupełniające główne strategiczne obszary tematyczne ewaluacji Narodowych Strategicznych Ram Odniesienia (m.in. oddziaływanie makroekonomiczne).

Realizacja procesu ewaluacji Instytucja Zarządzająca/Pośrednicząca Jednostka Ewaluacyjna/Grupa Sterująca Decyzja o ewaluacji Wykorzystywanie wyników Opinie/wnioski Raport z ewaluacji Realizacja badania Zakres ewaluacji Zespół ewaluacyjny

Realizacja procesu ewaluacji w celu zachowania niezależności opinii i obiektywności wyników ewaluacje zlecane na zewnątrz, ewaluacje wewnętrzne jako uzupełnienie ewaluacji zewnętrznych, Jednostka Ewaluacyjna odpowiedzialna za zarządzanie procesem ewaluacji.

Realizacja procesu ewaluacji Etapy realizacji badań ewaluacyjnych: przygotowanie ewaluacji, wybór Wykonawcy (w przypadku ewaluacji zewnętrznych), realizacja badania ewaluacyjnego.

Realizacja procesu ewaluacji Przygotowanie ewaluacji: Identyfikacja tematu badania ewaluacyjnego: Jednostka Ewaluacyjna we współpracy z Grupą sterującą, tematy/obszary rekomendowane przez komitet monitorujący, ścisła współpraca z systemem monitoringu (źródło sygnałów o konieczności przeprowadzenia badania ewaluacyjnego).

Realizacja procesu ewaluacji Przygotowanie ewaluacji: Sformułowanie zakresu badania: Jednostka Ewaluacyjna we współpracy z Grupą sterującą, określenie głównych problemów badawczych, sformułowanie pytań i kryteriów ewaluacyjnych, określenie budżetu i ram czasowych badania, określenie wymagań odnośnie Wykonawcy badania, metodologii i formy prezentacji wyników badania, opracowanie zakresu w formie dokumentu (Szczegółowy Opis Przedmiotu Zamówienia).

Realizacja procesu ewaluacji Wybór ewaluatora zewnętrznego: wybór wykonawcy odbywa się w procedurze zgodnej z ustawą z dnia 29 stycznia 2004 r. Prawo Zamówień Publicznych (Dz. U. Nr 19, poz. 177 z późn. zm.). Jednostka Ewaluacyjna określa formalne i merytoryczne kryteria Wykonawcy.

Realizacja procesu ewaluacji Wybór ewaluatora zewnętrznego: Przykładowe kryteria formalne wyboru wykonawcy: doświadczenie w prowadzeniu badań społeczno-ekonomicznych i/lub ewaluacyjnych, doświadczenie w stosowaniu metod i technik badań społecznych i/lub ekonomicznych, doświadczenie dotyczące zasad funkcjonowania funduszy Unii Europejskiej, należyte wykonanie w ciągu X lat X usług w zakresie przygotowania analiz i/lub ewaluacji i/lub przeprowadzenia badań w zakresie rozwoju społeczno-gospodarczego kraju i/lub regionu z uwzględnieniem specyficznych kwestii dotyczących danego badania ewalucyjnego.

Realizacja procesu ewaluacji Wybór ewaluatora zewnętrznego: Kryteria merytoryczne: dotyczące zaproponowanego podejścia metodologicznego, dotyczące sposobu organizacji i przeprowadzenia badania.

Realizacja procesu ewaluacji Wybór ewaluatora zewnętrznego: Ocena zaproponowanego podejście metodologicznego: trafność sformułowanych problemów badawczych w kontekście celu badania, trafność doboru metod i narządzi badawczych, spójność metodologii (spójność w zakresie właściwego powiązania metod, pytań i kryteriów ewaluacyjnych) Propozycja dodatkowych problemów i pytań badawczych spójnych z celem badania sformułowanym przez Zamawiającego.

Realizacja procesu ewaluacji Wybór ewaluatora zewnętrznego: Ocena sposobu organizacji i przeprowadzania badania: dostosowanie planu pracy do zaproponowanej metodologii, rozdysponowania pracy pomiędzy członków zespołu badawczego, zaproponowany sposób prezentacji wyników badania (raport końcowy, bezpośrednie prezentacje wyników oraz konsultacje w zakresie wdrażania rekomendacji).

Realizacja procesu ewaluacji Wybór ewaluatora zewnętrznego: Punkty przyznawane za podejście metodologiczne oraz sposób organizacji i przeprowadzenia badania (kryteria merytoryczne) powinny stanowić znaczący udział procentowy punktów możliwych do uzyskania przez oferentów.

Realizacja procesu ewaluacji Realizacja badania ewaluacyjnego: Jednostka Ewaluacyjna odpowiedzialna za zarządzanie procesem badawczym, monitorowanie postępu prac ewaluatora (sprawozdawanie z postępów prac na forum Grupy sterującej, spotkania robocze z ewaluatorem, raporty cząstkowe), koordynacja współpracy instytucji zaangażowanych w realizację badania oraz pomoc w udostępnianiu danych, ocena i odbiór raportów ewaluacyjnych.

Realizacja procesu ewaluacji Realizacja badania ewaluacyjnego: Raporty ewaluacyjne: Raport metodologiczny (przedstawiany przez Wykonawcę we wstępnej fazie badania; zawiera plan organizacji pracy oraz metodologię badania). Raport końcowy/raporty cząstkowe (prezentacja ostatecznych wyników ewaluacji, podlega ocenie zamawiającego).

Realizacja procesu ewaluacji Realizacja badania ewaluacyjnego: Rekomendowana struktura raportu końcowego: streszczenie raportu – nie więcej niż 5 stron A4 (w języku polskim i angielskim); spis treści; wprowadzenie; opis zastosowanej metodologii oraz źródła informacji wykorzystywanych w badaniu; opis wyników ewaluacji; wnioski i rekomendacje; aneksy.

Wnioski i rekomendacje z ewaluacji Wykorzystanie rekomendacji: o zakresie i sposobie wykorzystania rekomendacji decyduje w zakresie swoich kompetencji Instytucja Zarządzająca/Pośrednicząca, rolą Jednostki Ewaluacyjnej we współpracy z Grupą sterującą jest analiza i operacjonalizacja zaproponowanych przez ewaluatora rekomendacji, umowa z wykonawcą może zakładać doradztwo ewaluatora w zakresie sposobu wdrażania rekomendacji, Instytucja Zarządzająca/Pośrednicząca monitoruje proces wdrażania rekomendacji sformułowanych w wyniku przeprowadzonych ewaluacji (Informacja roczna w zakresie ewaluacji)

Użyteczne linki www.ewaluacja.gov.pl www.evalsed.info