Ewaluacja Justyna Ratajczak Szkolenie dla Podkomitetu Monitorującego PO KL Województwa Warmińsko-Mazurskiego 5 listopada 2008 r.

Definicja osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.

Podstawy prawne ewaluacji w okresie programowania 2007-2013 Rozporządzenie Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności + ustawa o zasadach prowadzenia polityki rozwoju (artykuł 17) = Wytyczne nr 6 w zakresie ewaluacji programów operacyjnych na lata 2007-2013 (MRR) oraz Plan oceny Programu Operacyjnego Kapitał Ludzki 2007 – 2013 (MRR)

Cel ewaluacji (art. 47 rozporządzenia ogólnego 1083/2006) „poprawa jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoczesnym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko”

Rodzaje ewaluacji w okresie programowania 2007 - 2013 ewaluacje strategiczne, których celem jest ocena i analiza ewolucji programów operacyjnych w odniesieniu do priorytetów krajowych i wspólnotowych, ewaluacje operacyjne, których celem jest wspieranie procesu monitorowania programów operacyjnych.

Rodzaje ewaluacji ze względu na czas ich przeprowadzania Początkowa/szacunkowa/ex ante - przed realizacją interwencji Bieżąca/okresowa/on-going -podczas realizacji interwencji Końcowa/podsumowująca/ex-post - po zakończeniu realizacji interwencji

Ewaluatorzy Ocenę przeprowadzają eksperci lub podmioty, wewnętrzne lub zewnętrzne w stosunku do struktur Komisji i państw członkowskich, którzy są funkcjonalnie niezależni od instytucji certyfikującej i instytucji audytowej

Finansowanie Działania związane z przeprowadzaniem oceny finansowane są ze środków przeznaczonych na pomoc techniczną.

Zastosowania ewaluacji (1) Wymóg formalny Usprawnienie przepływu informacji Poprawa przejrzystości i kontrola działań władz publicznych Określanie kierunków i celów działań publicznych Poznawanie mechanizmów wdrażania programów i projektów Zwiększanie skuteczności i efektywności programów/projektów Wspomaganie procesu podejmowania decyzji

Zastosowania ewaluacji (2) Identyfikacja słabych i mocnych stron interwencji Sygnalizowanie pojawiających się problemów Określanie stopnia zgodności z przyjętymi założeniami Badanie potrzeb Zwiększanie profesjonalizmu świadczonych usług Pogłębienie odpowiedzialności za program Demokratyzacja procesu zarządzania Element uczenia się i samodoskonalenia ...

Cel ewaluacji PO KL (wg Planu Oceny PO KL) Ewaluacja PO KL jest prowadzona aby: określić efekty realizacji PO KL oraz wpływ PO KL na osiąganie celów społeczno-gospodarczych określonych w strategiach krajowych i unijnych, poprawić jakość, skuteczność i efektywność PO KL oraz usprawnić sposób funkcjonowania instytucji uczestniczących w realizacji PO KL, lepiej odpowiadać na potrzeby (zarówno aktualnych, jak i przyszłych) odbiorców programu, dostarczyć pogłębione informacje dla zarządzających PO KL, społeczności oraz opinii publicznej.

System ewaluacji PO KL w Polsce Zaangażowane instytucje: Krajowa Jednostka Oceny Instytucja Zarządzająca PO KL Instytucje Pośredniczące Komitet Monitorujący Podkomitety Monitorujące Grupa Sterująca Ewaluacją PO KL (GSE) i jej Zespoły Zadaniowe ds. ewaluacji tematycznych Regionalne Grupy Sterujące Ewaluacją (opcjonalnie)

Etapy procesu ewaluacji Konceptualizacja ewaluacji (planowanie i projektowanie ewaluacji Zbieranie i analiza danych Raportowanie Wykorzystanie wyników ewaluacji

Przykłady badań ewaluacyjnych 1. Badanie zdolności absorpcyjnych podmiotów realizujących projekty w ramach POKL w województwie warmińsko-mazurskim 2. Prognoza zmian na rynku pracy wynikających z realizacji programów finansowanych z Europejskiego Funduszu Rozwoju Regionalnego oraz Funduszu Spójności w kontekście planowania wdrażania PO KL w województwie warmińsko-mazurskim.

Badanie zdolności absorpcyjnych... - cele Cel główny: określenie zdolności podmiotów mogących aplikować o dofinansowanie w ramach Priorytetu IX PO KL do absorpcji środków z EFS. Cele szczegółowe: 1. Zdiagnozowanie sytuacji (gotowości, przygotowania) podmiotów mogących aplikować o dofinansowanie do przyjęcia środków EFS. 2. Określenie determinantów zdolności absorpcyjnej podmiotów mogących realizować projekty w ramach PO KL. 3. Wskazanie barier w absorpcji środków z PO KL. 4. Wskazanie skutecznych metod zwiększenia zdolności absorpcyjnej wśród podmiotów aplikujących o dofinansowanie z EFS.

Badanie zdolności absorpcyjnych... – kryteria i pytania kluczowe Kryteria: trafność i skuteczność Pytania badawcze: Co wpływa na zdolność absorpcyjną podmiotów? Jak wygląda zdolność absorpcyjna podmiotów realizujących projekty w ramach PO KL w województwie warmińsko–mazurskim? Jakie są bariery w pozyskiwaniu środków z PO KL? W jaki sposób można zwiększyć zdolności absorpcyjne podmiotu?

Badanie zdolności absorpcyjnych... – metodologia Analiza dokumentów (dokumenty programowe, narodowe i regionalne strategie rozwoju); Indywidualne wywiady pogłębione z dyrektorami instytucji systemu oświaty i szkolnictwa wyższego lub wyznaczonymi przez nich kompetentnymi pracownikami (15 osób); Zogniskowane wywiady grupowe (przedstawiciele instytucji, które posiadają doświadczenie w pozyskiwaniu środków unijnych jak również z tymi, które dotychczas nie realizowały projektów finansowanych ze środków UE) – 31 osób; Ankieta (wywiady telefoniczne wspomagane komputerowo) z dyrektorami instytucji systemu oświaty województwa warmińsko–mazurskiego, wyłonionymi w drodze losowania, oraz przedstawicielami wszystkich szkół wyższych w regionie – 542 wywiady.

Badanie zdolności absorpcyjnych... – struktura raportu Streszczenie Spis treści Definicje i wykaz używanych skrótów Wstęp I. METODOLOGIA PRZEPROWADZENIA BADANIA II. OPIS I ANALIZA WYNIKÓW EWALUACJI 1. Charakterystyka podmiotów systemu oświaty i szkolnictwa wyższego 2. Obszary wsparcia w Planie Działania Priorytetu IX PO KL 3. Prezentacja wyników oceny w oparciu o przyjęte kryteria ewaluacyjne 3.1 Analiza danych zastanych 3.2 Zdolności absorpcyjne podmiotów oświaty i szkolnictwa wyższego – analiza danych (Charakterystyka badanych jednostek, Doświadczenie projektowe jednostek, Deklarowane perspektywy, Uwarunkowania organizacyjne, Pozyskiwanie i realizacja projektów – motywacje i ograniczenia) Podsumowanie Rekomendacje Załączniki

Badanie zdolności absorpcyjnych... – koszt i czas Koszt – 47 580 zł Czas – 6 tygodni

Prognoza zmian na rynku pracy... – cel i przedmiot badania Cel: dokonanie prognozy zmian na rynku pracy w województwie warmińsko-mazurskim, wynikających z realizacji programów finansowanych z EFRR. Przedmiot badania: - projekty indywidualne, wskazane do realizacji w Planie Inwestycyjnym RPO WiM na lata 2007-2013, a także znajdujące się na listach indykatywnych projektów planowanych do realizacji w ramach innych programów operacyjnych, - projekty konkursowe, planowane do realizacji przez jednostki samorządu terytorialnego (JST).

Prognoza zmian na rynku pracy... – pytania badawcze 1. Jak projekty współfinansowane przez EFRR w ramach RPO WiM na lata 2007-2013 wpływają na rynek pracy w województwie warmińsko-mazurskim? 2. Jakie typy projektów powinny być realizowane w ramach komponentu regionalnego Programu Operacyjnego Kapitał Ludzki (PO KL), aby została zapewniona komplementarność z projektami realizowanymi w ramach RPO WiM na lata 2007-2013? 3. Jakie należy podjąć działania, aby został osiągnięty efekt synergii pomiędzy wsparciem PO KL, a RPO WiM na lata 2007-2013?

Prognoza zmian na rynku pracy... - metodologia badanie ankietowe projektodawców (JST i instytucji wskazanych w Planie Inwestycyjnym RPO WiM na lata 2007-2013 – 150 podmiotów), analiza dokumentów (dokumenty programowe RPO WiM na lata 2007-2013 oraz PO KL, dane statystyczne dotyczące regionu oraz informacje o projektach indywidualnych), wywiady indywidualne (projektodawcy projektów indywidualnych - 9 wywiadów), modelowanie ekonometryczne.

Prognoza zmian na rynku pracy... – struktura raportu Streszczenie Wstęp 1. Cel i zakres badania 2. Metodologia badania oraz przebieg procesu badawczego 3. Wpływ RPO WiM na lata 2007-2013 na rynek pracy 3.1. Charakterystyka potencjalnych projektodawców w ramach RPO WiM na lata 2007-2013 3.2. Planowana liczba i struktura miejsc pracy, które powstaną w wyniku realizacji projektów w ramach RPO WM 3.3. Oszacowanie liczby miejsc pracy, które powstaną w efekcie bezpośrednim, na podstawie analizy wpływu projektów realizowanych w ramach I i III Priorytetu ZPORR na tworzenie miejsc pracy 3.4. Wyniki analizy ekonometrycznej 4. Analiza komplementarności RPO WiM na lata 2007-2013 i PO KL 5. Wnioski i rekomendacje

Prognoza zmian na rynku pracy... – koszt i czas Koszt – 53 680 zł Czas – 10 tygodni

Metody badawcze analiza dokumentów obserwacja wywiad (indywidualny i grupowy) ankieta studium przypadku modelowanie makroekonomiczne badanie efektu netto benchmarking inne metody z zakresu nauk społecznych, ekonomicznych i zarządzania

Badanie efektu netto interwencji Próba Interwencja Badanie Grupa kontrolna Badanie

Zadania IZ PO KL odpowiada za proces ewaluacji PO KL opracowuje (i realizuje) PLAN OCENY PO KL opracowuje (i realizuje) okresowy Plan działań ewaluacyjnych IZ przyjmuje okresowe Plany działań ewaluacyjnych IP centralnych i regionalnych prowadzi ewaluacje PO KL, w tym całości komponentu regionalnego przedstawia wyniki ewaluacji Komitetowi Monitorującemu wdraża rekomendacje przyjęte przez KM przekazuje informacje o zrealizowanych ewaluacjach do KJO

Zadania KM PO KL nadzór nad procesem ewaluacji PO KL zatwierdza PLAN OCENY PO KL i jego modyfikacje analizuje rezultaty realizacji PO KL, w szczególności realizację celu głównego i celów szczegółowych, oraz wskazuje obszary, które powinny zostać poddane ocenie przyjmuje wyniki (wnioski i rekomendacje) ewaluacji podejmuje decyzje o sposobie wykorzystania wyników oraz monitoruje realizację wdrażania rekomendacji

Zadania IP PO KL odpowiada za ewaluację priorytetów w ramach komponentu regionalnego opracowuje (i realizuje) okresowy Plan działań ewaluacyjnych IP prowadzi ewaluacje priorytetów w ramach komponentu regionalnego, w tym ocenę projektów systemowych przedstawia wyniki ewaluacji Podkomitetowi Monitorującemu oraz IZ wdraża rekomendacje przyjęte przez Podkomitet Monitorujący przekazuje informacje o zrealizowanych działaniach ewaluacyjnych do IZ

Zadania Podkomitetu Monitorującego PO KL nadzór nad procesem ewaluacji priorytetów w ramach komponentu regionalnego opiniuje okresowy Plan działań ewaluacyjnych IP analizuje rezultaty realizacji priorytetów w ramach komponentu regionalnego oraz wskazuje obszary, które powinny zostać poddane ocenie przyjmuje wyniki (wnioski i rekomendacje) ewaluacji podejmuje decyzje o sposobie wykorzystania wyników oraz monitoruje realizację wdrażania rekomendacji

Model zarządzania rekomendacjami

Wykorzystanie wyników – decyzje Podkomitetu Monitorującego Decyzje mogą dotyczyć: 1) zmodyfikowania lub uzupełnienia zaproponowanego w Karcie: - adresata rekomendacji, - sposobu wdrożenia, - terminu realizacji, 2) uwzględnienia dodatkowych rekomendacji, 3) zaproponowania sposobu upowszechnienia wyników badania, 4) podjęcia uchwały lub działań Komitetu (Podkomitetu) w sprawie wdrożenia rekomendacji wykraczających poza system instytucjonalny PO KL itp.

Karta monitorowania wdrażania rekomendacji Lp Wnioski/problem Rekomendacja Adresat rekomendacji Sposób wdrożenia Termin realizacji (i) Weryfikacja

Karta monitorowania wdrażania rekomendacji - tabela Lp. Wniosek Rekomendacja i uzasadnienie Podmiot wdrażający Rekomendacja przyjęta/odrzucona/przekazana Szczegółowy sposób wdrożenia Termin wdrożenia

Co przyczynia się do lepszego wykorzystania wyników ewaluacji Wiedza w zakresie ewaluacji Wykorzystanie wyników/doświadczeń zrealizowanych badań Aktywny udział wszystkich zaangażowanych stron Usuwanie uprzedzeń i obaw Wysoka jakość raportów Monitorowanie realizacji rekomendacji Włączenie ewaluacji w proces decyzyjny Zaplanowanie wykorzystania wyników już na etapie planowania ewaluacji Promowanie przykładów użyteczności rekomendacji

Dziękuję! justyna.ratajczak@pte.org.pl Tel. 608 08 98 38