Ewaluacja Justyna Ratajczak Szkolenie dla Podkomitetu Monitorującego PO KL Województwa Warmińsko-Mazurskiego 5 listopada 2008 r.

Prezentacja na temat: "Ewaluacja Justyna Ratajczak Szkolenie dla Podkomitetu Monitorującego PO KL Województwa Warmińsko-Mazurskiego 5 listopada 2008 r."— Zapis prezentacji:

1 Ewaluacja Justyna Ratajczak Szkolenie dla Podkomitetu Monitorującego PO KL Województwa Warmińsko-Mazurskiego 5 listopada 2008 r.

2 Definicja osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.

3 Podstawy prawne ewaluacji w okresie programowania 2007-2013
Rozporządzenie Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności + ustawa o zasadach prowadzenia polityki rozwoju (artykuł 17) = Wytyczne nr 6 w zakresie ewaluacji programów operacyjnych na lata (MRR) oraz Plan oceny Programu Operacyjnego Kapitał Ludzki 2007 – 2013 (MRR)

4 Cel ewaluacji (art. 47 rozporządzenia ogólnego 1083/2006)
„poprawa jakości, skuteczności i spójności pomocy funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoczesnym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko”

5 Rodzaje ewaluacji w okresie programowania 2007 - 2013
ewaluacje strategiczne, których celem jest ocena i analiza ewolucji programów operacyjnych w odniesieniu do priorytetów krajowych i wspólnotowych, ewaluacje operacyjne, których celem jest wspieranie procesu monitorowania programów operacyjnych.

6 Rodzaje ewaluacji ze względu na czas ich przeprowadzania
Początkowa/szacunkowa/ex ante - przed realizacją interwencji Bieżąca/okresowa/on-going -podczas realizacji interwencji Końcowa/podsumowująca/ex-post - po zakończeniu realizacji interwencji

7 Ewaluatorzy Ocenę przeprowadzają eksperci lub podmioty, wewnętrzne lub zewnętrzne w stosunku do struktur Komisji i państw członkowskich, którzy są funkcjonalnie niezależni od instytucji certyfikującej i instytucji audytowej

8 Finansowanie Działania związane z przeprowadzaniem oceny finansowane są ze środków przeznaczonych na pomoc techniczną.

9 Zastosowania ewaluacji (1)
Wymóg formalny Usprawnienie przepływu informacji Poprawa przejrzystości i kontrola działań władz publicznych Określanie kierunków i celów działań publicznych Poznawanie mechanizmów wdrażania programów i projektów Zwiększanie skuteczności i efektywności programów/projektów Wspomaganie procesu podejmowania decyzji

10 Zastosowania ewaluacji (2)
Identyfikacja słabych i mocnych stron interwencji Sygnalizowanie pojawiających się problemów Określanie stopnia zgodności z przyjętymi założeniami Badanie potrzeb Zwiększanie profesjonalizmu świadczonych usług Pogłębienie odpowiedzialności za program Demokratyzacja procesu zarządzania Element uczenia się i samodoskonalenia ...

11 Cel ewaluacji PO KL (wg Planu Oceny PO KL)
Ewaluacja PO KL jest prowadzona aby: określić efekty realizacji PO KL oraz wpływ PO KL na osiąganie celów społeczno-gospodarczych określonych w strategiach krajowych i unijnych, poprawić jakość, skuteczność i efektywność PO KL oraz usprawnić sposób funkcjonowania instytucji uczestniczących w realizacji PO KL, lepiej odpowiadać na potrzeby (zarówno aktualnych, jak i przyszłych) odbiorców programu, dostarczyć pogłębione informacje dla zarządzających PO KL, społeczności oraz opinii publicznej.

12 System ewaluacji PO KL w Polsce
Zaangażowane instytucje: Krajowa Jednostka Oceny Instytucja Zarządzająca PO KL Instytucje Pośredniczące Komitet Monitorujący Podkomitety Monitorujące Grupa Sterująca Ewaluacją PO KL (GSE) i jej Zespoły Zadaniowe ds. ewaluacji tematycznych Regionalne Grupy Sterujące Ewaluacją (opcjonalnie)

13

14 Etapy procesu ewaluacji
Konceptualizacja ewaluacji (planowanie i projektowanie ewaluacji Zbieranie i analiza danych Raportowanie Wykorzystanie wyników ewaluacji

15 Przykłady badań ewaluacyjnych
1. Badanie zdolności absorpcyjnych podmiotów realizujących projekty w ramach POKL w województwie warmińsko-mazurskim 2. Prognoza zmian na rynku pracy wynikających z realizacji programów finansowanych z Europejskiego Funduszu Rozwoju Regionalnego oraz Funduszu Spójności w kontekście planowania wdrażania PO KL w województwie warmińsko-mazurskim.

16 Badanie zdolności absorpcyjnych... - cele
Cel główny: określenie zdolności podmiotów mogących aplikować o dofinansowanie w ramach Priorytetu IX PO KL do absorpcji środków z EFS. Cele szczegółowe: 1. Zdiagnozowanie sytuacji (gotowości, przygotowania) podmiotów mogących aplikować o dofinansowanie do przyjęcia środków EFS. 2. Określenie determinantów zdolności absorpcyjnej podmiotów mogących realizować projekty w ramach PO KL. 3. Wskazanie barier w absorpcji środków z PO KL. 4. Wskazanie skutecznych metod zwiększenia zdolności absorpcyjnej wśród podmiotów aplikujących o dofinansowanie z EFS.

17 Badanie zdolności absorpcyjnych... – kryteria i pytania kluczowe
Kryteria: trafność i skuteczność Pytania badawcze: Co wpływa na zdolność absorpcyjną podmiotów? Jak wygląda zdolność absorpcyjna podmiotów realizujących projekty w ramach PO KL w województwie warmińsko–mazurskim? Jakie są bariery w pozyskiwaniu środków z PO KL? W jaki sposób można zwiększyć zdolności absorpcyjne podmiotu?

18 Badanie zdolności absorpcyjnych... – metodologia
Analiza dokumentów (dokumenty programowe, narodowe i regionalne strategie rozwoju); Indywidualne wywiady pogłębione z dyrektorami instytucji systemu oświaty i szkolnictwa wyższego lub wyznaczonymi przez nich kompetentnymi pracownikami (15 osób); Zogniskowane wywiady grupowe (przedstawiciele instytucji, które posiadają doświadczenie w pozyskiwaniu środków unijnych jak również z tymi, które dotychczas nie realizowały projektów finansowanych ze środków UE) – 31 osób; Ankieta (wywiady telefoniczne wspomagane komputerowo) z dyrektorami instytucji systemu oświaty województwa warmińsko–mazurskiego, wyłonionymi w drodze losowania, oraz przedstawicielami wszystkich szkół wyższych w regionie – 542 wywiady.

19 Badanie zdolności absorpcyjnych... – struktura raportu
Streszczenie Spis treści Definicje i wykaz używanych skrótów Wstęp I. METODOLOGIA PRZEPROWADZENIA BADANIA II. OPIS I ANALIZA WYNIKÓW EWALUACJI 1. Charakterystyka podmiotów systemu oświaty i szkolnictwa wyższego 2. Obszary wsparcia w Planie Działania Priorytetu IX PO KL 3. Prezentacja wyników oceny w oparciu o przyjęte kryteria ewaluacyjne 3.1 Analiza danych zastanych 3.2 Zdolności absorpcyjne podmiotów oświaty i szkolnictwa wyższego – analiza danych (Charakterystyka badanych jednostek, Doświadczenie projektowe jednostek, Deklarowane perspektywy, Uwarunkowania organizacyjne, Pozyskiwanie i realizacja projektów – motywacje i ograniczenia) Podsumowanie Rekomendacje Załączniki

20 Badanie zdolności absorpcyjnych... – koszt i czas
Koszt – zł Czas – 6 tygodni

21 Prognoza zmian na rynku pracy... – cel i przedmiot badania
Cel: dokonanie prognozy zmian na rynku pracy w województwie warmińsko-mazurskim, wynikających z realizacji programów finansowanych z EFRR. Przedmiot badania: - projekty indywidualne, wskazane do realizacji w Planie Inwestycyjnym RPO WiM na lata , a także znajdujące się na listach indykatywnych projektów planowanych do realizacji w ramach innych programów operacyjnych, - projekty konkursowe, planowane do realizacji przez jednostki samorządu terytorialnego (JST).

22 Prognoza zmian na rynku pracy... – pytania badawcze
1. Jak projekty współfinansowane przez EFRR w ramach RPO WiM na lata wpływają na rynek pracy w województwie warmińsko-mazurskim? 2. Jakie typy projektów powinny być realizowane w ramach komponentu regionalnego Programu Operacyjnego Kapitał Ludzki (PO KL), aby została zapewniona komplementarność z projektami realizowanymi w ramach RPO WiM na lata ? 3. Jakie należy podjąć działania, aby został osiągnięty efekt synergii pomiędzy wsparciem PO KL, a RPO WiM na lata ?

23 Prognoza zmian na rynku pracy... - metodologia
badanie ankietowe projektodawców (JST i instytucji wskazanych w Planie Inwestycyjnym RPO WiM na lata – 150 podmiotów), analiza dokumentów (dokumenty programowe RPO WiM na lata oraz PO KL, dane statystyczne dotyczące regionu oraz informacje o projektach indywidualnych), wywiady indywidualne (projektodawcy projektów indywidualnych - 9 wywiadów), modelowanie ekonometryczne.

24 Prognoza zmian na rynku pracy... – struktura raportu
Streszczenie Wstęp 1. Cel i zakres badania 2. Metodologia badania oraz przebieg procesu badawczego 3. Wpływ RPO WiM na lata na rynek pracy 3.1. Charakterystyka potencjalnych projektodawców w ramach RPO WiM na lata 3.2. Planowana liczba i struktura miejsc pracy, które powstaną w wyniku realizacji projektów w ramach RPO WM 3.3. Oszacowanie liczby miejsc pracy, które powstaną w efekcie bezpośrednim, na podstawie analizy wpływu projektów realizowanych w ramach I i III Priorytetu ZPORR na tworzenie miejsc pracy 3.4. Wyniki analizy ekonometrycznej 4. Analiza komplementarności RPO WiM na lata i PO KL 5. Wnioski i rekomendacje

25 Prognoza zmian na rynku pracy... – koszt i czas
Koszt – zł Czas – 10 tygodni

26 Metody badawcze analiza dokumentów obserwacja
wywiad (indywidualny i grupowy) ankieta studium przypadku modelowanie makroekonomiczne badanie efektu netto benchmarking inne metody z zakresu nauk społecznych, ekonomicznych i zarządzania

27 Badanie efektu netto interwencji
Próba Interwencja Badanie Grupa kontrolna Badanie

28 Zadania IZ PO KL odpowiada za proces ewaluacji PO KL
opracowuje (i realizuje) PLAN OCENY PO KL opracowuje (i realizuje) okresowy Plan działań ewaluacyjnych IZ przyjmuje okresowe Plany działań ewaluacyjnych IP centralnych i regionalnych prowadzi ewaluacje PO KL, w tym całości komponentu regionalnego przedstawia wyniki ewaluacji Komitetowi Monitorującemu wdraża rekomendacje przyjęte przez KM przekazuje informacje o zrealizowanych ewaluacjach do KJO

29 Zadania KM PO KL nadzór nad procesem ewaluacji PO KL
zatwierdza PLAN OCENY PO KL i jego modyfikacje analizuje rezultaty realizacji PO KL, w szczególności realizację celu głównego i celów szczegółowych, oraz wskazuje obszary, które powinny zostać poddane ocenie przyjmuje wyniki (wnioski i rekomendacje) ewaluacji podejmuje decyzje o sposobie wykorzystania wyników oraz monitoruje realizację wdrażania rekomendacji

30 Zadania IP PO KL odpowiada za ewaluację priorytetów w ramach komponentu regionalnego opracowuje (i realizuje) okresowy Plan działań ewaluacyjnych IP prowadzi ewaluacje priorytetów w ramach komponentu regionalnego, w tym ocenę projektów systemowych przedstawia wyniki ewaluacji Podkomitetowi Monitorującemu oraz IZ wdraża rekomendacje przyjęte przez Podkomitet Monitorujący przekazuje informacje o zrealizowanych działaniach ewaluacyjnych do IZ

31 Zadania Podkomitetu Monitorującego PO KL
nadzór nad procesem ewaluacji priorytetów w ramach komponentu regionalnego opiniuje okresowy Plan działań ewaluacyjnych IP analizuje rezultaty realizacji priorytetów w ramach komponentu regionalnego oraz wskazuje obszary, które powinny zostać poddane ocenie przyjmuje wyniki (wnioski i rekomendacje) ewaluacji podejmuje decyzje o sposobie wykorzystania wyników oraz monitoruje realizację wdrażania rekomendacji

32 Model zarządzania rekomendacjami

33 Wykorzystanie wyników – decyzje Podkomitetu Monitorującego
Decyzje mogą dotyczyć: 1) zmodyfikowania lub uzupełnienia zaproponowanego w Karcie: - adresata rekomendacji, - sposobu wdrożenia, - terminu realizacji, 2) uwzględnienia dodatkowych rekomendacji, 3) zaproponowania sposobu upowszechnienia wyników badania, 4) podjęcia uchwały lub działań Komitetu (Podkomitetu) w sprawie wdrożenia rekomendacji wykraczających poza system instytucjonalny PO KL itp.

34 Karta monitorowania wdrażania rekomendacji
Lp Wnioski/problem Rekomendacja Adresat rekomendacji Sposób wdrożenia Termin realizacji (i) Weryfikacja

35 Karta monitorowania wdrażania rekomendacji - tabela
Lp. Wniosek Rekomendacja i uzasadnienie Podmiot wdrażający Rekomendacja przyjęta/odrzucona/przekazana Szczegółowy sposób wdrożenia Termin wdrożenia

36 Co przyczynia się do lepszego wykorzystania wyników ewaluacji
Wiedza w zakresie ewaluacji Wykorzystanie wyników/doświadczeń zrealizowanych badań Aktywny udział wszystkich zaangażowanych stron Usuwanie uprzedzeń i obaw Wysoka jakość raportów Monitorowanie realizacji rekomendacji Włączenie ewaluacji w proces decyzyjny Zaplanowanie wykorzystania wyników już na etapie planowania ewaluacji Promowanie przykładów użyteczności rekomendacji

37 Dziękuję! Tel