Raport ewaluacyjny Badanie projektów pilotażowych PO KL.

Prezentacja na temat: "Raport ewaluacyjny Badanie projektów pilotażowych PO KL."— Zapis prezentacji:

1 Raport ewaluacyjny Badanie projektów pilotażowych PO KL

2 Zakres badania Konkursy pilotażowe: 6.1.1, 8.1.1, 9.5 Województwa: kujawsko – pomorskie, mazowieckie, śląskie Termin realizacji: 16 czerwca – 1 września 2008

3 Cele ewaluacji Przeanalizowanie konkursów pilotażowych pod kątem 4 obszary: 1. Umiejętności projektodawców z zakresu zarządzania projektowego 2. Spójność formularza wniosku z zasadami zarządzania projektowego 3. Spójności i przejrzystości systemu wyboru projektów 4. Przydatność Punktów Informacyjno - Promocyjnych

4 Metodologia badania Obszar 1 Analiza ekspercka wybranych 18 wniosków Obszar 2 Analiza ekspercka formularza wniosku, wywiady z projektodawcami, doradcami ROEFS, członkami KOP Obszar 3 Analiza ekspercka dokumentów, wywiady z pracownikami IZ, IP, IP2 Obszar 4 Wywiady z pracownikami PIP, wywiady z projektodawcami

5 Badane podmioty: Instytucja Zarządzająca (1 pracownik) Instytucje Pośredniczące (3 pracowników) Instytucje Ogłaszające Konkurs (6 pracowników) Punkty Informacyjne przy IOK (3 pracowników) Regionalne Ośrodki EFS (3 pracowników) Wnioskodawcy w konkursach pilotażowych (30 osób) Wnioski zatwierdzone do realizacji (18 wniosków) W sumie w ramach: 16 wywiadów indywidualnych 9 wywiadów grupowych Badaniem objęto 46 osób. Metodologia badania

6 Obszar I – Konstrukcja wniosków Pytanie kluczowe: W jakim stopniu wnioski złożone w ramach konkursów pilotażowych są spójne z kryteriami zarządzania projektowego obowiązującymi w metodologii PCM? Kryterium ewaluacji: Spójność konstrukcji wniosków z zasadami zarządzania projektowego. Metodologia: Ocena 18 wniosków przez eksperta wg arkusza spójnego z metodologią PCM

7 Porównanie punktacji przyznanej przez Komisje Oceny Projektów oraz punktacji z zastosowaniem kryteriów PCM pokazuje, że w: 4 przypadkach obie oceny są zbieżne (różnica do 5 punktów), 3 przypadkach ocena wg arkusza PCM jest wyższa, 10 przypadkach projekty uzyskały punktacje niższe przy zastosowaniu arkusza oceny PCM[1]. Największa różnica wynosiła 29,5 punktu.[1] 5 projektów nie przeszłoby pozytywnie oceny merytorycznej (przy wykorzystaniu do oceny Arkusza PCM uzyskały poniżej 60 punktów. 9 projektów badanych Arkuszem PCM było bardzo dobrze opracowanych koncepcyjnie, spełniały kryteria metodologiczne zarządzania projektowego. [1][1] W jednym przypadku nie można dokonać takiego porównania, gdyż nie dysponowano pełnym zapisem karty merytorycznej KOP i nie można było stwierdzić ile wynosiła punktacja uzyskana za kryteria strategiczne. Obszar I – Konstrukcja wniosków

8 Ocena poprawności we wnioskach poszczególnych elementów metodologii PCM (od najlepiej przygotowanego do najsłabiej ) 2. ANALIZA PROBLEMU 1. PLAN BUDŻETOWY 3. PLAN WYKORZYSTANIA ZASOBÓW 4. ANALIZA STRATEGII 5. WEWNĘTRZNA SPÓJNOŚĆ PROJEKTU 6. ANALIZA INTERESARIUSZY 7. ANALIZA CELÓW 8. METODOLOGIA WDRAŻANIA

9 Wnioski i rekomendacje: Nastawienie na realizację działań, a nie osiąganie celów i rezultatów (produkty a nie zmiana społeczna) Brak logiki przyczynowo – skutkowej - brak uzasadnienia wyboru strategii i metod Nie przygotowywanie projektów tylko od razu pisanie wniosku – nie używanie narzędzi projektowych Brak świadomości na temat roli zasad horyzontalnych – nie rozumienie ich wartości wypromowanie Przewodnika po kryteriach wyboru projektów PO KL wśród projektodawców, przeszkolenie projektodawców i członków KOP w zakresie metodologii zarządzania projektami, w szczególności z analizy środowiska, problemu, strategii, zagrożeń, upowszechnienie szczegółowych zasad oceny projektów pod kątem wdrażania zasad horyzontalnych m.in. rozwój lokalny czy równość szans kobiet i mężczyzn Obszar I – Konstrukcja wniosków

10 Obszar II – Formularz wniosku Pytania kluczowe: W jakim stopniu budowa formularza aplikacyjnego umożliwia opisanie projektu zgodnie z modelem zarządzania projektowego? Jakie trudności pojawiają się przy przygotowywaniu projektu i wpisaniu go w Generator Wniosku Aplikacyjnego? Kryteria ewaluacyjne: Skuteczność, spójność, użyteczność

11 Obszar II – Formularz wniosku Analizowano formularz Wniosku Aplikacyjnego pod kątem spójności z trzema metodologiami zarządzania: PCM, PRINCE 2 i PMI BOOK. Konstrukcja formularza (kolejność pytań, nazewnictwo) jest dla projektodawców przejrzysta i przez ekspertów uznana w dużym stopniu za spójną z metodologią zarządzania PCM. Największymi brakami w stosunku do metodyki PCM są: brak analizy ryzyka brak analizy adekwatności metodologii bardzo zróżnicowane podejście do rezultatów projektu brak bezpośredniego odniesienia do ewaluacji projektu.

12 Obszar II – Formularz wniosku Projektodawcy deklarowali największą trudność przy wypełnianiu wniosków z opisem budżetu. (koszty bezpośrednie/pośrednie; cross- financing). Wskazywana przez nich trudność nie jest związana z konstrukcją formularza, a jedynie z umiejętnościami planowania finansowego. Bardzo wysoko przez projektodawców i doradców został oceniony Przewodnik po kryteriach wyboru projektów PO KL pod względem jego przydatności przy przygotowywaniu wniosków (podczas konkursów pilotażowych jeszcze go nie było). Istnieje niespójność pomiędzy zapisami w Generatorze Wniosków Aplikacyjnych, a Instrukcją wypełniania wniosku, Przewodnikiem po kryteriach i Kartą Oceny Merytorycznej, m.in.w Karcie pod uwagę jest brane więcej elementów niż wskazane w Instrukcji, różny opis rezultatów. Newralgicznym zagadnieniem jest ilość znaków. Projektodawcy, zgłaszali konieczność zwiększenia ilości znaków, pracownicy IZ, IP, IP2 konieczność utrzymania obecnej ilości.

13 Kluczowe rekomendacje: Zmiana kolejności pól we Wniosku, ich nazewnictwa i zawartości Uspójnienie dokumentów Umożliwienie pełniejszego przedstawienia projektu Wprowadzenie m.in. analizy ryzyka, analizy strategii, analizy interesariuszy M.in. usunięcie podziału na rezultaty twarde i miękkie, a wprowadzenie pojęcia Wskaźników, wprowadzenie Zadań do punktu Działania, zmiana nazwy punktu Rezultaty na Efekty i wprowadzenie oddziaływania M.in. rozszerzenie zapisów w Instrukcji i Generatorze zgodnie z Kartą Oceny Merytorycznej Zwiększenie liczby znaków w Generatorze lub umożliwienie dołączenia załączników przy dużych, partnerskich projektach Obszar II – Formularz wniosku Dodanie we Wniosku pól związanych z brakami w stosunku do metodologii PCM

14 Obszar III – System wyboru projektów Pytania kluczowe: W jakim stopniu system wyboru projektów jest wewnętrznie spójny? Czy system prowadzi do wyboru najlepszych projektów? Kryteria ewaluacji: Spójność, Skuteczność

15 Obszar III – System wyboru projektów Elementy systemu są opisane spójnie i szczegółowo w Systemie Realizacji PO KL, a poszczególne dokumentacje konkursowe zawierają podstawowe i konieczne informacje niezbędne dla instytucji składających wnioski. System pozwala na wybór projektów, które najlepiej spełniają kryteria wyboru projektów. Sprzyja zachowaniu rzetelności i bezstronności oceny. System wymaga doprecyzowania i niewielkich zmian w dokumentach, aby był w pełni spójny i pozwalał na w pełni skuteczny wybór najlepszych projektów.

16 Obszar III – System wyboru projektów Rekomendacje Jednoznaczne sprecyzowanie terminów Zmiany w kryteriach oceny wniosków Załączniki Procedura odwoławcza Asesorzy Zmiany w Zasadach wyboru projektów

17 Obszar III – System wyboru projektów Rekomendacje Sprecyzowanie i ujednolicenie załączników Doprecyzowanie pojęć (np. wartość dodana) Doprecyzowanie uchybień formalnych możliwych do poprawienia Ujednolicenie zapisów dokumentacji z Zasadami Zwiększenie liczby punktów za Działania Rozbicie punktu Działania na podpunkty Zmiany w dokumentacjach konkursowych Zmiany w karcie oceny merytorycznej

18 Obszar IV – PIP Pytania kluczowe: Czy działania powadzone w ramach punktów odpowiadały potrzebom wnioskodawców zgłaszających się po informacje? W jaki sposób można usprawnić pracę Punktów, aby lepiej odpowiadała ona potrzebom wnioskodawców? Kryteria ewaluacji: Trafność (adekwatność do potrzeb)

19 Obszar IV – PIP Działania PIP w niewielkim stopniu odpowiadały potrzebom badanych wnioskodawców. Problemy: –Linia telefoniczna zazwyczaj zajęta –Niespójne, niejasne informacje –Brak osoby kompetentnej do udzielenia odpowiedzi –Spotkania informacyjne zbyt ogólne –Nie zawsze aktualne informacje na stronach www

20 Obszar IV – PIP Rekomendacje: Ułatwienie dostępu telefonicznego do Punktu Przekazywanie pewnych, rzetelnych informacji Więcej spotkań specjalistycznych Stałe monitorowanie aktualności stron www Zwiększenie liczby linii Praca w systemie zmianowym Odpowiedzi e-mailowe Warsztaty dla pracowników Platforma wymiany doświadczeń Zadbanie o stabilność kadry Organizacja spotkań Specjalistycznych dla osób, które mają większą wiedzę Nacisk na uaktualnianie Informacji na wszystkich podstronach

21 Dziękujemy za uwagę! www.ewaluacja.org.pl