Wyniki badania ewaluacyjnego Ocena systemu kryteriów wyboru projektów zastosowanych w Regionalnym Programie Operacyjnym Województwa Kujawsko-Pomorskiego Posiedzenie w dniu 15 października 2009 r. Komitetu Monitorującego Regionalnego Programu Operacyjnego Województwa Kujawsko-Pomorskiego na lata 2007-2013

Cel badania Ocena jakości systemu kryteriów wyboru projektów Zapewnienie wyboru optymalnych projektów z pkt widzenia realizacji celów RPO WK-P Ocena innych elementów systemu wyboru projektów Sformułowanie zaleceń wobec modyfikacji lub uzupełnienia

Metodologia badania analiza dokumentów badania terenowe dokumentów strategicznych procedur kryteriów wyboru itp. badania terenowe indywidualne wywiady pogłębione (15 wywiadów) telefoniczne wywiady kwestionariuszowe CATI (32 z wnioskodawcami, 8 z osobami oceniającymi) wywiad grupowy FGI (1 wywiad)

Część 1 Najważniejsze wyniki badania systemu wyboru projektów

Ocena systemu wyboru projektów Procedury systemu wyboru projektów Przejrzystość procedur Trudności i problemy w systemie wyboru Ocena jakości dokumentów aplikacyjnych

Przejrzystość procedur Zgodność z prawem Zapewniono zgodność procedur z prawem Zastrzeżenie: brak możliwości poznania nazwisk osób oceniających wniosek (po zakończeniu oceny) Procedury są przejrzyste Beneficjenci skarżą się jedynie na: - zbytnie skomplikowanie procedur - konieczność znajomości wielu przepisów - śledzenia wielu odwołań do rozporządzeń, wielu zmian w procedurach - zbyt fachowe słownictwo

Trudności i problemy w systemie Na etapie oceny formalnej i merytorycznej Ocena formalna Trudności w porozumiewaniu się z pracownikami IZ Brak spójności w przekazywanych informacjach Długość i zawiłość oceny formalnej (4-5 godzin) Ocena merytoryczna Zbyt niejednoznaczne kryteria dla wnioskodawców Zbyt niejednoznaczne kryteria dla ekspertów oceniających wnioski

Ocena jakości dokumentów aplikacyjnych Pozytywne i negatywne wnioski Pozytywna ocena zgodność z przepisami możliwość zamieszczenia wszystkich informacji i dokumentów jeden formularz wniosku dla wszystkich działań układ i struktura instrukcji wypełniania wniosku Negatywna ocena brak wystarczającego miejsca we wniosku mała precyzja instrukcji wypełniania wniosku: zbyt dużo odnośników do rozporządzeń, zbyt mało przykładów wypełniania

Ocena systemu kryteriów wyboru projektów Logika oceny Zakres zadań podczas oceny wniosków Układ kryteriów Wagi kryteriów

Czy przekazać całą ocenę wniosków IZ Czy przekazać całą ocenę wniosków IZ? Formalna i merytoryczna ocena pracowników IZ ? Za… obecnie pracownicy IZ wykonują spory zakres oceny merytorycznej ocena dokonywana przez ekspertów jest nisko oceniana brakuje zaufania do pracy ekspertów zewnętrznych Przeciw… potrzebne wsparcie kadrowe potrzebne wsparcie szkoleniowe mogą wystąpić naciski na pracowników (spadek obiektywizmu)

Ocena systemu kryteriów Pozytywne i negatywne wnioski Pozytywna ocena wysoki poziom zgodności z oceną modelową naukowe podejście do określania wag kryteriów w ocenie projektów Negatywna ocena umiejscowienie niektórych kryteriów w grupie B2, które oceniają wpływ rezultatów na osiąganie założonych w RPO celów (powinny znaleźć się w grupie B3): oczekiwane rezultaty projektu w sposób bezpośredni wspierają realizację celów kosztowa efektywność produktu projektu wypełnienie polityk i zasad wspólnotowych

Część 2 Najważniejsze wyniki badania k r y t e r i ó w wyboru projektów

Ocena kryteriów do oceny na etapie preselekcji Niespełnianie cech tego typu kryteriów poruszanie aspektów merytorycznych – brak możliwości oceny dwoma wartościami posiadanie cech kryteriów dostępowych, a nie formalnych Brak poprawności metodologicznej niejednoznaczność oceny nietrafność opisu (kryterium nie bada tego aspektu, który powinno)

Ocena kryteriów formalnych Analizie poddano 20 kryteriów formalnych (powtarzających się w różnych działaniach) 12 oceniono jako poprawnie przygotowane w 8 znaleziono mankamenty Wszystkie badane kryteria spełniły 3 z 4 cech kryteriów formalnych: możliwość poprawy zagadnienia związane z wnioskiem i załącznikami weryfikację dwoma wartościami

Ocena kryteriów formalnych (cd.) 3 kryteria poruszały aspekty merytoryczne zarekomendowano uproszczenie oceny lub przeniesienie ich do oceny merytorycznej. największe problemy były z jednoznacznością oceny (5 kryteriów nie spełniło tej cechy) zarekomendowano doprecyzowanie, co ma być sprawdzane danym kryterium, w jaki sposób i co oznaczają sporne opisy

Ocena kryteriów merytoryczno-technicznej dopuszczalności projektu analizie poddano 20 kryteriów merytoryczno-technicznej dopuszczalności projektu 8 kryteriów badało aspekty merytoryczno-techniczne w pełnym zakresie 9 kryteriów spełniało cechy poprawności metodologicznej wszystkie kryteria spełniały cechy trafności opisu i łatwości odpowiedzi

Najwięcej kryteriów (11 z 18) było niejednoznacznych w ocenie Ocena kryteriów merytoryczno-technicznej dopuszczalności projektu (cd.) brak oceny jakości przygotowywanej dokumentacji niezbędnej do prawidłowej oceny merytoryczno-technicznej 5 kryteriów wykonalności technicznej 2 kryteria pozostałych aspektów wykonalności Najwięcej kryteriów (11 z 18) było niejednoznacznych w ocenie rekomendowano w takich przypadkach doprecyzowanie opisów oraz wzbogacenie kryteriów o dodatkowe podkryteria Należy uporządkować kryteria w taki sposób, aby odpowiadały 5 aspektom wykonalności: technicznej, technologicznej, finansowej, ekonomicznej i instytucjonalnej

Ocena kryteriów oceny jakości projektu Analizie poddano 53 kryteria oceny jakości projektu 22 kryteria były poprawne pod względem metodologicznym w 27 przypadkach wykryto błędy w niejednoznaczności oceny: stosowanie szerokich przedziałów, w których poruszali się eksperci podczas oceny gros rekomendacji dotyczyło doprecyzowanie punktacji na zasadzie 0 – nie spełnia, 10 – spełnia 3 kryteria nietrafnie określają to, co mają badać 1 dotyczące promocji projektu – nie spełnia żadnych warunków

Ocena kryteriów oceny wpływu przewidywanych rezultatów projektu na osiąganie założonych w RPO celów Analizie poddano 13 kryteriów z tej grupy wszystkie kryteria spełniły cechy łatwości odpowiedzi i oceny 4 z nich uznano za poprawne pod względem metodologicznym w 6 przypadkach zarzucono kryteriom niejednoznaczną ocenę w 5 przypadkach – nietrafny opis

Ocena kryteriów oceny wpływu przewidywanych rezultatów projektu na osiąganie założonych w RPO celów (cd.) Mankamenty wykorzystanie przedziałów do punktacji (podobnie jak w grupie B2) premiowanie dużych i niekoniecznie dobrych projektów (ocena wartości bezwzględnej bez odniesienia do wartości wyjściowej, albo do kosztów uzyskania poprawy) powielanie zapisów innych kryteriów (rekomendowano ich usunięcie lub przeformułowanie)

Część 3 Rekomendacje z badania

Cele projektu wspierają realizację celów określonych dla… Rekomendacje 4-10 Kryteria do oceny na etapie preselekcji Przykładowe rekomendacje dla kryteriów Cele projektu wspierają realizację celów określonych dla… połączyć istniejące (inne) kryteria badające cele projektu w grupę, nazywając je tak, jak nazywa się to kryterium Poprawność złożenia wniosku Kryterium posiada cechy kryterium dostępu i powinno zostać przeniesione do tej grupy kryteriów (‘P. Kryteria dostępu – preselekcja’). Poprawność przygotowania karty załączników do projektu W kryterium należy dookreślić, co oznacza poprawne przygotowanie tej karty

Kryteria dotyczące weryfikacji kwalifikowalności wydatków Rekomendacje 11-21 Kryteria formalne Przykładowe rekomendacje dla kryteriów Kryteria dotyczące weryfikacji kwalifikowalności wydatków należy przenieść do etapu oceny merytoryczno-technicznej dopuszczalności projektu. Tu należy pozostawić takie kryterium jedynie w kontekście ogólnych zasad kwalifikowania Kompletność załączników należy odejść od poruszania aspektów merytorycznych  weryfikację, czy analiza finansowo-ekonomiczna jest zgodna z wytycznymi; czy dokonano prawidłowej klasyfikacji projektu wg dyrektywy OOŚ należy przenieść do oceny merytorycznej Projekt zakłada pozytywny lub neutralny wpływ na polityki horyzontalne można pozostawić w kryteriach formalnych dopuszczających, ale w opisie należy dodać, że ‘opis wpływu projektu na daną politykę wskazuje na pozytywny lub neutralny wpływ’, przy czym opis nie będzie w tym miejscu weryfikowany (oceniający nie może wchodzić w aspekty merytoryczne)

Wykonalność techniczna projektu Trwałość rezultatów projektu Rekomendacje 22-39 Kryteria merytoryczno-technicznej dopuszczalności projektu Przykładowe rekomendacje dla kryteriów Wykonalność techniczna projektu Mimo, iż kryterium bada najważniejsze aspekty wykonalności technicznej, technologicznej i instytucjonalnej, brakuje w nim badania jakości przygotowanych przez wnioskodawcę dokumentów Trwałość rezultatów projektu Dla kryterium należy określić check-listę, zgodnie z którą oceniający będzie sprawdzał, czy beneficjent nie planuje znaczącej modyfikacji rezultatów projektu w danym okresie od zakończenia projektu Wykonalność finansowa projektu należy wzbogacić o dwa podkryteria weryfikujące podstawowe warunki wykonalności finansowej i ekonomicznej (dla projektów nieobjętych pomocą publiczną): czy projekt wymaga dofinansowania (wykonalność finansowa) czy projekt jest warty współfinansowania (wykonalność ekonomiczna)

Zgodność projektu z politykami horyzontalnymi Unii Europejskiej Rekomendacje 40-71 Kryteria oceny jakości projektów Przykładowe rekomendacje dla kryteriów Oczekiwane rezultaty projektu w sposób bezpośredni wspierają realizację celów W kryterium należy zamienić przedziały na punktację: 0 – nie spełnia 2 lub 4 – spełnia Kosztowa efektywność projektu z punktu widzenia użytkowników projektu Ponieważ kryterium nie jest trafnie sformułowane i jednoznaczne, proponujemy wykorzystać wskaźnik B/C (korzyści do kosztów) Zgodność projektu z politykami horyzontalnymi Unii Europejskiej Należy zastanowić się nad usunięciem kryterium, ponieważ zgodność z politykami horyzontalnymi jest weryfikowana na etapie oceny formalnej i merytoryczno-technicznej dopuszczalności projektu Wszystkie niezbędne aspekty polityk są obecnie zawarte w odpowiednich przepisach prawa i niejako wymuszają na wnioskodawcach pewne rozwiązania – bezcelowe byłoby zatem premiowanie wnioskodawców za coś, co i tak muszą wykonać

Poprawa komfortu podróży kolejowych na liniach regionalnych Rekomendacje 72-80 Kryteria oceny wpływu przewidywanych rezultatów projektu na osiąganie celów RPO Przykładowe rekomendacje dla kryteriów Stopień, w jakim projekt przyczyni się do zwiększenia odsetka liczby ludności korzystającej z… Kryterium należy zamienić na kryterium ‘Kosztowa skuteczność projektu’ i nakłady odnieść do liczby ludności (lub RLM) podłączonej do kanalizacji / oczyszczalni ścieków w wyniku realizacji projektu (większa z liczb) lub planowanej liczby ludności podłączonej do wodociągu w wyniku realizacji projektu Uzyskany wzrost udziału energii odnawialnej w bilansie energetycznym województwa Kryterium proponujemy usunąć z racji trudności w poprawie trafności jego opisu. Ewentualnie można skupić się na premiowaniu stopnia dostosowania danego obszaru do określonych wymogów, a więc można zastosować kryterium bazujące na wzroście udziału energii odnawialnej w bilansie energetycznym województwa Poprawa komfortu podróży kolejowych na liniach regionalnych Kryterium należy przeformułować w taki sposób, aby badań wielkość wskaźnika oszczędności czasu jednostkowego na danym połączeniu Sposób oceny byłby analogiczny do innych tego typu kryteriów (min. wart. wskaźnika /wart. wskaźnika x 10 pkt)