III spotkanie Grupy Sterującej Ewaluacją Regionalnego Programu Operacyjnego Województwa Kujawsko-Pomorskiego na lata 2014-2020 Toruń, 5 grudnia 2016 r.

Plan spotkania Informacja sprawozdawcza na temat działań zrealizowanych przez Jednostkę Ewaluacyjną w 2016 r. Aktualizacja Planu Ewaluacji RPO WK-P na lata 2014-2020 Informacja o działaniach ewaluacyjnych przewidzianych do realizacji w 2017 r.

Rodzaje działań prowadzonych w 2016 r. Jednostka Ewaluacyjna RPO WK-P Badania ewaluacyjne Udział w pracach Zespołu Sterującego Ewaluacją w Ministerstwie Rozwoju Prowadzenie strony internetowej Współpraca z GSE RPO WK-P, w tym szkolenia dla grupy Szkolenie dla beneficjentów Konferencja ewaluacyjna

Aktywność Grupy Sterującej Ewaluacją RPO WK-P 2014-2020 w 2016 r. Spotkania GSE RPO WK-P 2014-2020 22 stycznia 2016 r. - prace nad koncepcją badań dotyczących ewaluacji ex post dla RPO WK-P 2007-2013 oraz kryteriów i oceny systemu projektów dla RPO WK-P 2014-2020. 5 grudnia 2016 r. - podsumowanie prac Grupy w 2016 oraz przedstawienie planów na 2017 r. Członkowie GSE uczestniczyli również w konferencji ewaluacyjnej (21-22.06.2016).

Działania ewaluacyjne zrealizowane w roku 2016 r. Szkolenia dla członków GSE Brokerzy wiedzy – skuteczne wykorzystanie analiz i ewaluacji do wspierania rozwoju regionu - 10 maja 2016 r. Prawo Zamówień Publicznych w procesie organizacji ewaluacji - 5-6 grudnia 2016 r. Inne szkolenia Czym jest ewaluacja dla beneficjentów i potencjalnych beneficjentów RPO WK-P 2014-2020 - 15 listopada 2016 r.

Działania ewaluacyjne zrealizowane w roku 2016 r. Konferencje III Międzyregionalna Konferencja Ewaluacyjna pt. Nowe wyzwania dla ewaluacji programów operacyjnych w perspektywie 2014-2020 Odbyła się w dniach 21-22 czerwca 2016 w Centrum Kulturalno-Kongresowym Jordanki w Toruniu. Publikacja pokonferencyjna w druku.

Działania ewaluacyjne zrealizowane w roku 2016 r. Badania ewaluacyjne: Ewaluacja ex-post dla RPO WK-P 2007-2013 realizowana od 27 czerwca 2016 r. Ostateczna wersja raportu końcowego zostanie przekazana przez Wykonawcę 12 grudnia 2016 r. Prezentacja wyników badania przewidywana jest na I kwartał 2017 r. Ewaluacja bieżąca kryteriów i systemu wyboru projektów RPO WK-P na lata 2014-2020. W dniu 17 listopada 2016 r. została podpisana umowa z Wykonawcą. Pierwsze wyniki badania znajdą się w raporcie cząstkowym, który powstanie na koniec lutego 2017r. Natomiast raport końcowy z badania będzie dostępny w maju 2017r.

Ewaluacja ex-post Regionalnego Programu Operacyjnego Województwa Kujawsko-Pomorskiego na lata 2007-2013

Cel badania Obszary badawcze Celem ewaluacji ex post jest podsumowanie i ocena efektów wsparcia udzielonego ze środków RPO WK-P 2007-2013 głównie pod kątem określenia stopnia realizacji celu głównego i celów szczegółowych Programu. Obszary badawcze Ocena stopnia osiągnięcia celu głównego oraz celów szczegółowych Programu. (Badanie wskaźników kontekstowych). Ocena stopnia realizacji celów poszczególnych Osi priorytetowych. Ocena realizacji RPO WK-P 2007-2013 pod kątem efektywności wydatkowania środków. Określenie stopnia trwałości efektów osiągniętych dzięki wsparciu w ramach RPO WK-P na lata 2007-2013. Ocena systemu realizacji Programu. Wykonawca na podstawie dokumentów IZ RPO WK-P 2007-2013 dokona oceny systemu realizacji Programu. Identyfikacja barier/trudności w realizacji projektów finansowanych ze środków RPO WK-P na lata 2007-2013 oraz stopień ich przezwyciężenia. Określenie dobrych praktyk z realizacji projektów w ramach RPO WK-P na lata 2007- 2013.

Ewaluacja bieżąca kryteriów i systemu wyboru projektów RPO WK-P na lata 2014-2020

Badanie ewaluacyjne pt Badanie ewaluacyjne pt. „Ewaluacja bieżąca kryteriów i systemu wyboru projektów RPO WK-P na lata 2014-2020” Cel Badania Celem badania jest dokonanie oceny przyjętych kryteriów wyboru projektów oraz systemu wyboru projektów pod kątem zapewnienia skutecznej i najbardziej efektywnej realizacji RPO WK-P 2014-2020 Badanie zostanie zrealizowane na puli kryteriów zatwierdzonych do XIII posiedzenia Komitetu Monitorującego RPO WK-P, które odbyło się dnia 27 października 2016 roku. W ramach pierwszego obszaru zostanie przeprowadzona analiza i ocena zaplanowanego systemu i procesu wyboru projektów, która będzie dotyczyć następujących zagadnień: a) prawidłowość rozplanowania naborów zarówno w kontekście osiągnięcia założonych w programie celów i ram wykonania, jak również potrzeb i możliwości potencjalnych wnioskodawców, b) potencjał instytucji dokonujących oceny i wyboru (rozplanowanie konkursów w czasie oraz podział środków); c) przejrzystość i bezstronność systemu oceny i wyboru projektów; d) sposób organizacji i sprawność realizacji procesu wyboru projektów w kontekście celów programu operacyjnego: - ogłoszenie naboru, w tym: dostępność informacji, czytelność i poprawność merytoryczna dokumentacji konkursowej, trafność zakresu i treści regulaminów konkursów w kontekście celów programu, zakres wymaganych dokumentów oraz ich spójność z wymogami prawnymi nakładanymi na beneficjentów, - nabór wniosków, w tym: czas na składanie wniosków, potencjał administracyjny instytucji dokonujących naboru, - ocena i wybór projektów, w tym: potencjał administracyjny i ekspercki, czas oceny, metody oceny, rekrutacja i system motywacyjny ekspertów dokonujących oceny, proces zatwierdzania wyników, - procedury odwoławcze, w tym: przejrzystość i jednoznaczność zasad, czas rozpatrywania odwołań. e) zdolność systemu do zapewnienia odpowiedniego poziomu komplementarności projektów. W ramach drugiego obszaru problemowego zostanie przeprowadzona analiza i ocena kryteriów wyboru projektów (tj. zestawu określonych wymogów formalnych i merytorycznych, które muszą spełniać projekty, żeby uzyskać dofinansowanie z publicznych środków wspólnotowych), dotycząca następujących zagadnień: a) sposobu sformułowania kryteriów wyboru projektów, które powinny spełniać warunki zasady SMART, tzn. powinny być: obiektywne, mierzalne, jednoznaczne i precyzyjne, poprawne merytorycznie oraz spójne wewnętrznie; b) skuteczności systemu kryteriów wyboru projektów, tj. zdolności do wyboru projektów optymalnych z punktu widzenia logiki interwencji i celów programu operacyjnego oraz założeń sformułowanych na potrzeby systemu ram wykonania z uwzględnieniem następujących zadań szczegółowych: - spójność kryteriów z założeniami i celami programu operacyjnego, - adekwatność znaczenia (wagi) przypisanego danemu kryterium z punktu widzenia celów programu operacyjnego (w tym założeń ram wykonania), - istotność kryteriów (m.in. identyfikacja kryteriów pominiętych a istotnych z punktu widzenia celów programu w tym założeń ram wykonania i/lub eliminacja kryteriów nieistotnych), - zdolność kryteriów do wpływania na realną jakość przedkładanych projektów, - zdolność kryteriów do wyboru projektów innowacyjnych, - zagrożenie dyskryminacji określonych grup potencjalnych beneficjentów oraz grup docelowych, - spójność z zasadami realizacji polityk horyzontalnych. Ostatni obszar badawczy dotyczył będzie oceny funkcjonalności systemów informatycznych. zakres analiz dotyczących systemów informatycznych (głównie generatora wniosków o dofinansowanie) będzie skupiał się na problemach/trudnościach pojawiających się w trakcie aplikowania wniosków ze szczególnym uwzględnieniem czy udało się je usunąć na etapie wprowadzonych w III kwartale zmian.

Trzy główne obszary problemowe w ramach badania system oraz proces wyboru i oceny projektów (poza kryteriami) funkcjonalność systemów informatycznych kryteria wyboru projektów

Struktura kryteriów wyboru projektów w ramach RPO WK-P 2014-2020 RPO WK-P na lata 2014-2020 96 zatwierdzonych zestawów kryteriów w ramach 57 działań/poddziałań Łącznie 12 osi priorytetowych 74 działania /poddziałania 7 osi priorytetowych 42 działania/poddziałania 54 zestawy kryteriów w ramach 28 działań/poddziałań EFRR 4 osie priorytetowe 30 działań/ poddziałań 40 zestawów kryteriów w ramach 27 działań/poddziałań + oś PT - 2 zestawy kryteriów dla 2 działań EFS

Badanie ewaluacyjne pt Badanie ewaluacyjne pt. „Ewaluacja bieżąca kryteriów i systemu wyboru projektów RPO WK-P na lata 2014-2020” W trybie przetargu nieograniczonego wyłoniono wykonawcę badania - Pracownię Badań i Doradztwa Re-Source Korczyński Sarapata z Poznania Harmonogram prac nad realizacją badania: dnia 17 listopada 2016 r. podpisano umowę z wykonawcą, do dnia 15 grudnia 2016 r. przekazany zostanie raport metodologiczny, do dnia 23 lutego 2016 r. przekazany zostanie raport cząstkowy, 4 maja 2016 r. - termin przekazania ostatecznej wersji raportu końcowego, najpóźniej do 15 lipca 2017 r. zostaną przeprowadzone dwie prezentacje wyników badania, raport metodologiczny, będzie uwzględniał koncepcję badania opis wszystkich metod i technik zaplanowanych w badaniu, projekty narzędzi badawczych, a także wstępną analizę desk research systemu wyboru projektów, a dokładniej porównanie różnic w regulaminach naborów dla EFRR i EFS oraz regulamin procedury odwoławczej. raport cząstkowy, będzie uwzględniał analizę desk research systemu oceny i wyboru projektów oraz analizę desk research wszystkich zatwierdzonych kryteriów wyboru projektów w ramach RPO WK-P 2014-2020 uzupełnioną o benchmarking regionalny oraz, o ile to będzie możliwe, o wstępne wyniki analiz walidacyjnych kryteriów merytorycznych (z zastrzeżeniem, że karty oceny formalno-merytorycznej zostałyby przekazane w grudniu 2016 r.). Raport końcowy będzie odpowiadał na postawione pytania badawcze oraz przyjęte założenia badawcze. Ponadto będzie uwzględniać wnioski i rekomendacje z raportu cząstkowego zweryfikowane badaniami terenowymi. Struktura raportu końcowego będzieodzwierciedlać strukturę RPO WK-P 2014-2020, tj. kryteria będą opisywane według osi priorytetowych.

Metodologia badania Desk research Wywiady indywidualne CAWI/CATI Analiza podstawowych dokumentów źródłowych, mi. in. Systemu Oceny Projektów w ramach RPO WK-P na lata 2014-2020 z załącznikami, kryteria wyboru projektów w ramach RPO WK-P, regulaminów konkursów, protokołów z posiedzeń KM RPO WK-P na lata 2014-2020 oraz stanowisk grup roboczych przy Komitecie Monitorującym RPO WK-P na lata 2014-2020. Wywiady indywidualne Pogłębione rozmowy z przedstawicielami instytucji zaangażowanych w realizację RPO WK-P na lata 2014-2020 (26 wywiadów), z Członkami Komitetu Monitorującego RPO WK-P 2014-2020 (12 wywiadów) oraz z ekspertami oceniającymi wnioski, spoza ww. instytucji (20 wywiadów). CAWI/CATI Wywiady z Beneficjentami oraz Wnioskodawcami, którzy złożyli lub są zainteresowani złożeniem wniosku o dofinansowanie w ramach RPO WK-P na lata 2014-2020 na reprezentatywnej próbie badawczej. Panele eksperckie 2 spotkania dotyczące systemu oceny i kryteriów wyboru projektów z przedstawicielami instytucji zaangażowanych w realizację RPO WK-P 2014-2020.

Metodologia badania cd. Wywiady eksperckie 3 wywiady z pracownikami firm doradczych / konsultingowych zajmujących się doradztwem w procesie aplikowania o środki w ramach RPO WK-P Analiza walidacyjna W ramach analizy walidacyjnej ocenie mogą zostać poddane tylko te projekty, dla których została zakończona ocena merytoryczna (109 wniosków spełniało ten warunek na dzień 18.11.2016, kolejne 570 wniosków jest w trakcie oceny). Benchmarking Analiza kryteriów merytorycznych stosowanych dla wyboru projektów współfinansowanych ze środków EFS i EFRR w ramach wszystkich 16 Regionalnych Programów Operacyjnych na lata 2014-2020.

Procedura aktualizacji Planu ewaluacji RPO WK-P na lata2014-2020 Plan ewaluacji RPO WK-P 2014-2020 (PE RPO 2014-2020) PRZEGLĄD PE RPO 2014-2020 konsultacje aktualności badań ewaluacyjnych I kwartał roku AKTUALIZACJA PE RPO WK-P 2014-2020 w przypadku propozycji zmian w dokumencie II kwartał roku Komitet Monitorujący RPO WK-P 2014-2020 Jednostki zaangażowane w realizację RPO WK-P 2014-2020 Opiniowanie aktualizowanego PE RPO WK-P 2014-2020 przez KJE Przekazanie aktualizowanego planu KM RPO WK-P 2014-2020 do zatwierdzenia Przekazanie zatwierdzonego zaktualizowanego PE RPO WK-P 2014-2020 do KJE w celu upublicznienia Grupa Sterująca Ewaluacją RPO WK-P 2014-2020

Wyniki przeglądu Planu ewaluacji RPO WK-P 2014-2020 14.10.2016 r. – informacja do członków GSE o zbieraniu tematów do Planu Ewaluacji na 2017 r. Otrzymaliśmy informację zwrotną dotyczącą konieczności przesunięcia terminu z II na IV kwartał 2017 r. w badaniu pt. „Ewaluacja wdrażania instrumentu RLKS (rozwoju lokalnego kierowanego przez społeczność) na obszarach objętych lokalnymi strategiami rozwoju w ramach RPO WK-P 2014- 2020”.

Działania ewaluacyjne zaplanowane na 2017 rok Szkolenia dla członków GSE RPO WK-P na lata 2014-2020 Praktyczne relacje pomiędzy monitoringiem a ewaluacją (celem szkolenia będzie pozyskanie wiedzy z zakresu efektywnego wykorzystywania danych zdobytych w ramach monitoringu do celów ewaluacyjnych) Ewaluacja formatywna i konkluzywna (celem szkolenia będzie zwiększenie kompetencji w zakresie umiejętności rozróżniania obu typów ewaluacji oraz możliwości wykorzystywania wniosków z badań formatywnych na potrzeby ewaluacji konkluzywnych) Badania ewaluacyjne Ocena wpływu wsparcia kierowanego do osób w najtrudniejszej sytuacji na rynku pracy na ich sytuację po zakończeniu udziału w projekcie w ramach RPO WK-P 2014-2020 Ewaluacja wdrażania instrumentu RLKS (rozwoju lokalnego kierowanego przez społeczność) na obszarach objętych lokalnymi strategiami rozwoju w ramach RPO WK-P 2014-2020

Dziękuję za uwagę