I spotkanie ZSE PS , Kielce, 19 stycznia 2016 r. Założenia do ewaluacji projektów OWES

2  Projekty OWES będą wdrażane w ramach PI 9v w RPO.  OWES będą udzielać wsparcia PES/PS w postaci bezzwrotnej dotacji oraz usług towarzyszących w zakresie: animacji lokalnej, rozwoju ekonomii społecznej (usług inkubacyjnych) oraz wsparcia istniejących przedsiębiorstw społecznych (usług biznesowych).  Wybór OWES, następować będzie na okres nie krótszy niż 36 miesięcy.  Zgodnie z zapisami Wytycznych MIiR, OWES jest zobowiązany do osiągnięcia wskaźników efektywnościowych, współpracy z pośrednikami finansowymi oferującymi instrumenty finansowe PES, a także współpracy z ROPS. KONTEKST INTERWENCJI – PROJEKTY OWES W RAMACH RPO

3 OCENA JAKOŚCI WSPARCIA Z EFS UDZIELANEGO PRZEZ OWES  Dla zapewnienia jak najwyższej jakości usług wsparcia, a także ciągłości świadczenia tych usług jedynie przez najlepsze OWES w projektach RPO mają znaczenie 3 procesy: audyt jakościowy, monitoring oraz ewaluacja.  Audyt jakościowy będzie prowadzony przez wybranego wykonawcę zgodnie z zapisami Standardów OWES i będzie dotyczył ich spełnienia. Cześć OWES poddana została już audytowi.  Monitoring wsparcia OWES będzie prowadzony w oparciu o zestaw podstawowych wspólnych wskaźników, który zostanie opracowany i udostępniony OWES przez MRPiPS.  Ewaluacja będzie prowadzona w ramach projektów pozakonkursowych dot. koordynacji wsparcia w zakresie ES, realizowanych przez ROPS-y w każdym regionie zgodnie z dokumentem opracowanym w Ministerstwie Rozwoju.**

4 ZAŁOŻENIA DO EWALUACJI OWES – PO CO?  Celem opracowania „Założeń” jest pomoc w spełnieniu obowiązku przeprowadzenia badań ewaluacyjnych dotyczących działań prowadzonych przez OWES, wynikającego z zapisów „Standardów”.  Dzięki realizacji ewaluacji zgodnie z „Założeniami” możliwe będzie:  zapewnienie koordynacji procesu realizacji badań w poszczególnych regionach;  dokonywanie uprawnionych metodologicznie analiz porównawczych, dotyczących jakości wsparcia udzielanego przez OWES na poziomie ponadregionalnym i krajowym, dzięki zapewnieniu porównywalnej koncepcji badania (w tym jednolitej metodologii);  dostarczenie pogłębionej wiedzy o efektach i jakości pracy OWES;  podnoszenie jakości i efektów realizacji projektów OWES poprzez dostarczanie rekomendacji dotyczących rozwoju działań na rzecz sektora ekonomii społecznej.

5 CELE EWALUCJI  Celem głównym projektów OWES jest ocena jakości działań i usług na rzecz rozwoju PES realizowanych przez OWES.  Cele szczegółowe to:  ocena jakości zastosowanych form wsparcia PES pod kątem ich skuteczności w realizacji celów projektu i osiąganiu jego wskaźników, a także trwałości i użyteczności w stosunku do potrzeb PES;  ocena efektów działalności i efektywności (kosztowej i społecznej) funkcjonowania OWES;  ocena OWES jako beneficjentów projektów EFS oraz jakości zarządzania w tych projektach;  identyfikacja barier i problemów związanych z wdrażaniem projektów OWES;  ocena skuteczności współpracy OWES z innymi podmiotami.

6 PODSTAWOWE PYTANIA EWALUACYJNE - TRAFNOŚĆ Czy szczegółowe obszary działania w zakresie realizowanych przez OWES usług odpowiadają celom Planu działania OWES, celom projektów RPO? W jaki sposób OWES prowadziły diagnozę potrzeb swoich klientów? Czy zakres wsparcia zaplanowany w projektach OWES odpowiadał potrzebom klientów? Czy wsparciem zostały objęte wszystkie najważniejsze PES/PS czy tylko wybrane? Czy wsparcie otrzymały te PES/PS, które powinny? W jakim stopniu OWES są przygotowane do sprawnej i efektywnej realizacji działań (projektów), a także dysponują wiedzą na temat potrzeb PES/PS funkcjonujących na terenie ich działania? W jakim stopniu OWES dysponują odpowiednim potencjałem, niezbędnym do sprawnej i efektywnej realizacji działań, określonych we wnioskach o dofinansowanie projektów?

7 PODSTAWOWE PYTANIA EWALUACYJNE - SKUTECZNOŚĆ Które usługi i instrumenty wsparcia świadczone przez OWES są oceniane jako najbardziej skuteczne, a które były oceniane jako najmniej skuteczne i dlaczego? W jakim stopniu oferta OWES jest rozpoznawalna przez PES? Jakich problemów doświadczają OWES w związku z realizacją projektów? W jakim stopniu można uznać za skuteczną współpracę OWES na rzecz wsparcia PS/PES z instytucjami w regionie? Jakie korzyści społeczno-ekonomiczne i w jakim stopniu zostały osiągnięte przez PS/PES, dzięki wsparciu OWES? Jakie efekty społeczno- zatrudnieniowe w PES można przypisać wsparciu ze strony OWES? Jaki udział PS wspartych przez OWES korzysta z różnego typu instrumentów zwrotnych? W jakim stopniu wsparcie OWES pozwoliło zwiększyć zainteresowanie tą formą finansowania?

8 PODSTAWOWE PYTANIA EWALUACYJNE - EFEKTYWNOŚĆ W jakim stopniu stosowane w projektach instrumenty i usługi są efektywne kosztowo? Które są najbardziej efektywne pod tym względem? Które OWES świadczyły usługi i oferowały wsparcie najbardziej efektywnie pod względem wydatkowania środków z EFS? Które grupy klientów OWES wymagały największej intensywności wsparcia dla osiągniecia określonych rezultatów? Czy budżety projektów OWES były wystarczające dla realizacji projektów? Jakich kosztów można było nie ponieść bez szkody dla realizacji celów projektów? Czy w ramach projektów OWES powinien być kwalifikowalny jeszcze jakiś rodzaj wydatków?

9 PODSTAWOWE PYTANIA EWALUACYJNE - UŻYTECZNOŚĆ W jakim stopniu instrumenty wsparcia i usługi, świadczone w ramach projektów OWES są zróżnicowane i zindywidualizowane pod kątem zapewnienia potrzeb konkretnych PES? Czy działania prowadzone przez OWES są kompleksowe? Czy wsparcie OWES jest właściwie sprofilowane – czy uwzględniało kierunki rozwoju planowane przez PES? Które działania OWES były najważniejsze/najbardziej przydatne dla dalszego rozwoju PES? W jakim stopniu usługi i instrumenty wsparcia stosowane przez OWES są dopasowane do potrzeb i potencjału danego klienta lub grupy klientów? Jakiego rodzaju pomocy brakuje PES/PS najbardziej, a nie otrzymały jej dotychczas z OWES w ogóle lub w wystarczającym stopniu?

10 PODSTAWOWE PYTANIA EWALUACYJNE - TRWAŁOŚĆ W jakim stopniu działania realizowane w ramach projektów OWES na rzecz PES przynoszą trwałe rezultaty? Jakie działania podejmują OWES w celu zapewnienia trwałości realizowanych w projekcie działań? Co sprzyja osiągnieciu trwałości realizowanych działań? Jaka jest trwałość miejsc pracy powstałych w PES/PS dzięki wsparciu świadczonemu w ramach projektów OWES? Jaka jest sytuacja społeczna i status na rynku pracy poszczególnych grup uczestników/pracowników PES/PS, które zostały objęte wsparciem OWES po zakończeniu projektu? Jaka jest liczba miejsc pracy istniejących co najmniej 30 miesięcy, utworzonych w podmiotach ekonomii społecznej ze środków z EFS w ramach RPO ?

11 BUDŻET EWALUACJI  Budżet na badanie ewaluacyjne powinien zostać zapewniony w ramach projektu ROPS realizowanego ze środków RPO w roku 2018 oraz  Kwota badania ewaluacyjnego musi być uzasadniona zakresem badania i nie powinna przekroczyć wartości 100 tys. zł brutto za jedno badanie ewaluacyjne.  W przypadku badania, którego koszt wynosi więcej niż 100 tys. zł brutto dodatkowe środki na ewaluację są zapewniane z innego źródła (np. ze środków pomocy technicznej RPO w ramach wydatków na ewaluację).  IZ RPO może również zdecydować o finansowaniu badania w całości ze środków pomocy technicznej.

12 PODSTAWOWE ZAŁOŻENIA METODOLOGICZNE 1.Obowiązkowe do zastosowania metody i techniki badawcze to:  analiza danych zastanych*;  indywidualne wywiady pogłębione z przedstawicielami OWES;  badanie OWES metodą Tajemniczy Klient („Mystery Client”);  badania ilościowe z przedstawicielami PES w regionie**. 2.Lista metod i technik badawczych do zastosowania może zostać rozszerzona, pod warunkiem zachowania limitu budżetowego. 3.Wykonawca gwarantuje pilotaż zaproponowanych narzędzi badawczych - co najmniej w przypadku badania ilościowego z przedstawicielami PES. 4.W każdym badaniu ewaluacyjnym musi zostać zastosowana triangulacja metodologiczna – na etapie zbierania oraz analizy danych. 5.ROPS może, ale nie musi wymagać przedstawienia raportu metodologicznego.

13 PODSTAWOWE ZAŁOŻENIA ORGANIZACYJNE  Ewaluacja projektów OWES w każdym województwie zostanie zlecona wykonawcy zewnętrznemu przez właściwy miejscowo ROPS.  Ewaluacja zostanie przeprowadzona w I-II kw r., a także w I-II kw r. - z zastrzeżeniem, że możliwa jest rezygnacja z drugiego etapu ewaluacji.  Wybór wykonawcy zewnętrznego badania ewaluacyjnego odbywa się zgodnie z zasadami określonymi w „Wytycznych w zakresie kwalifikowalności wydatków w ramach EFFF, EFS oraz FS ”.  Wykonawca powinien dysponować zespołem badawczym posiadającym wiedzę i doświadczenie, związane z problematyką ekonomii społecznej, a także prowadzenia ewaluacji. Wymagania w tym zakresie są określane przez ROPS.  ROPS dokonuje wyboru wykonawcy badania na podstawie kryteriów oceny, wśród których kryterium ceny nie powinno być jedynym.*

14 WYNIKI EWALUACJI  Efektem ewaluacji jest raport, zawierający ocenę, wnioski i rekomendacje. ROPS zobowiązany jest do konsultacji projektu raportu końcowego z ewaluacji przynajmniej z IZ oraz IP RPO (odpowiadającą za wdrażanie projektów OWES).  Wyniki każdej ewaluacji zleconej przez ROPS zostaną pokazane oddzielnie dla każdego OWES podanego analizie i ocenie.  ROPS przekazuje w wersji elektronicznej: raport końcowy z badania, bazy danych oraz tabelę rekomendacji do właściwej IZ RPO, IK EFS, a także upowszechnia je co najmniej poprzez umieszczenie raportu końcowego z badania na własnej stronie internetowej.*  ROPS zobowiązany jest do monitorowania procesu wdrażania rekomendacji z przeprowadzonego badania oraz corocznego sprawozdawania się z postępu wdrażania rekomendacji do IZ RPO.

15 ZAGADNIENIA DO DYSKUSJI  ROPS jako zleceniodawcy ewaluacji – możliwe alternatywy;  Termin realizacji / powtarzalność badania – możliwe rozwiązania;  Zakres tematyczny badania – czy cele, zastosowane kryteria, postawione pytania są właściwe?  Metodologia badania – czy opisane minimum jest adekwatne i wystarczające?  Budżet ewaluacji – zaplanowana wartość finansowa badania, źródło finansowania: projekt ROPS vs. pomoc techniczna RPO vs inne źródła;  Narzędzia do realizacji badania – czy istnieje konieczność ich standaryzacji na poziomie wszystkich ROPS?  Inne pytania / pomysły?

Michał Sułkowski Wydział Ewaluacji Departament Europejskiego Funduszu Społecznego Ministerstwo Rozwoju Dziękuję za uwagę