Wyniki ewaluacji okresowej projektu pn. Wsparcie osób z zaburzeniami psychicznymi na rynku pracy II 23 maja 2012 r. Warszawa II Konferencja realizowana w ramach projektu pn. Wsparcie osób z zaburzeniami psychicznymi na rynku pracy II

Informacje wstępne Ewaluacja okresowa o charakterze wewnętrznym Obejmująca okres od do (data graniczna ewaluacji) Zakres ewaluacji: - działania o charakterze zarządczym (aspekt administracyjny, finansowy, rzeczowy) - działania o charakterze merytorycznym (warsztaty kompetencji, aktywizujące, dla otoczenia OZP, szkolenia zawodowe) - proces rekrutacji i promocji projektu

Cele ewaluacji oszacowanie wartości projektu pod kątem adekwatności, trafności, skuteczności, efektywności oraz użyteczności identyfikacja słabych oraz mocnych stron projektu (w tym dobrych praktyk) sformułowanie zaleceń dotyczących sposobu realizacji projektu, zarówno w odniesieniu do obecnej, jak i kolejnych edycji tego przedsięwzięcia

Kryteria ewaluacyjne adekwatność – stopień dostosowania projektu do potrzeb OZP oraz ich otoczenia trafność przyjętych metod rekrutacji oraz form promocji projektu skuteczność – stopień osiągnięcia zaplanowanych celów i rezultatów projektu użyteczność – stopień przydatności projektu dla OZP oraz ich otoczenia efektywność – sprawność we wdrażaniu projektu ( czynniki ułatwiające/utrudniające realizację projektu)

Pytania badawcze 1. Czy program wsparcia dla OZP oraz osób z ich otoczenia zostały sformułowane adekwatnie do potrzeb i oczekiwań tych grup docelowych? (adekwatność) 2. Czy sposób realizacji danych form wsparcia sprzyjał osiągnięciu celów? (jw.) 3. Czy sposób organizacji przyjętych form wsparcia był odpowiedni do możliwości oraz potrzeb uczestników? (jw.) 4. Czy w projekcie uwzględniono specjalne potrzeby BO OZP? (jw.) 5. W jakim stopniu działania promocyjne i rekrutacja dotarły do odbiorców i miały wpływ na ich udział w projekcie? (trafność) 6. Jakie czynniki wpływały na podjęcie tej decyzji? (jw.) 7. Czy założone rezultaty są osiągane zgodnie z harmonogramem? Czy i ew. które cele mogą być zagrożone? (skuteczność) 8. W jakim stopniu zostały zrealizowane założone wskaźniki? (jw.) 9. Czy wskaźniki produktów i rezultatów są osiągane zgodnie z harmonogramem? (jw) 10. Czy rokuje to pełnemu ich osiągnięciu? (jw.) 11. Jaki jest poziom satysfakcji i zadowolenia BO z udziału w projekcie? (użyteczność) 12. Jakie czynniki wpływały na poziom satysfakcji BO? (jw.) 13. Jaką wiedzę i umiejętności uzyskali BO? (jw.) 14. Jakie czynniki ułatwiały/utrudniały osiąganie celów i rezultatów? (efektywność)

Kwestie metodologiczne (1) Koncepcja badania została zaplanowana z dużym wyprzedzeniem czasowym i opisana w dokumencie pn. Strategia ewaluacji i monitoringu w projekcie Wsparcie osób z zaburzeniami psychicznymi na rynku pracy II W badaniu ewaluacyjnym wykorzystano metody: jakościowe - analizę dokumentacji i danych zastanych ilościowe - ankiety papierowe

Kwestie metodologiczne (2) Analiza dokumentacji i danych zastanych obejmowała: - wniosek o dofinansowanie projektu - raporty z ewaluacji mid-term oraz ex-post I edycji projektu - raport podsumowujący I edycję projektu - raport z ewaluacji ex-ante ewaluowanego projektu - dane z monitoringu - protokoły z posiedzeń Komitetu Sterującego - informacje dotyczące wydatkowania środków - rejestr wypracowanych produktów - ankiety zarządcze i opracowane na ich podstawie raporty za okres VI-IX i X-XII 2011

Kwestie metodologiczne (3) Sondaż zrealizowany przy pomocy ankiet papierowych odnoszących się do poszczególnych form wsparcia: - kwestionariusze ankiet dot. warsztatów aktywizujących, warsztatów kompetencji oraz szkoleń zawodowych - kwestionariusze ankiet dot. oceny projektu przez OZP oraz ich otoczenie (tj. ankiety samooceniającej wypełnianej przed i po zakończeniu udziału w projekcie w celu dokonania pomiaru rezultatów miękkich) - kwestionariusze ankiet o charakterze ogólnym dla OZP oraz ich otoczenia

Dane z monitoringu Do dnia r. udział w projekcie rozpoczęło 700 osób (58%), w tym 430 to OZP (72%) a 270 to osoby z ich otoczenia (45%) Kobiety stanowią 47% wśród OZP i 75% ich otoczenia oraz 58% ogółu BO 176 osób zakończyło, 17 przerwało, zaś 507 kontynuuje swój udział w projekcie

Struktura grupy docelowej (1)

Struktura grupy docelowej (2)

Struktura grupy docelowej (3)

1.Opracowanie ID 2.Warsztaty kompetencji 3.Warsztaty aktywizujące 4.Konsultacje specjalistyczne 5.Opracowanie IPD/IŚZ 6.Badania lekarskie 7.Szkolenia zawodowe 8.Szkolenia BHP 9.Staże rehabilitacyjne 10.Zatrudnienie 11.Podjęcie nauki 12.Warsztaty dla otoczenia OZP 13.Indywidualne konsultacje

Obszar I: postęp finansowy i rzeczowy Zdiagnozowane problemy: opóźnienie w wydatkowaniu środków (34%). Kwota wniosków zaakceptowanych przez IW stanowi ok. 17% budżetu projektu niedostateczny poziom realizacji 10 spośród 13 wskaźników zróżnicowany udział Partnerów w osiąganiu ww. rezultatów: - największy wkład Partnera z Gorzowa (9 wskaźników zrealizowanych na najwyższym poziomie) - największą ilość wskaźników na poziomie 3% wykazują Partnerzy z Gdańska (8), Bydgoszczy (7), Poznania (7) Skutki : ryzyko niezrealizowania projektu w zaplanowanym terminie, nieosiągnięcia 6-ciu założonych wskaźników, nadmierne obciążenie niektórych Partnerów kosztem niewywiązywania się innych z podjętych zobowiązań

Rekomendacje: zmiana harmonogramu projektu (wydłużenie czasu wdrażania) zwiększenie poziomu wydatkowania środków o około 20% modyfikacja wskaźników (uelastycznienie zapisów) zintensyfikowanie wymiany doświadczeń pomiędzy Partnerami (dobre praktyki): - Partner z Gorzowa; wskaźnik zatrudnienia BO OZP 187%, konsultacji specjalistycznych 96%, konsultacji indywidualnych 83%, badań lekarskich 70% - Partner z Gdańska; opracowanie ID 73%, podjęcie/kontynuacja nauki przez BO OZP 67% - Partner z Łodzi; wskaźnik badań lekarskich oraz szkoleń BHP po 70%, warsztatów kompetencji 63% - Partner z Poznania; wskaźnik zatrudnienia BO OZP 80%

Obszar II: zarządzanie i komunikacja Zdiagnozowane problemy: trudności o charakterze zarządczym: - absencja na posiedzeniach KS przedstawicieli niektórych Partnerów, nadużywanie upoważnień do udziału w KS - brak terminowości w przekazywaniu przez Partnerów wymaganych dokumentów (w tym ankiet zarządczych) - trudności we współpracy i komunikowaniu się Lidera z niektórymi Partnerami oraz pomiędzy samymi Partnerami (funkcjonowanie niektórych z nich w oderwaniu od pozostałych, mniejsze zaangażowanie, wyłączenie z procesów decyzyjnych) trudności merytoryczne (problem z rekrutacją osób z otoczenia OZP oraz pracodawców, identyfikacją osób zainteresowanych podjęciem/kontynuacją nauki) długi czas oczekiwania na decyzje/informacje z IW (CRZL)

Skutki - utrudnione zarządzanie projektem, powstawanie barier i opóźnień, słabsza jakość współpracy, opóźnienia w składaniu wniosków o płatność, w przypadku niektórych Partnerów brak rzetelnych informacji zbieranych przy pomocy ankiet zarządczych Rekomendacje: wprowadzenie działań o charakterze dyscyplinującym, mających na celu zwiększenie zaangażowania części członków KS oraz zachowania terminowości w przekazywaniu dokumentacji (np. określenie w umowie warunków uczestnictwa/obecności na KS) zacieśnienie współpracy pomiędzy Partnerami poprzez podjęcie działań służących integracji, wymianie doświadczeń oraz dobrych praktyk (np. organizowanie wizyt studyjnych) uczulenie Partnerów na konieczność sumiennego wypełniania ankiet zarządczych, wyjaśnienie celu w jakim gromadzone są te informacje

Obszar III: rekrutacja i promocja Zdiagnozowane problemy: główne źródło informacji o projekcie stanowią dla 54% BO OZP ulotki i plakaty, a dla ich otoczenia sami OZP (53%), mniej więcej co trzecia osoba z obu tych grup wskazała znajomych i rodzinę (kolejno 36% i 29%) - z portali dla ON korzystało 22% BO OZP i 5% osób z ich otoczenia - z informacji prasowych po 14% osób z obu tych grup - ze strony Internetowej projektu 12% osób z otoczenia i 4% OZP (radio wskazało 5%, zaś audycje TV 2% Partnerzy nie dostarczają na bieżąco Liderowi projektu materiałów promocyjnych, które mają być zamieszczane na stronie Internetowej projektu Skutki – Internet, prasa, radio i TV mają nikłe znaczenie w procesie rekrutacji, niedostateczna promocja projektu, szczególnie na poziomie regionalnym

Rekomendacje: intensywne angażowanie OZP w proces rekrutacji otoczenia: - przekonywanie OZP o celowości i znaczeniu uczestnictwa osób z ich otoczenia w projekcie, pokazywanie przykładów i dobrych praktyk - zachęcanie do włączania do udziału w projekcie osób spoza kręgu rodziny (przyjaciół, kolegów) - próba dotarcia do terapeutów i psychologów mających kontakt z OZP podjęcie działań służących: - zbadaniu potrzeb Partnerów w zakresie promocji projektu na poziomie regionalnym oraz intensyfikacja danych form promocji - uświadomieniu Partnerom celowości oraz korzyści wynikających z zamieszczania materiałów promocyjnych na stronie projektu, - aktualizacji informacji nt. promocji na poziomie regionalnym (na podstawie danych z miesięcznych sprawozdań) - zintensyfikowaniu promocji projektu na portalach dla ON

Mocne strony projektu (1) doświadczenie Lidera oraz 2-ch Partnerów w realizacji pilotażu wdrażanie projektu zgodnie z zasadą równości szans ze względu na płeć, wiek oraz wykształcenie zarządzanie projektem zgodnie z PCM oraz elementami metodyki PRINCE 2 bieżące wyjaśnianie nieścisłości i nieporozumień, demokratyczny sposób podejmowania decyzji w Partnerstwie, w oparciu o wypracowany konsensus stopniowa poprawa współpracy Partnerów z Liderem projektu, a także pomiędzy poszczególnymi Partnerami satysfakcja Partnerów z uczestnictwa w projekcie oraz odnoszone przez nich korzyści (wzmocnienie organizacji poprzez nabywanie wiedzy i doświadczeń, nawiązywanie nowych kontaktów, autopromocja, większa rozpoznawalność)

Mocne strony projektu (2) dostosowanie projektu do potrzeb prawie wszystkich BO OZP oraz osób z ich otoczenia, wysoki stopień spełnienia oczekiwań wobec projektu (98% i 95%), bardzo wysokie odsetki pozytywnych ocen uzyskiwanego wsparcia (98% i 100%) spełnienie oczekiwań ogromnej większości uczestników warsztatów aktywizacyjnych oraz kompetencji, szkoleń zawodowych i warsztatów dla otoczenia OZP wysoka ocena ww. form wsparcia przyznana przez ogromną część uczestników (87-93%) gł. przygotowanie prowadzących, tematyka i forma zajęć, otrzymane materiały przydatność zdobytej podczas warsztatów wiedzy i umiejętności (88% OZP i 94% otoczenia OZP) wszyscy uczestnicy szkoleń zawodowych wskazują na osiągnięte korzyści (100%)

Mocne strony projektu (3) postrzeganie udziału w projekcie w kategoriach sukcesu przez 96% BO OZP (ze względu na wzrost samodzielności, aktywności społeczno-zawodowej, poczucia własnej wartości), wzrost wiary w siebie (77%) zadowolenie niemal wszystkich BO OZP z wykonywanej pracy (poprawa sytuacji materialnej, wzrost kontaktów społecznych, zwiększenie stabilności i komfortu psychicznego, odzyskanie poczucia własnej wartości oraz wzrost aktywności) w większości przypadków bardzo dobra współpraca z pracodawcą/pracownikami zmiany w funkcjonowaniu społecznym OZP zaobserwowane przez 94% osób z ich otoczenia wzrost świadomości osób z otoczenia OZP w zakresie możliwości ich wspierania (88%), zmiana sposobu postrzegania OZP, lepsze zrozumienie i uświadomienie sobie dotychczasowych błędów, uwrażliwienie, większa cierpliwość

Mocne strony projektu (4) wysoki poziom kompetencji miękkich po zakończeniu udziału w projekcie większości BO OZP: - motywacji do poszukiwania pracy, mobilności zawodowej, komunikowania się, pracy w zespole, autoprezentacji, pisania cv i LM oraz samooceny (dane zebrane przez 4-ch Partnerów) jw. w odniesieniu do osób z otoczenia OZP: - wiedzy nt. możliwości społeczno-zawodowych OZP, radzenia sobie z chorobą, komunikowania się z OZP, interweniowania w sytuacji kryzysowej, motywacji do wspierania OZP, umiejętności jej kontrolowania i dyscyplinowania, społecznego funkcjonowania (dane zebrane przez 5 Partnerów) brak różnic w ww. zakresie pomiędzy poszczególnymi Partnerstwami

Dziękuję za uwagę II Konferencja realizowana w ramach projektu pn. Wsparcie osób z zaburzeniami psychicznymi na rynku pracy II