SYSTEM MONITORINGU I EWALUACJI USŁUG SPOŁECZNYCH REALIZOWANYCH NA PODSTAWIE GMINNEJ STRATEGII ROZWIĄZYWANIA PROBLEMÓW SPOŁECZNYCH AGNIESZKA WRÓBLEWSKA KONSULTANT REGIONALNY MINISTERSTWO PRACY I POLITYKI SPOŁECZNEJ

Cel szkolenia zapoznanie z systemem monitorowania usług społecznych sporządzenie raportu monitoringowego dla usług realizowanych z PPWOW przygotowanie materiałów dla zespołu ds. strategii do przeprowadzenia monitoringu usług społecznych realizowanych w gminie w 2009 r. na podstawie GSRPS

Po co nam monitoring? ukazuje przydatność działań w programie/projekcie służy polepszaniu działań, wychwyceniu czego nie zrobiliśmy, czego nie mamy, nie boimy się kontroli zewnętrznych służy promocji programu, możemy mieć dane dla mediów w planu, szybko możemy wychwycić „kłopoty” i zapobiegać kryzysowi uczymy się działać profesjonalnie- metodologicznie, zgodnie z cyklem życia projektu kiedy kolejny raz dostaniemy podobne zadanie, projekt będziemy już mieć „gotowca” mamy rodzaj „ewidencji danych” mamy stałą kontrolę nad tym, co zrobiliśmy, a co jeszcze przed nami

Cykl życia projektu CYKL ŻYCIA PROJEKTU Identyfikacja - co chcemy zrobić (etap analizy) Planowanie - jak to zrobić Realizacja - wykonanie Ocena i zamknięcie - czy to co zamierzaliśmy zostało zrobione

Matryca logiczna projektu

PRODUKT (twardy, mierzalny) REZULTAT (zbieżny z celami - „wypełnienie treścią celu”) ODDZIAŁYWANIE (długoterminowe, po zakończeniu wsparcia) - 300 h konsultacji z doradcą zawodowym - wypracowanie 100 IPD - 10 – 3 godzinnych warsztatów z APP - kurs prawa jazdy dla 25 beneficjentek - 15 wydanych praw jazdy Ogólny: zwiększenie mobilności zawodowej wskutek: - poprawy znajomości rynku pracy - podniesienia samoświadomości umiejętności, kwalifikacji i predyspozycji - wzrost motywacji do poszukiwania pracy - zwiększenie mobilności dzięki możliwości korzystania z własnego środka transportu - 30 osób znajduje pracę - 10 osób zakłada własną działalność gospodarczą - 25 osób podejmuje kształcenie MIERNIKI I SPOSOBY DOKUMENTACJI - karty pracy - listy obecności - faktury - ankiety - testy - opinie psychologów i doradców zawodowych - oświadczenia - kopie dokumentów

MONITORING Monitoringiem i ewaluacją objęte będą postępy w realizacji GSRPS na dwóch poziomach: poszczególnych zadań i projektów oraz celów operacyjnych i strategicznych Monitoring prowadzony może być jako: monitoring wskaźnikowy – w oparciu o oczekiwane wskaźniki osiągnięć monitoring społeczny – na podstawie wyników badania opinii, w szczególności poprzez konsultacje społeczne

MONITORING-wskaźniki Wskaźniki zasobów – przedstawiają informacje o środkach finansowych, rzeczowych oraz zasobach ludzkich, które są wykorzystywane do wdrożenia projektu, np. liczba dni pracy ekspertów. Wskaźnik wyników - odnoszą się do bezpośrednich konsekwencji działań projektu, oddziałujących na bezpośrednich beneficjentów; mogą mieć charakter fizyczny, np. liczba osób przeszkolonych, lub finansowy zmniejszenie kosztów transportu, wzrost sprzedaży. Wskaźniki oddziaływania - odnoszą się do konsekwencji projektu (za- mierzonych i niezamierzonych, pozytywnych i negatywnych), wykraczających poza efekty bezpośrednie – krótkoterminowe. Można wyróżnić dwa rodzaje oddziaływania: oddziaływanie bezpośrednie – efekty, które pojawiają się po pewnym upływie czasu, ale są bezpośrednio związane z podjętymi działaniami i beneficjentami bezpośrednimi; oddziaływanie pośrednie – wszystkie inne rodzaje efektów – niezamierzone przez daną interwencję lub wynikające z niej działania;

MONITORING - wskaźniki 3 poziomy: produkt - produkty materialne i usługi dla beneficjentów rezultat - natychmiastowy efekt działania wpływ – długoterminowe konsekwencje powinny spełniać zasadę SMART, czyli być KONKRETNE – jasno definiować, co mają weryfikować MIERZALNE – możliwe do zmierzenia, w postaci liczbowej ZGODNE – muszą wynikać z prowadzonych wcześniej analiz REALISTYCZNE – możliwe do osiągnięcia OKREŚLONY W CZASIE – z ustalonym momentem pomiaru

MONITORING Przykładowe pomysły na monitoring duży arkusz papieru wiszący w pokoju u usługodawców (zmieniany co tydzień), na którym każdy uczestnik zapisuje swoje spostrzeżenia, po każdej „imprezie” – spotkanie podsumowujące, wymiana uwag, pomysłów, wniosków, zapis-protokół kronika grupy lub pamiętnik kolejno pisany przez wszystkich uczniów, zdjęcia/filmiki rejestrujące działania, codzienność, etapy projektu porfolio usługodawcy/projektu (teczka, w której gromadzi on wszystkie dokumenty dokumentujące to, co się dzieje w projekcie), krótkie ankiety przeprowadzane wśród uczniów, rodziców i nauczycieli badające ich opinię w ważnych sprawach, wydawane regularnie gazetki/ulotki/programy medialne karty samooceny wypełniane przez odbiorców, dyskusje na tematy projektowe podczas posiedzeń zespołu realizatorów, roboczych i wnioski zapisywane w protokołach

MONITORING - raporty Merytoryczne i finansowe Przygotowane na standardowych formularzach, aby ułatwić porównywanie i analizę trendów Umożliwiające porównanie rzeczywistego stanu realizacji projektu ze stanem planowanym i identyfikujące ewentualne odchylenia Sporządzane regularnie w trakcie projektu oraz po jego zakończeniu

MONITORING – raporty Przedstawiają najważniejsze działania podjęte danym okresie sprawozdawczym Przedstawiają wydatki poniesione w związku z realizacją działań Podają oszacowaną liczbę beneficjentów, którzy byli zaangażowani w działania realizowane w projekcie Podsumowują napotkane i przewidywane problemy i trudności w realizacji projektu

Sukces strategii/planu/projektu - definiowanie REALIZACJA CELÓW Czy osiągnęto zakładane cele? Poziom 1 SKUTECZNOŚĆ Jaki był wpływ na interesariuszy? (pozytywny/negatywny Czy efektywnie wykorzystano zasoby? UŻYTECZNOŚĆ Odpowiedź na faktycznie występujące potrzeby Wykorzystanie powstałych produktów Poziom 3 WZMOCNIENIE ORGANIZACJI Czy organizacja wyciągnęła wnioski z realizacji i wykorzysta je w przyszłości? Poziom 4 S U K C E Poziom 2

Schemat raportu 1. Informacje wstępne na temat projektu. 2. Cele usług/działań w ramach projektu do zrealizowania. 3. Metody zastosowane przy zbieraniu danych. 4. Ocena usług jako produktu. 5. Ocena usług jako rezultatu, poziomu zadowolenia beneficjentów. 6. Ocena podsumowująca, rekomendacje na przyszłość, propozycje zmian.

Podsumowanie

EWALUACJA

Monitoring a ewaluacja Odwołuje się do wskaźników monitoringowych Prowadzona w konkretnych momentach wdrażania programu Charakter całościowy i analityczny Pozwala oceniać postępy we wdrażaniu programu Służy ulepszeniu wdrażania programu Dostarcza niezbędnych informacji na potrzeby kolejnego okresu programowania Oparty na wskaźnikach (głównie wkładu i produktu) Prowadzony w sposób ciągły w trakcie całego programu Charakter syntetyczny i selektywny Pozwala obserwować postępy we wdrażaniu programu Służy śledzeniu wdrażania programu Zawiera główne wskaźniki statystyczne opisujące kontekst wdrażania programu Ewaluacja Monitoring

Zewnętrzni ewaluatorzy wyspecjalizowani w przedmiocie oceny Ewaluacja Głównie analiza skuteczności, efektywności, oddziaływania, adekwatności oraz trwałości polityki i działań pomocowych Co? Analiza pogłębiona Jak? Zewnętrzni ewaluatorzy wyspecjalizowani w przedmiocie oceny Kto? Raz lub dwa razy, ocena na zakończenie lub ex post, ale również w trakcie wdrażania – tzw. ewaluacja w trakcie, która ma ukierunkować wdrażanie Kiedy?

Kluczowe zasady ewaluacji Ewaluacja każdego programu jest obowiązkowa (każdy priorytet i działanie poddawane jest szczegółowej analizie) Ewaluacja dokonywana jest w oparciu o współpracę partnerską (współpraca pomiędzy instytucjami zaangażowanymi w dokonywanie oceny) Ewaluacja musi być zaplanowana Ewaluacja musi być niezależna (dokonywana przez ewaluatorów zewnętrznych) Ewaluacja nie jest kontrolą

CELE EWALUACJI w procesach podejmowania decyzji (decyzje o modyfikacji realizowanych programów, ich kontynuacji i rozwoju, wybór najlepszej alternatywy, testowanie nowych rozwiązań); do uzyskania dowodów na to, iż program (projekt) wart/nie wart był wsparcia; przekonać się, czy program był skuteczny, efektywny, odpowiedni, użyteczny, trwały; po to, żeby lepiej rozumieć przebieg i skutki różnych procesów społecznych, ekonomicznych, technologicznych; do celów public relation;

Rodzaje ewaluacji Kryterium czasu prowadzenia ewaluacji ex ante (wstępna), okresowa (bieżąca, on-going), końcowa, ex post (odroczona). Kryterium celu wykorzystania uzyskanych informacji formatywna, podsumowująca. Kryterium sposobu prowadzenia ewaluacji zewnętrzna, wewnętrzna.

Kto powinien prowadzić ewaluację - wady i zalety różnych rozwiązań Zewnętrzny zespół na ogół ma większą wiedzę ekspercką, przez swoją niezależność zwiększa wiarygodność ewaluacji, daje możliwość doboru specjalistów z różnych dziedzin. Wewnętrzny zespół lepiej zna specyfikę programu i zarządzania nim, ma lepszy dostęp do niektórych informacji i osób, trudniej jest zapewnić niezależność ewaluacji.

Poziomy ewaluacji Nakłady Działania Produkty Rezultaty Inputs Działania Activities Produkty Outputs Rezultaty Outcomes Oddziaływanie (wpływ, efekty) Impacts Pieniądze Ludzie Sprzęt Nieruchomości Pomieszczenia Materiały Szkolenia Doradztwo Usługi Liczba godzin szkoleniowych Wydane publikacje Liczba osób objętych usługami Podwyższone kompetencje Zwiększone możliwości zatrudnienia Lepiej zarządzane organizacje Rozwój lokalnej przedsiębiorczości

Kryteria ewaluacji Kryterium skuteczności - pozwala ocenić, czy i w jakim stopniu zrealizowano zakładane cele. Skuteczność można badać na różnych poziomach. Można oceniać i porównywać skuteczność różnych metod działania. Kryterium efektywności /wydajności – ocenia, czy działania zrealizowano zgodnie z harmonogramem, a wykorzystane zasoby użyto w ekonomicznie uzasadniony sposób. Szczególną uwagę zwraca się na stosunek nakładów do efektów. Kryterium odpowiedniości – na ile założone cele i cała zaplanowana interwencja jest zgodna ze zidentyfikowanymi potrzebami danej grupy docelowej, danego regionu. Szczególna uwaga zwrócona jest na to kryterium w ewaluacji ex ante.

Kryteria ewaluacji Kryterium użyteczności – może dotyczyć użyteczności wewnętrznej (na ile program okazał się użyteczny dla grupy docelowej i beneficjentów), jak i użyteczności zewnętrznej (na ile przyjęte rozwiązania mogą być zastosowane przez innych, w innych regionach, w odniesieniu do innych grup). Kryterium trwałości – bada, na ile efekty działań będą trwałe w średnio- i długoterminowej perspektywie, czy pozytywne skutki będą odczuwalne po zakończeniu programu.

Techniki ewaluacji – mikro, popularne Ilościowe – co, ile, jak często??? wywiady kwestionariuszowe, telefoniczne, ankieta pocztowa, audytoryjna, analiza dokumentów Jakościowe- dlaczego, jak, w jaki sposób??? wywiady indywidualne pogłębione, grupowe (focus), obserwacja, case study, analiza dokumentów, panele ekspertów Łączenie Rozpoznanie, opis, diagnoza

Techniki ewaluacyjne zebrane Faza strukturalizacji: Analiza SWOT Matryca logiczna Metaplan Mapa oddziaływań Faza obserwacji: Wywiady Kwestionariusze Zogniskowane wywiady grupowe

Techniki ewaluacyjne- zebrane Studia przypadków Obserwacje uczestniczące Dane z systemu monitoringu Faza analizy: Grupy porównawcze System informacji, analiza kosztów i korzyści Modele makroekoniczne, statystyczne Panele ekspertów Analizy wielokryteriowe

Dziękuję za uwagę