Cele i założenia badania Ewaluacja projektów Poddziałań 7.1.1 i 7.1.2 PO KL w województwie lubuskim Cele i założenia badania 30 WRZESIEŃ 2013r

Kto i dla kogo realizuje badanie? Zleceniodawca: Regionalny Ośrodek Polityki Społecznej w Zielonej Górze, Wydział Obsługi Projektu 7.1.3. Al. Niepodległości 36, 65-042 Zielona Góra Wykonawca: GHK Polska Sp. z o. o. Ul. Waliców 11 00-851 Warszawa, Polska KIM JESTEŚMY?

W jakim celu prowadzone jest badanie? Ocena jakości wsparcia oraz osiągniętych wskaźników w projektach 7.1.1 i 7.1.2 oraz pozyskanie kompleksowej wiedzy na temat wpływu udzielonego wsparcia na klientów tych instytucji Jaki był/jakie były: …efekty realizowanych projektów? …wpływ na poziom życia uczestników projektów? …formy wsparcia o korzystnym wpływie na uczestników projektów? …wpływ realizacji projektów systemowych na zmianę systemu pracy socjalnej wśród pracowników socjalnych lub asystentów rodzinnych? …wpływ projektów systemowych na poprawę funkcjonowania systemu polityki społecznej w regionach? …zmiany w postrzeganiu ośrodka pomocy społecznej i powiatowego centrum pomocy rodzinie oraz pracowników merytorycznych tych instytucji? …problemy podczas wdrażania projektów i zastosowane rozwiązania?

Kogo i co obejmie badanie? Zakres przedmiotowy: Wszystkie OPS-y i PCPR-y w województwie lubuskim, które na przestrzeni lat 2008-2012 były zaangażowane w realizację projektów systemowych w Poddziałaniu 7.1.1 i Poddziałaniu 7.1.2 Wszystkie projekty zrealizowane w ramach Poddziałania 7.1.1 i 7.1.2 PO KL w województwie lubuskim przez OPS i PCPR w latach 2008 – 2012.

Badanie jakościowe – Etap I: analiza kontekstu Analiza desk research obejmie przegląd dokumentacji projektów realizowanych przez OPS/PCPR, badania ewaluacyjne dotyczące realizacji Podziałań 7.1.1 i 7.1.2, analizę sytuacji społeczno-ekonomicznej regionu. IDI z przedstawicielami ROPS/UM będą miały na celu ocenę wdrażania programu z perspektywy województwa, pozwolą na identyfikację zasadniczych barier we wdrażaniu, jakie wynikają z jednej strony ze specyfiki regionu i współpracy z OPS i PCPR, a z drugiej z wytycznych i współpracy z ośrodkami centralnymi odpowiedzialnymi za wdrażanie PO KL w Polsce.

Badanie jakościowe – Etap II: studia przypadków Pozwolą na obszerną i dogłębną analizę wpływu projektów systemowych na sposób funkcjonowania instytucji pomocy społecznej, a także wpływu poszczególnych form wsparcia na klientów pomocy społecznej, uwzględniając kontekst społeczno-ekonomiczny. Kryteria wyboru (2 OPS, 2 PCPR) stopień osiągnięcia wskaźników projektu liczba i wartość zrealizowanych projektów sytuacja społeczno-ekonomiczna mieszkańców powiatu/gminy Metody analiza desk research (dokumentacja projektu, materiały pomocnicze, strategie lokalne, dane społeczno-ekonomiczne) IDI z pracownikami (dyrektorzy, koordynatorzy projektów, pracownicy socjalni, asystenci rodzinni) FGI z klientami pomocy społecznej

Badanie jakościowe – Etap II: realizacja Zgoda dyrektora placówki Kontakt z pracownikami Rekrutacja uczestników FGI ogłoszenie o rekrutacji formularz rekrutacyjny dane uczestników projektów Poufność i anonimowość uczestników badania poufność wypowiedzi pracowników poufność wypowiedzi uczestników FGI „placówka X” – anonimowość placówki w raporcie końcowym Okres realizacji studium przypadku – listopad 2013 (1 tydzień) Panel ekspertów + konsultacja wyników badania

Badanie ilościowe pracowników OPS i PCPR Badaniem ilościowym pracowników OPS i PCPR zostaną objęci wszyscy pracownicy tych instytucji. Stopa zwrotu ankiet będzie zależeć od: Przygotowanie listu zapowiedniego rozesłanego e-mailem do pracowników OPS i PCPR Przekazywanie na prośbę Wykonawcy konkretnym ośrodkom informacji o aktualnej stopie zwrotu, z prośbą o zmotywowanie swoich pracowników do wypełnienia ankiety Monitoringu spływających ankiet Wysyłania e-maili z przypomnieniem i prośbą o wypełnienie ankiety Monitów telefonicznych do osób, które jeszcze nie wypełniły ankiety

Badanie ilościowe klientów pomocy społecznej Badaniem ilościowym klientów pomocy społecznej zostanie objętych 1000 osób. Dane zostaną zebrane metodą PAPI. Pracownicy OPS będą prosić badanych o wypełnienie krótkiej ankiety podczas wizyt domowych. Pracownicy PCPR będą prosili o wypełnienie ankiet audytoryjnych. W przypadku klientów OPS zrealizowanych zostanie 800 wywiadów według poniższej tabeli: W przypadku ankiet audytoryjnych realizowanych przez PCPR zostanie zrealizowanych kolejnych 200 ankiet. OPS Liczba wywiadów Nie realizujące projektu systemowego (3 ośrodki) 300 Realizujące projekt systemowy po przerwie (6 ośrodków) 200 Realizujące projekt systemowy bez przerw lub zrealizowały go w całości (pozostałe OPS)

Badanie ilościowe – szczegóły W przypadku badania klientów OPS zrealizowanych 800 wywiadów posłuży do dalszych analiz statystycznych. Analizy te będą bazowały na tzw. podejściu kontrfaktycznym, które pozwala na rzeczywiste oszacowanie wpływu projektów systemowych. Dane z niniejszego badania zostaną ponadto zestawione z wynikami badań wcześniejszych, również przeprowadzanych na grupie klientów OPS i PCPR. W przypadku badania pracowników OPS i PCPR zebrane dane będą całkowicie anonimowe. Oznacza to, że nie będzie możliwości powiązania danych osobowych respondenta z udzielonymi odpowiedziami. W przypadku badania klientów opieki społecznej w ogóle nie będą zbierane dane osobowe

Badanie ilościowe a metoda kontrfaktyczna (2) W przypadku badania klientów pomocy społecznej będzie możliwa do zastosowania metoda kontrfaktyczna, gdyż uzyskamy odpowiedzi od osób, które korzystają z pomocy zarówno tych OPS, które wdrożyły projekt systemowy, jak i tych, które tego nie zrobiły. Dla uzyskania lepszych wyników próbę podzielono na trzy kwoty, zawierając również respondentów, którzy korzystają z usług tych OPS, które przerwały na jakiś czas realizowanie projektu systemowego. Włączenie tej grupy badanych pozwoli na ocenę trwałości wypracowanych efektów. W projektowanym badaniu zostanie wykorzystana metoda PSM (Propensity Score Matching) polegająca na parowaniu osób z jednej badanej grupy z osobami z drugiej grupy (np. osób korzystających z usług OPS, które zrealizowały projekt systemowy z osobami, które korzystają z pomocy OPS, które nie realizowały)

Metoda kontrfaktyczna PSM Jak to działa? 1 Jeśli dostępne są dwie bazy danych, można próbować połączyć te zbiory w oparciu o rozkłady zmiennych występujących w obu zbiorach. Zbiory można połączyć na podstawie danych metryczkowych (metoda socjograficzna) lub odpowiedzi na konkretne - tak samo zadane - pytania (metoda psychograficzna) Dla każdego badanego z jednego zbioru można na tej podstawie wyznaczyć podobieństwo do innych respondentów z drugiego zbioru 5.0 1.0 0.0 4.0 3.0 2.0 2 4.0 5.0 1.0 0.0 3.0 2.0 Jednostki najbardziej do siebie „podobne” pod względem demografii lub odpowiedzi na szczegółowe pytania są połączone na poziomie bazy danych Metoda takiego parowania nazywa się właśnie Propensity Score Matching 5.0 4.0 1.0 0.0 2.0 5.0 1.0 0.0 4.0 13

Pozostałe informacje dotyczące badań ilościowych Narzędzia do obu planowanych badań ilościowych zostaną poddane pilotażowi. Proponujemy, by badaniem pilotażowym narzędzia CAWI do badania pracowników OPS i PCPR została objęta niewielka liczba pracowników lubuskiego ROPS. Badanie pilotażowe narzędzia PAPI służącego do badania klientów pomocy społecznej zostanie przeprowadzone w Warszawie. Wyniki obu badań pilotażowych zostaną poddane testowi statystyki α-Cronbacha służącej do badania spoistości wewnętrznej kwestionariuszy.

Dziękujemy za uwagę ICF GHK Polska ul Waliców 11, 00-851 Warszawa + 48 22 583 95 34 Dr Aleksandra Duda – kierownik badania, aleksandra.duda@ghkint.com Mateusz Trochymiak – koordynator części jakościowej badania, mateusz.trochymiak@ghkint.com Łukasz Widła- Domoradzki – koordynator części ilościowej badania, lukasz.domoradzki@ghkint.com