V Konferencja Ewaluacyjna Warszawa, Rafał Trzciński Ewaluacja interwencji skierowanych do polskich przedsiębiorstw Doświadczenia Polskiej Agencji Rozwoju Przedsiębiorczości

2009 Ewaluacja interwencji skierowanych do polskich przedsiębiorstw Doświadczenia Polskiej Agencji Rozwoju Przedsiębiorczości Rafał Trzciński V Konferencja Ewaluacyjna Warszawa, 23 października 2009 r.

1.Ewolucja ewaluacji w PARP 2.Schemat badawczy wykorzystywany w PARP 3.Problematyka pomiaru efektu netto 4.Plany na przyszłość Plan prezentacji

Obszar i zakres działalności PARP Realizacja programów przedakcesyjnych – Phare SSG – komponent MSP; komponent RZL; Phare SSG 2000 – komponent Infrastruktura, Realizacja Programów Operacyjnych z okresu : SPO WKP oraz SPO RZL, Realizacja trzech Programów Operacyjnych perspektywy : PO IG, PO KL oraz PO RPW Każda z ww. interwencji była lub jest objęta ewaluacją.

Skala realizowanych działań

Ewolucja ewaluacji w PARP Przejście od ewaluacji ex-post, do ewaluacji realizowanych przez cały okres wdrażania interwencji. Potrzeba równoległego rozwoju ewaluacji, w skali odpowiadającej realizowanym interwencjom, Rosnąca rola ewaluacji, jako instrumentu „diagnozującego”: dostarczającego informacji na temat bieżących efektów wdrażanych działań, zapewniającego możliwość: szybkiej reakcji, w przypadku wystąpienia problemów, stałego doskonalenia realizowanych interwencji – zwłaszcza w przypadku instrumentów wieloletnich.

Rozwój podejść metodologicznych, które pomagają w odpowiedzi na pytanie o to, jaki jest rzeczywisty wpływ działań realizowanych przez PARP. Ewolucja ewaluacji w PARP

Schemat badawczy wykorzystywany w PARP Cykliczne ewaluacje on-going Ewaluacja końcowa – pomiar efektu netto

Ewaluacje on-going Działania 2.3 SPO WKP - przykład wykorzystania schematu badawczego Założenia podejścia badawczego: Realizacja badania w cyklach kwartalnych. Badanie beneficjentów ostatecznych (przedsiębiorstw) po 18 miesiącach od zakończenia realizacji projektu. Nastawienie na pomiar wskaźników – trzy wymiary: pomiar wartości wskaźników założonych przez beneficjentów (badanie skuteczności na poziomie projektu), pomiar i ocena wartości wskaźników na poziomie działania badanie opinii. Objęcie badaniem całej populacji przedsiębiorstw, uczestniczących w programie. Realizacja badania techniką CAWI. Ewaluacja o charakterze wewnętrznym.

Dotychczasowa realizacja: 10 rund badawczych (lata ). Ponad przebadanych przedsiębiorstw. Zwrotność na poziomie ok. 90%. Wyniki dostępne pod adresem: Ewaluacje on-going Działania 2.3 SPO WKP - przykład wykorzystania schematu badawczego

Zalety podejścia Stały napływ informacji na temat (wstępnych) efektów udzielanego wsparcia. Możliwość bieżącej oceny postępów realizacji interwencji oraz szans na osiągnięcie zakładanych celów. Wysoka standaryzacja – porównywalność wyników z kolejnych rund badania. Wykorzystanie przyjaznego dla respondenta narzędzia badawczego. Odciążenie respondenta od podwójnej „sprawozdawczości”. Krótki czas realizacji, niskie koszty realizacji badania.

Wady podejścia Pomiar efektów brutto – brak uwzględnienia w ocenie interwencji problematyki związków przyczynowych. Informacja na temat wpływu wsparcia, na funkcjonowanie przedsiębiorstw, ma charakter jedynie deklaratywny.

Kontekst problemu Problem społeczno- gospodarczy Interwencja Efekty

Kontekst problemu Problem społeczno- gospodarczy Interwencja Efekty Czynnik II Czynnik I

Kontekst problemu Interwencja Efekty Czynnik II Czynnik I ?

Problem badawczy W jakim stopniu podjęta interwencja przyczyniła się do obserwowanych efektów? Jaki jest efekt netto zrealizowanych działań?

Schemat badawczy wykorzystywany w PARP Cykliczne ewaluacje on-going Ewaluacja końcowa – pomiar efektu netto

Technika propensity score matching Technika służąca utworzeniu grupy kontrolnej składającej się z jednostek maksymalnie podobnych do tych, które zostały objęte oddziaływaniem danego interwencji/programu etc. Podobieństwo definiowane jest w kategoriach warunkowego prawdopodobieństwa do bycia objętym daną interwencją. Prawdopodobieństwo (propensity score) to nie jest znane, należy je oszacować (z wykorzystaniem np. regresji logistycznej). Warunkowanie odbywa się na szeregu zmiennych niezależnych, mających zgodnie z założeniami, wpływ na uczestnictwo i późniejszy efekt uczestnictwa jednostek w danej interwencji. Główne założenie: efekt, który obserwujemy w grupie kontrolnej, odpowiada efektowi, który zaobserwowalibyśmy w grupie beneficjentów, gdyby ci nie uczestniczyli w danej interwencji.

Działanie techniki PSM PULA KONTROLNAGRUPA KONTROLNA ps= 0,6 ps= 0,5 ps= 0,8 ps= 0,1 ps= 0,2 ps= 0,3 ps= 0,2 ps= 0,01 ps= 0,4 ps= 0,9 GRUPA BENEFICJENTÓW ps= 0,4 ps= 0,9 ps= 0,1 ps= 0,8 ps= 0,3

Ewaluacje ex-post: Phare Spójność Społeczno-Gospodarcza komponent „Rozwój Zasobów Ludzkich” – edycje: 2001, 2002, 2003 Ocena wpływu wsparcia na poprawę sytuacji osób bezrobotnych Phare Spójność Społeczno-Gospodarcza komponent „Rozwój Małych i Średnich Przedsiębiorstw – edycje: 2002, 2003 Ocena wpływu wsparcia na funkcjonowanie przedsiębiorstw Dotychczasowe wykorzystanie techniki PSM w PARP

Istniejącą lukę w badaniach on-going Działania 2.3 SPO WKP ma wypełnić badanie ewaluacyjne, którego zadaniem jest: oszacowanie efektu netto udzielonego wsparcia (z wykorzystaniem techniki propensity score matching), podsumowanie dotychczasowych ewaluacji on-going, w tym w szczególności odpowiedź na postawione pytania badawcze w zakresie skuteczności, efektywności i trwałości wsparcia. Ewaluacja: „Badanie efektów netto programów wspierających wzrost konkurencyjności przedsiębiorstw”

Założenia ewaluacji: wykorzystanie przede wszystkim wcześniej zebranych danych, badanie dwustopniowe: etap pierwszy – ustalenie efektu netto – po stronie PARP w tym: opracowanie metodologii badania, dobór grup kontrolnych (PSM), współpraca z GUS w zakresie pozyskania danych, etap drugi – realizacja badania przez zewnętrznego ewaluatora. Ewaluacja: „Badanie efektów netto programów wspierających wzrost konkurencyjności przedsiębiorstw”

…analiza efektu netto objęła: 1505 przedsiębiorstw – 755 z grupy beneficjentów i tyle samo z grupy kontrolnej, Wykorzystane dane pochodziły z badania GUS (sprawozdanie o przychodach, kosztach i wyniku finansowym oraz o nakładach na środki trwałe – tzw. sprawozdanie F-01). Ustalono sytuację firm w 29 obszarach (przychody, zatrudnienie, nakłady i inne). Wyniki ewaluacji – styczeń W przypadku Działania 2.3 SPO WKP…

Co dalej? Kontynuacja stosowania schematu w obecnej perspektywie finansowej Dla trzynastu działań, realizowanych przez PARP w ramach PO IG, opracowanie osobnego systemu zbierania danych, które mają na bieżąco zdawać sprawę z osiąganych efektów. Rozważana realizacja równoległych do badań on-going, badań obejmujących grupę kontrolną (rok 2011?).

Co dalej? Cykliczne ewaluacje on-going Pomiar efektu netto Ewaluacja końcowa

Co dalej? Cykliczny pomiar efektu netto Cykliczne ewaluacje on-going Ewaluacja końcowa

Dziękuję za uwagę!