Wskaźniki planowaniu i pomiarze efektów projektów i programów WOJEWÓDZTWO PODKARPACKIE Wskaźniki planowaniu i pomiarze efektów projektów i programów Karolina Keler Uniwersytet Jagielloński, Instytut Socjologii, Zakład Socjologii, Gospodarki, Edukacji i Metod Badań Społecznych Centrum Ewaluacji i Analizy Polityk Publicznych UJ (CEAPP UJ) II Regionalna Konferencja Ewaluacyjna – Rzeszów 2009 16 października 2009 r.

WOJEWÓDZTWO PODKARPACKIE Cele prezentacji Ujęcie zagadnienia wskaźników w diagnozie, ewaluacji i analizie polityk publicznych z pragmatycznego punktu widzenia Omówienie kilku newralgicznych kwestii związanych z rolą wskaźników w planowaniu i pomiarze efektów projektów i programów Określenie rekomendacji dla instytucji publicznych zaangażowanych w proces tworzenia i wykorzystania wskaźników

WOJEWÓDZTWO PODKARPACKIE Kwestii newralgicznych – wynikających z doświadczeń w projektach naukowo-badawczych realizowanych pod kierownictwem Prof. Jarosława Górniaka (ZSGiE/ZSGEiMBS, CEAPP UJ): „Ewaluacja śródterminowa Działania 1.2 i 1.3” w ramach SPO RZL 2004-2006 „Małopolski system analiz i programowania polityk rynku pracy” w ramach Działania 2.1 ZPORR 2004-2006 „Projekt ewaluacji Działania 2.1 i 2.2 PO KL 2007-2013” „Bilans Kapitału Ludzkiego” w ramach Działania 2.1 PO KL 2007-2013 (projekt systemowy) „Obserwatorium Regionalnych Rynków Pracy” w ramach Działania 2.1 PO KL 2007-2013 (projekty konkursowy)

„Diagnoza stanu edukacji Miasta Krakowa” WOJEWÓDZTWO PODKARPACKIE I innych projektów: „Diagnoza stanu edukacji Miasta Krakowa” „Systemowe wykorzystanie dla celów diagnostycznych i ewaluacyjnych danych zbieranych w ramach SI POMOST w Miejskim Ośrodku Pomocy Społecznej w Krakowie” „Opracowanie narzędzi badawczych wraz ze schematami doboru prób badawczych oraz dotarcia do respondenta na potrzeby ewaluacji bieżących Działań 2.1 PO KL” „Eksplikacja i aplikacja koncepcji wskaźnika w badaniach i praktyce społecznej” – projekt doktorski

Obszary wykorzystania wskaźników i refleksji nad nimi WOJEWÓDZTWO PODKARPACKIE Obszary wykorzystania wskaźników i refleksji nad nimi Diagnoza Wykonanie diagnozy Tworzenie portfeli wskaźników społecznych Tworzenie portfeli pod kątem budowy Obserwatorium Ewaluacja Wykonanie ewaluacji Plan ewaluacji Operacyjne przygotowania badania ewaluacyjnego Refleksja metodologiczna nad metodologią wskaźników

WOJEWÓDZTWO PODKARPACKIE Rola wskaźników W planowaniu (określaniu celów, czyli planowanych efektów) projektów i programów W ocenie efektów (czyli tego, czy efekty są zgodne z celami) projektów i programów Projekt a program Użycie tzw. performance indicators

CELE – przed EFEKTY – po INTERWENCJA, REALIZACJA DZIAŁAŃ WOJEWÓDZTWO PODKARPACKIE CELE – przed (ustalone przed realizacją działań, zakładany efekt działań) INTERWENCJA, REALIZACJA DZIAŁAŃ EFEKTY – po (konsekwencje zrealizowanych działań, zgodne lub nie z celami) OGÓLNY = zamierzony wpływ WPŁYW SZCZEGÓŁOWY = zamierzony rezultat REZULTAT OPERACYJNY = zamierzony produkt PRODUKT

Ewaluacja ex-ante a ex-post WOJEWÓDZTWO PODKARPACKIE Ewaluacja ex-ante a ex-post Czy będzie możliwa ewaluacja ex-post? (badamy tzw. evaluability projektu działań) Jakie są efekty działań? wpływ społeczny/ globalny rezultaty rezultaty Aby udzielić odpowiedzi na oba pytania sięgamy po wskaźniki produkt 1 produkty

WOJEWÓDZTWO PODKARPACKIE Główne problemy Relacja cele/efekty – wskaźniki: definiowanie celów/efektów Wersja matrycy logicznej celów/efektów: poziom rezultatów Opisy wskaźników: precyzja w zakresie określania definicji i algorytmów wskaźników, a także ich interpretacji

Problem 1 Relacja cele/efekty – wskaźniki: definiowanie celów/efektów WOJEWÓDZTWO PODKARPACKIE Problem 1 Relacja cele/efekty – wskaźniki: definiowanie celów/efektów Cel (Planowany skutek działań) Stan rzeczy (zamierzony efekt) w przyszłości, który chcemy osiągnąć przez realizację działań. Stan rzeczy zwykle dotyczy jakiejś charakterystyki badanej zbiorowości (różnego rodzaju: osób, jednostek terytorialnych, przedmiotów fizycznych; ale najważniejsze są te cele, które dotyczą osób) Wskaźnik (w analizowanym kontekście, pomijając ujęcia dynamiczne): Charakterystyka badanej zbiorowości Dobór i zdefiniowanie wskaźników to określenie sposób pomiaru stanu rzeczy (efektu, dot. charakterystyki zbiorowości) ujętego w celu

Zasady Cele: Wskaźniki: WOJEWÓDZTWO PODKARPACKIE Zasady Cele: Jeżeli cel jest złożony lub bardzo ogólny i niejednoznaczny, powinien być rozbity na pod-cele, które wskażą, co konkretnie jest przedmiotem interwencji Jeżeli w definicji celu pojawiają niejednoznaczne pojęcia (np. kompetencje, innowacyjność, bezrobocie, ubóstwo) należy je zdefiniować tak, aby nie było wątpliwości, co powinno być zmierzone np. w kwestionariuszu dla Beneficjentów Ostatecznych Wskaźniki: Muszą być tak zdefiniowane, by było wiadomo jak otrzymamy wartość wskaźnika charakteryzującą zbiorowość (jakie dane zastane, jakie pytania w kwestionariuszu; jak dane będą przetwarzane), i jak będziemy rozumieć/interpretować uzyskaną wartość

WOJEWÓDZTWO PODKARPACKIE Przykład 1 Celem jest zmniejszenie bezrobocia. Bezrobocie musi zostać zdefiniowane: czy rejestrowane, czy np. te zgodne z definicją ILO. Inaczej dopiero zastosowany wskaźnik dostarczy definicji celu. Musimy umieć zidentyfikować to, czy każda badana osoba jest, czy nie jest bezrobotna (w przyjętym rozumieniu) – pomiar na poziomie jednostkowym. Na podstawie tej informacji musimy zagregować wyniki do postaci określonego wskaźnika, np. proporcja osób bezrobotnych wśród osób aktywnych zawodowo; i potrafić zinterpretować wartość wskaźnika. Nierzadko musimy określić i zmierzyć tzw. wskaźniki kontekstowe, np. stopę zatrudnienia, stopę aktywności zawodowej, aby umieć właściwie zinterpretować uzyskane wyniki. Mierząc wartość wskaźnika przed realizacją interwencji i po możemy określić, czy zaszła jakaś zmiana – czyli stwierdzić, czy cel został osiągnięty.

WOJEWÓDZTWO PODKARPACKIE Przykład 2 Celem jest zwiększenie kompetencji pracowników biorących udział w określonym projekcie. Musimy wiedzieć, co rozumiane jest przez kompetencje. Musimy umieć zmierzyć kompetencje pojedynczego pracownika. Zazwyczaj osobno każdy z wymiarów kompetencji, zgodnie z definicją przyjętą w celu. Nie może być tak, że cel jest sformułowany tylko jako zwiększenie kompetencji! Musimy sensownie zagregować te informacje na poziomie agregacji który nas interesuje: jednej fali projektu, całego projektu, programu, strategii.

Problem poziomów efektów a wskaźniki WOJEWÓDZTWO PODKARPACKIE Problem poziomów efektów a wskaźniki „Wskaźniki wpływu” – dotyczą (w zależności od konwencji): 1) społeczeństwa lub 2) grupy Beneficjentów Ostatecznych po jakimś czasie od realizacji projektu oraz szerszej grupy do której BO należą „Wskaźniki rezultatu” – dotyczą grupy BO „Mierniki produktu” – dotyczą zbioru zrealizowanych przez Projektodawcę/ Organizatora/ Beneficjenta działań przeliczonych na określone jednostki (materialne, ludzkie…)

Problem 2 Wersja matrycy logicznej celów: poziom rezultatów WOJEWÓDZTWO PODKARPACKIE Problem 2 Wersja matrycy logicznej celów: poziom rezultatów Kwestia definiowania różnych poziomów celów wiąże się z definiowaniem wskaźników (tzn. głównie definicją badanej zbiorowości) i projektowaniem sytemu zasilania danymi Dzięki jaśniejszemu doprecyzowaniu tych celów łatwiej określić, na czym polegać będzie badanie efektu netto oraz, ewentualnie, określić wartości docelowe wskaźnika (targets)

WOJEWÓDZTWO PODKARPACKIE Matryca logiczna Jedna z technik pozwalająca uporządkować proces badawczy Przydatna, gdy myślimy o wskaźnikach Wymaga precyzyjnego zdefiniowania elementów – wynika to z tego, że możliwe są różne jej koncepcje. Wybór „wersji”: powinien być uzasadniony powinien być konsekwentnie stosowany

? Produkty Rezultaty Wpływ (oddziaływanie) WOJEWÓDZTWO PODKARPACKIE Kim są? Czy grupa jest jednorodna? Czy mamy do czynienia z jedną grupą? Produkty Rezultaty Czy długoterminowy efekt działania dla BO przypisać kategorii „rezultaty” (rezultaty długoterminowe) czy kategorii „wpływ” (wpływ lokalny) Wpływ (oddziaływanie) ZBIÓR EFEKTÓW DZIAŁAŃ PROJEKTODAWCY/ ORGANIZATORA ? ????????? ver. 1 ver. 2 ?????????

BENEFICJENCI OSTATECZNI WOJEWÓDZTWO PODKARPACKIE BENEFICJENCI OSTATECZNI ver. 2 ver. 1 wpływ społeczny wpływ globalny rezultat długoterminowy rezultat długoterminowy wpływ lokalny wpływ lokalny rezultat „bezpośredni”, krótkoterminowy rezultat „bezpośredni”, krótkoterminowy rezultat „bezpośredni”, krótkoterminowy rezultat „bezpośredni”, krótkoterminowy produkt 1 produkt 2 produkt 1 produkt 2

Korzyści z takiego ujęcia WOJEWÓDZTWO PODKARPACKIE Korzyści z takiego ujęcia Przyjęcie definicji rezultatów jako tych efektów, które dotyczą BO daje możliwość uporządkowania zagadnienia doboru wskaźników. Rezultaty – charakterystyki BO będące przedmiotem zakładanej zmiany – powinny być mierzone w ramach monitoringu i ewaluacji na poziomie pojedynczej interwencji, oraz dać się zagregować na poziomie całego projektu czy programu. Dzięki temu będzie możliwy pomiar efektu netto projektu wśród BO; czyli określenie skuteczności przedsięwzięcia wobec osób biorących w nim udział. Gdy nie ma rezultatu nie będzie można mówić, że projekt czy program miał wpływ, rozumiany jako konsekwencja realizacji rezultatów! Jednak wpływ – inaczej oddziaływanie na szersze grupy – musi być badany globalnie, dla różnych interwencji jednocześnie, ponieważ efekty różnych projektów i programów są trudne do wyabstrahowania z ogólnej zmiany. Wpływ mierzą wskaźniki społeczne.

Cele – Efekty – Wskaźniki WOJEWÓDZTWO PODKARPACKIE Cele – Efekty – Wskaźniki CELE = ZAMIERZONE EFEKTY EFEKTY WSKAŹNIKI (kogo dotyczą zmiany, charakterystyki czego są mierzone) OGÓLNY = zamierzony wpływ WPŁYW WSKAŹNIKI SPOŁECZNE SZCZEGÓŁOWY = zamierzony rezultat REZULTAT Zmiana u BO WSKAŹNIKI DOTYCZĄCE BENEFICJENTÓW OST. OPERACYJNY = zamierzony produkt PRODUKT MIERNIKI PRODUKTÓW Efekt działania, który ma przynieść rezultat Wymaga integracji na poziomie polityk publicznych, strategii Te elementy MUSZĄ być mierzone w każdym projekcie i programie

Hierarchia zakładanych efektów WOJEWÓDZTWO PODKARPACKIE Hierarchia zakładanych efektów Gdy program lub projekt ma hierarchiczną budowę produkty, rezultaty i wpływ mogą być mierzone na różnym poziomie agregacji. Przykład: Program Operacyjny Kapitał Ludzki – podzielony na Działania i Poddziałania a w ramach nich – pojedyncze projekty. Mając jednak zmierzone produkty i rezultaty na poziomie BO można je zagregować na dowolnym poziomie, jeżeli tylko system pomiaru to uwzględnia. Zatem w przypadku takich hierarchicznych układów celów warto definiować wskaźniki rezultatów na poziomach wyższych i aplikować je do każdego projektu w ramach danego programu. System sprawozdawczości powinien z zasady ująć produkty. (Warto jednak przemyśleć system bazodanowy dla całości programu, czy pozwoli na łatwą agregację.) Wpływ powinien być ustalony na najwyższym poziomie.

WOJEWÓDZTWO PODKARPACKIE Problem 3 Opisy wskaźników: precyzja w zakresie określania definicji i algorytmów wskaźników a także ich interpretacji Jako sprawdzian sensowności przypisania wskaźnika celowi i użycia wskaźnika do pomiaru efektów Dookreślenie powodów wyboru konkretnego wskaźnika z puli możliwych

Publikacje: wskaźniki a ewaluacja WOJEWÓDZTWO PODKARPACKIE Publikacje: wskaźniki a ewaluacja Jarosław Górniak, Karolina Keler, „Rola systemów wskaźników w ewaluacji”, w: Teoria i praktyka ewaluacji interwencji publicznych. Podręcznik akademicki, pod redakcją Karola Olejniczaka, Marka Kozaka, Bartosza Ledziona, Wydawnictwa Akademickie i Profesjonalne, Warszawa 2008, s. 109-128 Jarosław Górniak, Karolina Keler „Ewaluacja i wskaźniki w cyklu planowania i realizacji polityk publicznych”, Zarządzenie publiczne, 1(3)/2008 Fragment z: Jarosław Górniak, Magdalena Jelonek, Karolina Keler, Seweryn Krupnik, Janusz Wachnicki, Barbara Worek, „Ocena projektów i programów: wybrane techniki badawcze i ich zastosowanie”, w: Ewaluacja jako standard zarządzania w sektorze publicznym, pod redakcją Bożeny Pietras-Goc, Wyższa Szkoła Europejska, Kraków 2008, s. 71-100, w którym omawiam zagadnienie wskaźników (s. 72-78) Jarosław Górniak, Karolina Keler, „Wskaźniki w ewaluacji ex-post programów publicznych” w: Ewaluacja ex-post. Teoria i praktyka badawcza, pod redakcją Agnieszki Haber, Państwowa Agencja Rozwoju Przedsiębiorstw, Warszawa, 2007, s. 155-218

Konkluzje – warto „odczarować wskaźniki” WOJEWÓDZTWO PODKARPACKIE Konkluzje – warto „odczarować wskaźniki” Trudność w tworzeniu i wykorzystaniu wskaźników wynika zwykle z: Braku określonych potrzeb informacyjnych Niejasnej definicji celów interwencji Niejasnej definicji pojęć abstrakcyjnych Niejasnego sposobu interpretacji i wykorzystania przyjętych wskaźników Gdy trudności te są pokonane, „problemem” może być co najwyżej sposób zbierania i przetwarzania danych Ale dobry badacz społeczny zastosuje sensowne rozwiązanie Choć nierzadko warto zrealizować osobne badanie, by wypracować metodologię Duża rola przedstawicieli instytucji publicznych i współpracy między osobami definiującymi cele a osobami tworzącymi wskaźniki

WOJEWÓDZTWO PODKARPACKIE Rekomendacje Wiązać tworzenie wskaźników z dookreślaniem celów interwencji oraz ze sposobem zbierania danych ich ustalanie wiąże się zarówno z dyskusją nad szczegółowymi celami, jak i z projektowaniem monitoringu i sposobu gromadzenia danych o BO dopiero na etapie tworzenia wskaźników może się okazać, że cele nie są zdefiniowane wystarczająco precyzyjnie Interwencje traktować jak quasi-eksperymenty: musimy wiedzieć co i u kogo chcemy zmienić Oczekiwać jasnej interpretacji wskaźników – na jakie decyzje będzie miał wpływ pomiar wartości każdego wskaźnika

WOJEWÓDZTWO PODKARPACKIE Dziękuję za uwagę "Projekt finansowany ze środków Unii Europejskiej z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007-2013"