Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Wskaźniki planowaniu i pomiarze efektów p rojektów i programów Karolina Keler Uniwersytet Jagielloński, Instytut Socjologii, Zakład Socjologii, Gospodarki,

Podobne prezentacje


Prezentacja na temat: "Wskaźniki planowaniu i pomiarze efektów p rojektów i programów Karolina Keler Uniwersytet Jagielloński, Instytut Socjologii, Zakład Socjologii, Gospodarki,"— Zapis prezentacji:

1 Wskaźniki planowaniu i pomiarze efektów p rojektów i programów Karolina Keler Uniwersytet Jagielloński, Instytut Socjologii, Zakład Socjologii, Gospodarki, Edukacji i Metod Badań Społecznych Centrum Ewaluacji i Analizy Polityk Publicznych UJ (CEAPP UJ) II Regionalna Konferencja Ewaluacyjna – Rzeszów października 2009 r. 1 WOJEWÓDZTWO PODKARPACKIE

2 Cele prezentacji Ujęcie zagadnienia wskaźników w diagnozie, ewaluacji i analizie polityk publicznych z pragmatycznego punktu widzenia Omówienie kilku newralgicznych kwestii związanych z rolą wskaźników w planowaniu i pomiarze efektów projektów i programów Określenie rekomendacji dla instytucji publicznych zaangażowanych w proces tworzenia i wykorzystania wskaźników 2 WOJEWÓDZTWO PODKARPACKIE

3 Kwestii newralgicznych – wynikających z doświadczeń w projektach naukowo-badawczych realizowanych pod kierownictwem Prof. Jarosława Górniaka (ZSGiE/ZSGEiMBS, CEAPP UJ): – Ewaluacja śródterminowa Działania 1.2 i 1.3 w ramach SPO RZL – Małopolski system analiz i programowania polityk rynku pracy w ramach Działania 2.1 ZPORR – Projekt ewaluacji Działania 2.1 i 2.2 PO KL – Bilans Kapitału Ludzkiego w ramach Działania 2.1 PO KL (projekt systemowy) – Obserwatorium Regionalnych Rynków Pracy w ramach Działania 2.1 PO KL (projekty konkursowy) 3 WOJEWÓDZTWO PODKARPACKIE

4 I innych projektów: – Diagnoza stanu edukacji Miasta Krakowa – Systemowe wykorzystanie dla celów diagnostycznych i ewaluacyjnych danych zbieranych w ramach SI POMOST w Miejskim Ośrodku Pomocy Społecznej w Krakowie – Opracowanie narzędzi badawczych wraz ze schematami doboru prób badawczych oraz dotarcia do respondenta na potrzeby ewaluacji bieżących Działań 2.1 PO KL – Eksplikacja i aplikacja koncepcji wskaźnika w badaniach i praktyce społecznej – projekt doktorski 4 WOJEWÓDZTWO PODKARPACKIE

5 Obszary wykorzystania wskaźników i refleksji nad nimi Diagnoza – Wykonanie diagnozy – Tworzenie portfeli wskaźników społecznych – Tworzenie portfeli pod kątem budowy Obserwatorium Ewaluacja – Wykonanie ewaluacji – Plan ewaluacji – Operacyjne przygotowania badania ewaluacyjnego 5 Refleksja metodologiczna nad metodologią wskaźników WOJEWÓDZTWO PODKARPACKIE

6 Rola wskaźników W planowaniu (określaniu celów, czyli planowanych efektów) projektów i programów W ocenie efektów (czyli tego, czy efekty są zgodne z celami) projektów i programów Projekt a program Użycie tzw. performance indicators 6 WOJEWÓDZTWO PODKARPACKIE

7 7 CELE – przed (ustalone przed realizacją działań, zakładany efekt działań) INTERWENCJA, REALIZACJA DZIAŁAŃ EFEKTY – po (konsekwencje zrealizowanych działań, zgodne lub nie z celami) OGÓLNY = zamierzony wpływ WPŁYW SZCZEGÓŁOWY = zamierzony rezultat REZULTAT OPERACYJNY = zamierzony produkt PRODUKT WOJEWÓDZTWO PODKARPACKIE

8 8 Ewaluacja ex-ante a ex-post produkt 1produkty rezultaty wpływ społeczny/ globalny Czy będzie możliwa ewaluacja ex-post? (badamy tzw. evaluability projektu działań) Jakie są efekty działań? Aby udzielić odpowiedzi na oba pytania sięgamy po wskaźniki WOJEWÓDZTWO PODKARPACKIE

9 Główne problemy 1.Relacja cele/efekty – wskaźniki: definiowanie celów/efektów 2.Wersja matrycy logicznej celów/efektów: poziom rezultatów 3.Opisy wskaźników: precyzja w zakresie określania definicji i algorytmów wskaźników, a także ich interpretacji 9 WOJEWÓDZTWO PODKARPACKIE

10 Problem 1 Relacja cele/efekty – wskaźniki: definiowanie celów/efektów Cel (Planowany skutek działań) – Stan rzeczy (zamierzony efekt) w przyszłości, który chcemy osiągnąć przez realizację działań. – Stan rzeczy zwykle dotyczy jakiejś charakterystyki badanej zbiorowości (różnego rodzaju: osób, jednostek terytorialnych, przedmiotów fizycznych; ale najważniejsze są te cele, które dotyczą osób) Wskaźnik ( w analizowanym kontekście, pomijając ujęcia dynamiczne ): – Charakterystyka badanej zbiorowości – Dobór i zdefiniowanie wskaźników to określenie sposób pomiaru stanu rzeczy (efektu, dot. charakterystyki zbiorowości) ujętego w celu 10 WOJEWÓDZTWO PODKARPACKIE

11 Zasady Cele: – Jeżeli cel jest złożony lub bardzo ogólny i niejednoznaczny, powinien być rozbity na pod-cele, które wskażą, co konkretnie jest przedmiotem interwencji – Jeżeli w definicji celu pojawiają niejednoznaczne pojęcia (np. kompetencje, innowacyjność, bezrobocie, ubóstwo) należy je zdefiniować tak, aby nie było wątpliwości, co powinno być zmierzone np. w kwestionariuszu dla Beneficjentów Ostatecznych Wskaźniki: – Muszą być tak zdefiniowane, by było wiadomo jak otrzymamy wartość wskaźnika charakteryzującą zbiorowość (jakie dane zastane, jakie pytania w kwestionariuszu; jak dane będą przetwarzane), i jak będziemy rozumieć/interpretować uzyskaną wartość 11 WOJEWÓDZTWO PODKARPACKIE

12 Przykład 1 Celem jest zmniejszenie bezrobocia. Bezrobocie musi zostać zdefiniowane: czy rejestrowane, czy np. te zgodne z definicją ILO. Inaczej dopiero zastosowany wskaźnik dostarczy definicji celu. Musimy umieć zidentyfikować to, czy każda badana osoba jest, czy nie jest bezrobotna (w przyjętym rozumieniu) – pomiar na poziomie jednostkowym. Na podstawie tej informacji musimy zagregować wyniki do postaci określonego wskaźnika, np. proporcja osób bezrobotnych wśród osób aktywnych zawodowo; i potrafić zinterpretować wartość wskaźnika. Nierzadko musimy określić i zmierzyć tzw. wskaźniki kontekstowe, np. stopę zatrudnienia, stopę aktywności zawodowej, aby umieć właściwie zinterpretować uzyskane wyniki. Mierząc wartość wskaźnika przed realizacją interwencji i po możemy określić, czy zaszła jakaś zmiana – czyli stwierdzić, czy cel został osiągnięty. 12 WOJEWÓDZTWO PODKARPACKIE

13 Przykład 2 Celem jest zwiększenie kompetencji pracowników biorących udział w określonym projekcie. Musimy wiedzieć, co rozumiane jest przez kompetencje. Musimy umieć zmierzyć kompetencje pojedynczego pracownika. Zazwyczaj osobno każdy z wymiarów kompetencji, zgodnie z definicją przyjętą w celu. – Nie może być tak, że cel jest sformułowany tylko jako zwiększenie kompetencji! Musimy sensownie zagregować te informacje na poziomie agregacji który nas interesuje: – jednej fali projektu, – całego projektu, – programu, – strategii. 13 WOJEWÓDZTWO PODKARPACKIE

14 14 Problem poziomów efektów a wskaźniki Wskaźniki wpływu – dotyczą (w zależności od konwencji): 1) społeczeństwa lub 2) grupy Beneficjentów Ostatecznych po jakimś czasie od realizacji projektu oraz szerszej grupy do której BO należą Wskaźniki rezultatu – dotyczą grupy BO Mierniki produktu – dotyczą zbioru zrealizowanych przez Projektodawcę/ Organizatora/ Beneficjenta działań przeliczonych na określone jednostki (materialne, ludzkie…) WOJEWÓDZTWO PODKARPACKIE

15 Problem 2 Wersja matrycy logicznej celów: poziom rezultatów Kwestia definiowania różnych poziomów celów wiąże się z definiowaniem wskaźników (tzn. głównie definicją badanej zbiorowości) i projektowaniem sytemu zasilania danymi Dzięki jaśniejszemu doprecyzowaniu tych celów łatwiej określić, na czym polegać będzie badanie efektu netto oraz, ewentualnie, określić wartości docelowe wskaźnika (targets) 15 WOJEWÓDZTWO PODKARPACKIE

16 Matryca logiczna Jedna z technik pozwalająca uporządkować proces badawczy Przydatna, gdy myślimy o wskaźnikach Wymaga precyzyjnego zdefiniowania elementów – wynika to z tego, że możliwe są różne jej koncepcje. Wybór wersji: – powinien być uzasadniony – powinien być konsekwentnie stosowany 16 WOJEWÓDZTWO PODKARPACKIE

17 17 Produkty Rezultaty – Czy długoterminowy efekt działania dla BO przypisać kategorii rezultaty (rezultaty długoterminowe) czy kategorii wpływ (wpływ lokalny) Wpływ (oddziaływanie) ZBIÓR EFEKTÓW DZIAŁAŃ PROJEKTODAWCY/ ORGANIZATORA ????????? ver. 1 ver. 2 Kim są? Czy grupa jest jednorodna? Czy mamy do czynienia z jedną grupą? WOJEWÓDZTWO PODKARPACKIE

18 18 ver. 1 ver. 2 produkt 1produkt 2 rezultat bezpośredni, krótkoterminowy rezultat bezpośredni, krótkoterminowy rezultat długoterminowy rezultat długoterminowy wpływ społeczny produkt 1produkt 2 rezultat bezpośredni, krótkoterminowy rezultat bezpośredni, krótkoterminowy wpływ globalny wpływ lokalny BENEFICJENCI OSTATECZNI WOJEWÓDZTWO PODKARPACKIE

19 Korzyści z takiego ujęcia Przyjęcie definicji rezultatów jako tych efektów, które dotyczą BO daje możliwość uporządkowania zagadnienia doboru wskaźników. Rezultaty – charakterystyki BO będące przedmiotem zakładanej zmiany – powinny być mierzone w ramach monitoringu i ewaluacji na poziomie pojedynczej interwencji, oraz dać się zagregować na poziomie całego projektu czy programu. Dzięki temu będzie możliwy pomiar efektu netto projektu wśród BO; czyli określenie skuteczności przedsięwzięcia wobec osób biorących w nim udział. – Gdy nie ma rezultatu nie będzie można mówić, że projekt czy program miał wpływ, rozumiany jako konsekwencja realizacji rezultatów! Jednak wpływ – inaczej oddziaływanie na szersze grupy – musi być badany globalnie, dla różnych interwencji jednocześnie, ponieważ efekty różnych projektów i programów są trudne do wyabstrahowania z ogólnej zmiany. Wpływ mierzą wskaźniki społeczne. 19 WOJEWÓDZTWO PODKARPACKIE

20 Cele – Efekty – Wskaźniki 20 CELE = ZAMIERZONE EFEKTY EFEKTY WSKAŹNIKI (kogo dotyczą zmiany, charakterystyki czego są mierzone) OGÓLNY = zamierzony wpływ WPŁYWWSKAŹNIKI SPOŁECZNE SZCZEGÓŁOWY = zamierzony rezultat REZULTAT Zmiana u BO WSKAŹNIKI DOTYCZĄCE BENEFICJENTÓW OST. OPERACYJNY = zamierzony produkt PRODUKT MIERNIKI PRODUKTÓW Efekt działania, który ma przynieść rezultat Te elementy MUSZĄ być mierzone w każdym projekcie i programie Wymaga integracji na poziomie polityk publicznych, strategii WOJEWÓDZTWO PODKARPACKIE

21 Hierarchia zakładanych efektów Gdy program lub projekt ma hierarchiczną budowę produkty, rezultaty i wpływ mogą być mierzone na różnym poziomie agregacji. Przykład: Program Operacyjny Kapitał Ludzki – podzielony na Działania i Poddziałania a w ramach nich – pojedyncze projekty. Mając jednak zmierzone produkty i rezultaty na poziomie BO można je zagregować na dowolnym poziomie, jeżeli tylko system pomiaru to uwzględnia. – Zatem w przypadku takich hierarchicznych układów celów warto definiować wskaźniki rezultatów na poziomach wyższych i aplikować je do każdego projektu w ramach danego programu. – System sprawozdawczości powinien z zasady ująć produkty. (Warto jednak przemyśleć system bazodanowy dla całości programu, czy pozwoli na łatwą agregację.) Wpływ powinien być ustalony na najwyższym poziomie. 21 WOJEWÓDZTWO PODKARPACKIE

22 Problem 3 Opisy wskaźników: precyzja w zakresie określania definicji i algorytmów wskaźników a także ich interpretacji – Jako sprawdzian sensowności przypisania wskaźnika celowi i użycia wskaźnika do pomiaru efektów – Dookreślenie powodów wyboru konkretnego wskaźnika z puli możliwych 22 WOJEWÓDZTWO PODKARPACKIE

23 Publikacje: wskaźniki a ewaluacja Jarosław Górniak, Karolina Keler, Rola systemów wskaźników w ewaluacji, w: Teoria i praktyka ewaluacji interwencji publicznych. Podręcznik akademicki, pod redakcją Karola Olejniczaka, Marka Kozaka, Bartosza Ledziona, Wydawnictwa Akademickie i Profesjonalne, Warszawa 2008, s Jarosław Górniak, Karolina Keler Ewaluacja i wskaźniki w cyklu planowania i realizacji polityk publicznych, Zarządzenie publiczne, 1(3)/2008 Fragment z: Jarosław Górniak, Magdalena Jelonek, Karolina Keler, Seweryn Krupnik, Janusz Wachnicki, Barbara Worek, Ocena projektów i programów: wybrane techniki badawcze i ich zastosowanie, w: Ewaluacja jako standard zarządzania w sektorze publicznym, pod redakcją Bożeny Pietras-Goc, Wyższa Szkoła Europejska, Kraków 2008, s , w którym omawiam zagadnienie wskaźników (s ) Jarosław Górniak, Karolina Keler, Wskaźniki w ewaluacji ex-post programów publicznych w: Ewaluacja ex-post. Teoria i praktyka badawcza, pod redakcją Agnieszki Haber, Państwowa Agencja Rozwoju Przedsiębiorstw, Warszawa, 2007, s WOJEWÓDZTWO PODKARPACKIE

24 Konkluzje – warto odczarować wskaźniki Trudność w tworzeniu i wykorzystaniu wskaźników wynika zwykle z: – Braku określonych potrzeb informacyjnych – Niejasnej definicji celów interwencji – Niejasnej definicji pojęć abstrakcyjnych – Niejasnego sposobu interpretacji i wykorzystania przyjętych wskaźników Gdy trudności te są pokonane, problemem może być co najwyżej sposób zbierania i przetwarzania danych – Ale dobry badacz społeczny zastosuje sensowne rozwiązanie – Choć nierzadko warto zrealizować osobne badanie, by wypracować metodologię 24 Duża rola przedstawicieli instytucji publicznych i współpracy między osobami definiującymi cele a osobami tworzącymi wskaźniki WOJEWÓDZTWO PODKARPACKIE

25 Rekomendacje Wiązać tworzenie wskaźników z dookreślaniem celów interwencji oraz ze sposobem zbierania danych – ich ustalanie wiąże się zarówno z dyskusją nad szczegółowymi celami, jak i z projektowaniem monitoringu i sposobu gromadzenia danych o BO – dopiero na etapie tworzenia wskaźników może się okazać, że cele nie są zdefiniowane wystarczająco precyzyjnie Interwencje traktować jak quasi-eksperymenty: musimy wiedzieć co i u kogo chcemy zmienić Oczekiwać jasnej interpretacji wskaźników – na jakie decyzje będzie miał wpływ pomiar wartości każdego wskaźnika 25 WOJEWÓDZTWO PODKARPACKIE

26 Dziękuję za uwagę "Projekt finansowany ze środków Unii Europejskiej z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata " 26 WOJEWÓDZTWO PODKARPACKIE


Pobierz ppt "Wskaźniki planowaniu i pomiarze efektów p rojektów i programów Karolina Keler Uniwersytet Jagielloński, Instytut Socjologii, Zakład Socjologii, Gospodarki,"

Podobne prezentacje


Reklamy Google