Ewaluacja jako czynnik doskonalenia zarządzania strategicznego w administracji publicznej: projekt SAPER Jarosław Górniak Uniwersytet Jagielloński

Co to jest ewaluacja? Przedsięwzięcie zmierzające do określenia w oparciu o właściwie zgromadzone i przetworzone informacje, w jakim stopniu interwencja publiczna spełnia ustalone kryteria, w tym w szczególności: w jakim stopniu osiągnęła cele dla których została podjęta i jakie są relacje pomiędzy nakładami i działaniami a wynikami tej interwencji

Funkcje ewaluacji funkcja rozliczenia i egzekwowania odpowiedzialności funkcja poznawczą funkcja stymulowania usprawnień i rozwoju organizacyjnego

Funkcja rozliczeniowa – pomiar wyników Ewaluacja wymaga dobrego pomiaru wyników Bez dobrego pomiaru wyników interwencji nie da się doprowadzić do tego, by publiczne środki były wydawane skutecznie i odpowiedzialnie Wskaźniki są źle używane w praktyce programowania, monitoringu i ewaluacji projektów i programów publicznych w Polsce Punktem wyjścia do dobrego systemu wskaźników jest jasne zdefiniowanie celów do których się zmierza Dobrze zdefiniowane i zoperacjonalizowane cele strategii, programów i projektów są warunkiem przeprowadzenia sensownej ewaluacji Kluczowe cechy dobrych wskaźników: Wskaźnik powinien identyfikować istotę problemu oraz mieć jasną i normatywnie akceptowalną interpretację; Wskaźnik powinien być reprezentatywny i statystycznie wiarygodny; Wskaźnik powinien reagować na interwencje lecz nie podlegać manipulacji

Funkcja poznawcza ewaluacji Zrozumienie związków przyczynowych pomiędzy działaniami a wynikami jest warunkiem skutecznej implementacji interwencji publicznych Jednym z kluczowych zadań ewaluacji jest ustalenie związków przyczynowo-skutkowych pomiędzy podejmowanymi interwencjami, a efektami społecznymi Po to, by ewaluacja mogła dobrze realizować swoją funkcję poznawczą konieczne jest zbudowanie zaplecza meta- ewaluacyjnego administracji publicznej Przez meta-ewaluację rozumie się: gromadzenie, analizowanie i syntezę wiedzy zawartej w wynikach większej liczby pokrewnych ewaluacji, jak i ewaluację ewaluacji, czyli weryfikację jakości przeprowadzonych ewaluacji z punktu widzenia przyjętych standardów profesjonalnych i wymogów metodologicznych

Funkcja rozwojowa Dobra metodycznie ewaluacja prowadzi z czasem – za pośrednictwem meta-ewaluacji – do zgromadzenia bazy wiedzy o zależnościach przyczynowo-skutkowych i dobrych praktykach Ewaluacja ułatwia programowanie i wdrażanie polityk publicznych Jednostki organizacyjne odpowiedzialne za meta-ewaluacje powinny być także zaangażowane w upowszechnianie standardów metodologicznych ewaluacji

System Analizy Polityk i Ewaluacji Regionalnej (SAPER) Potrzeba zbudowania potencjału meta-ewaluacyjnego na poziomie województwa – docelowo|: powstanie jednostki meta-ewaluacyjnej zdolność do oceny samych ewaluacji, ich poprawności metodologicznej i zgodności z przyjętymi zasadami; zdolność do analizy i syntezy wyników ewaluacji i przekształcania ich w przesłanki dla programowania w następnych okresach; zdolność do wspierania metodycznego innych jednostek samorządowych w regionie SAPER jako pilotaż bardziej uniwersalnych rozwiązań Powiązanie z procesem tworzenia i wdrażania wojewódzkiej strategii rozwoju Integralnym elementem projektu SAPER jest zbudowanie systemu wskaźników służących pomiarowi efektów polityk publicznych na szczeblu regionalnym Przykład: projekt badań nad systemem wskaźników społecznych w zakresie rynku pracy i wykluczenia społecznego w województwie małopolskim Docelowo należy dążyć do powołania w województwie małopolskim jednostki administracyjno-eksperckiej dedykowanej meta-ewaluacji

Wnioski Pomiar wyników jest warunkiem koniecznym, choć niewystarczającym, dobrej ewaluacji Badania ewaluacyjne powinny korzystać z wielu podejść metodologicznych i zmierzać do ustalenia lub zweryfikowania związków przyczynowych w obszarze analizowanej interwencji Po to, by poziom badań ewaluacyjnych się podnosił, niezbędne jest egzekwowanie wysokiego ich standardu przez jednostki zlecające i odbierające wyniki ewaluacji Aby umożliwić przekształcanie wyników ewaluacji w wiedzę użyteczną w projektowaniu polityk publicznych i podejmowaniu decyzji wdrożeniowych, trzeba zbudować w administracji publicznej potencjał meta-ewaluacyjny SAPER jest pomysłem na zbudowanie zdolności do meta- ewaluacji na poziomie regionalnym, z możliwością uogólnienia doświadczeń i dobrych praktyk

Małopolski system analiz i programowania polityk rynku pracy Zintegrowany Program Operacyjny Rozwoju Regionalnego na lata 2004 – 2006 Działanie 2.1 Rozwój umiejętności powiązany z potrzebami regionalnego rynku pracy i możliwości kształcenia ustawicznego w regionie (Badania i analizy)

Uzasadnienie realizacji projektu Rozwój metodologii programowania, monitoringu i ewaluacji programów regionalnych Wsparcie metodyczne i analityczne dla operacjonalizacji celów Strategii Rozwoju Województwa Małopolskiego Wprowadzenie do ewaluacji programów i projektów w zakresie rynku pracy i reintegracji społecznej wysokich standardów pomiaru wpływu tych interwencji Porównywalność wskaźników regionalnych w skali międzynarodowej Przezwyciężenie problemów z wykorzystaniem wskaźników w zarządzaniu programami rynku pracy i reintegracji społecznej Brak dostosowania wskaźników wykorzystywanych w UE do warunków polskich Trudności w porównywaniu istniejących wskaźników, Trudności w dotarciu do danych potrzebnych do budowy wskaźników, Brak ogólnodostępnej bazy wskaźników, Brak ujednoliconej społecznej definicji wskaźników.

Wymagania wobec wskaźników: Powinny: identyfikować istotę problemu i mieć jasną, akceptowalną interpretację; być możliwie odporne na arbitralne założenia i uzasadniony statystycznie; być wrażliwe na skutki polityki społecznej, jednakże nie może podlegać manipulacji; być porównywalne pomiędzy krajami członkowskimi UE oraz porównywalny, w miarę możliwości, ze standardami stosowanymi przez ONZ i OECD; być aktualne i możliwe do modyfikacji; obliczenie wskaźnika nie powinno nakładać zbyt dużych obciążeń na kraje członkowskie, na przedsiębiorstwa ani na obywateli Unii.

Rodzaj oraz charakter realizowanych badań Konceptualizacja i analiza danych zastanych (katalog dobrych praktyk) Przygotowanie narzędzi badawczych (foresight, pretesty, pilotaż) Badanie sondażowe gospodarstw domowych Badanie jakościowe znaczenia społecznego wskaźników Walidacja portfela wskaźników i opracowanie koncepcji jego stosowania w analizie regionalnych polityk publicznych

Najważniejsze produkty projektu Katalog dobrych praktyk w zakresie monitorowania i analizy rynku pracy i wykluczenia społecznego Diagnoza województwa małopolskiego w zakresie sytuacji na rynku pracy i wykluczenia społecznego System wskaźników dla potrzeb regionalnej polityki rynku pracy i reintegracji społecznej Założenia regionalnego systemu monitoringu rynku pracy i wykluczenia społecznego

AE-MSAP Koordynacja projektu, Zarządzanie finansowe projektem Monitorowanie i ewaluacja realizacji projektu Interpretacja wyników badań w części dotyczącej problematyki rynku pracy Gromadzenie danych do projektu Udział w Zespole zarządzającym Udział w promocji projektu Udział w organizacji seminariów i konferencji

UJ Koordynacja części merytorycznej projektu Opracowanie teoretycznej koncepcji projektu i założeń metodologicznych Udział w przeprowadzaniu badań do projektu Budowa wskaźników do projektu Konstrukcja narzędzi badawczych Analiza danych z badań Interpretacja wyników badań Redakcja naukowa opracowań Udział w Zespole zarządzającym Udział w promocji projektu Udział w organizacji seminariów i konferencji

WUP Udział przy budowie teoretycznych wskaźników do projektu Analiza zjawiska wykluczenia społecznego Udostępnianie istniejących danych dotyczących regionalnego rynku pracy Udział w Zespole zarządzającym

WUS w Krakowie Dostarczanie danych liczbowych na temat regionalnego rynku pracy Przeprowadzanie badań dotyczących aktywności na regionalnym rynku pracy i wykluczenia społecznego Przeprowadzanie badań statystycznych przewidzianych w harmonogramie projektu Udział w Zespole zarządzającym