Rola systemów M&E w Budżecie Zadaniowym: Dobre praktyki i lekcje wyciągnięte z doświadczeń Warszawa, Październik 2009 V Doroczna Konferencja Ewaluacyjna

Przegląd Co rozumiemy przez M&E i BZ Kontekst strategiczny dla M&E i Budżetu Zadaniowego Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym Przykłady krajów stosujących dobre praktyki (Meksyk, Chile, Wielka Brytania) Lekcje z międzynarodowych doświadczeń

Przegląd Co rozumiemy przez M&E i BZ Kontekst strategiczny dla M&E i Budżetu Zadaniowego Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym Przykłady krajów stosujących dobre praktyki (Meksyk, Chile, Wielka Brytania) Lekcje z międzynarodowych doświadczeń

4 Regularne monitorowanie wskaźników w celu ustalenia czy planowane cele zostały osiągnięte Monitoring M Ewaluacja E Wysiłki analityczne by odpowiedzieć na konkretne pytania dotyczące wyników programu/działań Ew. Oddziaływania EO Wysiłki analityczne by powiązać przyczynę i skutek. Ustalenie co by się stało gdyby nie dokonano interwencji Czym jest M&E? Każde narzędzie ma atuty, koszta i ograniczenia

5 Czym jest budżet zadaniowy? Forma budżetu, która wiąże przydzielone środki z mierzalnymi wynikami (OECD, 2005a) 3 różne sposoby PrezentacyjnyInformacje o wydajności Finansowanie Bezpośrednie/wg Formuły Związek z alokacją BrakPośredni/Luźny związekBezpośredni/Ścisły związek Główny cel OdpowiedzialnośćPlanowanie i/lub odpowiedzialność Alokacja środków i odpowiedzialność Dowody stosowania Szwecja, Dania, Kolumbia Większość OECD (np. Wielka Brytania, Australia, Meksyk) + Chile. Przeważnie w sektorach (np. duńskie finansowanie szkół, chilijskie finansowanie klinik per capita)

Przegląd Co rozumiemy przez M&E i BZ Kontekst strategiczny dla M&E i Budżetu Zadaniowego Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym Przykłady krajów stosujących dobre praktyki (Meksyk, Chile, Wielka Brytania) Lekcje z międzynarodowych doświadczeń

Nie ma prostej/bezpośredniej relacji między wydatkowaniem a rezultatami Podobne wzrosty wydatków publicznych mogą być powiązane z zupełnie różnymi wynikami… Dane o wydatkach w latach 90-tych z bazy danych Wskaźników Rozwoju Światowego. Dane o śmiertelności dzieci z Unicef z 2002 r. Pozostałe dane z Banku Światowego. Dane o ukończeniu szkół z Bruns, Mingat i Rakatomalala z 2003 r. Większe wydatki niekoniecznie oznaczają lepsze wyniki Wydatki publiczne na edukację (w dolarach) Ukończenie szkoły podstawowej (w procentach) Wydatki publiczne na ochronę zdrowia (w dolarach) Śmiertelność dzieci poniżej 5 lat (na tysiąc)

Nie ma prostej/bezpośredniej relacji od wskaźników wzrostu do rezultatów Tanzania i Bangladesz maą podobne PKB na jednego mieszkańca, ale średnią długość życia odpowiednio 55 i 65 lat. Dochód na jednego mieszkańca na Filipinach w 2006 r. był wyższy niż w Mołdawii, ale wskaźnik śmiertelności matek w Mołdawii wynosił 16 w stosunku do 162 na urodzeń na Filipinach. Mimo zadziwiającego wzrostu ekonomicznego, wskaźnik śmiertelności matek w Indiach pogorszył się i jest sześć razy gorszy niż w Chinach i 14 razy gorszy niż w Chile. Wyższy wzrost ekonomiczny może maskować różnice w ważnych rezultatach rozwoju.

Urzędnicy budżetowi i twórcy polityki muszą odpowiedzieć pytania będące wyzwaniami Jakie są przyczyny leżące u podstaw wyników? Czy są one bezpośrednie, pośrednie, zamierzone lub niezamierzone? Jakie programy/polityki powinny być finansowane, wzmacniane lub zmieniane i w jaki sposób? STRATEGICZNYMI Czy prowadzimy odpowiednie działania? Czy realizacja programu przebiega według zamierzonego planu? Czy obiecane działania mają miejsce jak zaplanowano? OPERACYJNYMI Czy wykonujemy działania odpowiednio? Czy istnieją najlepsze praktyki lub lekcje które można zastosować? NAUKOWYMI Czy istnieją lepsze sposoby ich wykonania?

M&E mogą być powiązane z lepszymi wynikami projektów (pomoc z ulepszonym zarządzaniem) % projektów WB ocenionych wysoko lub znacząco w M&E została oceniona zadowalająco lub lepiej w odniesieniu do ich wyników Te z nieistotnymi ocenami zostały ocenione zadowalająco tylko w 32% przypadków Wysoce Niezadowalające Niezadowalające Umiarkowanie Niezadowalające Umiarkowanie Zadowalające Zadowalające Wysoce Zadowalające WysokoZnaczącoUmiarkowanieNieistotne

Przegląd Co rozumiemy przez M&E i BZ Kontekst strategiczny dla M&E i Budżetu Zadaniowego Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym Przykłady krajów stosujących dobre praktyki (Meksyk, Wielka Brytania) Lekcje z międzynarodowych doświadczeń

12 Główne czynniki Wyniki działań ewaluacyjnych, Budżet zadaniowy wiąże wyniki z finansowaniem. BZ wymaga stałej informacji o efektywności by pozostać zrównoważonym i odpowiednim: Ale… muszą zostać spełnione wielorakie wymagania Przejrzysta logika programu / łańcuchy wyników Terminowe i dobrej jakości dane Dobre wskaźniki i cele Solidne metody i narzędzia Dobrej jakości standardy i procedury Mechanizmy zapewniające zastosowanie i oddziaływanie

Często brakuje właściwego rodzaju informacji Sprzeczne żądania PI, niewłaściwe zachęty i słabe możliwości M&E często prowadzą do - Braku jasności dotyczącego roli PI w budżecie - Powielania i nadmiernego wydatkowania - Niestandardowych metod i narzędzi (ograniczenia i mocne strony) - Niskiej jakości i rzadkiego wykorzystania

Systemy M&E pomagają rozwiązać problemy z informacjami o wydajności Zapewnienie dostarczania danych o wydajności (rejestrów, statystyk, zbilansowanych danych M&E itp.) Stymulowanie popytu, (zastosowanie w polityce, przejrzystość, odpowiedzialność itp.) Zagwarantowanie jakości i wiarygodności danych (solidne metodologie, standardy) Ale także zwiększony dostęp do PI (zintegrowane systemy IT, raporty itp.).

Systemy M&E na poziomie kraju są potężnymi narzędziami budżetowymi Ułatwienie zmiany budżetu z zarządzania tradycyjnego (wprowadzenie/ opartego na działaniu) do zarządzania wydajnością ( wydajność/opartego na wynikach) Podkreślenie efektywnej alokacji środków dla planowania i dla budżetu Pomoc krajom w ocenie jeśli wykorzystują niewystarczające środki niskim kosztem Odpowiadanie przed wybranymi urzędnikami i publicznym wymogiem odpowiedzialności w budżecie Zwiększeni zapotrzebowania na menadżerów w sektorze publicznym Podkreślenie wiedzy i kształcenia przy ulepszaniu procesu decyzyjnego dotyczącego budżetu

Budżet Zadaniowy jest niemożliwy bez systematycznej i dobrej jakości informacji M&E. Nie ma efektywnego M&E bez związków z procesem budżetowym Rozwój BZ i M&E muszą być ze sobą powiązane Podsumowanie związku M&E i BZ

Przegląd Co rozumiemy przez M&E i BZ Kontekst strategiczny dla M&E i Budżetu Zadaniowego Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym Dobre praktyki przykłady krajów Lekcje z międzynarodowych doświadczeń

Wielka Brytania: System Porozumień Służby Publicznej (System PSA) Główne cechy konstrukcji: - Jednostki Strategiczne (PMSU) i Dostawcze wysokiego poziomu (PMDU) - Ministerialne porozumienia publiczne dotyczące dostarczanych usług - Cele, wskaźniki i menadżerowie dla każdego porozumienia o dostawie - Ministerialna Rada Wykonawcza PSA (przewodniczą jej menadżerowie) - Regularny monitoring wyników (PMDU, Gabinet) - Typy ewaluacji dif (weryfikacja wydatków, program, oddziaływanie, audyty) - Publiczne rozpowszechnianie strategii i porozumień Główny uczestnik Skarbu Państwa. (PMSU) i (PMDU) bezpośrednio informują na bieżąco Premiera.

Wielka Brytania: System Porozumień Służby Publicznej Atuty Wyjaśnia co departamenty planują dostarczyć w zamian za… istotne dodatkowe inwestycje [Wyznacza] wymagające cele narodowe (Standardy kr.) Liczne agencje ale wytyczne Skarbu Państwa umożliwiają koordynację Wysoce wiarygodne ewaluacje (zakontraktowane zewnętrznie) [Odzwierciedla] główne priorytety Rządu i [skupia się] na wynikach najważniejszych dla opinii publicznej Powołuje odpowiedzialnych menadżerów dla każdego PS Przewodnia rola Skarbu Państwa i biura Premiera

Meksyk: System Ewaluacji Wyników – SED Główne cechy struktury: - Niezależna Jednostka Ewaluacyjna: rada CONEVAL złożona z naukowców - Pojedyncze Federalne Wytyczne dotyczące Ewaluacji - Ramy Logiczne i standardy dla wszystkich Programów F wskaźników wyników (opartych na wydajności i rezultatach) - 6 metod ewaluacji: Oddziaływanie, spójność, wskaźniki, proces, projekt, wyniki - Roczny Plan Ewaluacji (Ponad 100 rocznie). MF jest mistrzem systemu wraz z aktywnym wsparciem i udziałem Biura Prezydenta.

Meksyk: System Ewaluacji Wyników – SED Atuty Model CONEVAL dodaje wiarygodności - Zakontraktowanie zewnętrznych ewaluacji (rynek ewaluacji) - Poprawa jakości, regularności, i terminowości prac ewaluacyjnych - Promocja rozwoju możliwości Wyjątkowy schemat mierzenia ubóstwa jest częścią systemu Solidne i wiarygodne ewaluacje, wzmocnienie monitoringu Wszystkie ewaluacje zgłaszane do Kongresu (wraz z istotną inicjatywą budżetową) Duża rola MF i Prezydenta zwiększa zastosowanie Aktywna rola Ministerstw i agencji w definiowaniu planu ewaluacji

Chile: System Kontroli Zarządzania Główne cechy struktury: - Analizy e x ante wydajności kosztów dla programów inwestycyjnych - 1,550 wskaźników wydajności dla wszystkich programów rządowych (2006) - Ewaluacje Programów: przegląd dokumentacji ram logicznych (14 razy do roku) - Rygorystyczne ewaluacje oddziaływania (4 razy do roku) - Kompleksowe Przeglądy Wydatków: wybrane programy (2-5 razy do roku) - Programy poprawy zarządzania agencjami powiązane z płatnościami dla personelu MF (Dyrekcja Budżetu) zaprojektowało i stosuje system. Kongres nie ma inicjatywy wydatkowania.

Chile: System Kontroli Zarządzania Atuty Informacje dotyczące wydajności są używane do zidentyfikowania potrzeb ewaluacji Ewaluacje przeprowadzane zewnętrznie, w pełni przejrzyste i wysoce wiarygodne Wszelki ustalenia M&E ogłaszane publicznie i przekazywane do Kongresu System M&E ściśle powiązany z potrzebami MF dotyczącymi informacji budżetowych Informacje o wynikach służą wyznaczaniu celów dla ministerstw – osiąganych w dużym stopniu MF ściśle monitoruje zakres stosowania i ewaluacji ustaleń

Przegląd Co rozumiemy przez M&E i BZ Kontekst strategiczny dla M&E i Budżetu Zadaniowego Rola systemów M&E na poziomie krajowym w Budżecie Zadaniowym Dobre praktyki przykłady krajów Lekcje z międzynarodowych doświadczeń

Główne zagrożenia i trudności 1.Niewystarczające planowanie budżetu – Brak technicznej definicji celów i wskaźników programu 2.Słaby projekt systemu, niejasne ustalenia instytucjonalne - Jak dużo M & E jest wystarczająco?, kto planuje, wykonuje i korzysta z ewaluacji? - Własne czy niezależne ewaluacje? - Kto finansuje system? (a) zarezerwowane środki budżetowe?; (b) koszty ponoszone przez ministerstwa? Jak wiąże się to z budżetem? 3. Po stronie podaży: wiele zastrzeżeń, konkurencyjność, nieskoordynowane systemy 4. Po stronie popytu: sztywność budżetu, zachęty są kluczem do osiągnięcia wykorzystania 5. Niskie możliwości personelu (potrzeba menadżerów PS)

Brak istotnych warunków wstępnych ale czynniki Sukcesu zawierają 1. Wysokie zaangażowanie Rządu w jakość wydatków publicznych 2. Mocny lider kierowany centralnie przez Ministerstwo Finansów 3. Zwracanie uwagi zarówno na popyt jak i na podaż 4. Zrównoważone stałe wysiłki 5. Stopniowanie w celu zapewnienia asymilacji 6. Szybkie zyski by uniknąć kosztów zbyt nieśmiałej realizacji 7. Unikanie złożonych systemów (zachowanie prostoty)

Przydatne materiały Keith Mackay, How to Build M&E Systems for Better Government, World Bank, Ernesto May et al. (eds.), Towards the Institutionalization of Monitoring and Evaluation Systems in Latin America and the Caribbean, World Bank, K:146736~piPK:146830~theSitePK:258554,00.html K:146736~piPK:146830~theSitePK:258554,00.html Manuel F. Castro, Insider Insights: Building a Results-Based Management and Evaluation System in Colombia. World Bank, Gonzalo Hernandez Licona, The Role of Evaluation in Mexico: Achievements, Challenges and Opportunities. Quality of Public Expenditure. Note No. 2. World bank, QualityofPubExpenditure-No2.pdf QualityofPubExpenditure-No2.pdf

Przydatne materiały Teresa Curristine, Performance Information in the Budget Process: Results of the OECD 2005 Questionnaire, in OECD Journal on Budgeting, (2),pp OECD, Performance Budgeting in OECD Countries, OECD, Independent Evaluation Group, M&E Tools, Methods and Approaches, World Bank, Independent Evaluation Group, Influential Evaluations: Evaluations that Improved Performance and Impacts of Development Programs, World Bank, World Bank website on Building Government M&E Systems: