- instrumenty ewaluacji i monitoringu RSI Ewaluacja i monitoring, jako jeden z kluczowych elementów zarządzania strategicznego - instrumenty ewaluacji i monitoringu RSI Beata Ciężka Kaliszki 26.03.2010 1

Ewaluacja - definicja Badanie wartości lub cech konkretnego programu, działania bądź obiektu z punktu widzenia przyjętych kryteriów w celu ich usprawnienia, rozwoju lub lepszego rozumienia Ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności interwencji w kontekście założonych celów

OCENA SKUTKÓW REALIZOWANEJ STRATEGII Cele ewaluacji RSI OCENA SKUTKÓW REALIZOWANEJ STRATEGII Zagwarantowanie wysokiego poziomu odpowiedzialności władz i transparentności działań Zapewnienie partycypacji i współodpowiedzialności partnerów społecznych Wykorzystanie wyników ewaluacji w procesie decyzyjnym (aktualnie realizowanej strategii i przyszłych interwencji)

Ewaluacja – rodzaje Początkowa/ex-ante - przed realizacją interwencji Bieżąca/okresowa/mid-term/on-going - podczas realizacji interwencji Końcowa/podsumowująca/ex-post - po zakończeniu realizacji interwencji

Monitoring - definicja Proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażanej interwencji w aspekcie finansowym i rzeczowym Cel: zapewnienie zgodności realizacji interwencji z przyjętymi założeniami i celami Oparty jest na wskaźnikach Wspomaga szybkie identyfikowanie wszelkich nieprawidłowości, a dzięki temu podejmowanie odpowiednich działań zaradczych

Cele monitoringu RSI POMIAR WYNIKÓW (W OBNIESIENIU DO ZAŁOŻONYCH WSKAŹNIKÓW) Integralna część „zarządzania przez wyniki” Funkcja kontrolna i rozliczeniowa Wybór kierunków udzielania wsparcia i realizacji strategii

Planowanie ewaluacji Przystępując do przeprowadzania ewaluacji trzeba ją precyzyjnie zaplanować, by jak najskuteczniej wykorzystać czas i posiadane zasoby. Im lepiej zaplanowana ewaluacja, tym większa szansa na przeprowadzenie jej w taki sposób, który dostarczy istotnych, wiarygodnych i rzetelnych informacji, odpowiadających potrzebom i zainteresowaniom jej odbiorców i użytkowników. Przystępując do przeprowadzenia ewaluacji należy jasno sformułować jej cel, a więc odpowiedzieć na pytanie czemu służyć będą poczynione w jej wyniku ustalenia. Ewaluacja może być prowadzona w celu rozwiązania jakiegoś problemu – informacje pozyskane w wyniku ewaluacji mogą pomóc właściwie zdiagnozować problem i ułatwić podjęcie właściwej decyzji zmierzającej do rozwiązania tego problemu.

Potrzeby przeprowadzania badań ewaluacyjnych RSI Wyjście poza zakres badania osiągania założonych wskaźników (poza zakres monitoringu) Badanie eksploracyjne (pogłębiające) i eksplanacyjne (wyjaśniające) np. związki przyczynowo-skutkowe Identyfikacja niezamierzonych efektów i procesów towarzyszących wdrażaniu RSI (mających wpływ na osiągane efekty) Identyfikacja przyczyn niepowodzeń, ale i czynników wspomagających osiąganie celów RSI

Obszary ewaluacji RSI Założenia RSI (w tym np. aktualność celów, identyfikacja zmieniających się potrzeb) Wdrażanie RSI (w tym np. efektywność metodyki wdrażania, osiągnięte na danym etapie rezultaty, identyfikacja problemów związanych z wdrażaniem RSI) Potencjał instytucji wdrążających RSI Działania informacyjno-promocyjne dot. RSI oraz innowacyjności Współpraca międzyinstytucjonalna na rzecz wdrażania RSI (w tym np. przepływ informacji, realizacja zasady partnerstwa) Skuteczności i efektywność realizacji projektów dedykowanych wdrażaniu RSI

Jakie jeszcze obszary związane z RSI można poddać ewaluacji? Obszary ewaluacji RSI Burza mózgów Jakie jeszcze obszary związane z RSI można poddać ewaluacji?

Metody i narzędzia badawcze stosowane w ewaluacji Analiza dokumentów (jakich?) Wywiady pogłębione (z kim?) Ankietowanie (kogo?) Obserwacje (czego?) Studia przypadków (jakie?) Ekspertyzy (jakie?)

Metody wykorzystania wyników badań ewaluacyjnych Uwzględnienie potrzeb informacyjnych wszystkich interesariuszy RSI (konsultacje na etapie przygotowania i realizacji ewaluacji – wzmacniają użyteczność ewaluacji) Jawność wyników i ich upublicznianie – transparentność Praca nad rekomendacjami, monitorowanie wdrażania rekomendacji, ewaluacja efektów drożenia rekomendacji

Wykorzystanie wyników badań ewaluacyjnych – rekomendacje (1/2) Rekomendacje opracowane na podstawie wyników badań ewaluacyjnych powinny być możliwe do zaakceptowania: warto opracować rekomendacje we współpracy z instytucjami/osobami, których one dotyczą współpraca daje największe szanse na przyjęcie i wdrożenie rekomendacji współpraca daje zainteresowanym możliwość sprzeciwu dla danej rekomendacji i opracowanie lepszego rozwiązania

Wykorzystanie wyników badań ewaluacyjnych – rekomendacje (2/2) Należy rozważyć czy rekomendacja powinna być sformułowana w sposób ogólny czy bardziej szczegółowy: rekomendacje sformułowane ogólnie pozwalają zainteresowanym samodzielnie podjąć decyzję w jaki sposób należy naprawić sytuację rekomendacja sformułowana szczegółowo pozwala określić co i jak należy robić oraz kto jest osobą odpowiedzialną Rekomendacje powinny być realistyczne – należy rozważyć konsekwencje proponowanych zmian: jakie będą wydatki finansowe wynikające z proponowanej rekomendacji jak wdrożenie proponowanej rekomendacji może wpłynąć na realizację RSI

Monitoring, jako integralna część procesu zarządzania i planowania strategicznego Planowanie strategiczne zakłada precyzyjną identyfikacje celów, rezultatów, działań i nakładów na ich realizację Każdy element planowania strategicznego powinien mieć precyzyjne zdefiniowane wskaźniki sukcesu Osiąganie zaplanowanych wskaźników powinno być stale monitorowane (system monitoringu) System monitoringu wspomaga szybkie identyfikowanie nieprawidłowości i podejmowanie odpowiednich działań zaradczych Systematycznie prowadzony monitoring pozwala obserwować postępy we wdrażaniu RSI – jest to dobrym materiałem wyjściowym przy ewaluacjach bieżących i okresowych Dane z systemu monitoringu powinny być wykorzystane przy ewaluacji skuteczności i efektywności wdrażania RSI

Dyskusja Pytania… Komentarze… Refleksje…

Życzę owocnych monitoringów i ewaluacji! Dziękuję za uwagę! Życzę owocnych monitoringów i ewaluacji! Beata Ciężka beata.ciezka@pte.org.pl 17