Zarządzanie badaniem ewaluacyjnym Elżbieta Opałka Krajowa Jednostka Oceny Departament Koordynacji Polityki Strukturalnej Ministerstwo Rozwoju Regionalnego

Proces realizacji badania ewaluacyjnego Instytucja Zarządzająca/Pośrednicząca (Zespół Sterujący Ewaluacją) Jednostka Ewaluacyjna/Grupa Sterująca Decyzja o ewaluacji Wykorzystywanie wyników Opinie/wnioski Raport z ewaluacji Realizacja badania Zakres ewaluacji Zespół ewaluacyjny

Kryteria jakości procesu ewaluacji: Odpowiedni opis przedmiotu zamówienia (SOPZ): opis zamówienia został dobrze przygotowany, był przydatny i nie wymagał weryfikacji Prawidłowe zamówienie publiczne: zostało prawidłowo przeprowadzone a wybrany wykonawca był w stanie przeprowadzić ewaluację na odpowiednio wysokim poziomie Dostępność: informacji/danych (z systemu monitorowania), respondentów Odpowiednie zarządzanie procesem: bieżąca współpraca zamawiających i innych partnerów z ewaluatorami Skuteczne wykorzystanie wyników ewaluacji (z dostarczonych raportów ewaluacyjnych) przez zlecających ewaluację oraz wszystkich zainteresowanych partnerów (w tym popularyzacja wyników ewaluacji)

Współpraca z Wykonawcą Spotkanie inicjujące badanie: Ustalenie szczegółowych zasad współpracy (w tym częstotliwość spotkań) Szczegółowe omówienie koncepcji badania Uwagi i pytania do treści oferty będącej podstawą raportu metodologicznego (dyskusja nad słabościami oferty) Wymagania dot. raportu metodologicznego Dostępność danych oraz namiary na uczestników badania Ustalenie treści pisma wprowadzającego Podpisanie umowy na realizację badania

Współpraca z Wykonawcą Spotkania w trakcie realizacji badania: Spotkania wcześniej zaplanowane (najlepiej dostosowane do etapów prac badawczych) oraz spotkanie ad hoc (w razie konieczności) Możliwość kontroli nad przebiegiem badania Identyfikacja barier w realizacji badania Ewentualne modyfikacje koncepcji badania (np. w przypadku obiektywnych trudności w uzyskaniu danych; weryfikacja i zmiana wymagań odnośnie zakresu wyników badania, w tym modyfikacja prób, grup respondentów, narzędzi)

Współpraca z Wykonawcą Prezentacja raportu metodologicznego: Ok. 2-3 tygodnie od dnia podpisania umowy Prezentacja projektu raportu na forum Grupy sterującej (uwagi, dyskusja - zlecający pełni rolę moderatora) Raport wcześniej rozesłany do członków Grupy sterującej Rola zlecającego/jednostki ewaluacyjnej: weryfikacja zasadności uwag zgłaszanych przez zainteresowane strony/członków grupy sterującej

Raport metodologiczny Układ raportu metodologicznego: opis obszaru badawczego metodologia badania (metody, narzędzie) plan organizacji pracy badawczej ocena raportu metodologicznego analogiczna jak w przypadku oceny ofert (raport metod. stanowi uszczegółowienie oferty) poprawna weryfikacja raportu metodologicznego pod kątem celów badania i dostępności danych determinuje przebieg całego procesu badawczego

Raporty cząstkowe w przypadku badań dużych, etapowych lub gdy części składowe badania stanowią odrębne całości (np. analiza ilościowa/diagnoza stanu) możliwość większej kontroli nad przebiegiem badania możliwość ukierunkowania badania w trakcie realizacji uzależnienie płatności od postępów badania (czynnik motywacyjny)

Raport końcowy Oczekiwania odnośnie raportu końcowego i prezentacji wyników (wskazane w SOPZ): Struktura raportu końcowego: streszczenie raportu (w języku polskim i angielskim), spis treści, wprowadzenie, opis zastosowanej metodologii oraz źródła informacji wykorzystywanych w badaniu, opis wyników ewaluacji, wnioski i rekomendacje, aneksy

Raport końcowy Oczekiwania odnośnie raportu końcowego i prezentacji wyników: określenie terminu prezentacji (np. na forum Grupy Sterującej), w ramach prezentacji wyników: konsultacje z ewaluatorem w zakresie wdrożenia rekomendacji

Raport końcowy Oczekiwania odnośnie raportu końcowego i prezentacji wyników: określenie terminu prezentacji (np. na forum Grupy Sterującej), w ramach prezentacji wyników: konsultacje z ewaluatorem w zakresie wdrożenia rekomendacji.

Raport końcowy Forma raportu: Raport ewaluacyjny powinien zawierać krótkie (10 stronicowe) podsumowanie przebiegu badania, w tym głównych obserwacji, wniosków i rekomendacji (tzw. executive summary). Ten dokument będzie podstawą rozpowszechniania wyników ewaluacji. Raport wraz ze streszczeniem powinien być napisany zwięzłym i przejrzystym językiem; liczyć ok. 100 stron (dodatkowo w aneksach przedstawić można przeanalizowane studia przypadków czy przeprowadzone analizy ilościowe). Wnioski i rekomendacje mogą być powtórzone w formie listy na wstępie raportu (po executive summary). Powinny jednak mieć jasne uzasadnienie w tekście – przy każdym z nich powinno się znaleźć odesłanie do szczegółowej części raportu.

Raport końcowy Forma raportu: Wskazane jest by, każdy z rozdziałów miał krótkie podsumowanie. Rekomendacje powinny być jasne i praktyczne, najlepiej pogrupowane tematycznie Jeśli to możliwe dobrze jest podać rekomendacje wiodące (np. 10 rekomendacji) i do każdej z nich szczegółowe zalecenia o bardziej operacyjnym charakterze. Rekomendacje powinny mieć załączoną skalę czasową (czy są to działania pilne, czy możliwe do wprowadzenia w średnim okresie), a także określać/sugerować, do kogo należeć powinno w pierwszej kolejności ich wdrażanie.

Raport końcowy Forma raportu: Jeśli grupa odbiorców raportu jest duża i zróżnicowana warto pomyśleć o przewodniku dla czytających (krótkie sugestie, które części raportu będą dla danego czytającego – np. KE, beneficjenta, samorządu – najbardziej użyteczne). Krótkie komentarze na marginesie – prezentujące sedno danego akapitu czy części raportu bardzo ułatwiają szybkie czytanie i znajdowanie interesujących dla czytelnika informacji. Przejrzystość i przystępność tekstu zwiększają tabele, schematy i zestawienia zamieszczone w ramkach studia przypadku (case studies). W aneksach do raportu powinny znaleźć się: wykorzystane dane statystyczne, załączniki z formularzami użytych ankiet, listy konsultowanych osób i wykorzystane źródła. Do raportu (w oddzielnym aneksie) można również dołączyć tekst SOPZ.

Ocena raportu końcowego (elementy oceny) Spełnione oczekiwania: Czy ewaluacja rozstrzyga wszystkie zagadnienia ewaluacyjne i czy odpowiada wymaganiom sprecyzowanym w SOPZ? Właściwy zakres: Czy trafność programu, jego produkty, rezultaty, oddziaływania, interakcje z innymi politykami i nieoczekiwane efekty zostały objęte analizą? Odpowiedni projekt: Czy wybrane podejście badawcze i użyte narzędzia były adekwatne w stosunku do postawionych pytań (uwzględniając istniejące ograniczenia metodologiczne)? Poprawność doboru danych: Czy użyte dane pierwotne i wtórne były odpowiednie do przedmiotu analizy? Czy są wystarczająco wiarygodne?

Ocena raportu końcowego Solidna analiza: Czy informacje jakościowe i ilościowe były poprawnie analizowane, zgodnie z bieżącą metodologiczną wiedzą i standardami? Czy były kompletne i wystarczające by odpowiedzieć na zadane pytania? Wiarygodne wyniki: Czy wyniki badania są logiczne, wypływają z przeprowadzonej analizy i mają oparcie w zebranych danych oraz ich interpretacji opartej na sformułowanych hipotezach wyjaśniających? Ważne konkluzje: Czy raport dostarcza jasnych konkluzji? Czy są one poparte wiarygodnymi dowodami?

Ocena raportu końcowego Bezstronne i użyteczne rekomendacje: Czy rekomendacje są uczciwe, niezniekształcone przez osobiste uprzedzenia zlecającego? Czy są wystarczająco szczegółowe by móc je wdrożyć? Przejrzystość raportu: Czy raport opisuje kontekst, cele, organizację i rezultaty analizowanego programu w taki sposób, że przedstawiane informacje są przystępne?

Najczęstsze błędy w raportach ewaluacyjnych raport zbyt obszerny opisujący wszystko co się wydarzyło wyciąganie nieuprawnionych wniosków, nie mających uzasadnienia w ustaleniach zalewanie danymi, z których tylko część poddana jest analizie formułowanie mało użytecznych rekomendacji pobieżność analiz ograniczona wiedza o szerszym kontekście ewaluowanej interwencji (innych podobnych przedsięwzięciach i ich ewaluacjach)

Najczęstsze błędy w raportach ewaluacyjnych brak interpretacji, wniosków, komentarzy zbędna koncentracja na szczegółach bez ogólnego obrazu wyników schematyzm i rutyna w doborze metod badawczych wykorzystywanie informacji bez podawania jej źródeł chaotyczna struktura raportu, streszczenie napisane w pośpiechu używanie żargonu badawczego (skrótów językowych)

Kanały komunikacyjne raportów ewaluacyjnych   Kanały Komunikacji Spotkanie połączone z dyskusją Skrócony raport Publikacja Prezentacja Broszury, artykuły Konferencja prasowa Odbiorcy Zarządzający i wdrażający program  Instytucje europejskie, regionalne, krajowe Obywatele, Prasa

Zarządzanie rekomendacjami Wnioski i rekomendacje powinny być: jasne / konkretne realistyczne, pragmatyczne (z podanym horyzontem wdrożenia) aktualne bezstronne, obiektywne skierowane do konkretnych adresatów uzasadnione – wynikające z faktów i oparte na wynikach badań, na wiarygodnych danych, szczegółowej wielowymiarowej analizie i trafnej ocenie kluczowym wnioskom odpowiadają konkretne rekomendacje

Zarządzanie rekomendacjami o zakresie i sposobie wykorzystania rekomendacji decyduje w zakresie swoich kompetencji Instytucja Zarządzająca/Pośrednicząca, rolą Jednostki Ewaluacyjnej we współpracy z Grupą sterującą jest analiza i operacjonalizacja zaproponowanych przez ewaluatora rekomendacji, umowa z wykonawcą może zakładać doradztwo ewaluatora w zakresie sposobu wdrażania rekomendacji, Instytucja Zarządzająca/Pośrednicząca monitoruje proces wdrażania rekomendacji sformułowanych w wyniku przeprowadzonych ewaluacji (Informacja roczna w zakresie ewaluacji)

Dziękuję za uwagę elzbieta.opalka@mrr.gov.pl