Strukturyzacja ewaluacji dr Karol Olejniczak: EGO:

2 Ewaluacja ex post PHARE CBC Źródło: EUROREG – Uniwersytet Warszawski & Władza Wdrażająca Programy Europejskie ; PRZYKŁAD

3 Potrzeby i pytania >Zlecający: WWPWP >Typ ewaluacji: zewnętrzna, ex post >Główne pytania: > Do jakiego stopnia PHARE-CBC wpłynął na poprawę sytuacji w regionie przygranicznym? > Które z najlepszych praktyk i doświadczeń we wdrażaniu programu współpracy przygranicznej, można by przenieść na granicę wschodnią? >Potrzeby informacyjne: > Pokazać efekty programu > Transfer wiedzy na wschód

4 ToR - Zakres badania >Zakres przedmiotowy: > Programy PHARE-CBC Polska-Niemcy > ok.120 projektów (z 5 różnych pól) > Różna skala projektów >Zakres przestrzenny: > region dolnośląski, lubuski, zachodniopomorski > gminy na terenie których realizowano projekty > gminy przygraniczne po stronie niemieckiej >Zakres czasowy: > Interwencje wdrażane w latach

5 ToR - Działania, metody >Zbudować metodologię ewaluacji >Stworzyć kryteria oceny dla każdego z sektorów >Przeprowadzić analizę społeczno-ekonom. > Badanie dokumentów i kontekstu programów > Analiza sektorów > Badanie beneficjentów – wizyty studyjne > Wywiady z głównymi interesariuszami >Promocja wyników >Budżet i czas: 200 tys EUR, 8 miesięcy

6 Perspektywa Wykonawcy Strukturyzacja bis >Zidentyfikowanie głównych potrzeb >Rozpisanie zakresu badania > Przedmiot – programy, sektory,projekty > Badane grupy interesariuszy >Rozpisanie problemu na pytania ewaluacyjne >Pogrupowanie pytań według… > Poziomów analizy > Kryteriów ewaluacyjnych >Przypisywanie metod >Weryfikacja pod kątem kosztów, zasobów, czasu

III. Model analizy i oceny IV. Produkty końcowe Oszacować do jakiego stopnia PHARE-CBC wpłynął na poprawę sytuacji w regionie przygranicznym Skuteczność Effectiveness Zaproponować metodologię analizy Wydajność Efficiency Zaproponować kryteria oceny Zidentyfikować najlepsze praktyki w celu ich transferu Raport GŁÓWNY: według 3 poziomów analizy PODSUMOWANIE - Konkluzje & Rekomendacje: według 4 kryteriów UE Ewaluacja ex-post według standardów Unii Europejskiej Najlepsze praktyki + lekcje dla Wschodu Dokonać analizy i oceny Użyteczność Utility Trwałość Sustainability Kryteria zamienione na szczegółowe pytania badawcze Całość analizy Odpowiedzi na pytania normatywne Obserwacje ze studiów +weryfikacja ankiet MODEL ANALIZY 1 poziom: ogólny - pyt. badawcze - kryteria - wskaźniki - metody 2 poziom: sektory - pyt. badawcze - kryteria - wskaźniki - metody 3 poziom: projekty - pyt. badawcze - kryteria - wskaźniki - metody + ANKIETA NIS (Wschód) Promocja (połączone z Częścią 4 projektu) 1. Raport (wyczerpujący) 2. Materiały (różni odbiorcy) 3. Konferencja 4. Lekcje dla Wschodu Struktura Ewaluacji ex post Programu Współpracy Przygranicznej PHARE PL-DE II. Kryteria ewaluacyjne I. Oczekiwania WWPWP

8 Użyte metody i proces Zakres podjętych działań: > zgromadzenie danych wtórnych > zgromadzenie danych pierwotnych Użyte metody i techniki: > Desk research dokumentów programu > Zebranie i przetworzenie wskaźników z monitoringu (baza) > Zakup danych statystycznych (dane GUS) > Wywiady, panele dyskusyjne z: prowadzącymi program (WWPWP, Marszałkowie), > Badania ankietowe i szersze badania społeczne z: » beneficjentami » Potencjalnymi beneficjantami » Społecznością lokalną (reprezentatywna grupa obszaru przygranicznego) » Młodzieży z miast podzielonych > Obserwacja uczestnicząca (wizyty studyjne 120 projektów)

9 Analiza i Ocena Zakres podejmowanych działań: > Analiza i interpretacja zebranych danych (BAZA) > Weryfikowanie hipotez > Oszacowywanie efektów programu i ocena Poziom ogólny: > Analiza statystyczna i prawna > Analiza literatury Poziom sektorowy: > Analiza statystyczna > Analiza przestrzenna > Analiza przepływów > Modele logiczne Modele logiczne Poziom projektów: > Panel ekspertów + samoocena beneficjentów - wynik Panel ekspertów + samoocena beneficjentów wynik > Ocena według modelów logicznych > Analiza statystyczna (podsumowanie ocen) Pomocne programy: > GIS, SPSS, MapInfo, Visio, Access

10 Raporty i ich użycie Raporty dostosowane do publiki: > Raport główny Raport główny > Raport skrócony Raport skrócony > Raport dla Wschodu Raport dla Wschodu Rozpowszechnianie raportów i wyników: > Konferencja > Wysyłka owa > Raport na stronie: > Publikacje naukowe

11 Wykorzystanie badania >Poprawa planowania? > Zmieniło sposób myślenia o nowych programach >Poprawa wdrażania? > NIE >Wzmocnienie odpowiedzialności? > Pokazanie szerszej opinii publicznej skuteczności programu > Pokazanie szerszej opinii publicznej wydajności Programu >Wsparcie procesów uczenia się? > Wyjaśnienie czynników i procesów sukcesu / porażki > Wkład do teorii leżących u podstaw interwencji > Wiedza na temat dobrych praktyk i wzorów >Wzmocnienie partnerstwa i współodpowiedzialności? > Silniejsze relacje interesariuszy interwencji