Strukturyzacja ewaluacji

Prezentacja na temat: "Strukturyzacja ewaluacji"— Zapis prezentacji:

1 Strukturyzacja ewaluacji
dr Karol Olejniczak: EGO:

2 Cel zajęć Zaprezentować i wyjaśnić podstawowe działania i decyzje podejmowane w fazie strukturyzacji badania ewaluacyjnego Precyzowanie potrzeb informacyjnych i formułowanie pytań badawczych Racjonalny dobór metod, budżetu i czasu

3 Standardowe etapy ewaluacji
Zleca nie ewalu acji Projektowanie ewaluacji Przygotowanie SIWZ Zlecenie badania Prowa dzeni e badan ia Strukturyzacja Obserwacja Analiza i Ocena Wnioski i rekomendacje Użyci e badan ia Przyjęcie raportu Użycie wyników

4 Standardowe etapy ewaluacji
Zleca nie ewalu acji Strukturyzacja Przygotowanie SIWZ Zlecenie badania Prowa dzeni e badan ia Strukturyzacja bis Obserwacja Analiza i Ocena Wnioski i rekomendacje Użyci e badan ia Przyjęcie raportu Użycie wyników

5 Główne elementy gry logicznej
Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 5

6 Główne elementy gry logicznej
Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 6

7 Potrzeby informacyjne
Do czego i komu potrzebne badanie? 5 funkcji ewaluacji Potrzeby a typy czasowe ewaluacji Badanie ex ante Racjonalność i spójność planu Przygotowanie systemu wdrażania Baza dla porównań (konktest i punkt wyjścia) Badanie bieżące (on-going) Poprawa procesu ALBO Baza dla porównań (na początku prog.) ALBO Ocena pierwszych efektów (zaawansowany prog.) Badanie ex post Ocena rzeczywistych efektów Zweryfikowanie relacji przyczynowo-skutkowej

8 Funkcje ewaluacji – - dylematy wyboru coś za coś
Partnerstwo i współwłasność Wdrażanie i jakość Planowanie Uczenie się – dobre praktyki Uczenie się – teorie Odpowiedzialność Orientacja na bieżące zarządzanie Orientacja na ocenę efektów Źródło: Olejniczak K. (2008): Mechanizmy skutecznego wykorzystania ewaluacji. Studium przypadku programów INTERREG, Wydawnictwo Naukowe Scholar, Warszawa

9 Pytania ewaluacyjne Pytania opisowe Pytania przyczynowo-skutkowe
Np. Jak zmieniła się sytuacja na rynku pracy po realizacji programu szkoleń? Jaki jest stan wdrażania Działań z Piorytetu II? Pytania przyczynowo-skutkowe Np. Czy zarejestrowany wzrost eksportu jest bezpośrednim wynikiem kampanii promocyjnej lokalnego grona przedsiębiorczości? Pytania o charakterze predyktywnym Np. Czy wspieranie firm uczestniczących w sieci współpracy nie zakłóci konkurencyjności w regionie? Pytania o charakterze normatywnym (oceniające) KRYTERIA EWALUACYJNE

10 Kryteria ewaluacyjne Trafność / Adekwatność (Relevance):
Czy cele programu odpowiadają potrzebom? Czy struktura logiczna interwencji jest poprawna? Wydajność / Efektywność (Efficiency): W jaki sposób zasoby zostały przetworzone na efekty? Czy cele osiągnięto najniższym możliwym kosztem? Skuteczność (Effectiveness): Czy to, co osiągnięto jest tym, co planowano? Do jakiego stopnia działanie przyczyniło się do osiągnięcia celów? Użyteczność (Utility): Czy program spełnił oczekiwania adresatów? Czy efekty programu są korzystne dla różnych grup odbiorców? Trwałość (Sustainability): Czy efekty działania są trwałe, długookresowe? DRZEWO PYTAŃ

11 Kryteria ewaluacyjne – po co?
Pomagają porządkować pytania w bloki Uwypuklają element oceny Umożliwiają zweryfikowanie przystawania pytań do cyklu interwencji Ex ante: trafność, wydajność skuteczność On-going: trafność (początek prog.), wydajność, skuteczność, użyteczność (gdy są efekty) Ex post: wydajność, skuteczność, użyteczność, trwałość SUGESTIE: Najpierw postawić pytania badawcze, potem przypisać je do kryteriów Badanie kryteriów to nie błąd!

12 Perspektywa wykonawcy Strukturyzacja bis
Zidentyfikowanie priorytety Zlecającego Pogrupowanie pytania w bloki, rozpisać pytania naprowadzające (np. opisowe) Zidentyfikowanie głównych interesariuszy Siły wspierające badanie Siły "blokujące" badanie Określenie swej roli (zależna od celu i stanu) Nauczyciel - Mentor Arbiter Naukowiec Mediator Animator - doradca Ekspert budzący świadomość Konsultant Reformator Valovirta (2002) Evaluation utilization as argumentation, Evaluation 8(1), 60-80 Źródło: Olejniczak (2008) op.cit,

13 Główne elementy gry logicznej
Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 13

14 Zakres badania Przedmiotowy: Przestrzenny Czasowy SUGESTIA:
Cały Program, Działania, wybrane projekty? Część procesu (promocja, płatności, etc)? Przestrzenny Cała Polska, wybrane regiony, gminy? Czasowy Od początku programu do chwili obecnej czy takiś okres w cyklu wdrażania? SUGESTIA: Szeroki zakres dobry jest przy analizie efektów, dla procesów wystarcza badanie punktowe

15 Główne elementy gry logicznej
Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 15

16 Podejścia badawcze – - dylematy wyboru coś za coś
Podejście responsywne i uczestniczące Podejście zorientowane na procesy Podejście oparte na teoriach Podejście zorientowane na cele Podejście wyłączające cele Orientacja na bieżące zarządzanie Orientacja na ocenę efektów Metody ilościowe i przyczynowo-skutkowe plany badawcze Metody jakościowe i interaktywne Źródło: Ferry M., Olejniczak K. (w przygotowaniu): The use of evaluation in Structural Funds management – a comparative perspective, grant badawczy Ernst & Young, program Sprawne Państwo:

17 Wybór podejścia i metod
Patrząc na cel badania… Jakie podejście jest najstosowniejsze? Patrząc na każde z pytań badawczych… Jakie metody będą potrzebne by zebrać dane do odpowiedzi? Jakie metody i narzędzia będą potrzebne by dokonać analizy? SUGESTIA: "Partycypacyjność" to nie podejście do analizy, to sposób współpracy z wykonawy z interesariuszami. Sprawdza się tak przy badaniach procesów jak i efektów

18 Główne elementy gry logicznej
Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 18

19 Szacowanie ograniczeń
Dane Czy są dostępne w całości, dla całego badanego obszaru? Czy były zbierane regularnie? Działania i ludzie Z jakimi działaniami wiąże się każdej z wyznaczonych metod? Jakie zasoby ludzkie są do tego potrzebne? Budżet i czas Koszt i czas przygotowania narzędzi Koszt i czas wykonania pomiarów Koszt i czas analizy

20 Główne elementy gry logicznej
Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 20

21 Czy pomysł jest zbyt ambitny?
Sprawdzić czy badanie nie ma kilku celów Zdecydować się na 1 (procesy vs efekty) Wybrać pytania priorytetowe Dyskusja z głównymi interesariuszami głosowanie kolorami, METAPLAN Zmniejszyć zakres badania np. Najbardziej problemowe działania Najbardziej/najmniej zaawansowane regiony Uprościć metody i wymagane dane modyfikacja próby studia przypadku Opieranie się na wczesniejszych badaniach Zwiększyć zasoby (budżet i czas)

22 Perspektywa wykonawcy Strukturyzacja bis
Wstępny wybór podejścia badawczego Stworzenie palety metod i przedmiotów badania Tworzenie listy metod do każdego z pytań Tworzenie listy zadań do każdej z metod Łączenie zadań w grupy Rozpisywanie metod i zadań… Na osoby Na dniówki Szukanie cięć w podjeściu badawczym i metodach w skali próby

23 PRZYKŁAD Ewaluacja ex post PHARE CBC Źródło: EUROREG – Uniwersytet Warszawski & Władza Wdrażająca Programy Europejskie ;

24 Potrzeby i pytania Zlecający: WWPWP Typ ewaluacji: zewnętrzna, ex post
Główne pytania: Do jakiego stopnia PHARE-CBC wpłynął na poprawę sytuacji w regionie przygranicznym? Które z najlepszych praktyk i doświadczeń we wdrażaniu programu współpracy przygranicznej, można by przenieść na granicę wschodnią? Potrzeby informacyjne: Pokazać efekty programu Transfer wiedzy na wschód

25 Zakres badania Zakres przedmiotowy: Zakres przestrzenny:
Programy PHARE-CBC Polska-Niemcy ok.180 projektów (z 5 różnych pól) Różna skala projektów Zakres przestrzenny: region dolnośląski, lubuski, zachodniopomorski gminy na terenie których realizowano projekty gminy przygraniczne po stronie niemieckiej Zakres czasowy: Interwencje wdrażane w latach

26 Działania, metody i narzędzia
Zbudować metodologię ewaluacji Stworzyć kryteria oceny dla każdego z sektorów Przeprowadzić analizę społeczno-ekonom. Badanie dokumentów i kontekstu programów Analiza sektorów Badanie beneficjentów – wizyty studyjne Wywiady z głównymi interesariuszami Promocja wyników Budżet i czas: 200 tys EUR, 8 miesięcy

27 Perspektywa Wykonawcy Strukturyzacja bis
Zidentyfikowanie głównych potrzeb Rozpisanie zakresu badania Przedmiot – programy, sektory,projekty Badane grupy interesariuszy Rozpisanie problemu na pytania ewaluacyjne Pogrupowanie pytań według… Poziomów analizy Kryteriów ewaluacyjnych Przypisywanie metod Weryfikacja pod kątem kosztów, zasobów, czasu