Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Strukturyzacja ewaluacji dr Karol Olejniczak: EGO:

Podobne prezentacje


Prezentacja na temat: "Strukturyzacja ewaluacji dr Karol Olejniczak: EGO:"— Zapis prezentacji:

1 Strukturyzacja ewaluacji dr Karol Olejniczak: EGO:

2 2 Cel zajęć >Zaprezentować i wyjaśnić podstawowe działania i decyzje podejmowane w fazie strukturyzacji badania ewaluacyjnego > Precyzowanie potrzeb informacyjnych i formułowanie pytań badawczych > Racjonalny dobór metod, budżetu i czasu

3 3 Standardowe etapy ewaluacji Zlecanie ewaluacji Projektowanie ewaluacji Przygotowanie SIWZ Zlecenie badania Prowadzenie badania Strukturyzacja Obserwacja Analiza i Ocena Wnioski i rekomendacje Użycie badania Przyjęcie raportu Użycie wyników

4 4 Standardowe etapy ewaluacji Zlecanie ewaluacji Strukturyzacja Przygotowanie SIWZ Zlecenie badania Prowadzenie badania Strukturyzacja bis Obserwacja Analiza i Ocena Wnioski i rekomendacje Użycie badania Przyjęcie raportu Użycie wyników

5 5 Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet

6 6 Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet

7 7 Potrzeby informacyjne >Do czego i komu potrzebne badanie? > 5 funkcji ewaluacji >Potrzeby a typy czasowe ewaluacji > Badanie ex ante » Racjonalność i spójność planu » Przygotowanie systemu wdrażania » Baza dla porównań (konktest i punkt wyjścia) > Badanie bieżące (on-going) » Poprawa procesu ALBO » Baza dla porównań (na początku prog.) ALBO » Ocena pierwszych efektów (zaawansowany prog.) > Badanie ex post » Ocena rzeczywistych efektów » Zweryfikowanie relacji przyczynowo-skutkowej

8 Partnerstw o i współwłas ność Wdrażani e i jakość Planowa nie Uczenie się – dobre praktyki Uczenie się – teorie Odpowiedzial ność Funkcje ewaluacji – - dylematy wyboru coś za coś Źródło: Olejniczak K. (2008): Mechanizmy skutecznego wykorzystania ewaluacji. Studium przypadku programów INTERREG, Wydawnictwo Naukowe Scholar, Warszawa Orientacja na bieżące zarządzanie Orientacja na ocenę efektów

9 9 Pytania ewaluacyjne >Pytania opisowe > Np. Jak zmieniła się sytuacja na rynku pracy po realizacji programu szkoleń? > Jaki jest stan wdrażania Działań z Piorytetu II? >Pytania przyczynowo-skutkowe > Np. Czy zarejestrowany wzrost eksportu jest bezpośrednim wynikiem kampanii promocyjnej lokalnego grona przedsiębiorczości? >Pytania o charakterze predyktywnym > Np. Czy wspieranie firm uczestniczących w sieci współpracy nie zakłóci konkurencyjności w regionie? >Pytania o charakterze normatywnym (oceniające) KRYTERIA EWALUACYJNE

10 10 Kryteria ewaluacyjne >Trafność / Adekwatność (Relevance): > Czy cele programu odpowiadają potrzebom? > Czy struktura logiczna interwencji jest poprawna? >Wydajność / Efektywność (Efficiency): > W jaki sposób zasoby zostały przetworzone na efekty? > Czy cele osiągnięto najniższym możliwym kosztem? >Skuteczność (Effectiveness): > Czy to, co osiągnięto jest tym, co planowano? > Do jakiego stopnia działanie przyczyniło się do osiągnięcia celów? >Użyteczność (Utility): > Czy program spełnił oczekiwania adresatów? > Czy efekty programu są korzystne dla różnych grup odbiorców? >Trwałość (Sustainability): > Czy efekty działania są trwałe, długookresowe? »DRZEWO PYTAŃ

11 11 Kryteria ewaluacyjne – po co? >Pomagają porządkować pytania w bloki >Uwypuklają element oceny >Umożliwiają zweryfikowanie przystawania pytań do cyklu interwencji > Ex ante: trafność, wydajność skuteczność > On-going: trafność (początek prog.), wydajność, skuteczność, użyteczność (gdy są efekty) > Ex post: wydajność, skuteczność, użyteczność, trwałość >SUGESTIE: > Najpierw postawić pytania badawcze, potem przypisać je do kryteriów > Badanie kryteriów to nie błąd!

12 12 Perspektywa wykonawcy Strukturyzacja bis >Zidentyfikowanie priorytety Zlecającego >Pogrupowanie pytania w bloki, rozpisać pytania naprowadzające (np. opisowe) >Zidentyfikowanie głównych interesariuszy > Siły wspierające badanie > Siły "blokujące" badanie >Określenie swej roli (zależna od celu i stanu) > Nauczyciel - Mentor > Naukowiec > Animator - doradca > Konsultant > Źródło: Olejniczak (2008) op.cit, > Arbiter > Mediator > Ekspert budzący świadomość > Reformator > Valovirta (2002) Evaluation utilization as argumentation, Evaluation 8(1), 60-80

13 13 Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet

14 14 Zakres badania >Przedmiotowy: > Cały Program, Działania, wybrane projekty? > Część procesu (promocja, płatności, etc)? >Przestrzenny > Cała Polska, wybrane regiony, gminy? >Czasowy > Od początku programu do chwili obecnej czy takiś okres w cyklu wdrażania? >SUGESTIA: > Szeroki zakres dobry jest przy analizie efektów, dla procesów wystarcza badanie punktowe

15 15 Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet

16 Podejścia badawcze – - dylematy wyboru coś za coś Podejście responsywne i uczestniczące Podejście zorientowan e na procesy Podejście oparte na teoriach Podejście zorientowan e na cele Podejście wyłączające cele Źródło: Ferry M., Olejniczak K. (w przygotowaniu): The use of evaluation in Structural Funds management – a comparative perspective, grant badawczy Ernst & Young, program Sprawne Państwo: Orientacja na bieżące zarządzanie Orientacja na ocenę efektów Metody jakościowe i interaktywne Metody ilościowe i przyczynowo- skutkowe plany badawcze

17 17 Wybór podejścia i metod >Patrząc na cel badania… > Jakie podejście jest najstosowniejsze? >Patrząc na każde z pytań badawczych… > Jakie metody będą potrzebne by zebrać dane do odpowiedzi? > Jakie metody i narzędzia będą potrzebne by dokonać analizy? >SUGESTIA: > "Partycypacyjność" to nie podejście do analizy, to sposób współpracy z wykonawy z interesariuszami. Sprawdza się tak przy badaniach procesów jak i efektów

18 18 Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet

19 19 Szacowanie ograniczeń >Dane > Czy są dostępne w całości, dla całego badanego obszaru? > Czy były zbierane regularnie? >Działania i ludzie > Z jakimi działaniami wiąże się każdej z wyznaczonych metod? > Jakie zasoby ludzkie są do tego potrzebne? >Budżet i czas > Koszt i czas przygotowania narzędzi > Koszt i czas wykonania pomiarów > Koszt i czas analizy

20 20 Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet

21 21 Czy pomysł jest zbyt ambitny? >Sprawdzić czy badanie nie ma kilku celów > Zdecydować się na 1 (procesy vs efekty) >Wybrać pytania priorytetowe > Dyskusja z głównymi interesariuszami > głosowanie kolorami, METAPLAN >Zmniejszyć zakres badania np. > Najbardziej problemowe działania > Najbardziej/najmniej zaawansowane regiony >Uprościć metody i wymagane dane > modyfikacja próby > studia przypadku > Opieranie się na wczesniejszych badaniach > Zwiększyć zasoby (budżet i czas)

22 22 Perspektywa wykonawcy Strukturyzacja bis >Wstępny wybór podejścia badawczego >Stworzenie palety metod i przedmiotów badania >Tworzenie listy metod do każdego z pytań >Tworzenie listy zadań do każdej z metod >Łączenie zadań w grupy >Rozpisywanie metod i zadań… > Na osoby > Na dniówki >Szukanie cięć > w podjeściu badawczym i metodach > w skali próby

23 23 Ewaluacja ex post PHARE CBC Źródło: EUROREG – Uniwersytet Warszawski & Władza Wdrażająca Programy Europejskie ; PRZYKŁAD

24 24 Potrzeby i pytania >Zlecający: WWPWP >Typ ewaluacji: zewnętrzna, ex post >Główne pytania: > Do jakiego stopnia PHARE-CBC wpłynął na poprawę sytuacji w regionie przygranicznym? > Które z najlepszych praktyk i doświadczeń we wdrażaniu programu współpracy przygranicznej, można by przenieść na granicę wschodnią? >Potrzeby informacyjne: > Pokazać efekty programu > Transfer wiedzy na wschód

25 25 Zakres badania >Zakres przedmiotowy: > Programy PHARE-CBC Polska-Niemcy > ok.180 projektów (z 5 różnych pól) > Różna skala projektów >Zakres przestrzenny: > region dolnośląski, lubuski, zachodniopomorski > gminy na terenie których realizowano projekty > gminy przygraniczne po stronie niemieckiej >Zakres czasowy: > Interwencje wdrażane w latach

26 26 Działania, metody i narzędzia >Zbudować metodologię ewaluacji >Stworzyć kryteria oceny dla każdego z sektorów >Przeprowadzić analizę społeczno-ekonom. > Badanie dokumentów i kontekstu programów > Analiza sektorów > Badanie beneficjentów – wizyty studyjne > Wywiady z głównymi interesariuszami >Promocja wyników >Budżet i czas: 200 tys EUR, 8 miesięcy

27 27 Perspektywa Wykonawcy Strukturyzacja bis >Zidentyfikowanie głównych potrzeb >Rozpisanie zakresu badania > Przedmiot – programy, sektory,projekty > Badane grupy interesariuszy >Rozpisanie problemu na pytania ewaluacyjne >Pogrupowanie pytań według… > Poziomów analizy > Kryteriów ewaluacyjnych >Przypisywanie metod >Weryfikacja pod kątem kosztów, zasobów, czasu


Pobierz ppt "Strukturyzacja ewaluacji dr Karol Olejniczak: EGO:"

Podobne prezentacje


Reklamy Google