Strukturyzacja ewaluacji dr Karol Olejniczak: k.olejniczak@evaluation.pl EGO: www.evaluation.pl

Cel zajęć Zaprezentować i wyjaśnić podstawowe działania i decyzje podejmowane w fazie strukturyzacji badania ewaluacyjnego Precyzowanie potrzeb informacyjnych i formułowanie pytań badawczych Racjonalny dobór metod, budżetu i czasu

Standardowe etapy ewaluacji Zleca nie ewalu acji Projektowanie ewaluacji Przygotowanie SIWZ Zlecenie badania Prowa dzeni e badan ia Strukturyzacja Obserwacja Analiza i Ocena Wnioski i rekomendacje Użyci e badan ia Przyjęcie raportu Użycie wyników

Standardowe etapy ewaluacji Zleca nie ewalu acji Strukturyzacja Przygotowanie SIWZ Zlecenie badania Prowa dzeni e badan ia Strukturyzacja bis Obserwacja Analiza i Ocena Wnioski i rekomendacje Użyci e badan ia Przyjęcie raportu Użycie wyników

Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 5

Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 6

Potrzeby informacyjne Do czego i komu potrzebne badanie? 5 funkcji ewaluacji Potrzeby a typy czasowe ewaluacji Badanie ex ante Racjonalność i spójność planu Przygotowanie systemu wdrażania Baza dla porównań (konktest i punkt wyjścia) Badanie bieżące (on-going) Poprawa procesu ALBO Baza dla porównań (na początku prog.) ALBO Ocena pierwszych efektów (zaawansowany prog.) Badanie ex post Ocena rzeczywistych efektów Zweryfikowanie relacji przyczynowo-skutkowej

Funkcje ewaluacji – - dylematy wyboru coś za coś Partnerstwo i współwłasność Wdrażanie i jakość Planowanie Uczenie się – dobre praktyki Uczenie się – teorie Odpowiedzialność Orientacja na bieżące zarządzanie Orientacja na ocenę efektów Źródło: Olejniczak K. (2008): Mechanizmy skutecznego wykorzystania ewaluacji. Studium przypadku programów INTERREG, Wydawnictwo Naukowe Scholar, Warszawa

Pytania ewaluacyjne Pytania opisowe Pytania przyczynowo-skutkowe Np. Jak zmieniła się sytuacja na rynku pracy po realizacji programu szkoleń? Jaki jest stan wdrażania Działań z Piorytetu II? Pytania przyczynowo-skutkowe Np. Czy zarejestrowany wzrost eksportu jest bezpośrednim wynikiem kampanii promocyjnej lokalnego grona przedsiębiorczości? Pytania o charakterze predyktywnym Np. Czy wspieranie firm uczestniczących w sieci współpracy nie zakłóci konkurencyjności w regionie? Pytania o charakterze normatywnym (oceniające) KRYTERIA EWALUACYJNE

Kryteria ewaluacyjne Trafność / Adekwatność (Relevance): Czy cele programu odpowiadają potrzebom? Czy struktura logiczna interwencji jest poprawna? Wydajność / Efektywność (Efficiency): W jaki sposób zasoby zostały przetworzone na efekty? Czy cele osiągnięto najniższym możliwym kosztem? Skuteczność (Effectiveness): Czy to, co osiągnięto jest tym, co planowano? Do jakiego stopnia działanie przyczyniło się do osiągnięcia celów? Użyteczność (Utility): Czy program spełnił oczekiwania adresatów? Czy efekty programu są korzystne dla różnych grup odbiorców? Trwałość (Sustainability): Czy efekty działania są trwałe, długookresowe? DRZEWO PYTAŃ

Kryteria ewaluacyjne – po co? Pomagają porządkować pytania w bloki Uwypuklają element oceny Umożliwiają zweryfikowanie przystawania pytań do cyklu interwencji Ex ante: trafność, wydajność skuteczność On-going: trafność (początek prog.), wydajność, skuteczność, użyteczność (gdy są efekty) Ex post: wydajność, skuteczność, użyteczność, trwałość SUGESTIE: Najpierw postawić pytania badawcze, potem przypisać je do kryteriów Badanie 1 - 2 kryteriów to nie błąd!

Perspektywa wykonawcy Strukturyzacja bis Zidentyfikowanie priorytety Zlecającego Pogrupowanie pytania w bloki, rozpisać pytania naprowadzające (np. opisowe) Zidentyfikowanie głównych interesariuszy Siły wspierające badanie Siły "blokujące" badanie Określenie swej roli (zależna od celu i stanu) Nauczyciel - Mentor Arbiter Naukowiec Mediator Animator - doradca Ekspert budzący świadomość Konsultant Reformator Valovirta (2002) Evaluation utilization as argumentation, Evaluation 8(1), 60-80 Źródło: Olejniczak (2008) op.cit,

Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 13

Zakres badania Przedmiotowy: Przestrzenny Czasowy SUGESTIA: Cały Program, Działania, wybrane projekty? Część procesu (promocja, płatności, etc)? Przestrzenny Cała Polska, wybrane regiony, gminy? Czasowy Od początku programu do chwili obecnej czy takiś okres w cyklu wdrażania? SUGESTIA: Szeroki zakres dobry jest przy analizie efektów, dla procesów wystarcza badanie punktowe

Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 15

Podejścia badawcze – - dylematy wyboru coś za coś Podejście responsywne i uczestniczące Podejście zorientowane na procesy Podejście oparte na teoriach Podejście zorientowane na cele Podejście wyłączające cele Orientacja na bieżące zarządzanie Orientacja na ocenę efektów Metody ilościowe i przyczynowo-skutkowe plany badawcze Metody jakościowe i interaktywne Źródło: Ferry M., Olejniczak K. (w przygotowaniu): The use of evaluation in Structural Funds management – a comparative perspective, grant badawczy Ernst & Young, program Sprawne Państwo: www.sprawnepanstwo.pl

Wybór podejścia i metod Patrząc na cel badania… Jakie podejście jest najstosowniejsze? Patrząc na każde z pytań badawczych… Jakie metody będą potrzebne by zebrać dane do odpowiedzi? Jakie metody i narzędzia będą potrzebne by dokonać analizy? SUGESTIA: "Partycypacyjność" to nie podejście do analizy, to sposób współpracy z wykonawy z interesariuszami. Sprawdza się tak przy badaniach procesów jak i efektów

Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 18

Szacowanie ograniczeń Dane Czy są dostępne w całości, dla całego badanego obszaru? Czy były zbierane regularnie? Działania i ludzie Z jakimi działaniami wiąże się każdej z wyznaczonych metod? Jakie zasoby ludzkie są do tego potrzebne? Budżet i czas Koszt i czas przygotowania narzędzi Koszt i czas wykonania pomiarów Koszt i czas analizy

Główne elementy gry logicznej Racjonalny Opis Przedmiotu Badania Potrzeby informacyjne i pytania Zakres badania Podejście, metody i narzędzia Ograniczenia operacyjne: ludzie i dane, czas, budżet 20

Czy pomysł jest zbyt ambitny? Sprawdzić czy badanie nie ma kilku celów Zdecydować się na 1 (procesy vs efekty) Wybrać pytania priorytetowe Dyskusja z głównymi interesariuszami głosowanie kolorami, METAPLAN Zmniejszyć zakres badania np. Najbardziej problemowe działania Najbardziej/najmniej zaawansowane regiony Uprościć metody i wymagane dane modyfikacja próby studia przypadku Opieranie się na wczesniejszych badaniach Zwiększyć zasoby (budżet i czas)

Perspektywa wykonawcy Strukturyzacja bis Wstępny wybór podejścia badawczego Stworzenie palety metod i przedmiotów badania Tworzenie listy metod do każdego z pytań Tworzenie listy zadań do każdej z metod Łączenie zadań w grupy Rozpisywanie metod i zadań… Na osoby Na dniówki Szukanie cięć w podjeściu badawczym i metodach w skali próby

PRZYKŁAD Ewaluacja ex post PHARE CBC 1999-2001 Źródło: EUROREG – Uniwersytet Warszawski & Władza Wdrażająca Programy Europejskie www.euroreg.uw.edu.pl ; www.wwpe.gov.pl

Potrzeby i pytania Zlecający: WWPWP Typ ewaluacji: zewnętrzna, ex post Główne pytania: Do jakiego stopnia PHARE-CBC wpłynął na poprawę sytuacji w regionie przygranicznym? Które z najlepszych praktyk i doświadczeń we wdrażaniu programu współpracy przygranicznej, można by przenieść na granicę wschodnią? Potrzeby informacyjne: Pokazać efekty programu Transfer wiedzy na wschód

Zakres badania Zakres przedmiotowy: Zakres przestrzenny: Programy PHARE-CBC Polska-Niemcy 1999-2001 ok.180 projektów (z 5 różnych pól) Różna skala projektów Zakres przestrzenny: region dolnośląski, lubuski, zachodniopomorski gminy na terenie których realizowano projekty gminy przygraniczne po stronie niemieckiej Zakres czasowy: Interwencje wdrażane w latach 2000-2004

Działania, metody i narzędzia Zbudować metodologię ewaluacji Stworzyć kryteria oceny dla każdego z sektorów Przeprowadzić analizę społeczno-ekonom. Badanie dokumentów i kontekstu programów Analiza sektorów Badanie beneficjentów – wizyty studyjne Wywiady z głównymi interesariuszami Promocja wyników Budżet i czas: 200 tys EUR, 8 miesięcy

Perspektywa Wykonawcy Strukturyzacja bis Zidentyfikowanie głównych potrzeb Rozpisanie zakresu badania Przedmiot – programy, sektory,projekty Badane grupy interesariuszy Rozpisanie problemu na pytania ewaluacyjne Pogrupowanie pytań według… Poziomów analizy Kryteriów ewaluacyjnych Przypisywanie metod Weryfikacja pod kątem kosztów, zasobów, czasu