Ewaluacja oparta na teorii w praktyce badawczej Rafał Trzciński Fundacja IDEA Rozwoju Toruń, 21 czerwca 2016 r.

Działanie Obserwowana zmiana ? Cel badań poświęconych pomiarowi efektów Weryfikacja występowania relacji przyczynowo-skutkowej między podjętym działaniem a obserwowaną zmianą

Pułapka czarnego pudełka  Ewaluacja wypływu (impact evaluation) pozwala odpowiedzieć na pytanie „czy interwencja działa?”  Czasem ta informacja może być wystarczająca.  Jednak w większości przypadków będziemy chcieli dodatkowo wiedzieć:  Dlaczego interwencja działa/nie działa?  Dla kogo działa/ nie działa?  Co należałoby zrobić, aby działała lepiej? InterwencjaEfekty

Ewaluacja – empiryczna weryfikacja teorii programu  Każda interwencja publiczna – program/projekt – jest swoistą teorią zmiany.  Zakłada się, że w danych warunkach, realizacja określonych działań, z wykorzystaniem takich a nie innych zasobów, przyczyni się do rozwiązania określonego problemu.  Rolą ewaluacji jest sprawdzenie, czy w świetle uzyskanych efektów dana teoria programu daje się utrzymać, czy też należy ją odrzucić (Górniak J.: 13, 2007).

Czym jest teoria programu/zmiany? Teoria zmiany identyfikuje:  zbiór relacji przyczynowych pomiędzy nakładami, działaniami, ich produktami oraz efektami (pośrednimi i końcowymi) oraz  kluczowe założenia, które warunkują materializację danej teorii. Howard White, 3ie – International Initiative for Impact Evaluation

Problem wymagający ingerencji państwa Interwencja Oczekiwana zmiana Przygotowanie i realizacja projektów Założenia Ogólne założenia w procesie realizacji interwencji

Problem wymagający ingerencji państwa Interwencja Oczekiwana zmiana Przygotowanie i realizacja projektów Założenia Perspektywa ex-ante i ex post Analiza ex-post

Wsparcie w formie dotacji i IF na inwestycje Trwały wzrost zatrudnienia Firmy inwestują w B+R, nowe technologie, procesy itd. Innowacyjne produkty, usługi Poprawa konkurencyjności, lepsze wyniki finansowe Niska innowacyjność przedsiębiorstw, w konsekwencji niska konkurencyjność polskiej gospodarki Bardziej konkurencyjna gospodarka Problem i jego rozwiązanieEfekty pośrednieEfekty końcowe Wyższy potencjał do innowacji Szczegółowe założenia w procesie realizacji interwencji Wzrost zatrudnienia 1) Kryteria selekcji umożliwiają wybór projektów o założonych cechach. 2) Firmy podejmują trafne decyzje inwestycyjne. 3) Elastyczne, adekwatne dla projektów innowacyjnych (tj. obarczonych ryzykiem) warunki wdrażania. 4) Utworzone produkty/ usługi są ekonomicznie opłacalne. 5) Wielkość inwestycji jest wystarczająca duża, biorąc pod uwagę skalę działalności firmy. 6) Wdrożenie nowych rozwiązań (innowacji) nie wyklucza wzrostu zatrudnienia. 7) Otoczenie gospodarcze – sytuacja ekonomiczna, regulacje, polityka podatkowa itp. – wspierają rozwój (a przynajmniej go nie wykluczają)

Wsparcie w formie dotacji i IF na inwestycje Trwały wzrost zatrudnienia Firmy inwestują w B+R, nowe technologie, procesy itd. Innowacyjne produkty, usługi Poprawa konkurencyjności, lepsze wyniki finansowe Niska innowacyjność przedsiębiorstw, w konsekwencji niska konkurencyjność polskiej gospodarki Bardziej konkurencyjna gospodarka Problem i jego rozwiązanieEfekty pośrednieEfekty końcowe Wyższy potencjał do innowacji Dowody w procesie weryfikacji teorii zmiany Wzrost zatrudnienia FAKTYCZNE KONTRFAKTYCZNE

Proces rekonstrukcji teorii programu 1.Doprecyzowanie analizowanego zakresu interwencji, jej celów i oczekiwanych efektów. 2.Określenie głównych elementów łańcucha przyczynowego. 3.Identyfikacja kluczowych założeń warunkujących materializację poszczególnych elementów łańcucha przyczynowego. 4.Identyfikacja potencjalnego zróżnicowania efektów programu (o charakterze podmiotowym i przedmiotowym). 5.Weryfikacja odtworzonej logiki z najważniejszymi interesariuszami (autorzy, osoby zarządzające interwencją).

Proces weryfikacji teorii programu 1.Postawienie pytań badawczych odwołujących się bezpośrednio do odtworzonej teorii zmiany. 2.Zebranie dowodów (o charakterze faktycznym i kontrfaktycznym), z wykorzystaniem mieszanych metod gromadzenia danych (ilościowych i jakościowych). 3.Ocena czy dana teoria programu daje się utrzymać, czy też należy ją odrzucić. 4.Wskazanie słabych elementów teorii oraz zaproponowanie adekwatnych zmian.

Potencjalne trudności  Niejasność intencji instytucji/ osób projektujących interwencję,  Brak statyki – każda interwencja jest dynamicznym tworem, ewoluującym w czasie,  Problem z uchwyceniem efektów niezamierzonych, które mogą być skutkiem zrealizowanych działań,  Mnogość teorii (teorie i anty-teorie).

Teoria? Czyja teoria?!  Zapisana dokumentach programowych?  Kryteriach wyboru projektów?  Przedstawiana przez zarządzających programem/ decydentów?  Personel terenowy?  Beneficjentów?  Ekspertów?

Podsumowanie  Wykorzystanie podejścia opartego na teorii nie zmienia zakresowo dotychczas realizowanych badań.  Pozwala jednak na ich lepszą i bardziej efektywną strukturalizację – zwłaszcza w obszarze stawianych pytań badawczych.  Podejście może i powinno być stosowane na każdym etapie wdrażania interwencji.  Kluczowy jest dostęp do odpowiednich dowodów dokumentujących faktyczną realizację interwencji oraz przeprowadzone w sposób rygorystyczny oszacowanie efektów wsparcia.

Dziękuję za uwagę!