Pobierz prezentację
Pobieranie prezentacji. Proszę czekać
OpublikowałEwa Żukowska Został zmieniony 8 lat temu
1
Ewaluacja oparta na teorii w praktyce badawczej Rafał Trzciński Fundacja IDEA Rozwoju Toruń, 21 czerwca 2016 r.
2
Działanie Obserwowana zmiana ? Cel badań poświęconych pomiarowi efektów Weryfikacja występowania relacji przyczynowo-skutkowej między podjętym działaniem a obserwowaną zmianą
3
Pułapka czarnego pudełka Ewaluacja wypływu (impact evaluation) pozwala odpowiedzieć na pytanie „czy interwencja działa?” Czasem ta informacja może być wystarczająca. Jednak w większości przypadków będziemy chcieli dodatkowo wiedzieć: Dlaczego interwencja działa/nie działa? Dla kogo działa/ nie działa? Co należałoby zrobić, aby działała lepiej? InterwencjaEfekty
4
Ewaluacja – empiryczna weryfikacja teorii programu Każda interwencja publiczna – program/projekt – jest swoistą teorią zmiany. Zakłada się, że w danych warunkach, realizacja określonych działań, z wykorzystaniem takich a nie innych zasobów, przyczyni się do rozwiązania określonego problemu. Rolą ewaluacji jest sprawdzenie, czy w świetle uzyskanych efektów dana teoria programu daje się utrzymać, czy też należy ją odrzucić (Górniak J.: 13, 2007).
5
Czym jest teoria programu/zmiany? Teoria zmiany identyfikuje: zbiór relacji przyczynowych pomiędzy nakładami, działaniami, ich produktami oraz efektami (pośrednimi i końcowymi) oraz kluczowe założenia, które warunkują materializację danej teorii. Howard White, 3ie – International Initiative for Impact Evaluation
6
Problem wymagający ingerencji państwa Interwencja Oczekiwana zmiana Przygotowanie i realizacja projektów Założenia Ogólne założenia w procesie realizacji interwencji
7
Problem wymagający ingerencji państwa Interwencja Oczekiwana zmiana Przygotowanie i realizacja projektów Założenia Perspektywa ex-ante i ex post Analiza ex-post
8
Wsparcie w formie dotacji i IF na inwestycje Trwały wzrost zatrudnienia Firmy inwestują w B+R, nowe technologie, procesy itd. Innowacyjne produkty, usługi Poprawa konkurencyjności, lepsze wyniki finansowe Niska innowacyjność przedsiębiorstw, w konsekwencji niska konkurencyjność polskiej gospodarki Bardziej konkurencyjna gospodarka Problem i jego rozwiązanieEfekty pośrednieEfekty końcowe Wyższy potencjał do innowacji Szczegółowe założenia w procesie realizacji interwencji Wzrost zatrudnienia 1) Kryteria selekcji umożliwiają wybór projektów o założonych cechach. 2) Firmy podejmują trafne decyzje inwestycyjne. 3) Elastyczne, adekwatne dla projektów innowacyjnych (tj. obarczonych ryzykiem) warunki wdrażania. 4) Utworzone produkty/ usługi są ekonomicznie opłacalne. 5) Wielkość inwestycji jest wystarczająca duża, biorąc pod uwagę skalę działalności firmy. 6) Wdrożenie nowych rozwiązań (innowacji) nie wyklucza wzrostu zatrudnienia. 7) Otoczenie gospodarcze – sytuacja ekonomiczna, regulacje, polityka podatkowa itp. – wspierają rozwój (a przynajmniej go nie wykluczają). 1 1 1 1 6 4 6 7 7 3 5 2
9
Wsparcie w formie dotacji i IF na inwestycje Trwały wzrost zatrudnienia Firmy inwestują w B+R, nowe technologie, procesy itd. Innowacyjne produkty, usługi Poprawa konkurencyjności, lepsze wyniki finansowe Niska innowacyjność przedsiębiorstw, w konsekwencji niska konkurencyjność polskiej gospodarki Bardziej konkurencyjna gospodarka Problem i jego rozwiązanieEfekty pośrednieEfekty końcowe Wyższy potencjał do innowacji Dowody w procesie weryfikacji teorii zmiany Wzrost zatrudnienia FAKTYCZNE KONTRFAKTYCZNE
10
Proces rekonstrukcji teorii programu 1.Doprecyzowanie analizowanego zakresu interwencji, jej celów i oczekiwanych efektów. 2.Określenie głównych elementów łańcucha przyczynowego. 3.Identyfikacja kluczowych założeń warunkujących materializację poszczególnych elementów łańcucha przyczynowego. 4.Identyfikacja potencjalnego zróżnicowania efektów programu (o charakterze podmiotowym i przedmiotowym). 5.Weryfikacja odtworzonej logiki z najważniejszymi interesariuszami (autorzy, osoby zarządzające interwencją).
11
Proces weryfikacji teorii programu 1.Postawienie pytań badawczych odwołujących się bezpośrednio do odtworzonej teorii zmiany. 2.Zebranie dowodów (o charakterze faktycznym i kontrfaktycznym), z wykorzystaniem mieszanych metod gromadzenia danych (ilościowych i jakościowych). 3.Ocena czy dana teoria programu daje się utrzymać, czy też należy ją odrzucić. 4.Wskazanie słabych elementów teorii oraz zaproponowanie adekwatnych zmian.
12
Potencjalne trudności Niejasność intencji instytucji/ osób projektujących interwencję, Brak statyki – każda interwencja jest dynamicznym tworem, ewoluującym w czasie, Problem z uchwyceniem efektów niezamierzonych, które mogą być skutkiem zrealizowanych działań, Mnogość teorii (teorie i anty-teorie).
13
Teoria? Czyja teoria?! Zapisana dokumentach programowych? Kryteriach wyboru projektów? Przedstawiana przez zarządzających programem/ decydentów? Personel terenowy? Beneficjentów? Ekspertów?
14
Podsumowanie Wykorzystanie podejścia opartego na teorii nie zmienia zakresowo dotychczas realizowanych badań. Pozwala jednak na ich lepszą i bardziej efektywną strukturalizację – zwłaszcza w obszarze stawianych pytań badawczych. Podejście może i powinno być stosowane na każdym etapie wdrażania interwencji. Kluczowy jest dostęp do odpowiednich dowodów dokumentujących faktyczną realizację interwencji oraz przeprowadzone w sposób rygorystyczny oszacowanie efektów wsparcia.
15
Dziękuję za uwagę! rafaltrzcinski@ideaorg.eu
Podobne prezentacje
© 2024 SlidePlayer.pl Inc.
All rights reserved.