Metodologia badań ewaluacyjnych WOJEWÓDZTWO PODKARPACKIE Beata Ciężka Metodologia badań ewaluacyjnych Projekt jest finansowany przez Unię Europejską z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007 – 2013

Ewaluacja jest rodzajem badania a więc WOJEWÓDZTWO PODKARPACKIE Ewaluacja jest rodzajem badania a więc metodologia badań ewaluacyjnych czerpie z dorobku metodologicznego nauk, w szczególności nauk społecznych: Socjologii Pedagogiki Psychologii Ekonomii Nauk o zarządzaniu

Ewaluacja pozytywistyczna vs. humanistyczna WOJEWÓDZTWO PODKARPACKIE Ewaluacja pozytywistyczna vs. humanistyczna Paradygmat pozytywistyczny zakłada: Obiektywne istnienie rzeczywistości Niezależność badacza od przedmiotu poznania i sytuacji badawczej Przyjmowanie a priori eksplorowanych kategorii pojęciowych Paradygmat humanistyczny zakłada: Interakcyjne konstruowanie rzeczywistości „Prawda” stanowi rodzaj konsensusu uzgodnionego między działającymi podmiotami Badacz wywiera wypływ na rzeczywistość i sam doznaje wpływu Kategorie pojęciowe wyłaniają się w trakcie badań i mogą być wyjaśnione tylko w towarzyszącym im kontekście Maksymalne uspołecznienie całego przebiegu ewaluacji

WOJEWÓDZTWO PODKARPACKIE Konsekwencje zaprezentowanych rozważań metodologicznych w ewaluacji funduszy strukturalnych Założenie możliwości kreowania rzeczywistości społecznej poprzez zastosowanie interwencji Zastosowanie metodologii „pomiaru wskaźników” Założenie stosowania zestawu z góry określonych kryteriów oceny Ale: Partycypacyjność w formułowaniu założeń ewaluacji Uznawanie ważności kontekstu Uznawanie różnorodności punktów widzenia Stosowanie triangulacji (w tym szerokiego wachlarza metod jakościowych)

Triangulacja Zwielokrotnienie: Metod i technik badawczych WOJEWÓDZTWO PODKARPACKIE Triangulacja Zwielokrotnienie: Metod i technik badawczych Źródeł informacji Typów danych Technik analitycznych Teorii wyjaśniających Liczby osób realizujących badania Zastosowanie Lepsze poznanie i zrozumienie badanego obiektu Uwzględnianie różnych punktów widzenia Bardziej „zobiektywizowana” analiza 5

Założenia badań ilościowych i ich zastosowanie WOJEWÓDZTWO PODKARPACKIE Założenia badań ilościowych i ich zastosowanie Obejmują gromadzenie i analizę informacji liczbowych (również informacji, które można zakodować w formie liczb np. opinii – badania sondażowe) Wykorzystywane są do poznania rozkładów częstości występowania badanego zjawiska oraz określenia poziomu zależności, jakie występują pomiędzy różnymi zmiennymi Podlegają analizie statystycznej i regułom w niej obowiązującym Badania ilościowe umożliwiają wnioskowanie na temat całej populacji w oparciu o badania przeprowadzone na próbce tej populacji Zasadniczym pytaniem jest: ILE? 6

Założenia badań jakościowych i ich zastosowanie WOJEWÓDZTWO PODKARPACKIE Założenia badań jakościowych i ich zastosowanie Dotyczą opisu, poznania i zrozumienia badanych zjawisk Dane jakościowe są najczęściej niezbędne dla właściwej interpretacji informacji liczbowych Jakościowy charakter badań i prowadzonych analiz pociąga za sobą nacisk na procesy i znaczenia, które nie podlegają ścisłym rygorom pomiaru w znaczeniu ilościowym Pozwalają na sformułowanie odpowiedzi na pytania: co?, jak?, dlaczego? Są wieloznaczne i wielowymiarowe, trudno na ich podstawie formułować uogólnienia 7

Badania z zastosowaniem triangulacji – przykłady WOJEWÓDZTWO PODKARPACKIE Badania z zastosowaniem triangulacji – przykłady

WOJEWÓDZTWO PODKARPACKIE Badanie ewaluacyjne dotyczące realizacji perspektywy równości płci przez Sektorowy Program Operacyjny Rozwój Zasobów Ludzkich na lata 2004-2006

Poziom instytucjonalny PERSPEKTYWA SPOŁECZNA PERSPEKTYWA PROJEKTU Poziom instytucjonalny Poziom projektowy Badania ukierunkowane na dwie perspektywy: 1) Ogólna perspektywa - znajomości i stosunku do zasady równości płci 2) Perspektywa związana ze SPO RZL – stosunek oraz ocena konkretnych rozwiązań i działań lub ich braku  25 Indywidualnych wywiadów pogłębionych (IDI) z wybranymi przedstawicielami instytucji  Ankieta internetowa (CAWI) obejmująca wszystkich pracowników instytucji mających związek ze SPO RZL  Case Studies 20 wybranych projektów w ramach wszystkich działań (próba celowa)  500 wywiadów telefonicznych wspomaganych komputerowo (CATI) – próba warstwowa wszystkich projektów  Ankieta internetowa (CAWI) adresowana do wszystkich projektodawców (projekty zakończone i będące w trakcie) Desk Research PERSPEKTYWA SPOŁECZNA Badanie reprezentatywne ludności Polski powyżej 15 roku życia – badanie na 1000 osobowej ogólnopolskiej próbie reprezentatywnej (blok pytań w Pentor Omnibus). Badanie liderów opinii - wywiady pogłębione z przedstawicielami środowisk naukowych, świata polityki oraz przedstawicielami środowisk kobiecych (7IDI).

WOJEWÓDZTWO PODKARPACKIE Bariery realizacji celów w projektach Schematu b. Działania 2.3 SPO RZL

Metody jakościowe Badanie dokumentacji (Desk research) WOJEWÓDZTWO PODKARPACKIE Metody jakościowe Badanie dokumentacji (Desk research) Wywiady indywidualne w: Polskiej Agencji Rozwoju Przedsiębiorczości (PARP), Ministerstwa Rozwoju Regionalnego (MRR), ekspertem z organizacji pracodawców (PKPP Lewiatan) Zogniskowany wywiad grupowy - FGI (Focus Group Interview) 1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP (różnych wielkości i branż) korzystających ze szkoleń i korzystających z dofinansowania z funduszy UE 1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP (różnych wielkości i branż) korzystających ze szkoleń i nie korzystających z dofinansowania z funduszy UE

Studium przypadku (Case Study) 10 projektów wybranych projektów: WOJEWÓDZTWO PODKARPACKIE Studium przypadku (Case Study) 10 projektów wybranych projektów: analiza dokumentacji projektowej; pogłębione wywiady indywidualne z koordynatorami; pogłębione wywiady indywidualne z osobami odpowiedzialnymi za promocję i rekrutację; wywiady telefoniczne (lub indywidualne) z przedstawicielami punków rekrutacyjnych współpracujących z realizatorem projektu – (jeżeli realizator projektu korzystał ze wsparcia regionalnych punktów rekrutacyjnych); wywiad indywidualny/grupowy z przedstawicielami firm szkoleniowych współpracujących z realizatorem projektu; wywiady z osobami odpowiedzialnymi za projekt Polskiej Agencji Rozwoju Przedsiębiorczości.

WOJEWÓDZTWO PODKARPACKIE Metody ilościowe 1200 wywiadów telefonicznych (CATI Computer Assisted Telephone Interviewing) w tym: 600 wywiadów na próbie reprezentatywnej ogólnopolskiej wśród MSP oraz 100 wywiadów na próbie MSP branży elektronicznej 100 wywiadów na próbie MSP branży turystycznej z wybranych regionów 100 wywiadów na próbie MSP branży przemysłu drzewnego 100 wywiadów na próbie BO projektu „Szkolenie kadr MŚP w zakresie wdrażania norm BHP” 100 wywiadów na próbie BO projektu „Ogólnopolski program szkoleń w zakresie ochrony środowiska 100 wywiadów na próbie BO projektu „Inwestycja w kadry”

Wiele ewaluacji skupia się na pomiarze efektów WOJEWÓDZTWO PODKARPACKIE Wiele ewaluacji skupia się na pomiarze efektów dlatego kluczową rolę stanowi dobrze zdefiniowany system wskaźników oraz prawidłowo przygotowany i systematycznie prowadzony monitoring

WOJEWÓDZTWO PODKARPACKIE Przykładowe metody stosowane w ewaluacji wykorzystujące dane monitoringowe

Ewaluacja oparta na teorii projektu WOJEWÓDZTWO PODKARPACKIE Ewaluacja oparta na teorii projektu Oddziaływanie Potrzeby Rezultaty Cele Nakłady Działania Produkty Trafność Efektywność Skuteczność Użyteczność i Trwałość

WOJEWÓDZTWO PODKARPACKIE Benchmarking Ocenianie efektów programu/projektu poprzez porównanie ich z efektami podobnych programów/projektów, które zostały uznane za udane i mogą służyć jako przykład W procesie porównania zidentyfikowane zostają silne i słabe strony programu/projektu oraz wyszukiwane są nowe rozwiązania, które mogą podnieść jakość osiąganych celów

WOJEWÓDZTWO PODKARPACKIE Grupy porównawcze Porównanie dwóch grup podmiotów, z których jedna grupa była beneficjentem danego projektu lub programu, druga grupa natomiast nie korzystała z pomocy Ocena efektu netto Metoda może być z powodzeniem stosowana do ewaluacji szczegółowej różnych typów projektów i programów, zwłaszcza tych związanych ze wsparciem dla sektora produkcyjnego (np. granty dla małych i średnich przedsiębiorstw) oraz działaniami w zakresie rozwoju zasobów ludzkich (np. wsparcie dla bezrobotnych)

Dziękuję za uwagę! Beata Ciężka beata.ciezka@pte.org.pl WOJEWÓDZTWO PODKARPACKIE Dziękuję za uwagę! Beata Ciężka beata.ciezka@pte.org.pl