Metodologia badań ewaluacyjnych

Prezentacja na temat: "Metodologia badań ewaluacyjnych"— Zapis prezentacji:

1 Metodologia badań ewaluacyjnych
WOJEWÓDZTWO PODKARPACKIE Beata Ciężka Metodologia badań ewaluacyjnych Projekt jest finansowany przez Unię Europejską z Europejskiego Funduszu Rozwoju Regionalnego w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007 – 2013

2 Ewaluacja jest rodzajem badania a więc
WOJEWÓDZTWO PODKARPACKIE Ewaluacja jest rodzajem badania a więc metodologia badań ewaluacyjnych czerpie z dorobku metodologicznego nauk, w szczególności nauk społecznych: Socjologii Pedagogiki Psychologii Ekonomii Nauk o zarządzaniu

3 Ewaluacja pozytywistyczna vs. humanistyczna
WOJEWÓDZTWO PODKARPACKIE Ewaluacja pozytywistyczna vs. humanistyczna Paradygmat pozytywistyczny zakłada: Obiektywne istnienie rzeczywistości Niezależność badacza od przedmiotu poznania i sytuacji badawczej Przyjmowanie a priori eksplorowanych kategorii pojęciowych Paradygmat humanistyczny zakłada: Interakcyjne konstruowanie rzeczywistości „Prawda” stanowi rodzaj konsensusu uzgodnionego między działającymi podmiotami Badacz wywiera wypływ na rzeczywistość i sam doznaje wpływu Kategorie pojęciowe wyłaniają się w trakcie badań i mogą być wyjaśnione tylko w towarzyszącym im kontekście Maksymalne uspołecznienie całego przebiegu ewaluacji

4 WOJEWÓDZTWO PODKARPACKIE
Konsekwencje zaprezentowanych rozważań metodologicznych w ewaluacji funduszy strukturalnych Założenie możliwości kreowania rzeczywistości społecznej poprzez zastosowanie interwencji Zastosowanie metodologii „pomiaru wskaźników” Założenie stosowania zestawu z góry określonych kryteriów oceny Ale: Partycypacyjność w formułowaniu założeń ewaluacji Uznawanie ważności kontekstu Uznawanie różnorodności punktów widzenia Stosowanie triangulacji (w tym szerokiego wachlarza metod jakościowych)

5 Triangulacja Zwielokrotnienie: Metod i technik badawczych
WOJEWÓDZTWO PODKARPACKIE Triangulacja Zwielokrotnienie: Metod i technik badawczych Źródeł informacji Typów danych Technik analitycznych Teorii wyjaśniających Liczby osób realizujących badania Zastosowanie Lepsze poznanie i zrozumienie badanego obiektu Uwzględnianie różnych punktów widzenia Bardziej „zobiektywizowana” analiza 5

6 Założenia badań ilościowych i ich zastosowanie
WOJEWÓDZTWO PODKARPACKIE Założenia badań ilościowych i ich zastosowanie Obejmują gromadzenie i analizę informacji liczbowych (również informacji, które można zakodować w formie liczb np. opinii – badania sondażowe) Wykorzystywane są do poznania rozkładów częstości występowania badanego zjawiska oraz określenia poziomu zależności, jakie występują pomiędzy różnymi zmiennymi Podlegają analizie statystycznej i regułom w niej obowiązującym Badania ilościowe umożliwiają wnioskowanie na temat całej populacji w oparciu o badania przeprowadzone na próbce tej populacji Zasadniczym pytaniem jest: ILE? 6

7 Założenia badań jakościowych i ich zastosowanie
WOJEWÓDZTWO PODKARPACKIE Założenia badań jakościowych i ich zastosowanie Dotyczą opisu, poznania i zrozumienia badanych zjawisk Dane jakościowe są najczęściej niezbędne dla właściwej interpretacji informacji liczbowych Jakościowy charakter badań i prowadzonych analiz pociąga za sobą nacisk na procesy i znaczenia, które nie podlegają ścisłym rygorom pomiaru w znaczeniu ilościowym Pozwalają na sformułowanie odpowiedzi na pytania: co?, jak?, dlaczego? Są wieloznaczne i wielowymiarowe, trudno na ich podstawie formułować uogólnienia 7

8 Badania z zastosowaniem triangulacji – przykłady
WOJEWÓDZTWO PODKARPACKIE Badania z zastosowaniem triangulacji – przykłady

9 WOJEWÓDZTWO PODKARPACKIE
Badanie ewaluacyjne dotyczące realizacji perspektywy równości płci przez Sektorowy Program Operacyjny Rozwój Zasobów Ludzkich na lata

10 Poziom instytucjonalny PERSPEKTYWA SPOŁECZNA
PERSPEKTYWA PROJEKTU Poziom instytucjonalny Poziom projektowy Badania ukierunkowane na dwie perspektywy: 1) Ogólna perspektywa - znajomości i stosunku do zasady równości płci 2) Perspektywa związana ze SPO RZL – stosunek oraz ocena konkretnych rozwiązań i działań lub ich braku  25 Indywidualnych wywiadów pogłębionych (IDI) z wybranymi przedstawicielami instytucji  Ankieta internetowa (CAWI) obejmująca wszystkich pracowników instytucji mających związek ze SPO RZL  Case Studies 20 wybranych projektów w ramach wszystkich działań (próba celowa)  500 wywiadów telefonicznych wspomaganych komputerowo (CATI) – próba warstwowa wszystkich projektów  Ankieta internetowa (CAWI) adresowana do wszystkich projektodawców (projekty zakończone i będące w trakcie) Desk Research PERSPEKTYWA SPOŁECZNA Badanie reprezentatywne ludności Polski powyżej 15 roku życia – badanie na 1000 osobowej ogólnopolskiej próbie reprezentatywnej (blok pytań w Pentor Omnibus). Badanie liderów opinii - wywiady pogłębione z przedstawicielami środowisk naukowych, świata polityki oraz przedstawicielami środowisk kobiecych (7IDI).

11 WOJEWÓDZTWO PODKARPACKIE
Bariery realizacji celów w projektach Schematu b. Działania 2.3 SPO RZL

12 Metody jakościowe Badanie dokumentacji (Desk research)
WOJEWÓDZTWO PODKARPACKIE Metody jakościowe Badanie dokumentacji (Desk research) Wywiady indywidualne w: Polskiej Agencji Rozwoju Przedsiębiorczości (PARP), Ministerstwa Rozwoju Regionalnego (MRR), ekspertem z organizacji pracodawców (PKPP Lewiatan) Zogniskowany wywiad grupowy - FGI (Focus Group Interview) 1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP (różnych wielkości i branż) korzystających ze szkoleń i korzystających z dofinansowania z funduszy UE 1 wywiad grupowy (FGI) z 8 przedstawicielami firm MSP (różnych wielkości i branż) korzystających ze szkoleń i nie korzystających z dofinansowania z funduszy UE

13 Studium przypadku (Case Study) 10 projektów wybranych projektów:
WOJEWÓDZTWO PODKARPACKIE Studium przypadku (Case Study) 10 projektów wybranych projektów: analiza dokumentacji projektowej; pogłębione wywiady indywidualne z koordynatorami; pogłębione wywiady indywidualne z osobami odpowiedzialnymi za promocję i rekrutację; wywiady telefoniczne (lub indywidualne) z przedstawicielami punków rekrutacyjnych współpracujących z realizatorem projektu – (jeżeli realizator projektu korzystał ze wsparcia regionalnych punktów rekrutacyjnych); wywiad indywidualny/grupowy z przedstawicielami firm szkoleniowych współpracujących z realizatorem projektu; wywiady z osobami odpowiedzialnymi za projekt Polskiej Agencji Rozwoju Przedsiębiorczości.

14 WOJEWÓDZTWO PODKARPACKIE
Metody ilościowe 1200 wywiadów telefonicznych (CATI Computer Assisted Telephone Interviewing) w tym: 600 wywiadów na próbie reprezentatywnej ogólnopolskiej wśród MSP oraz 100 wywiadów na próbie MSP branży elektronicznej 100 wywiadów na próbie MSP branży turystycznej z wybranych regionów 100 wywiadów na próbie MSP branży przemysłu drzewnego 100 wywiadów na próbie BO projektu „Szkolenie kadr MŚP w zakresie wdrażania norm BHP” 100 wywiadów na próbie BO projektu „Ogólnopolski program szkoleń w zakresie ochrony środowiska 100 wywiadów na próbie BO projektu „Inwestycja w kadry”

15 Wiele ewaluacji skupia się na pomiarze efektów
WOJEWÓDZTWO PODKARPACKIE Wiele ewaluacji skupia się na pomiarze efektów dlatego kluczową rolę stanowi dobrze zdefiniowany system wskaźników oraz prawidłowo przygotowany i systematycznie prowadzony monitoring

16 WOJEWÓDZTWO PODKARPACKIE
Przykładowe metody stosowane w ewaluacji wykorzystujące dane monitoringowe

17 Ewaluacja oparta na teorii projektu
WOJEWÓDZTWO PODKARPACKIE Ewaluacja oparta na teorii projektu Oddziaływanie Potrzeby Rezultaty Cele Nakłady Działania Produkty Trafność Efektywność Skuteczność Użyteczność i Trwałość

18 WOJEWÓDZTWO PODKARPACKIE
Benchmarking Ocenianie efektów programu/projektu poprzez porównanie ich z efektami podobnych programów/projektów, które zostały uznane za udane i mogą służyć jako przykład W procesie porównania zidentyfikowane zostają silne i słabe strony programu/projektu oraz wyszukiwane są nowe rozwiązania, które mogą podnieść jakość osiąganych celów

19 WOJEWÓDZTWO PODKARPACKIE
Grupy porównawcze Porównanie dwóch grup podmiotów, z których jedna grupa była beneficjentem danego projektu lub programu, druga grupa natomiast nie korzystała z pomocy Ocena efektu netto Metoda może być z powodzeniem stosowana do ewaluacji szczegółowej różnych typów projektów i programów, zwłaszcza tych związanych ze wsparciem dla sektora produkcyjnego (np. granty dla małych i średnich przedsiębiorstw) oraz działaniami w zakresie rozwoju zasobów ludzkich (np. wsparcie dla bezrobotnych)

20 Dziękuję za uwagę! Beata Ciężka beata.ciezka@pte.org.pl
WOJEWÓDZTWO PODKARPACKIE Dziękuję za uwagę! Beata Ciężka