Toruń, 19 listopada 2018 r. VII Spotkanie Grupy Sterującej Ewaluacją Regionalnego Programu Operacyjnego Województwa Kujawsko-Pomorskiego na lata 2014-2020 Biuro Ewaluacji | Wydział Analiz i Ewaluacji | Departament Rozwoju Regionalnego Urząd Marszałkowski Województwa Kujawsko-Pomorskiego w Toruniu

PLAN SPOTKANIA Przywitanie uczestników – Jolanta Rudnicka Z-ca Przewodniczącego GSE Wyniki badania wewnętrznego pt. Analiza sposobów i metod rozpowszechniania oraz wykorzystywania wyników badań ewaluacyjnych przeprowadzonych w latach 2009-2017– Anna Etmańska Biuro Ewaluacji Informacja sprawozdawcza na temat działań zrealizowanych przez Jednostkę Ewaluacyjną w 2018 r. – Jolanta Konkel Biuro Ewaluacji Informacja o działaniach ewaluacyjnych przewidzianych do realizacji w 2019 r. - Jolanta Rudnicka Z-ca Przewodniczącego GSE Szkolenie dla członków GSE pt. „Prowadzenie badań ewaluacyjnych w kontekście wymogów Rozporządzenia Ogólnego o Ochronie Danych Osobowych (RODO)”

– Pani Anna Etmańska Biuro Ewaluacji Analiza sposobów i metod rozpowszechniania oraz wykorzystywania wyników badań ewaluacyjnych przeprowadzonych w latach 2009-2017 – Pani Anna Etmańska Biuro Ewaluacji

Uzasadnienie realizacji analizy Potrzeba przetestowania funkcjonalności zakupionego oprogramowania firmy Predictive Solutions tj. PS IMAGO (dawniej SPSS Polska).

Cel analizy Ocena sposobów i metod rozpowszechniania i wykorzystywania wyników dotychczasowych badań ewaluacyjnych oraz poznanie opinii pracowników wybranych departamentów na temat ich oczekiwań w tym zakresie. Charakterystyka dotychczasowych sposobów oraz metod rozpowszechniania i wykorzystywania wyników badań ewaluacyjnych prowadzonych przez JE oraz ocena opinii pracowników w zakresie formy, czasu oraz sposób przekazywania wyników zleconych badań ewaluacyjnych Propozycje nowych rozwiązań w zakresie rozpowszechniania i wykorzystywania wyników badań ewaluacyjnych

Metodologia analizy Desk research CAWI Analiza podstawowych dokumentów źródłowych, mi. in. wytycznych w zakresie ewaluacji polityki spójności 2014-2020, PE, IW IZ RPO WK-P 2014-2020 oraz wszystkich badań ewaluacyjnych realizowanych w latach 2009-2017 CAWI Wywiady ankietowe przeprowadzono z przedstawicielami następujących departamentów: Departamentu Rozwoju Regionalnego, Departamentu Wdrażania EFRR oraz Departamentu Spraw Społecznych, Wdrażania EFS i Zdrowia. Kwestionariusz ankiety został rozesłany do 211 pracowników wybranych w sposób celowy. Kwestionariusz ankiety został przygotowany za pomocą darmowego, internetowego narzędzia do tworzenia i rozsyłania ankiet MySurveyLab, dostępnego pod adresem www.mysurveylab.com. Ankiety, w terminie między 27.06 a 9.07.2018 wypełniło w sumie 70 respondentów.

Wykres: Rozkład liczby pracowników departamentów biorących udział w ankiecie [%] Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO; liczba udzielonych odpowiedzi=70

Wykres: Deklaracje respondentów odnośnie korzystania z poszczególnych form przekazywania wyników badań ewaluacyjnych Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO; dane nie sumują się do 100%, gdyż można było udzielić maksymalnie 3 odpowiedzi; liczba udzielonych odpowiedzi =73

Wykres: Deklaracje respondentów odnośnie korzystania z wyników badań ewaluacyjnych Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO; liczba udzielonych odpowiedzi =70

Wykres: Cele wykorzystywania wyników badań ewaluacyjnych Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO; dane nie sumują się do 100%, gdyż można było udzielić maksymalnie 3 odpowiedzi; liczba udzielonych odpowiedzi=64

Wykres: Ocena wyników badań ewaluacyjnych Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO

Wykres: Formy przekazywania wyników badań ewaluacyjnych a ich przystępność dla wybranych grup odbiorców [os.] Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO; dane nie sumują się do 100%, gdyż można było udzielić więcej niż 1 odpowiedzi; liczba udzielonych odpowiedzi=441

Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO Wykres: Ranking skuteczności form przekazywania wyników badań ewaluacyjnych pod względem dotarcia do ich odbiorców Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO

Wykres: Korzyści z zapoznawania się z wynikami badań ewaluacyjnych Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO

Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO; Wykres: Najczęściej wybierane źródła informacji o wynikach badań ewaluacyjnych Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO; dane nie sumują się do 100%, gdyż można było udzielić maksymalnie 3 odpowiedzi; liczba udzielonych odpowiedzi=75

Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO, Wykres: Przyczyny niekorzystania z wyników zrealizowanych badań ewaluacyjnych Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO, dane nie sumują się do 100%, gdyż można było udzielić maksymalnie 3 odpowiedzi; liczba udzielonych odpowiedzi=57

Wykres: Najbardziej przystępne formy konsultowania rekomendacji Źródło: opracowanie własne za pomocą oprogramowania PS IMAGO; liczba udzielonych odpowiedzi=22

Najważniejsze rozwiązania/zalecenia w zakresie rozpowszechniania i wykorzystywania dotychczasowych oraz przyszłych wyników badań ewaluacyjnych Wyniki badań (w szczególności raporty końcowe) nie powinny być zbyt obszerne, co z dużym prawdopodobieństwem wpłynie na ich przystępność i większą czytelność; upowszechnianie informacji o wynikach badań ewaluacyjnych np. za pomocą newslettera; większe zaangażowanie ze strony pracowników wyższego szczebla w wykorzystywaniu wyników ewaluacji (np. zwiększenie częstotliwości ich udziału w prezentacjach wyników badań) organizacja szkoleń dla pracowników urzędu, których celem byłoby podniesienie umiejętności wykorzystywania wyników badań w codziennej pracy oraz podniesienie wiedzy w zakresie ewaluacji położyć większy nacisk podczas planowania przyszłych badań ewaluacyjnych na nowe - przystępne formy wizualizacji danych takie jak m.in. infografika czy dashboard

Dziękuję za uwagę

INFORMACJA SPRAWOZDAWCZA NA TEMAT DZIAŁAŃ ZREALIZOWANYCH PRZEZ JEDNOSTKĘ EWALUACYJNĄ W 2018 r. Badania ewaluacyjne: Ewaluacja działań podejmowanych na rzecz edukacji w ramach RPO WK-P 2014-2020 Ewaluacja mid-term dotycząca postępu rzeczowego RPO WK-P na lata 2014-2020 dla potrzeb przeglądu śródokresowego, w tym realizacji zapisów ram i rezerwy wykonania Szkolenia: Nowe trendy wykorzystywania metod i technik w badaniach jakościowych – 15.05.2018 Prowadzenie badań ewaluacyjnych w kontekście wymogów Rozporządzenia Ogólnego o Ochronie Danych Osobowych (RODO) – 19.11.2018 Inne przedsięwzięcia: Przegląd i aktualizacja Planu ewaluacji RPO WK-P 2014-2020 Monitorowanie wdrażania rekomendacji Analiza sposobów i metod rozpowszechniania oraz wykorzystywania wyników badań ewaluacyjnych przeprowadzonych w latach 2009-2017 Analiza potencjałów endogenicznych województwa kujawsko-pomorskiego w ramach Osi Priorytetowej 6. Solidarne społeczeństwo i konkurencyjne kadry (PI 8b) RPO WK-P 2014-2020

INFORMACJA O DZIAŁANIACH EWALUACYJNYCH PRZEWIDZIANYCH DO REALIZACJI W 2019 r. Badania ewaluacyjne: Kontynuacja badań z roku 2018 Ewaluacja instrumentu RLKS w ramach RPO WK-P na lata 2014-2020 w kontekście doświadczeń perspektywy 2014-2020 i wskazania założeń wsparcia na lata 2021 -2027 – roboczy tytuł, zmieniony z badania z Planu Ewaluacji pt. Ewaluacja wdrażania instrumentu RLKS na obszarach objętych lokalnymi strategiami rozwoju w ramach RPO WK-P 2014-2020 Wpływ interwencji RPO WK-P 2014-2020 na zatrudnienie i rynek pracy w województwie kujawsko-pomorskim Ewaluacja działań podejmowanych w zakresie opieki nad dzieckiem do lat 3 i usług opiekuńczo-wychowawczych dla dzieci do lat 5 w ramach RPO WK-P 2014-2020 (pierwsze badanie z dwóch) Wpływ wsparcia RPO WK-P 2014-2020 na poprawę jakości i zwiększenie dostępności usług społecznych na terenie województwa kujawsko-pomorskiego Ocena wpływu wsparcia EFS w ramach RPO WK-P 2014-2020 na wzmocnienie sektora ekonomii społecznej (pierwsze badanie z dwóch)

INFORMACJA O DZIAŁANIACH EWALUACYJNYCH PRZEWIDZIANYCH DO REALIZACJI W 2019 r. Szkolenia: Wykorzystanie wyników i wniosków z badania ewaluacyjnego Szkolenie dla beneficjentów i potencjalnych beneficjentów Inne przedsięwzięcia: Przegląd i aktualizacja Planu ewaluacji RPO WK-P 2014-2020 Monitorowanie wdrażania rekomendacji IV Międzyregionalna Konferencja Ewaluacyjna

Zapraszamy na szkolenie dotyczące RODO