2010-05-10 VI KONFERENCJA EWALUACYJNA WARSZAWA, 13-14.12.2010 dr inż. DARIUSZ NIEĆ CENTRUM PROJEKTÓW EUROPEJSKICH Zastosowanie metody Mystery Shopper w ewaluacji organizacji publicznych i pozarządowych Badanie Regionalnych Ośrodków EFS metodą Mystery Calling i Mystery Shopping

2010-05-10 Plan wystąpienia - Postawa badania - Założenia i cele badania - Porównanie wyników wybranych Ośrodków z badań Mystery Shopping i Calling oraz CATI - Wartość dodana badania Wywaliłam ostatni punkt bo jest niepotrzebny

Standardy działania sieci Regionalnych Ośrodków i personelu kluczowego Podstawa badania 2010-05-10 Podstawą realizacji badania są: Standardy działania sieci Regionalnych Ośrodków - w szczególności: zał. nr 19 do Standardów: Zasady prowadzenia weryfikacji Regionalnego Ośrodka EFS i personelu kluczowego Badanie typu Mystery Shopping i Mystery Calling stałym elementem procesu weryfikacji jakości usług w Regionalnych Ośrodkach EFS Tu koniecznie 2 słowa o Koefs-ie → o sieci + Ile ośrodków + że ośrodki są nastawione na „obsługę klienta” I oczywiście DLACZEGO PO SIĘGNELIŚCIE PO ms-a

Założenia i cele badania (1) - Badanie składało się z dwóch oddzielnych badań: Mystery Calling (MC) i Mystery Shopping (MS). Przy Mystery Calling badacze skontaktowali się z Ośrodkami drogą telefoniczną. Przy Mystery Shopping badacze odbywali wizyty osobiście w Ośrodkach. - Badaniem objęto 50 Ośrodków. Każdy Regionalny Ośrodek EFS został oceniony na podstawie 4 konsultacji telefonicznych (MC) oraz 2 wizyt osobistych (MS).

Założenia i cele badania (2) Mystery Calling: sprawdzenie wiedzy oraz umiejętności interpersonalnych specjalistów ds. informacji i promocji w Regionalnych Ośrodkach EFS – ocena działania Punktu Informacyjnego. Mystery Shopping: sprawdzenie wiedzy oraz umiejętności interpersonalnych doradców kluczowych w Regionalnych Ośrodkach EFS – ocena usług doradczych. Obszary badawcze: Mystery Calling: dostępność, bariera wejścia, komunikatywność, wiedza, użyteczność, gotowość, etyka. Mystery Shopping: dostępność, harmonogram, bariera wejścia, komunikatywność, wiedza, użyteczność, gotowość, etyka.

Założenia i cele badania (3) W badaniu zostało wykorzystanych 5 profili klientów: Organizacja pozarządowa, 2. Przedsiębiorca, 3. Szkoła (podstawowa, gimnazjalna, ponadgimnazjalna, placówka edukacyjna, w tym przedszkolna), 4. Jednostki samorządu terytorialnego, w tym jednostki im podległe (z wyłączeniem szkół), Osoba fizyczna zainteresowana szkoleniami dofinansowanymi Europejskiego ; profil był wykorzystany wyłącznie w badaniu Mystery Calling. W ramach każdego profilu stworzono 2 scenariusze dla obu typów badań – łącznie 18 scenariuszy: MC:10, MS:8.

2010-05-10 Porównanie wyników wybranych Ośrodków z badań Mystery Shopping i Calling oraz CATI Indeks całkowity ocenia w jakim stopniu dany ROEFS umożliwia zdobycie potrzebnych informacji oraz jakość tych informacji. Na indeks ten składa się indeks umiejętności pozamerytorycznych oraz odsetek wyczerpujących odpowiedzi na zadane pytania. Ten indeks również przyjmuje wartości od 0 do 100 punktów. 95,5 Ciechanów 96,2 Elbląg 93,6 Oświęcim 68,4 Bydgoszcz 75,5 Łódź 84,3 Jelenia Góra 2,35 2,37 2,66 2,38 2,49 2,62 2,55 2,48 2,59 2,75 2,87 2,68 2,70 2,78 12 Indeksy powyżej średniej Indeksy poniżej średniej 87,2 Indeks dla Polski Tu koniecznie jak przełożyło się to na Wasz „biznes” CO WAM TO DAŁO? JAK PRAKTYCZNIE PRZEKŁADA SIE WYNIK NA PRACE ROZWIAZANIA ITD. Co się zmieniło po pierwszej i po drugiej edycji badania Jak reagowały ośrodki za pierwszym za drugim razem Przydatność usług ROEFS (średnio: 2,47) Adekwatność informacji ROEFS (średnio: 2,58) Poziom pracowników ROEFS (średnio: 2,70)

Wartość dodana badania Możliwość zweryfikowania wiedzy oraz umiejętności interpersonalnych Regionalnych Ośrodków EFS przy pracy z klientami oraz wydania rekomendacji w tych zakresach. Możliwość adaptacji oferty szkoleniowej Krajowego Ośrodka EFS na podstawie wyników badania. Wyniki mają wpływ na ogólną ocenę działalności Ośrodków. Wyniki badania podstawą do weryfikacji i aktualizacji standardów działania sieci.

Metoda MS w badaniach ewaluacyjnych Więcej o badaniu Seminarium PARP i PTE Metoda MS w badaniach ewaluacyjnych 27 stycznia 2011 r. http://www.parp.gov.pl/index/index/1574

Dziękuję za uwagę Centrum Projektów Europejskich Krajowy Ośrodek EFS Sieć Regionalnych Ośrodków EFS oraz Krajowy Ośrodek EFS współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego