JADWIGA PRZEWŁOCKA MAŁGORZATA PÓŁTORAK Gemius SA VI KONFERENCJA EWALUACYJNA WARSZAWA, 13-14.12.2010 JADWIGA PRZEWŁOCKA MAŁGORZATA PÓŁTORAK Gemius SA Wyzwania badań ilościowych online

O czym opowiemy Jaką pozycję mają internetowe badania ankietowe? Z czego wynika wzrost ich popularności? Jakie są bariery ich rozwoju? Jak pokonać te bariery? innowacyjne metody poprawy jakości badań dobór próby – wiedza dzięki technologii kształt ankiety – wiedza dzięki doświadczeniu korekta struktury – wiedza dzięki porównaniu

Pozycja badań online 3

Pozycja badań online Najpopularniejsza technika badań ilościowych Struktura wydatków na badania ilościowe na świecie (ESOMAR 2010) Najpopularniejsza technika badań ilościowych W 2009 na badania online wydano 6,4 mld $ Stały wzrost udziału w rynku W Kanadzie, Japonii, Australii - blisko połowa wydatków badania oprowadzone przez agencje i instytuty badawcze (bez uwzględnienia działań niekomercyjnych podmiotów, np. uniwersytetów, instytucji publicznych) 4

Dlaczego online? Stały wzrost liczby osób korzystających z internetu Przedsiębiorstwa z dostępem do internetu (GUS 2009) Stały wzrost liczby osób korzystających z internetu Rosnące kompetencje użytkowników Prawie każde polskie przedsiębiorstwo ma dostęp do internetu Rosnący zakres korzystania z sieci

Dlaczego online? komfort, dogodny czas i miejsce wywiadu łatwa prezentacja materiałów multimedialnych brak efektu ankieterskiego brak błędów ankieterskich trudne / drażliwe tematy krótki czas realizacji, szybki dostęp niskie koszty duży zasięg geograficzny

Obawy – fakty i mity  szeroko zakrojony projekt R&D Brak zaufania części badaczy i odbiorców Fakty czy mity? problem doboru próby kwestia populacji metoda doboru niska stopa zwrotu, autoselekcja problem wszelkich badań ankietowych duża odpowiedzialność badacza – konstrukcja narzędzia, metoda kontaktu nierzetelni respondenci kilka % możliwość weryfikacji spójności odpowiedzi Jakość próby – największy problem badań online  szeroko zakrojony projekt R&D

Projekt poprawy jakości „Innowacyjne metody poprawy jakości badań prowadzonych przez internet” projekt realizowany przez Gemius przedsięwzięcie IniTech2 IniTech: przedsięwzięcie Ministra Nauki i Szkolnictwa Wyższego realizowane przez Narodowe Centrum Badań i Rozwoju finansowanie badań naukowych lub prac rozwojowych nakierowanych na zastosowanie w działalności gospodarczej

Jakość próby Trzy etapy, na których decyduje się jakość finalnej próby: Etap doboru próby – sposób wyboru użytkowników, sposób dotarcia Etap realizacji próby – zwiększenie stopy zwrotu  optymalizacja kwestionariusza Etap poprawy zrealizowanej próby – ważenie danych

Jakość próby Dobór próby Realizacja próby Korekcja struktury (ważenie) Źródło: badanie Gemius, luty 2008 r. (emisja na witrynach objętych bezpłatnym audytem stat24 i stat.pl/PBI)

1. Dobór próby @ Wysyłka zaproszeń do badania e-mailem: uczestnicy panelu badawczego osoby zarejestrowane na witrynie lub w bazie usługodawcy zarejestrowani beneficjenci, odbiorcy danego programu/usługi Emisja zaproszeń do badania na witrynach internetowych: użytkownicy stron internetowych użytkownicy konkretnej usługi / serwisu W projekcie skupienie na emisji @ 11

1. Dobór próby – emisja Emisja na witrynach – ogromne możliwości dotarcia Problem: ankiety wypełniają częściej osoby, które są łatwe do zrekrutowania: CAPI i CATI  osoby dużo przebywające w domu CAWI  osoby intensywniej korzystające z internetu Skutek: skrzywienie struktury Rozwiązanie: wykorzystanie wiedzy o użytkowniku podczas emisji! 12

1. Dobór próby – emisja Zamiast równych prawdopodobieństw  dobór warstwowy Do warstwowania wykorzystujemy „twarde dane”: dane o aktywności cookie dane o parametrach komputera i przeglądarki Efekty: poprawa struktury próby Dodatkowy zysk: zmniejszenie potrzebnej liczby emisji o ¼ ! Źródło: badanie Gemius w ramach projektu INITECH, zrealizowane we wrześniu 2010 na próbie N=2706 (emisja na witrynach objętych bezpłatnym audytem stat24 i stat.pl/PBI) 13

2. Realizacja próby Optymalizacja zaproszenia i samej ankiety Analiza: kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań Wnioski: kluczowa rola miejsca w ankiecie – krytyczny początek ankiety 14

2. Realizacja próby Optymalizacja zaproszenia i samej ankiety Analiza: kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań Wnioski: Konieczność minimalizacji ilości tekstu 15

2. Realizacja próby Optymalizacja zaproszenia i samej ankiety Analiza: kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań Wnioski: kluczowa rola miejsca w ankiecie – krytyczny początek ankiety konieczność minimalizacji ilości tekstu konieczna rezygnacja z niektórych typów pytań – szczególnie rozbudowanych tabel Internet  zasady usability  „Nie każ im myśleć!” 16

2. Realizacja próby Optymalizacja zaproszenia i samej ankiety Analiza: kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań Wnioski: kluczowa rola miejsca w ankiecie – krytyczny początek ankiety konieczność minimalizacji ilości tekstu konieczna rezygnacja z niektórych typów pytań – szczególnie rozbudowanych tabel Internet  zasady usability  „Nie każ im myśleć!” 17

3. Korekcja struktury Pomimo poprawy doboru i zwiększeniu QRR – nadal problem struktury Konieczność zastosowania wag analitycznych przez co ważyć (zmienne)? jak ważyć (algorytm)? Analiza: wykonano ponad 15 tysięcy ważeń stosując różne zmienne i algorytmy Wnioski: klasyczne ważenie stratyfikacyjne nie wystarcza! 18

3. Korekcja struktury Niezbędne wykorzystanie innych zmiennych wpływających na dostępność w badaniu online: chęć udziału w badaniach styl życia, zwyczaje, korzystanie z technologii Efekt: znaczna redukcja błędu dane CAWI = badanie Gemius, maj 2010 r. (N=5453) dane zewnętrzne CAPI = omnibus MB SMG/KRC, maj 2010 r. (N=1575) analizowany target: Polacy 15-55 lat korzystający z internetu 19

W praktyce Badania ewaluacyjne – część problemów nie występuje, potencjał badań online Realizacja próby skomplikowane kwestionariusze ewaluacyjne muszą być dostosowane do realiów internetu rola metody rekrutacji (wsparcie innymi kanałami dotarcia), liczby kontaktów Ważenie – warto wyjść poza demografię 20

Dziękujemy! Gemius SA ul. Wołoska 7, budynek Mars, klatka D, II piętro 02-675 Warszawa tel. (0 22) 390 90 90 fax (0 22) 874 41 01 kontakt: malgorzata.poltorak@gemius.pl 21