Wprowadzenie do Badań Ankietowych Monitoring Placówek Konsularnych RP w Rosji, Białorusi i Ukrainie, 2003-2004.

Prezentacja na temat: "Wprowadzenie do Badań Ankietowych Monitoring Placówek Konsularnych RP w Rosji, Białorusi i Ukrainie, 2003-2004."— Zapis prezentacji:

1 Wprowadzenie do Badań Ankietowych Monitoring Placówek Konsularnych RP w Rosji, Białorusi i Ukrainie, 2003-2004

2 Etapy badania ankietowego  Definicja problemu badawczego  Wybór metody badania  Definicja populacji  Konstrukcja pytań i ankiety  Dobór próby  Test wstępny instrumentu  Zbieranie danych  Kodowanie i konstrukcja bazy danych  „Czyszczenie” danych  Analiza danych  Raport

3 Metody badań ankietowych Ankiety do samodzielnego wypełnienia Metody tradycyjneElektroniczne PocztaE-Mail GrupoweDyskietka Ręczna dystrybucjaTelefon FaksInternet Badania oparte o wywiad Metody tradycyjneElektroniczne TelefonCATI Wywiad bezpośredniCAPI

4 Wywiady bezpośrednie  Zalety Wysoka stopa zwrotu (90%, pocztowe poniżej 70%) Przydatne przy długich wywiadach Przydatne gdy mogą wystąpić problemy językowe  Wady Ankieterzy mogą czytać pytania niedokładnie Mogą zmieniać tempo i ton wywiadu Mogą czynić założenia odnośnie respondenta Mogą wpływać na respondenta Mogą „kodować” otwarte wypowiedzi Pytania mogą być krępujące

5 Wywiady bezpośrednie: jak poradzić sobie z wadami tej metody?

6 Odpowiedź brzmi: staranne szkolenie

7 Co ankieter wiedzieć powinien?  Zasady doboru próby  Co to jest margines błędu i błąd pomiaru  Co to jest niezawodność i trafność pytań  Dlaczego wysoki procent zwrotów jest istotny  Rozumieć wagę braków danych oraz niekompletności i nierzetelność w dokumentowaniu pytań otwartych Po co aż tyle informacji? Ankieter musi wiedzieć dlaczego nie powinien podejmować żadnych decyzji metodologicznych na własną rękę. Ankietera musi wiedzieć dlaczego powinien ściśle trzymać się instrukcji koordynatorów badania, nawet jeśli nie przystają one do rzeczywistych problemów w terenie

8 Proces doboru próby  Definicja populacji  Konstrukcja (identyfikacja) operatu operatu  Wstępna próba  Próba finalna (respondenci) Reprezentatywność Problem stopy zwrotów

9 Metody doboru próby  Proste próby losowe  Systematyczne próby losowe  Stratyfikowane próby losowe  proporcjonalne  nieproporcjonalne  Próby nielosowe

10 Proces doboru próby  Definicja populacji  Konstrukcja (identyfikacja) operatu operatu  Wstępna próba  Próba finalna (respondenci)

11 Zależność marginesu błędu od rozmiaru próby SE =SR(p(1-p)/n)

12 Zależność między rozmiarem próby, a rozmiarem populacji

13 Moc statystyczna jako funkcja rozmiary próby P1=0.55; P2=0.45; Alpha=0,05 (2-tailed)

14 Błąd pomiaru, niezawodność i trafność narzędzia badawczego  Błąd pomiaru wynika ze źródeł innych niż dobór próby; zazwyczaj nie sposób go policzyć; nie należy go mylić z marginesem błędu!  Niezawodność narzędzia oznacza, że na dane pytanie uzyskamy tę samą odpowiedź jeśli użyjemy tego samego pytania wielokrotnie  Trafność narzędzia oznacza, że pytanie mierzy to co powinno mierzyć, np. określoną cechę osoby badanej (opinia, wiek, preferencje) i tylko tę cechę Narzędzie niezawodne nie musi być trafne, ale każde trafne narzędzie jest niezawodne

15 Dlaczego wysoki procent zwrotów jest istotny? Załóżmy, że wiemy jaki % ludzi odnosi wrażenie, że ich godność osobista jest naruszana przez urzędników konsularnych; P=25%. O osobach, które odmówiły udziału w badaniu, nie wiemy nic, sprawdzimy więc jaki jest efekt rozmaitych wartości stopy zwrotów dla kilku hipotetycznych wartości P dla tych osób (P=10, 20, 25, 30, itd.)

16 10202530406070 90%27262524232219 80%28262524211913 70%3127252319143 60%35282522158 50%4030252010 40%47332517 30%60372513 % Osób źle traktowanych przez urzędników konsularnych i które odmówiły udziału w badaniu 25%=(1-SZ)(P nr )+SZ(P r ) Stopa zwrotów

17 Monitoring placówek konsularnych

18 Dobór próby  Jaki jest nasz cel badawczy? Oszacowanie stopnia zmian (usprawnienia bądź pogorszenia) w systemie wydawania wiz do RP obywatelom Rosji, Białorusi i Ukrainy w okresie między lutym i lipcem 2004. Pojedyncze badanie może być niekonkluzywne. Dlaczego?  Co stanowi naszą populację? Zbiór epizodów wydania bądź odmowy wydania wiz w określonych okresach czasu (ale nie zbiór osób ubiegających się i nie zbiór wizyt w konsulacie)  Czy mamy operat? Nie. Musimy posłużyć się losowaniem punktów w czasie (zegarem), jako metodą doboru próby  Wstępna próba 1120 prób wywiadów (po skorygowaniu 1533)  Próba finalna (respondenci) Około 900 wywiadów zakładając 80% zwrotów (po skorygowaniu 1226)

19 Rozmiar próby: rola kluczowych proporcji i rozmiaru podgrup Cel badawczy: o ile zmienią się kluczowe cechy procesu ubiegania się o wizę w ciągu 6 miesięcy? Kluczowych zmiennych jest zatem kilka, np. O ile mogą skrócić się kolejki do złożenia dokumentów? (20-30%?) Czy jest prawdopodobne, że zmiany następować będą w różnym tempie w różnych krajach? (Tak, minimalne n=400)

20 Liczba wywiadów na placówkę

21 Liczba ankieterów na placówkę (1 na 30 wywiadów, minimum 3)

22 Logistyka Badanie trwać będzie miesiąc. Przykład metody losowania respondentów dla Kijowa (n k =109)

23 Logistyka: Kijów Założenia: 20 dni roboczych wydawanie wiz: 4 godziny dziennie w godzinach 12-18 109 wywiadów 10 wywiadów dziennie 2 ankieterów (+1 zmiennik i obserwator)

24 Logistyka: Kijów (2) Losowy dobór 11 dni (1 - 20) Losowy dobór 10 pór rozpoczęcia badania (1 – 360) Np. Dzień 3: 13, 40, 180, 181 itd. czyli 12:13, 12:40, 15:00, 15:01, itd. Podział „godzin” między ankieterów (inny ankieter powinien dostać 15:00, inny 15:01) Nagabujemy pierwszą osobę, która pojawi się w drzwiach wyjściowych gdy wybije 12:13, 12:40, itd. Odmowę wywiadu odnotowujemy na pierwszej stronie ankiety, podobnie gdy osoba nie kwalifikuje się do badania. W takich przypadkach pierwszą stronę odrywamy i ankietę używamy ponownie, po dołączeniu do niej nowej strony kwalifikacyjnej Wypełnione ankiety, oraz strony kwalifikacyjne oddajemy zmiennikowi Ankiety odsyłamy do Warszawy tego samego dnia Nie wolno kopiować lub poprawiać ankiet po fakcie

25 Niezawodność  W lutym i pół roku później to samo pytanie musi być dokładnie tak samo zrozumiane; zmieni się sytuacja, ankieterzy (być może) i respondenci (na pewno) będą inni, ale sposób zadawania pytania nie powinien ulec zmianie  Im łatwiejsza i bardziej przewidywalna odpowiedź na dane pytanie, tym ważniejsze jest by zadawać je tak jak inne pytania. Dlaczego?  Błąd pomiaru minimalizujemy przez nauczenie się standaryzacji w zadawaniu pytań, nie w kształtowaniu w ankieterze szczególnej czujności, empatii, itd.  Szczególne umiejętności komunikowania się są istotne tylko przy wstępnej rozmowie

26 Jakość pracy ankietera Ankiety odsyłamy do Warszawy tego samego dnia Nie wolno kopiować ankiet na własną rękę Nie wolno poprawiać ankiet po fakcie Na każde pytanie musi być odnotowana jakaś odpowiedź (wyłączywszy pytania, które instrukcje nakazują przeskoczyć) Ankiety będą sprawdzane natychmiast po ich otrzymaniu Przestrzeganie algorytmu doboru respondentów będzie weryfikowane („zerowa” tolerancja)

27 Bezpieczeństwo ankietera Pracujemy w zespołach 3-osobowych 2 osoby prowadzą wywiady, 1 obserwuje i przechowuje materiały W sytuacji zagrożenia (ze strony ochrony, innych osób) natychmiast przerywamy pracę i kontaktujemy się z koordynatorem lub przedstawicielem NGO