Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej

Sondaż a prognoza Odpowiedzi w próbie zrealizowanej Odpowiedzi w próbie zrealizowanej % deklarujących zamiar głosowania na X +/- d % deklarujących zamiar głosowania na X +/- d ?????? Wyniki wyborów ???? Prognoza Wynik sondażu Oczekiwany % głosujących na X Wiedza na temat elektoratu Dalej będę mówił tylko o sondażu

Czym jest sondaż

Sondaż to sposób odpowiadania na pytanie o stan populacji, o preferencje wyborcze elektoratu. Sondażowa dopowiedź: Jest zawsze zdarzeniem losowym Jest zawsze niedokładna – ma postać przedziału wartości Dokładność można poprawiać do pewnego stopnia Nigdy nie wiadomo czy jest prawdziwa czy nie

Odpowiedź na pytanie o stan populacji musi mieć postać przedziału [od - do] bo odpowiedź za pomocą jednej liczby prawie zawsze jest fałszywa Załóżmy, że w populacji odsetek zwolenników partii X wynosi dokładnie 25% Jaka jest szansa na to, że w idealnie zrealizowanym sondażu otrzymamy taki sam odsetek zwoleników partii X?

Jaki jest obecnie (25 marca) odsetek zwolenników partii X w populacji uprawnionych do głosowania (w elektoracie) Dokładność kosztuje Przedział Koszt badania # respondentów # deklarujących udział [0% -100% ] --- [8% -42% ] [16% -34% ] [18% -32% ] [19% -31% ] [20% -30% ] [20% -30% ] [20% -30% ] [21% -29% ] W obliczeniach uwzględnieni są wyłącznie deklarujący zamiar uczestniczenia w wyborach. Koszt 1 wywiadu - 40 zł. Założony wzrost niedokładności oszacowania wynikający z błędów operatu, złożonego doboru próby i jej niepełnej realizacji (DEFF2) wynosi  3 = 1,73

pytanie losowanie 100 osób „zielonych” obliczenia PopulacjaSchemat doboru próby Jaka jest proporcja zwolenników zielonych w populacji wniosek dokładność Najprostszy sondaż dostarcza przedziałowej odpowiedzi odpowiedź 400 Wynik w próbie

Dokładność oszacowania dla sondażu idealnego i najprostszego n 10010% 4005% 10003,2% 16002,5% 25002% % Powyższej formuły nie stosuje się gdy: Dla najprostszego schematu doboru próby Odsetki w populacji są poniżej 2%-3% Próba losowana jest wielostopniowo, zespołowo Response rate jest poniżej 80%

Proporcja w populacji Minimalny rozmiar próby  n 50% 30 40% 50 30% 80 20% % 600 5% 1400 Uwaga na niskie odsetki !

Populacja Schemat doboru próby Próba wylosowana lista obiektów populacji Operat Złożony wielstopniowy Dziurawy, stary Próba zbadana Non- response (400) No answer (30%) False responses (5%) Field-work Źródła dodatkowego błędu oszacowań W rezultacie dokładność jest dużo gorsza niż:

Wynik sondażu bez informacji o dokładności oszacowań nie nadaje się do publikacji Bo prawie zawsze jest fałszywym opisem populacji …

Dokładność oszacowania parametrów populacji można wyliczyć, jeśli znane są: 1. Jakość operatu, z którego próba była losowana 2. Schemat doboru próby (DEFF) 3. Stopień realizacji próby response-rate 1. Jakość operatu, z którego próba była losowana 2. Schemat doboru próby (DEFF) 3. Stopień realizacji próby response-rate Dokładność oszacowania powinien wyliczać wykonawca sondażu a sposób jej wyliczania umieścić w doumentacji badania towarzyszącej wynikom

Obowiązki agencji badawczej wobec klienta według AAPOR Exact question wordingDokładne brzmienie pytań Definition of the populationDefinicja populacji Sample frame description Opis operatu, z którego pobierano próbę Sample design Schemat doboru próby (DEFF) Sample size & error Liczebność próby i dokładność oszacowań Weighting & cluster adjustments Wagi analityczne wynikające ze schematu doboru próby Method(s) and dates of data collection Czas i sposób zbierania danych Report Immediately AAPOR Code of Professional Ethics and Practices (Revised May 2010) AAPOR Code of Professional Ethics and Practices (Revised May 2010) Do takiej szczegółowej dokumentacji zamawiający sondaż ma prawo

Wyniku sondażu nie można publikować, gdy: W dokumentacji dostarczonej przez wykonawcę badania brakuje co najmniej jednego z poniższych elementów: Definicja badanej populacji Treść zadanego pytania, stosowane podpowiedzi, karty, nazwy, fotografie Liczebność próby Sposób zbierania odpowiedzi: PAPI, CAPI, CATI, CAWI Termin badania Dokładność oszacowań i sposób wyliczenia Podstawy procentowania dla wykresów słupkowych (ilu ich było i kim byli respondenci stanowiący 100%)

Należy

Jak przedstawiać wynik sondażu w telewizyjnym programie informacyjnym 2.Na planszy ze słupkami przedstawić podstawowe informacje kwalifikujace sondaż do publikacji, w tym wyraźnie zaznaczoną dokładność oszacowań 1. Przed publikacją, interpretacją lub dyskusją a)Ustalić, jak była treść pytań zadawanych respondentom, czy były stosowane „filtry” (zamierza-nie zamierza głosować). b)Ustalić podstawę procentowania dla każdego publikowanego odsetka (co stanowi 100% - wszyscy, czy ci którzy mają zdanie, zamierzają głosować, wiedzą na kogo będą głosować itd.) c)Ustalić, które różnice między partiami są statystycznie istotne d)Ustalić, czy przedział ufności dla partii obejmuje próg 5% e)Ustalić, dla każdej partii, czy w porównaniu z poprzednim sondażem zmiana jej notowań jest statystycznie istotna 1. Przed publikacją, interpretacją lub dyskusją a)Ustalić, jak była treść pytań zadawanych respondentom, czy były stosowane „filtry” (zamierza-nie zamierza głosować). b)Ustalić podstawę procentowania dla każdego publikowanego odsetka (co stanowi 100% - wszyscy, czy ci którzy mają zdanie, zamierzają głosować, wiedzą na kogo będą głosować itd.) c)Ustalić, które różnice między partiami są statystycznie istotne d)Ustalić, czy przedział ufności dla partii obejmuje próg 5% e)Ustalić, dla każdej partii, czy w porównaniu z poprzednim sondażem zmiana jej notowań jest statystycznie istotna 3.Pamiętać o dokładności oszacowań oraz istotności różnic także w rozmowie z ekspertem lub politykiem

Nie wolno

Czego robić nie wolno Porównywać wyniki sondaży przeprowadzanych różnymi metodami Komentować różnice statystycznie nieistotne Interpretować wyniki sondażu bez podstawowej jego dokumentacji Zadowalać się zapewnieniem wykonawcy, że „ próba była reprezentatywna ”

„Próba reprezentatywna” „Reprezentatywność” próby nie ma związku z dokładnością oszacowań stanu populacji Dwie ogólnopolskie próby o liczebności 1600 osób każda A A B B A. liczba osób losowanych z województwa jest proporcjonalna do liczby jego mieszkanców B. z każdego województwa losowanych jest 100 osób Wedle wykonawcy sondażu ta próba nie jest reprezentatywna ze względu na województwo zamieszkania Dla obu prób daje się jednoznacznie wyliczyć dokładność oszacowania. Próba B pozwala na bardziej wiarygodne szacowanie różnic między województwami

Badania nieporónywalne „Próba” kwotowa(?) CATI Próba losowa z operatu PESEL - CAPI Próba internautów (ważona ?) WAPI Czy jest sens liczyć średnie poparcie obu partii z trzech sondaży?

19 marca marca 2015 CBOS przeprowadził badanie metodą wywiadów bezpośrednich wspomaganych komputerowo w dniach 11–18 marca na liczącej 1052 osoby reprezentatywnej próbie losowej dorosłych mieszkańców Polski. Sondaż TNS Polska przeprowadzony został w dniach 13–18 marca 2015 r. na ogólnopolskiej, reprezentatywnej próbie 971 mieszkańców Polski w wieku 18 i więcej lat. Porównanie niedopuszczalne Wywiady były telefoniczne, nieznane własności próby.

1.Wygrałaby Platforma Obywatelska z poparciem 42 procent. [36% - 48%] 2.Drugie miejsce zajęłoby PiS z poparciem 29 proc.. [23% - 35%] 3.Do Sejmu weszłyby także: SLD (7 proc.) oraz PSL (5 proc.). [4% - 10%] [2% - 8%] 4.42 proc. poparcia dla PO oznacza spadek o 4 pkt proc. w porównaniu z badaniem z poprzedniego tygodnia NIE : różnica nieistotna 5.Notowania PiS (wraz z Polską Razem, Prawicą Rzeczypospolitej i Solidarną Polską) wzrosły o 2 pkt. proc. NIE – w granicach dokładniości 1.Wygrałaby Platforma Obywatelska z poparciem 42 procent. [36% - 48%] 2.Drugie miejsce zajęłoby PiS z poparciem 29 proc.. [23% - 35%] 3.Do Sejmu weszłyby także: SLD (7 proc.) oraz PSL (5 proc.). [4% - 10%] [2% - 8%] 4.42 proc. poparcia dla PO oznacza spadek o 4 pkt proc. w porównaniu z badaniem z poprzedniego tygodnia NIE : różnica nieistotna 5.Notowania PiS (wraz z Polską Razem, Prawicą Rzeczypospolitej i Solidarną Polską) wzrosły o 2 pkt. proc. NIE – w granicach dokładniości 19 marca 2015 CBOS przeprowadził badanie metodą wywiadów bezpośrednich wspomaganych komputerowo w dniach 11–18 marca na liczącej 1052 osoby reprezentatywnej próbie losowej dorosłych mieszkańców Polski. d 1 +/-6% d 2 +/- 3% 12 marca Na PO zagłosowałoby 46 proc. ankietowanych. [40% - 52%] 2.Na PiS chciałoby głosować 27 proc. respondentów. [21% - 33%] 3.Do Sejmu dostałyby się jeszcze: SLD (6 proc.) i PSL (5 proc.). 4.Notowania PO poprawiły się w stosunku do sondażu CBOS z lutego o 8 pkt proc. 5.Poparcie dla PiS - wraz z Solidarną Polską, Polską Razem i Prawicą Rzeczypospolitej - zmniejszyło się o 1 pkt proc. 6.O 2 punkty gorszy wynik niż w lutym odnotował SLD. 7.O 6 punktów - zmniejszyło się grono deklarujących chęć głosowania na PSL 1.Na PO zagłosowałoby 46 proc. ankietowanych. [40% - 52%] 2.Na PiS chciałoby głosować 27 proc. respondentów. [21% - 33%] 3.Do Sejmu dostałyby się jeszcze: SLD (6 proc.) i PSL (5 proc.). 4.Notowania PO poprawiły się w stosunku do sondażu CBOS z lutego o 8 pkt proc. 5.Poparcie dla PiS - wraz z Solidarną Polską, Polską Razem i Prawicą Rzeczypospolitej - zmniejszyło się o 1 pkt proc. 6.O 2 punkty gorszy wynik niż w lutym odnotował SLD. 7.O 6 punktów - zmniejszyło się grono deklarujących chęć głosowania na PSL Badanie przeprowadzono 5–11 marca 2015 roku na liczącej 1062 osoby reprezentatywnej próbie losowej dorosłych Polaków. Preferencje partyjne zbadano u 642 respondentów wybierających się na wybory. d 1 +/-6% d 2 +/- 3% Prawdziwe są tu zdania 4 i 7 1.Wygrałaby Platforma Obywatelska z poparciem 42 procent. [36% - 48%] 2.Drugie miejsce zajęłoby PiS z poparciem 29 proc.. [23% - 35%] 3.Do Sejmu weszłyby także: SLD (7 proc.) oraz PSL (5 proc.). [4% - 10%] [2% - 8%] NIE WIADOMO 4.42 proc. poparcia dla PO oznacza spadek o 4 pkt proc. w porównaniu z badaniem z poprzedniego tygodnia NIE : różnica nieistotna 5.Notowania PiS (wraz z Polską Razem, Prawicą Rzeczypospolitej i Solidarną Polską) wzrosły o 2 pkt. proc. NIE – : różnica nieistotna 1.Wygrałaby Platforma Obywatelska z poparciem 42 procent. [36% - 48%] 2.Drugie miejsce zajęłoby PiS z poparciem 29 proc.. [23% - 35%] 3.Do Sejmu weszłyby także: SLD (7 proc.) oraz PSL (5 proc.). [4% - 10%] [2% - 8%] NIE WIADOMO 4.42 proc. poparcia dla PO oznacza spadek o 4 pkt proc. w porównaniu z badaniem z poprzedniego tygodnia NIE : różnica nieistotna 5.Notowania PiS (wraz z Polską Razem, Prawicą Rzeczypospolitej i Solidarną Polską) wzrosły o 2 pkt. proc. NIE – : różnica nieistotna Prawdziwe są tu zdania 4 i 7 Ani jedno zdanie nie jest tu prawdziwe

20 marca Notowania PiS i koalicjantów wzrosły o 5 punktów procentowych 2.Platforma Obywatelska odnotowała spadek o 3 punkty. 3.Wybory do Sejmu wygrałaby PiS 4.Drugie miejsce zajęłaby PO 5.Do Sejmu weszłyby jeszcze SLD (8 proc.) i PSL (5 proc.). 1. Notowania PiS i koalicjantów wzrosły o 5 punktów procentowych 2.Platforma Obywatelska odnotowała spadek o 3 punkty. 3.Wybory do Sejmu wygrałaby PiS 4.Drugie miejsce zajęłaby PO 5.Do Sejmu weszłyby jeszcze SLD (8 proc.) i PSL (5 proc.). Sondaż TNS Polska przeprowadzony został w dniach 13–18 marca 2015 r. na ogólnopolskiej, reprezentatywnej próbie 971 mieszkańców Polski w wieku 18 i więcej lat. 1.Najlepiej wypadłaby PO, na którą głos oddałoby 33 proc. ankietowanych. 2.Drugie miejsce zajęłoby PiS z sojusznikami - 27 proc. 3.Do Sejmu dostałyby się ponadto SLD i PSL. 4.W porównaniu ze styczniowymi badaniamiPO poprawiła notowania o 2 punkty proc. 5.. Notowania PiS od stycznia się nie zmieniły 6.Na SLD zagłosowałoby 9 proc. (o 2 punkty proc. mniej niż w styczniu) 7.Pozostałe partie nie przekroczyłyby progu 5% 1.Najlepiej wypadłaby PO, na którą głos oddałoby 33 proc. ankietowanych. 2.Drugie miejsce zajęłoby PiS z sojusznikami - 27 proc. 3.Do Sejmu dostałyby się ponadto SLD i PSL. 4.W porównaniu ze styczniowymi badaniamiPO poprawiła notowania o 2 punkty proc. 5.. Notowania PiS od stycznia się nie zmieniły 6.Na SLD zagłosowałoby 9 proc. (o 2 punkty proc. mniej niż w styczniu) 7.Pozostałe partie nie przekroczyłyby progu 5% Badanie przeprowadzono w dniach lutego na ogólnopolskiej, reprezentatywnej próbie 966 mieszkańców Polski w wieku 18 i więcej lat. Preferencje partyjne badano wśród 591 osób deklarujących zamiar uczestniczenia w wyborach. 20 lutego 2015 Załóż d 1 +/- 6% dla PO i PIS oraz d 2 +/- 3% dla SLD i PSL a potem ustal co nadaje się do publikacji Ćwiczenie dla wydawcy, redaktora, prowadzącego

Dziękuję za uwagę