Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej.

Podobne prezentacje


Prezentacja na temat: "Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej."— Zapis prezentacji:

1 Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej

2 Po co się robi sondaże Trafność, wiarygodność, precyzja Sondaż – badanie statystyczne Kwestionariusz – próba – realizacja – analiza danych Reprezentatywność prób Losowy vs. nielosowy dobór respondentów Sondaż – NieSondaż - NibySondaż Dokładność oszacowań Pułapki interpretacji wyników sondażu Publikacja wyników sondaży Dobry sondaż – Jakość sondażu Koszt jakości

3 Populacja n-elementowa próba losowa z populacji Wnioskowanie statystyczne Dobór próby (1) Parametry próby (2) Parametry populacyjne ( 3 ) Statystyka inferencyjna – zastosowanie rachunku prawdopodobieństwa do uzasadnienia reguł wnioskowania Probabilistyczny schemat doboru, opisany w kategoriach rachunku prawdopodobieństwa Statystyka opisowa: wyznaczenie parametrów w próbie (1) & (2) (3) Przesłanki wniosek Schemat logiczny wnioskowania w sondażu Kwestionariusz – Próba – Realizacja – Analiza danych

4 (1) Dobrano losowo 1600-osobową próbę wyborców (2) W wylosowanej próbie 400 respondentów, to jest 25% badanych, deklarowało chęć głosowania na partię X wobec tego (3) W populacji wyborców odsetek deklarujących zamiar głosowania na partię X wynosi 25% +/- 2,5%, to jest między 22,5% a 27,5%. Schemat wnioskowania w badaniu sondażowym (1) & (2)(3) Kwestionariusz – Próba – Realizacja – Analiza danych

5 Sondaż jest badaniem statystycznym Przedmiot Zakres Cel Metoda Wynik populacja zestaw pytań na temat populacji zestaw zmiennych służących do wyznaczenia odpowiedzi na pytania badanie próby pobieranej z badanej populacji według schematu opisywanego w kategoriach probabilistycznych

6 Specyfika badania statystycznego

7 losowanie ze zwracaniem skład próby: k osóbzielonych Estymacja obliczenia PopulacjaSchemat doboru próby Jaka jest proporcja głosujacych (zielonych) ( w populacji ) Znana własność próby wniosek dokładność Czym jest sondaż pytanie odpowiedź Metoda wnioskowania

8 Populacja Schemat doboru próby Próba wylosowana lista obiektów populacji Operat Złożony wielstopniowy Dziurawa, stara Próba zbadana Non- response (400) No answer (30%) False responses (5%) Field-work Źródła dodatkowego błędu oszacowań

9 Odpowiada na pytania, które zamawiający postawił: trafnie (odpowiedzi mają związek ze stanem faktycznym) wiarygodnie (sposób zbierania danych nie budzi wątpliwości) wystarczająco dokładnie (dokładność odpowiedzi jest znana i warta swojej ceny) Odpowiada na pytania, które zamawiający postawił: trafnie (odpowiedzi mają związek ze stanem faktycznym) wiarygodnie (sposób zbierania danych nie budzi wątpliwości) wystarczająco dokładnie (dokładność odpowiedzi jest znana i warta swojej ceny) Sondaż dobrej jakości

10 Dobry sondaż Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe Dobra próba losowa – optymalne warstwowanie, optymalna alokacja, małe wariancje estymatorów Dobra realizacja – wysoki response rate, równomierność realizacji, niski poziom braków danych, niska stopa oszustw, brak efektu ankieterskiego Poprawna interpretacja wyników – uwzględnia osiągniętą dokładność oszacowań, istotność różnic Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe Dobra próba losowa – optymalne warstwowanie, optymalna alokacja, małe wariancje estymatorów Dobra realizacja – wysoki response rate, równomierność realizacji, niski poziom braków danych, niska stopa oszustw, brak efektu ankieterskiego Poprawna interpretacja wyników – uwzględnia osiągniętą dokładność oszacowań, istotność różnic

11 Kwestionariusz Kwestionariusz – Próba – Realizacja – Analiza danych

12 Szacowanie frekwencji wyborczej w wyborach parlamentarnych Czy zamierza Pan(i) wziąć udział w wyborach w najbliższą niedzielę? 1. Tak 2. Nie 3. Nie wiem Jak Pan(i) sądzi, jaka będzie frekwencja w wyborach w najbliższą niedzielę? Jak Pan(i) sądzi, jaka będzie frekwencja w wyborach w najbliższą niedzielę? |___| % % odpowiedzi TAK Średnia odsetków podawanych przez respondentów

13 Próba Kwestionariusz – Próba – Realizacja – Analiza danych

14 Ile razy trzeba rzucać monetą aby sprawdzić, czy jest rzetelna? n=1 P=0,5 n=2 P=0,25P=0,50P=0,25 n=3 P=0,125P=0,375 P=0,125 Kwestionariusz – Próba – Realizacja – Analiza danych

15 lub P=0,064P=0,288P=0,432P=0,216 Losowanie próby w badaniu sondażowym to jak rzucanie monetą

16 Próba dobrana jest w sposób losowy, gdy prawdopodobieństwo dostania się do próby jest znane (nie musi być dla wszystkich identyczne) dla każdego elementu populacji. W konsekwencji : 1.wiadomo jak szacować parametry populacji (co jest ich estymatorem) 2.wiadomo jaka jest dokładność tego oszacowania (szerokość przedziału) przy założonym dopuszczalnym ryzyku popełnienia błędu (poziomie ufności) 3.daje się wyznaczyć minimalną liczebność próby niezbędnej do osiągnięcia założonej dokładności oszacowań 4.daje się sprawdzić, które z różnic lub zależności stwierdzonych w próbie są statystycznie nieistotne Próba dobrana jest w sposób losowy, gdy prawdopodobieństwo dostania się do próby jest znane (nie musi być dla wszystkich identyczne) dla każdego elementu populacji. W konsekwencji : 1.wiadomo jak szacować parametry populacji (co jest ich estymatorem) 2.wiadomo jaka jest dokładność tego oszacowania (szerokość przedziału) przy założonym dopuszczalnym ryzyku popełnienia błędu (poziomie ufności) 3.daje się wyznaczyć minimalną liczebność próby niezbędnej do osiągnięcia założonej dokładności oszacowań 4.daje się sprawdzić, które z różnic lub zależności stwierdzonych w próbie są statystycznie nieistotne Probabilistyczny sposób doboru próby

17 Probabilistyczny dobór próby – konsekwencja n 10010% 4005% 10003,2% 16002,5% 25002% % Uproszczona zależność dla najprostszego schematu losowania

18 ankieta uliczna SMS-y wysyłane podczas trwania programu TV sondaż internetowy bez weryfikowania tożsamości respondenta ogólnopolski sondaż telefoniczny w Polsce*) ankieta drukowana w czasopiśmie jako sondaż jej czytelników ankieta uliczna SMS-y wysyłane podczas trwania programu TV sondaż internetowy bez weryfikowania tożsamości respondenta ogólnopolski sondaż telefoniczny w Polsce*) ankieta drukowana w czasopiśmie jako sondaż jej czytelników Nie–Sondaże Przedsięwzięcia, w których osoby ankietowane nie są losowane, nie są sondażami :

19 Losować – z czego?

20 Operat = lista wszystkich obiektów badanej populacji Operat losowania Powinien być:Może być kompletny o dziurawy, nie obejmuje populacji, ignoruje istone i duze kategorie obiektów; (np. lista abonentów TPSA nie jest operatem dla populacji dorosłych Polaków) o skrzywiony; dziurawy systematycznie - zawiera dane o wielu obiektach pewnego rodzaju a niewiele o innych; (np. Lista prenumeratorów pisma jest złym operatem dla populacji jego czytelników), bezbłędny o niedokładny; ma wysoką stopę błędów w danych (zdarza się często, gdy lista jest tworzona przez obiekty populacji) aktualny o nieaktualny (migracje ludzi, likwidacja lub zmiany profilu firm, zmiany struktury zatrudnienia) Kwestionariusz – Próba – Realizacja – Analiza danych

21 Dostępne operaty dla prób ogólnopolskich PESEL Centralny system ewidencji meldunkowej Zawiera informację o zameldowaniu a nie o faktycznym zamieszkiwaniu Stopa błędnych danych adresowych nie przekracza 5% Pozwala dokładnie kontrolować ankieterów Pozwala dokładnie wyznaczać response rate Konieczne złożone schematy doboru próby celem uniknięcia nadmiernych kosztów realizacji (dojazdy ) NOBC (GUS) rejestr mieszkań Prawie 100%-owa aktualność (mieszkania nie migrują) Konieczne losowanie osoby z wylosowanego mieszkania – ankieter decyduje o tym, kto zostaje respondentem Utrudniona kontrola pracy ankieterów REGON, itp. rejestry i bazy danych Szybko się starzeja, Duża stopa błędów Niepełne pokrycie populacji Kwestionariusz – Próba – Realizacja – Analiza danych

22 Dobór nielosowy Cechy doboru celowego: o składzie badanej próby decydują badacz (określa kryteria doboru) i ankieter - wybiera spośród obiektów spełniających kryteria, do określenia kryteriów doboru dla każdego respondenta potrzebna jest wiedza o łącznych rozkładach cech w interesującej badacza zbiorowości - należy ją zdobyć zwykle za pomocą badań na próbach losowych. Dobór losowo-kwotowy: losowa alokacja terytorialna (miasto-wieś, regiony, województwa, gminy wiejskie, miejskie) a następnie celowy dobór respondentów Pożądane własności nielosowych metod doboru: uzyskanie dobrego przedstawicielstwa populacji ze względu na ważne dla nas cechy, czyli reprezentatywności grupy zbadanej w przedmiotowym sensie. Pożądane własności nielosowych metod doboru: uzyskanie dobrego przedstawicielstwa populacji ze względu na ważne dla nas cechy, czyli reprezentatywności grupy zbadanej w przedmiotowym sensie. Dobrze skonstruowana próba kwotowa (dobierana celowo) daje niekiedy dokładniejsze oszacowania niż mało liczna próba losowa. Kwestionariusz – Próba – Realizacja – Analiza danych Przykład - arkusz

23 Kiedy próba dobrze reprezentuje propulację? Gdy jest reprezentatywna! Między tymi dwiema reprezentatywnościami zachodzi relacja wynikania*) Pojedyncza, konkretna, zrealizowana próba jest reprezentatywna dla pewnej populacji Każda próba pobrana w sposób losowy - dający sie opisać w kategoriach rachunku prawdopodobieństwa

24 Próba zrealizowana ma strukturę zgodną ze strukturą badanej populacji Reprezentatywność – zgodność z populacją Zgodność ta jest stopniowalna Zgodność zachodzi zawsze ze względu na skończony zestaw cech. Ta sama próba może zatem być wysoce reprezentatywna ze względu na płeć i wiek badanych a jednocześnie wysoce niereprezentatywna ze względu na poziom ich wykształcenia O ile nie jest losowana, zrealizowana w jednym badaniu próba może być dla badanej populacji wystarczająco reprezentatywna a w następnym badaniu już nie Stopień reprezentatywności konkretnej próby można sprawdzić tylko ze względu na te cechy, których populacyjne rozkłady sa znane Nie da się sprawdzić czy zrealizowana próba ma strukturę zgodną z populacyjną ze względu na te cechy jednostek, których Narodowy Spis Powszechny nie rejestruje: preferencji wyborczych, poglądów, wartości i tak dalej

25 Próba jest reprezentatywna – została dobrana w sposób losowy. Prawdopodobieństwo dostania się do próby jest znane (nie musi być dla wszystkich identyczne) dla każdego elementu populacji, z której jest losowana Reprezentatywność – dobór losowy wiadomo, w jaki sposób na podstawie próby najlepiej oszacować rozkłady cech w populacji wiadomo (daje się wyliczyć) jaka jest tych dokładność oszacowań każda wylosowana w ten sam sposób próba jest w takim samym stopniu zgodna z populacją ze względu na wszystkie określone w niej zmienne. Stopień jej reprezentatywności i dokładność oszacowań oznaczają de facto to samo

26 Realizacja Kwestionariusz – Próba – Realizacja – Analiza danych

27 Populacja n -elementowa próba wylosowana z populacji Niedostępni, n 2 Zbadani, n 1 Response rate = = Response rate a dokładność oszacowań próba

28 Response rate a dokładność oszacowań Populacja dostępnychPopulacja nie-dostępnych n = 2000 n 1 = 1600 n 2 = 400 Quasi-przedział ufności dla frakcji populacyjnej

29 Dokładność oszacowań frakcji populacyjnej a wielkość prostej próby losowanej w sposób prosty ze zwracaniem Granica dokładności wyznaczona dla poziomu ufności 0,95

30 resp rate 95% 90% 85% 80% 75% 70% wielkość próby dokładność przy 100%- owej realizacji próby optympesymoptympesymoptympesymoptympesymoptympesymoptympesym 10010,012,012,212,614,513,116,713,418,913,721,213,823,4 4005,06,07,46,39,76,512,16,714,56,816,86,919,2 9003,34,05,74,28,24,410,64,513,04,615,44,617, ,53,04,93,27,43,39,83,412,23,414,73,517,1 Response rate a graniczna dokładność oszacowań populacyjnej frakcji

31 Koszt jakości

32 Kryteria oceny jakości sondażu JAKOŚĆ KOSZTUJE Nie istnieją sondaże szybkie, tanie i dobrze zrealizowane

33 Składniki statystyczne Składniki praktyczne Operat: Pozyskanie operatu dobrej jakości – czas, koszt Błąd pokrycia operatu - błąd estymacji Długość kwestionariusza czas wywiadu, czas = koszt Schemat doboru próby efektywność oszacowań ( alokacja + wiązkowanie) koszt realizacji (dojazdy !!) Metoda kontaktu z respondentem PAPI, CAPI: dojazdy=koszt! CATI, WAPI - ukrywana tożsamość respondenta błędy oszacowań Liczebność próby: dokładność oszacowań jest funkcją liczebnosci próby - koszt Jakość realizacji: non-response, błędy oszacowań braki odpowiedzi, fałszerstwa ankieterskie Koszt kontroli ankieterów – 5% kosztów badania Koszt i jakość sondażu

34 Dokładność oszacowań Operat Jakość realizacji badania Schemat doboru próby False records Missing values Response-rate Pominięte pytanie Odmowa odpowiedzi Wielkość próby Koszt dojazdów Fieldwork Kwestionariusz Czas trwania - koszt 1 wywiadu Koszt operatu Koszt realizacji w terenie Koszt jakości Projekt Raport Koszt projektowania Zewnętrzna kontrola ankieterów wykonawcy Koszt kontroli jakości realizacji

35 Czy można sprawdzić jakość sondażu? Jeśli wykonawca nie dostarczy szczegółowych informacji o tym, jak sondaż wykona ł, zazwyczaj nie można sprawdzić, jaka jest trafność, wiarygodność i precyzja oszacowań dokonywanych na podstawie jego wyników Czasami jednak można ocenić jakość sondażu pośrednio: 1.Gdy decyzje biznesowe podejmowane na podstawie badań ( na przykład marketingowych) okazują się tak nietrafne, że nie da się tego wytłumaczyć naturalnym losowym składnikiem wyniku sondażowego 2.Gdy wynik wyborów weryfikuje trafność oszacowań wykonanych na podstawie sondażu Czasami jednak można ocenić jakość sondażu pośrednio: 1.Gdy decyzje biznesowe podejmowane na podstawie badań ( na przykład marketingowych) okazują się tak nietrafne, że nie da się tego wytłumaczyć naturalnym losowym składnikiem wyniku sondażowego 2.Gdy wynik wyborów weryfikuje trafność oszacowań wykonanych na podstawie sondażu Nigdy nie można sprawdzić, czy wynik sondażu jest zgodny z rzeczywistością – wymagałoby to zbadania całej populacji Jedynym sposobem oceny jakości sondażu jest kontrola poprawności procedury jego przeprowadzenia, którą wykonawca powinien klientowi dostarczyć zawsze

36 Publikowanie wyników

37 Pułapki interpretacji wyników

38 Nieporównywalna treść pytań Gdyby wybory parlamentarne odbywały się w najbliższą niedzielę, czy wzięła(-ął) by Pan(i) udział w głosowaniu (1000): 1. Tak (650) 2. Nie (250) Jeśli tak, to wie Pan(i), na którą partię odda Pan(i) swój głos? 1. Tak (500) 2. Nie (150) Jeśli TAK, to na którą? Wariant 0: brak listy partii – pytanie otwarte wariant 1Nazwa parii bez logo - lista wariant 2Nazwa parii + logo partii - lista wariant 3Nazwa partii + nazwisko lidera partii - lista wariant 4Nazwa partii + logo partii + nazwiko lidera partii - lista Odpowiedzi: numer z listy + trudno powiedzieć (100)

39 Badania nieporónywalne Próba kwotowa(?) CATI Próba losowa z operatu PESEL - CAPI Próba internautów (ważona ?) WAPI

40 (Przykład fikcyjny) Liczebności prób Styczeń: n=81, Luty: n=121, Marzec: n=64, Kwiecień: n=121, Maj: n=225 Które zmiany proporcji są statystycznie znaczące? Kwestionariusz – Próba – Realizacja – Analiza danych Różnice statystycznie nieistotne

41 Czy: PO ma poparcie (istotnie) różne od PiS? Polska Razem (istotnie) przekracza próg 5%? osób – metodą wywiadów telefonicznych CATI (800 wywiadów) oraz metodą wywiadów ankieterskich w miejscach publicznych (400 wywiadów)

42 Kiedy wynik sondażu nie zasługuje na publikację Kiedy w dokumentacji dostarczonej przez wykonawcę badania brakuje co najmniej jednego z poniższych elementów: Definicja badanej populacji Treść zadanego pytania Sposób rekrutacji respondentów (próba losowa, losowo-kwotowa, dobór nielosowy) Liczebność próby Sposób zbierania odpowiedzi: PAPI, CAPI – CATI - CAWI Termin badania Kto płacił za sondaż Kto wykonał sondaż

43 Przykłady niepełnych informacji o badaniu

44 Kiedy wynik sondażu zasługuje na publikację 1.dokładność populacyjnych oszacowań i sposób jej wyliczenia *) 2.stopień realizacji próby (response-rate) 3.opis zastosowanego schemat doboru próby 4.opis operatu, z którego próba była losowana 5. sposób wyznaczania wag analitycznych 6.stopień zgodności próby zrealizowanej z danymi GUS ze względu na: a)Miejsce zamieszkania (wieś, małe miasta, średnie miasta, duże miasta – co najmniej 4 kategorie) b)Płeć, wiek (co najmniej 5-6 kategorii) i poziom wykształcenia (co najmniej 5 kategorii) c)Źródło utrzymania (aktywność ekonomiczną: pracujący, bezrobotni, uczniowie, emeryci-renciści, niepracujący) 7.Dla prób losowo-kwotowych - stopień zgodności próby zrealizowanej z danymi GUS ze względu na zmienne, które nie były kryteriami rekrutacji respondentów 1.dokładność populacyjnych oszacowań i sposób jej wyliczenia *) 2.stopień realizacji próby (response-rate) 3.opis zastosowanego schemat doboru próby 4.opis operatu, z którego próba była losowana 5. sposób wyznaczania wag analitycznych 6.stopień zgodności próby zrealizowanej z danymi GUS ze względu na: a)Miejsce zamieszkania (wieś, małe miasta, średnie miasta, duże miasta – co najmniej 4 kategorie) b)Płeć, wiek (co najmniej 5-6 kategorii) i poziom wykształcenia (co najmniej 5 kategorii) c)Źródło utrzymania (aktywność ekonomiczną: pracujący, bezrobotni, uczniowie, emeryci-renciści, niepracujący) 7.Dla prób losowo-kwotowych - stopień zgodności próby zrealizowanej z danymi GUS ze względu na zmienne, które nie były kryteriami rekrutacji respondentów Gdy wykonawca badania podaje:

45 Jak przedstawiać wynik sondażu w telewizyjnym programie informacyjnym 1.Przedstawić podstawowe informacje o sondażu na planszy z wykresami reprezentującymi wyniki: a)Szczegóły kwalifikujace sondaż do publikacji oraz b)Dokładność oszacowań 1.Przedstawić podstawowe informacje o sondażu na planszy z wykresami reprezentującymi wyniki: a)Szczegóły kwalifikujace sondaż do publikacji oraz b)Dokładność oszacowań 2. Przed publikacją, interpretacją lub dyskusją a)Ustalić, jak była treść pytań zadawanych respondentom, czy były stosowane filtry. b)Ustalić podstawę procentowania dla każdego publikowanego odsetka (co stanowi 100% - wszyscy, czy ci którzy mają zdanie, zamierzają głosować, wiedzą na kogo będą głosować itd.) c)Ustalić, które różnice są statystycznie istotne d)Ustalić, czy w porównaniu z poprzednim sondażem nastąpiła zmiana statystycznie istotna e)Ustalić, czy w kolejnych porównywalnych sondażach mamy do czynienia z trendem [ patrz p. c)-d) powyżej ] 2. Przed publikacją, interpretacją lub dyskusją a)Ustalić, jak była treść pytań zadawanych respondentom, czy były stosowane filtry. b)Ustalić podstawę procentowania dla każdego publikowanego odsetka (co stanowi 100% - wszyscy, czy ci którzy mają zdanie, zamierzają głosować, wiedzą na kogo będą głosować itd.) c)Ustalić, które różnice są statystycznie istotne d)Ustalić, czy w porównaniu z poprzednim sondażem nastąpiła zmiana statystycznie istotna e)Ustalić, czy w kolejnych porównywalnych sondażach mamy do czynienia z trendem [ patrz p. c)-d) powyżej ]

46 Czego unikać przedstawiając wyniki sondaży Porównywania odsetków odpowiedzi na pytania zadane w różny sposób Porównywania wyników sondaży przeprowadzanych różnymi metodami Porównywania wyników sondaży z rezultatami przedsięwzięć sondażo- podobnych Komentowania różnic statystycznie nieistotnych, także zmian Sugerowania się liczbą ankietowanych jako wskaźnikiem wiarygodności sondażu

47 Obowiązki agencji badawczej wobec klienta według AAPOR Who sponsored, conducted & funded the research Kto płaci za sondaż, kto wykonuje badanie Exact question wordingDokładne brzmienie pytań Definition of the populationDefinicja populacji Geographic locationZasięg terytorialny badania Sample frame descriptionOpis operatu, z którego pobierano próbę Sample designSchemat doboru próby Sample size & errorLiczebność próby i dokładność oszacowań Weighting & cluster adjustmentsWagi analityczne wynikające ze schematu doboru próby Results based on parts of sample only Czy wynik wyznaczono na podstawie całej próby czy też jej części Method(s) and dates of data collection Czas i sposób zbierania danych Report Immediately AAPORs Transparency Initiative, RC-33 Eighth International Conference on Social Science Methodology Timothy P. Johnson and Paul J. Lavrakas

48 Błąd Tak zwany błąd statystyczny (dokładność oszacowań) w sondażu wynosi zawsze +/- 3% Wiele odpowiedzi – dobre oszacowanie Jeśli zebrano odpowiedzi od bardzo wielu osób (jak na przykład w badaniu internetowym), to mamy do czynienia z próba reprezentatywną, a wynik jest trafnym, wiarygodnym i precyzyjnym oszacowaniem stanu populacji Wagi porealizacyjne jeśli próba zrealizowana nie jest zgodna z populacją ze względu na kluczowe cechy (płeć, wiek, wykształcenie), można jej strukturę poprawić za pomocą wag porealizacyjnych i traktować jako próbę reprezentatywną bez szkody dla dokładności oszacowań na przykład: jeśli w próbie jest za mało kobiet w średnim wieku z wyższym wykształceniem, to można ten niedobór wyrównać za pomocą wag (mnożników) wyliczonych tak, aby po przemnożeniu rozkład w próbie był całkowicie zgodny z danymi GUS. Niby-sondaż Jeśli pewien wynik uzyskany w jednym badaniu niesondażowym okazał się zgodny ze stanem faktycznym (na przykład wynikiem wyborów), to będzie również zgodny następnym razem Sondaż tani, szybki i wiarygodny Można wykonać tani i dobry ogólnopolski sondaż telefoniczny w 8 godzin Zamawiając sondaż płacimy za liczbę zebranych ankiet Błędne przeświadczenia na temat sondażu


Pobierz ppt "Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej."

Podobne prezentacje


Reklamy Google