Wykład 3 Wzór Bayesa, cd.: Wpływ rozkładu a priori.

Prezentacja na temat: "Wykład 3 Wzór Bayesa, cd.: Wpływ rozkładu a priori."— Zapis prezentacji:

1 Wykład 3 Wzór Bayesa, cd.: Wpływ rozkładu a priori.
Załóżmy teraz, że w pewnej populacji: 30% ludzi ma HIV, test do wykrywania HIV ma czułość 99.7% i specyficzność 98.5% (jak przedtem). Jakie jest prawdopodobieństwo, że osoba z dodatnim wynikiem testu ma HIV?

2

3 P-stwo, że osoba z dodatnim wynikiem testu jest (faktycznie) chora wynosi:

4 Zmienna losowa: Wartość zależna od wyniku eksperymentu.
Przykład: Liczba orłów uzyskanych w jednym rzucie monetą.

5 Zmienna losowa dyskretna
Zbiór wartości, które może przyjąć zmienna losowa dyskretna jest skończony lub przeliczalny. Możliwe wartości będziemy oznaczali x1,x2, … Rozkład zmiennej dyskretnej X określamy podając prawdopodobieństwa pi=P(X=xi). Np. w rzucie symetryczną kostką liczba oczek X ma rozkład P(X=i)= , i=1,...6.

6 Ciągła zmienna losowa Prawdopodobieństwo przyjęcia każdej ustalonej wartości wynosi zero, np. P(X= )=0 Na tym kursie będziemy rozważać tylko zmienne losowe ciągłe opisane funkcją gęstości f(x).

7 Dystrybuanta zmiennej X:
Dla liczby definiujemy Własności: FX(x) jest funkcją niemalejącą, ciągłą z prawej strony, oraz

8 Narysuj dystrybuantę dyskretnej zmiennej losowej X takiej, że P(X=0)=1/3 oraz P(X=1)=2/3.

9 Narysuj dystrybuantę rozkładu jednostajnego na odcinku [a,b].

10 Wartość oczekiwana i wariancja (wzory). Zmienna losowa dyskretna
x :=E(X)= xi P(X= xi)=xipi Var(X)= (xi- x)2 P(X= xi) = xi2 pi - x2 Przykład 1 (rzut monetą, X=1, gdy orzeł, X=0, gdy reszka) E(X)= Var(X)= Przykład 2 (X=wynik rzutu kostką) E(X)= Var(X)=

11 Rozkład dwupunktowy z parametrem
P(Y=1)=p, P(Y=0)=1-p. Oblicz: EY= VarY=

12 Wartość oczekiwana i wariancja, cd. Zmienna losowa ciągła

13 Wartość oczekiwana jest środkiem ciężkości figury określonej
przez krzywą gęstości.

14 Przykład: rozkład jednostajny na [0,1].

15 Własności wartości oczekiwanej i wariancji
E(aX+b)=aEX+b Var(aX+b)=a2Var(X)

16 Dla dwóch zmiennych losowych X i Y:
E(X+Y)=EX+EY E(X-Y)=EX-EY E(aX+bY+c)=

17 Niezależność zmiennych losowych:
Jeżeli zmienne X i Y są niezależne to dla każdej pary zdarzeń A i B Przykład1: Wybieramy (losowo) liczbę dwucyfrową; X:=liczba dziesiątek, Y:=liczba jedności, A={1, 2}, B={3, 4, 5}.

18 Niezależność zmiennych losowych, cd.
Przykład 2: Wybieramy (losowo) liczbę z zakresu 12,...,101; X:=cyfra dziesiątek, Y:=cyfra jedności, A={1, 2}, B={3, 4, 5}. Przykład 3: Liczby oczek, X, Y, w dwóch kolejnych rzutach kostką.

19 Jeżeli X i Y są niezależne, to
E(XY)=E(X)·E(Y) i Var(X+Y)=Var(X)+Var(Y).

20 Ćwiczenia: X i Y niezależne
Var(X-Y)= Var(X+X)=

21 Schemat Bernoulliego i rozkład dwumianowy
Anita, Beata i Krystyna rzucają monetą i podają łączną liczbę orłów,Y. Podaj rozkład zmiennej Y A B K P-stwo O R Zdarzenie P-stwo 3O (0R) 2O (1R) 1O (2R) 0O (3R)

22 Histogram rozkładu w populacji
Histogram rozkładu w populacji. Populacja =”wszystkie” rzuty trzema monetami

23 Schemat Bernoulliego:
n niezależnych powtórzeń tego samego eksperymentu dwa możliwe wyniki w każdej próbie - ``sukces’’ i ``porażka’’ (np. O i R, albo 1 i 0) w każdej próbie p-stwo sukcesu wynosi p Rozkład dwumianowy: Y = łączna liczba sukcesów w schemacie Bernoulliego Przykłady: liczba orłów na 5 rzutów, liczba wyzdrowień wśród 10 pacjentów poddanych pewnej kuracji

24 Rozkład dwumianowy:

25 Niektóre własności symbolu Newtona
Liczba możliwych ciągów y sukcesów i n-y porażek = = = = Ogólnie

26 W przykładzie p=1/2; Uwaga: Rozkład dwumianowy jest symetryczny dla p=1/2.

27 Przykład: Efekt uboczny lekarstwa
20% ludzi dostaje nudności po zażyciu pewnego lekarstwa Lekarz przepisał lekarstwo czterem nowym pacjentom Y – liczba pacjentów w naszej próbie, którzy dostali nudności Podaj rozkład zmiennej Y

28 Odpowiedź:

29 P(co najmniej dwóch dostanie nudności) =
P(co najwyżej jeden dostanie nudności) =

30 Parametry rozkładu dwumianowego
EY = np Var Y=np(1-p)

31 Przykład Jeden na ośmiu dorosłych mężczyzn ma podniesiony poziom cholesterolu. Losowo wybieramy 10 mężczyzn z populacji. Jakie jest p-stwo, że (dokładnie) 2 spośród nich ma podniesiony poziom cholesterolu ?

32 Jakie jest p-stwo, że co najmniej jeden z nich ma podniesiony poziom cholesterolu?
Ilu średnio mężczyzn na dziesięciu ma podwyższony poziom cholesterolu?

33 Rozkład normalny Bardzo często używany do modelowania symetrycznych rozkładów zmiennych losowych ciągłych Przykłady: Błąd pomiarowy Wzrost, wydajność Temperatura ciała Zawartość różnych składników we krwi

34 Funkcja gęstości Y ~ N(,)
 - wartość oczekiwana,  - odchylenie standardowe

35

36 Standardowy rozkład normalny N(0,1)
Parametry:  =0 ,=1 Do oznaczenia zmiennej losowej o rozkładzie N(0,1) będziemy używali litery Z Dystrybuanta rozkładu normalnego N(0,1): Φ(x)=P(Z < x). Test: Φ(0)= Tablica dystrybuanty Φ(x) (z „Introduction to the Practice of Statistics”, Moore, McCabe)

37

38 Korzystanie z Tablic P(Z < 0.95) = P(Z <= 0.95) =

39 Pożyteczne wzory Φ(-x) = P(Z > z) = P(z1 < Z < z2) =
Oblicz: Pr(|Z| > 1.96) =

40 Dowolny rozkład normalny: N(, )
Załóżmy, że poziomy cholesterolu w pewnej populacji mają rozkład normalny o średniej  = 220 i odchyleniu standardowym  = 40. Y ma rozkład N(220, 40) Jaka część populacji ma poziom cholesterolu powyżej 240?

41 Standardyzacja Y ~ N(,) (Y-)/ ma rozkład normalny!
Oznaczmy Z= (Y-)/. Mamy: EZ= Var(Z)= Zatem Z~ N(0,1)!

42

43 Przykład cd. P (Y > 240)=? P(Y>y), gdzie y=240. Oznaczamy
P(Y > 240) = P(Z > 0.5)=

44 Jakie jest p-stwo, że u losowo wybranej osoby cholesterol będzie pomiędzy 200 a 260?
y1 = 200; z1 = ( )/40 = -0.5; y2 = 260; z2 = ( )/40 = 1.0; P(200 < Y < 260) = P(-0.5 < Z < 1.0) =

45 Oblicz P(Y < 170)

46 Reguła 68%–95%–99.7% (reguła 3 )
Jeżeli zmienna X ma rozkład normalny, to P(-<X<+)= P(-2<X<+2)= P(-3<X<+3)=

47

48 Kwantyle W jakim punkcie y dystrybuanta osiąga zadaną wartość p?
Przykłady: Mediana to kwantyl rzędu 50%. Trzeci kwartyl to kwantyl rzędu 75%?

49 Znajdź trzeci kwartyl rozkładu opisującego poziom cholesterolu.
Znajdź kwantyl rzędu 0.1 dla rozkładu poziomów cholesterolu.

50 Ocena normalności Znaczna część procedur statystycznych, które poznamy w dalszej części kursu wymaga założenia, że próba pochodzi z populacji o rozkładzie normalnym. Założenie to można sprawdzać np. wykonując proste obliczenia lub rysując wykres kwantyl-kwantyl.

51 Reguła 3 Policzmy procent obserwacji, które znajdują się w odległości  1s,  2s and  3s od Przykład: poziomy serum CK n = 36, = i s = 26/36 = 72% obserwacji jest w przedziale  1s 34/36 = 94% obserwacji jest w przedziale  2s 36/36 = 100% obserwacji jest w przedziale  3s To w przybliżeniu odpowiada wartościom dla rozkładu normalnego. OK.

52 Wykres kwantyl-kwantyl (QQ plot)
Data :

53

54 Korekta na ciągłość Niekiedy używamy rozkładu normalnego dla opisu rozkładu danych, które nie są ciągłe. Powody: Dyskretyzacja pomiarów Niektóre rozkłady dyskretne można dobrze przybliżać rozkładem normalnym (np. rozkład dwumianowy) Korektę można zaniedbać, gdy zbiór możliwych do uzyskania wartości jest duży i rozmiar próby jest duży.

55 Przykład: wyniki testu.
Załóżmy, że  = 100 i  = 16. Wynik to liczba całkowita – nie pochodzi z rozkładu ciągłego. Jak użyć rozkładu normalnego ? Przypisujemy liczbie całkowitej y p-stwo odcinka od y-.5 do y+.5

56 Jakie jest p-stwo, że losowo wybrany student uzyska(ł) wynik pomiędzy 120 a 140 punktów.

57 Przybliżenie rozkładu dwumianowego rozkładem normalnym
Po co? Gdy n jest duże, to mamy bardzo dużo możliwych wartości Y. Gdy n jest duże, to symbole Newtona są trudne do wyliczenia. Przybliżenie działa tym lepiej, im p jest bliższe 0.5, i im większe jest n.

58

59 Rozkład dwumianowy z parametrami n i p przybliżamy rozkładem normalnym z parametrami =np i = .
Przybliżenie jest „dość dobre”, gdy np ≥ 5 i n(1-p) ≥ 5 Przybliżenie jest dość dokładne w centrum rozkładu i (względnie) gorsze w „ogonach”.

60 Przykład Załóżmy, że Y ma rozkład dwumianowy z n=40 i p=0.25.
Wtedy  = np = i  = Sprawdzamy wielkość np oraz n(1-p). Obliczmy p-stwo, że Y jest pomiędzy 10 i 15 (włącznie). P(10≤Y≤15)= [Wynik dokładny = 0.534; nie najgorzej.]

61 Rozkłady próbkowe normalnym N(, ), lub
Rozważmy populację o pewnym rozkładzie, np.: normalnym N(, ), lub dwupunktowym, np. P(Y=sukces)=p, P(Y=porażka)=1-p Parametry populacji:  i , lub p. Bierzemy próbę o rozmiarze n z populacji. Wynik: y1, … yn, lub y = sumaryczna liczba sukcesów. Obliczamy estymatory , lub Gdy n jest duże, estymatory są na ogół bliskie parametrom które estymują.

62 Rozkłady próbkowe, cd. Jak bardzo estymatory mogą sią różnić od prawdziwych parametrów ? Co się stanie, jeżeli wylosujemy inną próbę? Otrzymamy inne wartości i s, lub Interesuje nas rozkład (próbkowy) ,s, .

63 Meta-eksperyment Wyobraźmy sobie, że powtarzamy eksperyment wiele razy
Interesuje nas rozkład wszystkich możliwych do uzyskania wartości , s lub . Taki rozkład będziemy nazywali rozkładem próbkowym estymatora. Zwykle próbkujemy tylko raz. Rozkłady próbkowe można obliczyć teoretycznie.

64 Rozkład próbkowy estymatora dla p w rozkładzie dwupunktowym
Y = liczba sukcesów w n próbach y = zaobserwowana liczba sukcesów = Y/n jest estymatorem p

65 Przykład: Producent ocenia, że 2% jego wyrobów jest wadliwych. Wyroby te paczkuje się po 40 w jednym opakowaniu. Y = liczba wadliwych wyrobów w losowo wybranej paczce. Y ma rozkład Niech = Y/40 = frakcja elementów wadliwych. P( = r ) =

66 Rozkład wyznaczamy przy pomocy (dwumianowego) rozkładu Y!

67 Gdybyśmy otworzyli tysiące paczek, to rozkład frakcji liczby wadliwych elementów w paczce byłby zgodny z rozkładem wyliczonym na poprzedniej stronie. Prawdziwa wartość p jest 0.02 i nie jest nawet możliwa do zaobserwowania w pojedynczym eksperymencie, ale na ogół otrzymamy wartości bliskie P-stwo, że = wynosi 36%. P-stwo, że nasza ocena będzie różnić się nie więcej niż o 0.03 od prawdziwej wartości wynosi: Zatem, jeżeli znajdziemy 3 lub więcej wyrobów wadliwych w jednej paczce mamy podstawy, żeby kwestionować twierdzenie producenta o p!

68 Przykład n=40 i p = Jakie jest p-stwo, że estymator częstości przekracza dwukrotnie (lub więcej) prawdziwą wartość?

69 Zależność od rozmiaru próby
Y ma rozkład Bernoulliego (n,p) μY=np Var (Y)=np(1-p) = Var ( )=

70

71 Gdy n rośnie, to wariancja ...............
i estymator staje się bardziej Przykład; p=0.3.

72

73 Rozkład (gdy p=0.3) n P(0.25≤ ≤0.35) 10 0.5 20 0.535 40 0.612 80 0.728
500 0.987