Monte Carlo, bootstrap, jacknife. 2 Literatura Bruce Hansen (2012 +) Econometrics, ze strony internetowej :

Prezentacja na temat: "Monte Carlo, bootstrap, jacknife. 2 Literatura Bruce Hansen (2012 +) Econometrics, ze strony internetowej :"— Zapis prezentacji:

1 Monte Carlo, bootstrap, jacknife

2 2 Literatura Bruce Hansen (2012 +) Econometrics, ze strony internetowej : http://www.ssc.wisc.edu/~bhansen/econometrics/ –Monte Carlo: rozdział 8.8, 8.9 –Bootstrap: rozdział 10 Slajdy 4-31 wykorzystują materiały z tego podręcznika

3 3 Literatura B. Efron (1979) Bootstrap methods: another look at the jackknife, Annals of Statistics 7, 1-26. C.F.J.Wu (1986) Jackknife, bootstrap and other resampling methods in regression analysis, Annals of Statistics 14, 1261-1295. J.Shao, C.F.J.Wu (1989) A general theory for jackknife variance estimation, Annals of Statistics 17, 1176-1197. C.F.J.Wu (1990) On the asymptotic properties of the jacknife histogram, Annals of Statistics 18, 1438-1452.

4 4 Monte Carlo Niech oznaczają obserwacje losowo wybrane z populacji Niech oznacza parametr, a niech będzie interesującą nas statystyką, np. estymatorem lub statystyką t :

5 5 Monte Carlo Dystrybuanta statystyki oznaczona będzie jako: Często rozkład statystyki nie jest znany w skończonych próbach. Metoda Monte Carlo symuluje numerycznie prawdziwy rozkład statystyki dla wybranych (w skończonych próbach, dla wybranych przypadków)

6 6 Opis metody Monte Carlo Wybieramy rozkład i wielkość próby – rozkład określa lub jest bezpośrednio ustalony Losujemy niezależnie par z rozkładu (stosując generator liczb pseudolosowych) Liczymy interesującą nas statystykę:

7 7 Opis metody Monte Carlo Powtarzamy losowanie B razy (zwykle 1000, 5000) i zapamiętujemy każdy wynik: Wyniki te stanowią próbę losową o wielkości B z rozkładu: ( B – experiments, replications)

8 8 Zastosowania Monte Carlo Na podstawie próby możemy policzyć różne charakterystyki rozkładu statystyki. Na przykład: –„obciążenie” (ang. bias) –błąd średniokwadratowy –wariancja rozkładu gdzie:

9 9 Zastosowania Monte Carlo Obliczenia błędu 1. rodzaju, np. dla ( ) dwustronnego testu t : –Obliczamy Obliczenia kwantyla rozkładu : –sortujemy próbę rosnąco –kwantyl to liczba nr

10 10 Zastosowanie Monte Carlo Precyzja symulacji: –We wcześniejszym przykładzie zmienna losowa ma rozkład Bernoulliego –przyjmuje wartość 1 z prawdopodobieństwem: –jest zatem niebciążonym estymatorem z odchyleniem standardowym Na przykład dla testu z 5% poziomem istotności Dla B =100, 1000, 5000 0,022 ; 0,007 ; 0,003

11 11 Przykład 1 Prosty model: Testujemy hipotezę: Statystyka testowa: Teraz testujemy równoważną hipotezę:

12 12 Przykład 1 Statystyka testowa ma rozkład: Przyjmijmy dla

13 13 Zastosowanie Monte Carlo Dla różnych r mamy różne wartości statystyki Walda, a powinny być identyczne, bo hipoteza H0 jest identyczna, a r wybrane arbitralnie. Przeanalizujmy symulacyjnie błąd 1. rodzaju: 50000 wylosowanych prób obserwacji o odpowiedniej długości, odchyleniu stand., parametrze i przy założeniu, że.

14 14 Zastosowanie Monte Carlo Najlepsze wyniki dla r = 1.

15 15 Przykład 2 Model: Testujemy hipotezę: Niech będą oszacowaniami MNK modelu, a wariancją oszacowań.

16 16 Przykład 2 Niech. Odchylenie standardowe to: gdzie:to wektor

17 17 Przykład 2 Statystyka testowa. Inny zapis hipotezy: Statystyka testowa: gdzie:

18 18 Zastosowanie Monte Carlo Niech i niezależne z rozkładu N(0,1) Załóżmy,, Generujemy 50000 prób i liczymy błędy 1. rodzaju:

19 19 Bootstrap Niech oznaczają obserwacje losowo wybrane z populacji Niech oznacza parametr, a niech będzie interesującą nas statystyką, Dystrybuanta statystyki oznaczona będzie jako:

20 20 Bootstrap Próbujemy przybliżać rozkład statystyki wykorzystując zgodne oszacowanie Rozkładem bootstrap nazywamy rozkład: Niech oznaczają obserwacje losowe wybrane z rozkładu

21 21 Bootstrap Statystyka ma rozkład, czyli (bootstrap statistic) Rozkład statystyki jest zmienną losową zależną od

22 22 Empiryczna dystrybuanta Rozkład: Analogicznie, zgodnie z metodą momentów: –zgodny estymator nieparametryczny dla

23 23 Bootstrap Empiryczna dystrybuanta:  nieparametryczna metoda bootstrap Funkcje obserwacji z próby: –średnia z próby empirycznej

24 24 Opis metody bootstrrap Wielkość próby równa wielkości oryginalnej próby Losujemy niezależnie par z rozkładu empirycznego (ze zwracaniem) Liczymy interesującą nas statystykę: Liczba replikacji: B=1000 zwykle wystarcza (teoria: Andrews, Buchinsky 2000)

25 25 Bootstrap - zastosowania Obciążenie to. Niech, to Odpowiedniki „bootstrapowe”: Estymator: „Bootstrapowe” oszacowanie obciążenia:

26 26 Bootstrap - zastosowania Oszacowanie obciążenia można policzyć: Estymator z (oszacowaną) korektą obciążenia : –można by, ale nieznane –zatem

27 27 Bootstrap - zastosowania Niech. Wariancja Oszacowanie z symulacji bootstrap: wariancja odchylenie standardowe

28 28 Bootstrap - zastosowania Przedziały ufności dla : –Niech kwantyl z oryginalnego rozkładu, a kwantyl z rozkładu bootstrapowego –Można policzyć przedział ufności dla sortując i wyliczając: –Lepiej jednak posortować i wstawić kwantyle do:

29 29 Bootstrap w modelach regresji Model oryginalny: Symulowanie danych metodą bootstrap prowadzi do modelu: ale

30 30 Bootstrap w modelach regresji Rozwiązanie 1: niezależne i –losujemy z EDF lub losujemy z rozkładu parametrycznego lub przyjmujemy stałe w replikacjach –losujemy z reszt liczonych MNK lub losujemy z rozkładu parametrycznego np.

31 31 Bootstrap w modelach regresji Rozwiązanie 2: „wild bootstrap” –konstruujemy taki rozkład, że: –dla każdego symulujemy z rozkładu dwupunktowego

32 32 Metoda jackknife Umożliwia próbkowanie z oryginalnego, często nieznanego rozkładu –wybieramy podpróby ( m<n ) z próby ( n ) zwykle w sposób deterministyczny Bootstrap - próbkowanie z rozkładu empirycznego

33 33 „delete-1” jackknife Podpróby budujemy poprzez usunięcie 1 obsewacji ( m=n-1 ) Nie losujemy podprób, wybieramy wszystkie n możliwych podprób Podpróba bez i -tej obserwacji: x (i)

34 34 „delete-1” jackknife pojedyncza replikacja statystyki metodą jackknife: Na przykład: replikacja średniej Wyliczenie końcowej statystyki wymaga wyliczenia wszystkich n replikacji

35 35 „delete-1” jackknife Oszacowanie średniej metodą jacknife: Oszacowanie wariancji metodą jacknife Oszacowanie obciążenia estymatora

36 36 Jackknife w modelu regresji Oszacowanie parametrów MNK Oszacowanie jacknife: –w i -tej replikacji usuwamy parę x i, y i –obliczamy „pseudowartości” –oszacowanie parametrów (zwykle większa wariancja niż MNK) –szacunek wariancji parametrów zwykle obciążony

37 37 Problem Metoda „delete-1” jackknife nie nadaje się do wyliczania mediany, kwantyli, histogramu –niezgodne i asymptotycznie obciążone oszacowania dla funkcji statystyk niedostatecznie „gładkich” (ang. smooth, gdzie małe zmiany w danych powodują duże zmiany w wartości statystyki)

38 38 „delete-d” jackknife Podpróby budujemy poprzez usunięcie d obsewacji ( m=n-d ) Wybieramy wszystkie możliwe podpróby Do wyliczania kwantyli, histogramu wybieramy

39 39 „delete-d” jackknife Oszacowanie średniej metodą jacknife: Oszacowanie wariancji metodą jacknife

40 40 „delete-d” jackknife Możliwość zmniejszenia liczby replikacji –„balanced subsampling”: m<<J 1.Każdy i występuje w tej samej liczbie f podprób 2.Każda para ( i,j ), i < j, występuje razem w tej samej liczbie podprób –ewentualnie (ale gorsze własności) „grouped jacknife”: n=gh ( h – rozmiar grupy usuniętej z próby w i -tej replikacji, g – liczba grup)