Własności asymptotyczne metody najmniejszych kwadratów

Literatura Prezentacja przygotowana na podstawie: B. Hansen (2018) Econometrics, rozdz. 7

Założenia modelu Model projekcji: Parametr projekcji spełnia: Model zakłada losowe próbkowanie i skończone drugie momenty

Zgodność estymatora MNK Zauważmy, że: estymator MNK może być zapisany jako funkcja ciągła momentów z próby SPWL: momenty z próby dążą do momentów z populacji pomocne twierdzenie o zachowaniu granic przez funkcje ciągłe

Zgodność estymatora MNK Można też zapisać inaczej: oraz SPWL: Twierdzenie o zgodności estymatora MNK

Asymptotyczna normalność estymatora MNK Potrzebne wyskalowanie estymatora: tak by można było zastosować centralne twierdzenie graniczne (CTG) CTG wymaga dodatkowych założeń: ,

Asymptotyczna normalność estymatora MNK Z „wielowymiarowego” CTG mamy: Dlatego:

Asymptotyczna wariancja estymatora MNK Przypomnijmy, że: Po pomnożeniu: Czyli: oraz gdy Dla modelu homoskedastycznego:

Zgodność estymatora wariancji składnika losowego Zapiszmy reszty jako: Dlatego: Ponieważ to

Zgodność estymatora wariancji składnika losowego Wykorzystujemy SPWL: oraz: i dla Wtedy:

Szacowanie wariancji estymatora MNK W modelu homoskedastycznym: Naturalny estymator „wtyczkowy”: Pomocne twierdzenie o zachowaniu granic przez funkcje ciągłe:

Szacowanie wariancji estymatora MNK W modelu heteroskedastycznym: Estymator „wtyczkowy”: gdzie Można sprawdzić, że: Zapiszmy: Ze SPWL wynika: Nieco trudniej pokazać:

Szacowanie wariancji estymatora MNK Zgodny estymator: Zgodne są też estymatory HC1, HC2, HC3: Dla :

Funkcje parametrów Rozważmy ciągłą funkcję parametrów: oraz estymator: Z twierdzenia o zachowaniu granic przez funkcje ciągłe wynika:

Funkcje parametrów Wykorzystując metodę delty można też wyliczyć rozkład asymptotyczny:

Funkcje parametrów Przykład: liniowa funkcja parametrów Niech oraz gdzie czyli Wtedy W końcu

Funkcje parametrów Przykład: nieliniowa transformacja Niech dla Wtedy: oraz: itd…

Funkcje parametrów Estymator wariancji : …i homoskedastyczny: Ponieważ i to: czyli:

Asymptotyczne błędy standardowe Dla :

Statystyka t i |t| Niech Rozważmy statystykę Ponieważ i , to: Ponieważ , to z twierdzenia o zachowaniu granic przez funkcje ciągłe

Statystyka t i |t| Rozkład asymptotyczny

Przedziały ufności dla parametrów Przedziałowy estymator dla : inaczej przedział ufności (confidence interval) dla ustalonego prawdopodobieństwa pokrycia (coverage probability) , np. 0,95: Kiedy asymptotycznie normalny, to: gdzie to kwantyl rzędu zmiennej , czyli kwantyl rzędu z rozkładu N(0,1):

Przedziały ufności dla parametrów Równoważnie przedział ufności można zapisać jako zbiór , dla których Prawdopodobieństwo pokrycia dla asymptotyczne prawdopodobieństwo pokrycia np. daje 95,4% przedział ufności

Przedziały ufności dla regresji W regresji liniowej warunkowa wartość oczekiwana równa jest: Zauważmy, że i i , czyli Dlatego 95% przedział ufności dla to:

Przedziały ufności dla regresji Przykład (Hansen, 2018, str. 241-242):

Statystyka Walda Niech Rozważmy formę kwadratową: Ponieważ i , to: dla statystyka jest równa Ponieważ i , to:

Statystyka Walda Dla modelu homoskedastycznego:

Obszar ufności (confidence region) dla parametrów Obszar ufności - estymator dla zbioru punktów , gdzie ; zbiór w zawierający prawdziwą wartość parametru z ustalonym prawdopodobieństwem . Idealny obszar ufności ma prawdopodobieństwo pokrycia , ale trudno wyznaczyć. Można wyliczyć asymptotyczny obszar ufności.

Obszar ufności dla parametrów Dobrym wyborem jest zastosowanie twierdzenia dla statystyki Walda do wyznaczania asymptotycznego obszaru ufności: , to kwantyl rzędu rozkładu Wtedy: Obszar ufności jest wtedy elipsą.

Obszar ufności dla parametrów Przykład: policzono statystykę Walda oraz wartość 90% kwantyla rozkładu równą 4,605 Hansen, str. 245: