Własności statystyczne regresji liniowej Wykład 4

Plan Własności zmiennych losowych Normalna regresja liniowa Własności regresji liniowej

Literatura B. Hansen (2017+) Econometrics, Rozdział 5

Własności zmiennych losowych

Przydatne kody w Matlabie CDF inv(CDF)

Własności zmiennych losowych Jeśli i to Jeśli i to , niecentralny rozkład chi kwadrat

Własności zmiennych losowych Jeśli to Jeśli i są niezależne, to

Własności zmiennych losowych Asymptotycznie T ma rozkład N(0,1) Dla r=1 rozkład Cauchy’ego można uzyskać jako iloraz niezależnych zmiennych z brak skończonych całkowitych momentów

Własności zmiennych losowych Jeśli i niezależne, to Jeśli , i , to

Własności zmiennych losowych Asymptotycznie: Jeśli i , to niecentralna zmienna F

Regresja liniowa Niech mają łączny rozkład normalny Najlepszy liniowa predykcja przez to: Z własności najlepszego liniowego predyktora Z Własności 1: mają łączny rozkład normalny, bo mają rozkład normalny

Regresja liniowa Z Własności 2: są niezależne Stąd: i czyli własności homoskedastycznej liniowej CEF

Normalna regresja liniowa Model Funkcja gęstości warunkowa na

Normalna regresja liniowa Funkcja wiarygodności dla regresji liniowej Łatwiej analizować logarytmy gdy obserwacje niezależne

Normalna regresja liniowa Estymator funkcji największej wiarygodności: Warunki pierwszego rzędu:

Normalna regresja liniowa Stąd wzory na estymatory parametrów: Zmaksymalizowany logarytm funkcji wiarygodności

Normalna regresja liniowa Własność składnika losowego: Ponieważ i obserwacje niezależne, to Dla estymatora MNK zachodzi: Stąd rozkład estymatora MNK:

Normalna regresja liniowa Rozkład estymatora MNK: i dla j-tego parametru:

Własności regresji liniowej Z własności reszt MNK: Dlatego: Łączny rozkład estymatora parametrów i reszt Wspólny wzór: Rozkład normalny z wariancją: kowariancja 0 ponieważ , gdy czyli estymator i reszty niezależne…

Własności regresji liniowej Niezależność i

Rozkład estymatora wariancji składnika losowego Ze wzoru na estymator: Można dokonać dekompozycji , gdzie i to macierz diagonalna wartości własnych (n-k jedynek i k zer): Niech i rozłóżmy

Rozkład estymatora wariancji składnika losowego Wtedy:

Statystyka t Wróćmy do j-tego parametru: Statystyka t: Rozkład statystyki t:

Przedziały ufności dla oszacowań parametrów Estymacja przedziałowa : Idea: z dużym prawdopodobieństwem Przedział ufności z prawdopodobieństwem Typowy wybór: Równoważnie:

Przedziały ufności dla oszacowań parametrów Prawdopodobieństwo pokrycia przez zbiór parametru : Ponieważ dla tej statystyki , To: Czyli prawdopodobieństwo pokrycia zależy tylko od przyjętego

Przedziały ufności dla oszacowań parametrów Dlatego dla prawdopodobieństwa pokrycia należy wybrać , czyli c to kwantyl rozkładu Przykład: c=2

Przedział ufności dla oszacowań wariancji składnika losowego Wiemy już, że: Dlatego lub inaczej Przedział ufności z prawdopodobieństwem

Test t Hipoteza zerowa: Statystyka testowa: Reguła decyzyjna: Poziom istotności = Prawdopodobieństwo odrzucenia prawdziwej hipotezy zerowej:

Test ilorazu wiarygodności Niech Testujemy przeciw Budujemy statystykę testową dla normalnego modelu liniowego Funkcja wiarygodności

Test ilorazu wiarygodności Oszacowania dla modelu ograniczonego: Stąd funkcja wirygodności: Statystyka testowa:

Test ilorazu wiarygodności Alternatywna statystyka: Rozkład statystyki przy założeniu prawdziwości

Własności funkcji wiarygodności Dla próby losowej Funkcja wiarygodności Prawdziwa wartość parametrów: Dlatego estymator parametrów:

Własności funkcji wiarygodności Gradient funkcji wiarygodności: Macierz informacji Fishera

Własności funkcji wiarygodności Twierdzenie Cramera-Rao Dla modelu liniowego

Własności funkcji wiarygodności Dlatego macierz Fishera ma postać: Ograniczenie Cramera-Rao: