Własności statystyczne regresji liniowej

Prezentacja na temat: "Własności statystyczne regresji liniowej"— Zapis prezentacji:

1 Własności statystyczne regresji liniowej
Wykład 4

2 Plan Własności zmiennych losowych Normalna regresja liniowa
Własności regresji liniowej

3 Literatura B. Hansen (2017+) Econometrics, Rozdział 5

4 Własności zmiennych losowych

5 Przydatne kody w Matlabie
CDF inv(CDF)

6 Własności zmiennych losowych
Jeśli i to Jeśli i to , niecentralny rozkład chi kwadrat

7 Własności zmiennych losowych
Jeśli to Jeśli i są niezależne, to

8 Własności zmiennych losowych
Asymptotycznie T ma rozkład N(0,1) Dla r=1 rozkład Cauchy’ego można uzyskać jako iloraz niezależnych zmiennych z brak skończonych całkowitych momentów

9 Własności zmiennych losowych
Jeśli i niezależne, to Jeśli , i , to

10 Własności zmiennych losowych
Asymptotycznie: Jeśli i , to niecentralna zmienna F

11 Regresja liniowa Niech mają łączny rozkład normalny
Najlepszy liniowa predykcja przez to: Z własności najlepszego liniowego predyktora Z Własności 1: mają łączny rozkład normalny, bo mają rozkład normalny

12 Regresja liniowa Z Własności 2: są niezależne
Stąd: i czyli własności homoskedastycznej liniowej CEF

13 Normalna regresja liniowa
Model Funkcja gęstości warunkowa na

14 Normalna regresja liniowa
Funkcja wiarygodności dla regresji liniowej Łatwiej analizować logarytmy gdy obserwacje niezależne

15 Normalna regresja liniowa
Estymator funkcji największej wiarygodności: Warunki pierwszego rzędu:

16 Normalna regresja liniowa
Stąd wzory na estymatory parametrów: Zmaksymalizowany logarytm funkcji wiarygodności

17 Normalna regresja liniowa
Własność składnika losowego: Ponieważ i obserwacje niezależne, to Dla estymatora MNK zachodzi: Stąd rozkład estymatora MNK:

18 Normalna regresja liniowa
Rozkład estymatora MNK: i dla j-tego parametru:

19 Własności regresji liniowej
Z własności reszt MNK: Dlatego: Łączny rozkład estymatora parametrów i reszt Wspólny wzór: Rozkład normalny z wariancją: kowariancja 0 ponieważ , gdy czyli estymator i reszty niezależne…

20 Własności regresji liniowej
Niezależność i

21 Rozkład estymatora wariancji składnika losowego
Ze wzoru na estymator: Można dokonać dekompozycji , gdzie i to macierz diagonalna wartości własnych (n-k jedynek i k zer): Niech i rozłóżmy

22 Rozkład estymatora wariancji składnika losowego
Wtedy:

23 Statystyka t Wróćmy do j-tego parametru: Statystyka t:
Rozkład statystyki t:

24 Przedziały ufności dla oszacowań parametrów
Estymacja przedziałowa : Idea: z dużym prawdopodobieństwem Przedział ufności z prawdopodobieństwem Typowy wybór: Równoważnie:

25 Przedziały ufności dla oszacowań parametrów
Prawdopodobieństwo pokrycia przez zbiór parametru : Ponieważ dla tej statystyki , To: Czyli prawdopodobieństwo pokrycia zależy tylko od przyjętego

26 Przedziały ufności dla oszacowań parametrów
Dlatego dla prawdopodobieństwa pokrycia należy wybrać , czyli c to kwantyl rozkładu Przykład: c=2

27 Przedział ufności dla oszacowań wariancji składnika losowego
Wiemy już, że: Dlatego lub inaczej Przedział ufności z prawdopodobieństwem

28 Test t Hipoteza zerowa: Statystyka testowa: Reguła decyzyjna:
Poziom istotności = Prawdopodobieństwo odrzucenia prawdziwej hipotezy zerowej:

29 Test ilorazu wiarygodności
Niech Testujemy przeciw Budujemy statystykę testową dla normalnego modelu liniowego Funkcja wiarygodności

30 Test ilorazu wiarygodności
Oszacowania dla modelu ograniczonego: Stąd funkcja wirygodności: Statystyka testowa:

31 Test ilorazu wiarygodności
Alternatywna statystyka: Rozkład statystyki przy założeniu prawdziwości

32 Własności funkcji wiarygodności
Dla próby losowej Funkcja wiarygodności Prawdziwa wartość parametrów: Dlatego estymator parametrów:

33 Własności funkcji wiarygodności
Gradient funkcji wiarygodności: Macierz informacji Fishera

34 Własności funkcji wiarygodności
Twierdzenie Cramera-Rao Dla modelu liniowego

35 Własności funkcji wiarygodności
Dlatego macierz Fishera ma postać: Ograniczenie Cramera-Rao: