MNK – podejście algebraiczne

Prezentacja na temat: "MNK – podejście algebraiczne"— Zapis prezentacji:

1 MNK – podejście algebraiczne
Wykład 2

2 Literatura B. Hansen (2017) Econometrics, rozdz. 3

3 Plan Metoda Najmniejszych Kwadratów jako estymator metody momentów
Macierze projekcji i ortogonalnej projekcji Współczynnik determinacji Wpływowe obserwacje

4 Zmienne losowe i obserwacje
i-ta obserwacja zbiór obserwacji

5 Współczynnik liniowej projekcji
Równanie dla zmiennych losowych opisuje parametry, a nie ich oszacowania Liniowa projekcja na obserwacjach własność współczynnika: gdzie Rozwiązanie:

6 Szacowanie momentów Wartość oczekiwana Próba Estymator
Inne zastosowanie: Estymator:

7 Metoda momentów Inne zastosowanie Estymator wykorzystujący moment
Inny przykład – wariancja: Estymator wariancji:

8 Estymator MNK Funkcja momentu: gdzie Estymator współczynnika

9 Estymator MNK Suma kwadratów błędów projekcji liniowej Szukamy minimum

10 Estymator MNK Estymatory momentów populacji Estymator analogicznie

11 Estymator MNK Wartości teoretyczne (dopasowane, fitted values)
Reszty (residuals) czyli:

12 Własności MNK Z warunku na minimum A kiedy stała w modelu, to:
ponieważ A kiedy stała w modelu, to:

13 Estymator MNK Notacja macierzowa… …ułatwia zapis modelu:
…i estymatora: …i jego własności:

14 Macierz projekcji Zdefiniujmy macierz (projection matrix) Własność:
Dla każdej macierzy zachodzi: Dla zachodzi:

15 Własności macierzy projekcji
Macierz P symetryczna Idempotentna

16 Własności macierzy projekcji
Jeśli to Podobnie

17 Własności macierzy projekcji
Macierz projekcji Jej diagonalny element Dowód (3.25): Rząd P równy k

18 Projekcja ortogonalna
Zdefiniujmy macierz (orthogonal projection matrix) Własność: Własność (annihilation matrix) Własność M symetryczna M idempotentna

19 Projekcja ortogonalna
Ślad macierzy M Reszty modelu Przypomnienie: jeśli to Własność: ponieważ oraz

20 Estymacja wariancji błędu regresji
Wariancja błędu regresji jest funkcją momentu Estymator momentu … a ponieważ obserwowalne są reszty Zapis macierzowy

21 Estymacja wariancji błędu regresji
Wykorzystanie M Dlatego estymator wariancji można zapisać: Stąd własność:

22 Analiza wariancji Inny zapis y: Dekompozycja ortogonalna, bo:
Suma kwadratów: czyli: Odejmijmy średnią od dwóch stron:

23 Analiza wariancji Dalej: czyli: Współczynnik determinacji:

24 Predykcja i błędy predykcji
Estymator MNK po usunięciu i-tej obserwacji (Leave-one-out OLS estimator) Estymator inaczej: Predykcja i jej błąd:

25 Błędy predykcji Błąd predykcji inaczej:
Do zapisu wektorowego błędów potrzeba: Wtedy:

26 Błąd predykcji Średni błąd predykcji w próbie (sample mean squared prediction error) Średnio-kwadratowy błąd regresji poza próbą (out-of-sample mean quared error) Błąd standardowy predykcji (prediction standard error)

27 Wpływowe obserwacje Wpływowe obserwacje zmieniają oszacowania

28 Wpływowe obserwacje Różnica oszacowań parametrów Różnice w predykcjach
Prosta miara wpływu obserwacji

29 Koniec Dziękuję za uwagę

30 Składniki regresji Podzielmy X na bloki: Regresja Estymacja

31 Składniki regresji Macierz odwrotna gdzie Rozpiszmy estymator:

32 Składniki regresji Gdzie: Czyli: gdzie to ortogonalna projekcja
Analogicznie

33 Składniki regresji Dalej Estymatory

34 Regresja resztowa Dalej mamy: Schemat:

35 Przykład Przykład Regresja „odśredniona” na