MNK – podejście algebraiczne Wykład 2

Literatura B. Hansen (2017) Econometrics, rozdz. 3

Plan Metoda Najmniejszych Kwadratów jako estymator metody momentów Macierze projekcji i ortogonalnej projekcji Współczynnik determinacji Wpływowe obserwacje

Zmienne losowe i obserwacje i-ta obserwacja zbiór obserwacji

Współczynnik liniowej projekcji Równanie dla zmiennych losowych opisuje parametry, a nie ich oszacowania Liniowa projekcja na obserwacjach własność współczynnika: gdzie Rozwiązanie:

Szacowanie momentów Wartość oczekiwana Próba Estymator Inne zastosowanie: Estymator:

Metoda momentów Inne zastosowanie Estymator wykorzystujący moment Inny przykład – wariancja: Estymator wariancji:

Estymator MNK Funkcja momentu: gdzie Estymator współczynnika

Estymator MNK Suma kwadratów błędów projekcji liniowej Szukamy minimum

Estymator MNK Estymatory momentów populacji Estymator analogicznie

Estymator MNK Wartości teoretyczne (dopasowane, fitted values) Reszty (residuals) czyli:

Własności MNK Z warunku na minimum A kiedy stała w modelu, to: ponieważ A kiedy stała w modelu, to:

Estymator MNK Notacja macierzowa… …ułatwia zapis modelu: …i estymatora: …i jego własności:

Macierz projekcji Zdefiniujmy macierz (projection matrix) Własność: Dla każdej macierzy zachodzi: Dla zachodzi:

Własności macierzy projekcji Macierz P symetryczna Idempotentna

Własności macierzy projekcji Jeśli to Podobnie

Własności macierzy projekcji Macierz projekcji Jej diagonalny element Dowód (3.25): Rząd P równy k

Projekcja ortogonalna Zdefiniujmy macierz (orthogonal projection matrix) Własność: Własność (annihilation matrix) Własność M symetryczna M idempotentna

Projekcja ortogonalna Ślad macierzy M Reszty modelu Przypomnienie: jeśli to Własność: ponieważ oraz

Estymacja wariancji błędu regresji Wariancja błędu regresji jest funkcją momentu Estymator momentu … a ponieważ obserwowalne są reszty Zapis macierzowy

Estymacja wariancji błędu regresji Wykorzystanie M Dlatego estymator wariancji można zapisać: Stąd własność:

Analiza wariancji Inny zapis y: Dekompozycja ortogonalna, bo: Suma kwadratów: czyli: Odejmijmy średnią od dwóch stron:

Analiza wariancji Dalej: czyli: Współczynnik determinacji:

Predykcja i błędy predykcji Estymator MNK po usunięciu i-tej obserwacji (Leave-one-out OLS estimator) Estymator inaczej: Predykcja i jej błąd:

Błędy predykcji Błąd predykcji inaczej: Do zapisu wektorowego błędów potrzeba: Wtedy:

Błąd predykcji Średni błąd predykcji w próbie (sample mean squared prediction error) Średnio-kwadratowy błąd regresji poza próbą (out-of-sample mean quared error) Błąd standardowy predykcji (prediction standard error)

Wpływowe obserwacje Wpływowe obserwacje zmieniają oszacowania

Wpływowe obserwacje Różnica oszacowań parametrów Różnice w predykcjach Prosta miara wpływu obserwacji

Koniec Dziękuję za uwagę

Składniki regresji Podzielmy X na bloki: Regresja Estymacja

Składniki regresji Macierz odwrotna gdzie Rozpiszmy estymator:

Składniki regresji Gdzie: Czyli: gdzie to ortogonalna projekcja Analogicznie

Składniki regresji Dalej Estymatory

Regresja resztowa Dalej mamy: Schemat:

Przykład Przykład Regresja „odśredniona” na