Nakładanie restrykcji na parametry modelu regresji

Literatura Prezentacja przygotowana na podstawie B. Hansen (2019) Econometrics, rozdz. 8

Restrykcje liniowe W modelu projekcji liniowej: można nałożyć liniowe restrykcje postaci: gdzie ma wymiary , oraz ma wymiary tzn. wszystkie ograniczenia są liniowo niezależne i nie ma zbędnych lub sprzecznych restrykcji

Restrykcje liniowe Przestrzeń parametrów: Przykładowa restrykcja: czyli: oraz

Metoda najmniejszych kwadratów z restrykcjami Estymator (constrained least squares) spełnia: Można wyprowadzić wzór stosując f. Lagrange’a:

Metoda najmniejszych kwadratów z restrykcjami Pierwsze pochodne cząstkowe = 0: Po przemnożeniu przez mamy: gdzie Po podstawieniu z drugiego warunku mamy:

Metoda najmniejszych kwadratów z restrykcjami Ważne jest, że oraz implikują Podstawiając jeszcze raz do pierwszego warunku otrzymujemy: co można też zapisać:

Metoda najmniejszych kwadratów z restrykcjami Reszty z regresji: Jeżeli restrykcje zerowe (wykluczające wybrane zmienne): w to można szacować pozostałe parametry MNK: Estymator MNK po wykluczeniu zmiennych jest identyczny jak MNK z restrykcjami.

Własności modeli regresji z restrykcjami liniowymi Rozważmy model regresji Można zapisać estymator i reszty jako funkcje składnika losowego:

Własności modeli regresji z restrykcjami liniowymi Estymator MNK z restrykcjami nieobciążony: Wariancja estymatora w modelu homoskedastycznym:

Własności modeli regresji z restrykcjami liniowymi Nieobciążony estymator tej wariancji można otrzymać wykorzystując: Wtedy średni błąd szacunku j-tego parametru:

Własności modeli regresji z restrykcjami liniowymi Przyjmijmy model: Wtedy:

Własności modeli regresji z restrykcjami liniowymi Zauważmy, że oraz nieskorelowane (czyli niezależne): Dodatkowo oraz to jest równanie Hausmanna różnica wariancji jest półdodatnio określona:

Estymator najmniejszej odległości Zdefiniujmy: Macierz wag ma wymiary Minimum distance estimator : Estymator MNK z restrykcjami jest szczególnym przypadkiem, kiedy Wtedy

Estymator najmniejszej odległości Wyprowadzamy stosując funkcję Lagrange’a: …i przyrównując pochodne do zera otrzymamy:

Asymptotyczne własności estymatora najmniejszej odległości Założenia: Wtedy estymator zgodny:

Asymptotyczne własności estymatora najmniejszej odległości Rozkład asymptotyczny estymatora

Asymptotyczne własności estymatora najmniejszej odległości I szczególny przypadek: MNK z restrykcjami

Wariancja estymatorów z restrykcjami Model heteroskedastyczny, reszty: Wariancja może być oszacowana: Wtedy estymator wariancji ma postać: …a estymator wariancji estymatora CLS:

Wariancja estymatorów z restrykcjami Można też policzyć średni błąd szacunku dla liniowej kombinacji (niezależnej od liniowych ograniczeń):

Efektywny estymator najmniejszej odległości Jeśli wstawimy To estymator efficient minimum distance estimator

Wariancja efektywnego estymatora najmniejszej odległości Wariancja estymatora CLS jest zwykle większa niż estymatora EMD, dlatego estymator MD efektywniejszy niż MNK, gdy restrykcje są prawdziwe.

Wariancja efektywnego estymatora najmniejszej odległości Reszty dla estymatora EMD: Estymator wariancji gdzie Estymator wariancji estymatora EMD: …a błąd szacunku :

Wariancja efektywnego estymatora najmniejszej odległości Po wyskalowaniu estymatorów mamy: oraz: równanie Hausmanna różnica asymptotycznych wariancji efektywnego i nieefektywnego estymatora