Regresja nieparametryczna „series estimator”

Literatura Bruce Hansen (2018) Econometrics, rozdział 18

Regresja nieparametryczna Dwie główne metody estymacji Estymatory jądrowe Series estimators (estymatory szeregów???) Próba przybliżenia nieznanej funkcji warunkowej wartości oczekiwanej przez odpowiednio elastyczną funkcję parametryczną z nieznanymi parametrami , gdzie oznacza wielkość wektora

Regresja nieparametryczna Liniowa aproksymacja szeregiem: gdzie to (nieliniowe) funkcje – funkcje bazowe (basis functions, basis function transformations) Dla pojedynczej zmiennej rzeczywistej najpopularniejsza liniowa aproksymacja szeregiem to wielomian rzędu p

Regresja nieparametryczna Dla wielomian ma postać: czyli zawiera wszystkie potęgi i iloczyny zmiennych W praktyce wykorzystuje się wszystkie niepowtarzające się iloczyny funkcji bazowych

Funkcje sklejane (splines) Inna popularna metoda aproksymacji wykorzystuje wielomiany ciągłe na odcinkach – funkcje sklejane (spline) zwykle wybiera się wielomiany rzędu 3 W celu zachowania gładkości funkcji zakłada się, że funkcja sklejana ma ciągłe pochodne zależne od rzędu wielomianów funkcji sklejanej: funkcja sklejana wielomianami kwadratowymi ma pierwszą ciągłą pochodną, funkcja sklejana wielomianami rzędu 3 ma 1. i 2. ciągłą pochodną

Funkcje sklejane (splines) Miejsca złączenia wielomianów to węzły (knots), np. dla węzła w i dla funkcji liniowych: Funkcja jest ciągła wtedy i tylko wtedy gdy Wtedy mamy: …a po transformacji parametrów:

Funkcje sklejane (splines) Kwadratowe funkcje sklejane w punkcie : Funkcja jest ciągła w jeśli i ma 1. pochodną ciągłą gdy . Można ją wtedy zapisać jako: Podobnie można zapisać sklejenie wielomianów rzędu 3 z ciągłą drugą pochodną:

Funkcje sklejane (splines) Ogólna postać funkcji rzędu p sklejanej w N punktach Zwykle traktuje się p jako stałe i manipuluje się liczbą węzłów N Zwykle rozkłada się węzły „równomiernie” na zbiorze -ów

Częściowo liniowy model (partially linear model) Niech CEF będzie liniowa względem wektora i nieliniowa względem ciągłej rzeczywistej zmiennej na przykład dla dyskretnych, binarnych zmiennych Można wtedy podmienić przez przybliżenie szeregiem: gdzie bazowa transformacja , ,

Addytywnie rozdzielane modele Kiedy wektor jest wielowymiarowy można stosować uproszczenie: Zakładamy, że nie ma interakcji między zmiennymi w modelu Duża redukcja liczby parametrów do oszacowania. Teraz tylko

Regresja aproksymująca Dla każdej obserwacji i obserwujemy i tworzymy wykorzystując funkcje transformacji Tworzymy macierze obserwacji i Wykorzystujemy MNK do oszacowania parametrów : Wtedy oszacowaniem funkcji regresji jest:

Reszty i jakość dopasowania regresji Dla obserwacji i mamy oraz Reszty z oszacowania dane są wzorem: Można policzyć błędy predykcji (kroswalidacja): czyli Błędy predykcji lepsze niż reszty do oceny jakości dopasowania z uwagi na ryzyko „over-fitting” (gdy liczba elementów szeregu zbyt duża)

Reszty i jakość dopasowania regresji Średniokwadratowy błąd predykcji (MSPE): Współczynnik determinacji dla predykcji:

Kryterium kroswalidacji i błędy oszacowań Do wyboru liczby elementów szeregu możemy użyć MSPE: Jeżeli mamy 𝑝 zmiennych (po transformacji), to liczba modeli do sprawdzenia przy pomocy kryterium to 2 𝑝 Błędy oszacowań CEF w punkcie:

Porównanie estymatorów Oba estymatory (kernel i series) asymptotycznie normalne Tempo zbieżność estymatorów także podobne Nieco łatwiej liczy się błędy szacunku w estymatorach szeregów Kiedy dużo zmiennych objaśniających, estymatory jądrowe łatwiejsze do szacowania (bo brak interakcji między zmiennymi) Estymatory szeregów pozwalają na łatwe nałożenie restrykcji na kształt CEF (np. monotoniczność, wklęsłość, wypukłość)