Regresja nieparametryczna „series estimator”

Prezentacja na temat: "Regresja nieparametryczna „series estimator”"— Zapis prezentacji:

1 Regresja nieparametryczna „series estimator”

2 Literatura Bruce Hansen (2018) Econometrics, rozdział 18

3 Regresja nieparametryczna
Dwie główne metody estymacji Estymatory jądrowe Series estimators (estymatory szeregów???) Próba przybliżenia nieznanej funkcji warunkowej wartości oczekiwanej przez odpowiednio elastyczną funkcję parametryczną z nieznanymi parametrami , gdzie oznacza wielkość wektora

4 Regresja nieparametryczna
Liniowa aproksymacja szeregiem: gdzie to (nieliniowe) funkcje – funkcje bazowe (basis functions, basis function transformations) Dla pojedynczej zmiennej rzeczywistej najpopularniejsza liniowa aproksymacja szeregiem to wielomian rzędu p

5 Regresja nieparametryczna
Dla wielomian ma postać: czyli zawiera wszystkie potęgi i iloczyny zmiennych W praktyce wykorzystuje się wszystkie niepowtarzające się iloczyny funkcji bazowych

6 Funkcje sklejane (splines)
Inna popularna metoda aproksymacji wykorzystuje wielomiany ciągłe na odcinkach – funkcje sklejane (spline) zwykle wybiera się wielomiany rzędu 3 W celu zachowania gładkości funkcji zakłada się, że funkcja sklejana ma ciągłe pochodne zależne od rzędu wielomianów funkcji sklejanej: funkcja sklejana wielomianami kwadratowymi ma pierwszą ciągłą pochodną, funkcja sklejana wielomianami rzędu 3 ma 1. i 2. ciągłą pochodną

7 Funkcje sklejane (splines)
Miejsca złączenia wielomianów to węzły (knots), np. dla węzła w i dla funkcji liniowych: Funkcja jest ciągła wtedy i tylko wtedy gdy Wtedy mamy: …a po transformacji parametrów:

8 Funkcje sklejane (splines)
Kwadratowe funkcje sklejane w punkcie : Funkcja jest ciągła w jeśli i ma 1. pochodną ciągłą gdy Można ją wtedy zapisać jako: Podobnie można zapisać sklejenie wielomianów rzędu 3 z ciągłą drugą pochodną:

9 Funkcje sklejane (splines)
Ogólna postać funkcji rzędu p sklejanej w N punktach Zwykle traktuje się p jako stałe i manipuluje się liczbą węzłów N Zwykle rozkłada się węzły „równomiernie” na zbiorze ów

10 Częściowo liniowy model (partially linear model)
Niech CEF będzie liniowa względem wektora i nieliniowa względem ciągłej rzeczywistej zmiennej na przykład dla dyskretnych, binarnych zmiennych Można wtedy podmienić przez przybliżenie szeregiem: gdzie bazowa transformacja , ,

11 Addytywnie rozdzielane modele
Kiedy wektor jest wielowymiarowy można stosować uproszczenie: Zakładamy, że nie ma interakcji między zmiennymi w modelu Duża redukcja liczby parametrów do oszacowania. Teraz tylko

12 Regresja aproksymująca
Dla każdej obserwacji i obserwujemy i tworzymy wykorzystując funkcje transformacji Tworzymy macierze obserwacji i Wykorzystujemy MNK do oszacowania parametrów : Wtedy oszacowaniem funkcji regresji jest:

13 Reszty i jakość dopasowania regresji
Dla obserwacji i mamy oraz Reszty z oszacowania dane są wzorem: Można policzyć błędy predykcji (kroswalidacja): czyli Błędy predykcji lepsze niż reszty do oceny jakości dopasowania z uwagi na ryzyko „over-fitting” (gdy liczba elementów szeregu zbyt duża)

14 Reszty i jakość dopasowania regresji
Średniokwadratowy błąd predykcji (MSPE): Współczynnik determinacji dla predykcji:

15 Kryterium kroswalidacji i błędy oszacowań
Do wyboru liczby elementów szeregu możemy użyć MSPE: Jeżeli mamy 𝑝 zmiennych (po transformacji), to liczba modeli do sprawdzenia przy pomocy kryterium to 2 𝑝 Błędy oszacowań CEF w punkcie:

16 Porównanie estymatorów
Oba estymatory (kernel i series) asymptotycznie normalne Tempo zbieżność estymatorów także podobne Nieco łatwiej liczy się błędy szacunku w estymatorach szeregów Kiedy dużo zmiennych objaśniających, estymatory jądrowe łatwiejsze do szacowania (bo brak interakcji między zmiennymi) Estymatory szeregów pozwalają na łatwe nałożenie restrykcji na kształt CEF (np. monotoniczność, wklęsłość, wypukłość)