Regresja nieparametryczna: estymatory jądrowe

Prezentacja na temat: "Regresja nieparametryczna: estymatory jądrowe"— Zapis prezentacji:

1 Regresja nieparametryczna: estymatory jądrowe

2 Literatura B. Hansen (2018) Econometrics, … rozdz. 17
+ wykład „NonParametric Econometrics” na jego stronie L. Gajek, M. Kałuszka (2000) Wnioskowanie statystyczne, WNT, rozdz. 5.5

3 Regresja nieparametryczna względem pojedynczej zmiennej
Warunkowa wartość oczekiwana: Nieznana postać funkcyjna Dwie popularne metody estymacji kernel estimators series estimators (w tym: spline estimators)

4 Przybliżenie wokół punktu x
Estymator funkcji warunkowej wartości oczekiwanej: Inny zapis:

5 Przykład Źródło: Hansen (2014), s. 244.
𝑥 𝑖 ~𝑁 4,1 , 𝑦 𝑖 | 𝑥 𝑖 ~𝑁 𝑚 𝑥 𝑖 ,16 , 𝑚 𝑥 =10ln⁡(𝑥) (1) uniform kernel, (2) Epanechnikov kernel

6 Regrersja jądrowa (kernel regression)
Funkcja jądrowa: Nadaraya-Watson (NW) estimator [kernel regression estimator, local constant estimator]:

7 Regresja jądrowa Typowe funkcje jądrowe R – „roughness”

8 Regresja jądrowa Własność estymatora NW:
dlatego „local constant estimator” Alternatywa: local linear (LL) estimator

9 Regresja jądrowa Estymator LL. Wzór: dla każdego 𝑥: gdzie:

10 Przykład Źródło: Hansen (2014), s. 248

11 Regresja jądrowa Reszty Problem:
Typowe rozwiązanie: „leave-one-out cross-validation”

12 Regresja jądrowa Podobnie dla modelu LL:

13 Regresja jądrowa Wybór parametru wygładzania h:
Kryterium kroswalidacji (cross-validation criterion) Reszta dla obserwacji 𝑖: Przeszukiwanie po kratownicy…

14 Przykład Źródło: Hansen (2014), s. 248

15 Regresja jądrowa Wariancja estymatora NW: Estymator wariancji:
Możliwość konstrukcji przedziału ufności:

16 Regresja jądrowa Wiele regresorów: Wielowymiarowa funkcja jądrowa:

17 Regresja jądrowa Estymator NW: Estymator LL:

18 Regresja częściowo parametryczna
Model ma postać: funkcja nieparametryczna część parametryczna nie może zawierać stałej, ani być deterministyczną funkcją

19 Regresja częściowo parametryczna
Cel: oszacować i Transformacja Robinsona (1988) wykorzystuje: Zdefiniujmy: czyli:

20 Regresja częściowo parametryczna
Transformacja Robinsona, c.d.: Odejmując od oryginalnego modelu otrzymamy: … i pozbywamy się Możemy zatem zapisać: … i wykorzystać to do szacowania

21 Regresja częściowo parametryczna
Estymator Robinsona: Oszacujmy i : Estymator ma postać: gdzie:

22 Regresja częściowo parametryczna
Asymptotyczne własności estymatora: wariancje można policzyć MNK

23 Regresja częściowo parametryczna
Estymator ma postać: szerokość pasma inna niż w pierwszym kroku błędy standardowe jak dla regresji nieparametrycznej