Ekonometryczne modele nieliniowe

Prezentacja na temat: "Ekonometryczne modele nieliniowe"— Zapis prezentacji:

1 Ekonometryczne modele nieliniowe
Wykład 4 NMNK, MNW, metody gradientowe

2 Literatura W. Greene (2012) Econometric Analysis, rozdz. 7.2 (str ) J. Hamilton (1994) Time Series Analysis, str. 133 – 151 Chung-Ming Kuan (2007) Introduction to Econometric Theory, Institute of Economics, Academia Sinica, rozdział 8 do znalezienia w internecie

3 Nieliniowa metoda najmniejszych kwadratów
Model regresji nieliniowej (l zmiennych, k parametrów): Przykład (1): Przykład (2):

4 Interpretacje ekonomiczne
Wpływ krańcowej zmiany x na y nie zawsze równy wartości parametru

5 Estymator NMNK Estymator minimalizuje sumę kwadratów reszt:
Warunek pierwszego rzędu: gdzie:

6 Założenia NMNK Warunkowa średnia dla wynosi: , a różniczkowalna
Identyfikowalność parametrów: nie istnieje takie, że Składnik losowy:

7 Założenia NMNK 1. i 2. moment z próby dążą do stałych z populacji, a ściśle egzogeniczny wobec Istnieje dobrze zdefiniowany rozkład prawdopodobieństwa dla ,

8 Założenia NMNK Jeśli można policzyć 2. pochodne
względem parametrów dla danych obserwacji (x i y) i macierz jest dodatnio określona, to minimum funkcji (sumy kwadratów reszt) można znaleźć. Możliwe wiele minimów lokalnych tej funkcji  parametry niekoniecznie „jednoznacznie” identyfikowalne (por. założenie 2)

9 Założenia NMNK Powyższe założenie analogiczne do założenia nr 1 w MNK (por. wykład 1): ponieważ dla modelu liniowego: 

10 Własności estymatorów NMNK
Zgodność Asymptotyczna normalność

11 Własności estymatorów NMNK
Estymator wariancji odporny na heteroskedastyczność: możliwe też estymatory typu Neweya-Westa Test Walda – analogiczny jak dla MNK:

12 Analogia do (quasi-) MNW
Estymator m. kowariancji dla MNW: gdzie:

13 Algorytmy dla NMNK i MNW
Grid search dobre wyniki, gdy poszukiwana wartość jednego parametru przydatna jako część innych metod

14 Algorytmy dla NMNK i MNW
Metoda „steepest ascent” (albo steepest descent) – najszybszego wzrostu (spadku) wartości startowe wektora parametrów θ: θ0 ustalamy długość kroku przy szukaniu optimum funkcji: szukamy maksimum przy warunkach:

15 Algorytmy dla NMNK i MNW
Langrange’an ma postać: Przyrównujemy pochodną po wektorze parametrów do zera: Niech g(θ) oznacza gradient (logarytmu) funkcji wiarygodności po parametrach, to wtedy:

16 Algorytmy dla NMNK i MNW
Jeżeli , to , czyli: Kolejne kroki: s może być wybrane przy pomocy metody „grid search", tak by maksymalizować wartość L(θ)

17 Algorytmy dla NMNK i MNW
Można wyprowadzić długość kroku i wzór na iteracje przyjmie postać: Problemy: wiele maksimów lokalnych – wypróbuj wiele wartości startowych jeśli hessian H nie jest dodatnio określoną macierzą to algorytm może wskazywać przybliżenia w złym kierunku

18 Algorytmy dla NMNK i MNW
Metoda Newtona-Raphsona Szybsza zwykle niż metoda „najszybszego spadku” jeśli spełnione są warunki: istnieją drugie pochodne funkcji L(θ), funkcja L(θ) jest wypukła, tzn. H(θ) jest macierzą dodatnio określoną na całej przestrzeni parametrów

19 Algorytmy dla NMNK i MNW
przybliżenie logarytmu funkcji wiarygodności przy pomocy szeregu Taylora: przyrównujemy pochodną po wektorze parametrów do zera: wyprowadzenie algorytmu: często stosuje się kroki o różnej długości:

20 Algorytmy dla NMNK i MNW
Metoda Gaussa-Newtona (tylko dla NMNK) gdzie oznacza gradient funkcji f po parametrach To przybliżenie macierzy H jest dodatnio określone. Można zastosować MNK do wyznaczenia kroku!

21 Algorytmy dla NMNK i MNW
Korekty na dodatnią określoność macierzy H używana w algorytmie „Marquardt-Levenberg” (c>0) metoda quasi-Newtona

22 Algorytmy dla NMNK i MNW
Davidon-Fletcher-Powell ułatwienie - nie trzeba liczyć hessianu w każdym kroku (jego wartość jest jedynie przybliżana)

23 Algorytmy dla NMNK i MNW
Zakończenie algorytmu lub po przekroczeniu pewnej liczby kroków

24 Symulowane wyżarzanie -simulated annealing
Wycięte z: Goffe, Ferrier, Rogers (1994)

25 Symulowane wyżarzanie (2)

26 Symulowane wyżarzanie (3)
Kryterium wyboru nowego punktu:

27 Algorytm Neldera-Meada
Wycięte z wikipedii (jest też polska wersja językowa) - minimalizacja:

28 Algorytm Neldera-Meada (2)

29 Algorytm Neldera-Meada (3)
Standardowe wartości parametrów: