Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

1 Ekonometryczne modele nieliniowe Wykład 4 NMNK, MNW, metody gradientowe.

Podobne prezentacje


Prezentacja na temat: "1 Ekonometryczne modele nieliniowe Wykład 4 NMNK, MNW, metody gradientowe."— Zapis prezentacji:

1 1 Ekonometryczne modele nieliniowe Wykład 4 NMNK, MNW, metody gradientowe

2 2 Literatura W. Greene (2012) Econometric Analysis, rozdz. 7.2 (str ) J. Hamilton (1994) Time Series Analysis, str. 133 – 151 Chung-Ming Kuan (2007) Introduction to Econometric Theory, Institute of Economics, Academia Sinica, rozdział 8 –do znalezienia w internecie

3 3 Nieliniowa metoda najmniejszych kwadratów Model regresji nieliniowej ( l zmiennych, k parametrów): Przykład (1): Przykład (2):

4 4 Interpretacje ekonomiczne Wpływ krańcowej zmiany x na y nie zawsze równy wartości parametru

5 5 Estymator NMNK Estymator minimalizuje sumę kwadratów reszt: Warunek pierwszego rzędu: gdzie:

6 Założenia NMNK 1.Warunkowa średnia dla wynosi:, a różniczkowalna 2.Identyfikowalność parametrów: nie istnieje takie, że 3.Składnik losowy: 4. 6

7 Założenia NMNK 5.1. i 2. moment z próby dążą do stałych z populacji, a ściśle egzogeniczny wobec 6.Istnieje dobrze zdefiniowany rozkład prawdopodobieństwa dla, 7

8 8 Założenia NMNK Jeśli można policzyć 2. pochodne względem parametrów dla danych obserwacji ( x i y ) i macierz jest dodatnio określona, to minimum funkcji (sumy kwadratów reszt) można znaleźć. Możliwe wiele minimów lokalnych tej funkcji  parametry niekoniecznie „jednoznacznie” identyfikowalne (por. założenie 2)

9 9 Założenia NMNK Powyższe założenie analogiczne do założenia nr 1 w MNK (por. wykład 1): ponieważ dla modelu liniowego: 

10 10 Własności estymatorów NMNK Zgodność Asymptotyczna normalność

11 11 Własności estymatorów NMNK Estymator wariancji odporny na heteroskedastyczność: –możliwe też estymatory typu Neweya-Westa Test Walda – analogiczny jak dla MNK:

12 12 Analogia do (quasi-) MNW Estymator m. kowariancji dla MNW: gdzie:

13 13 Algorytmy dla NMNK i MNW Grid search –dobre wyniki, gdy poszukiwana wartość jednego parametru –przydatna jako część innych metod

14 14 Algorytmy dla NMNK i MNW Metoda „steepest ascent” (albo steepest descent) – najszybszego wzrostu (spadku) –wartości startowe wektora parametrów θ : θ 0 –ustalamy długość kroku przy szukaniu optimum funkcji: –szukamy maksimum przy warunkach:

15 15 Algorytmy dla NMNK i MNW –Langrange’an ma postać: –Przyrównujemy pochodną po wektorze parametrów do zera: –Niech g(θ) oznacza gradient (logarytmu) funkcji wiarygodności po parametrach, to wtedy:

16 16 Algorytmy dla NMNK i MNW –Jeżeli, to, czyli: –Kolejne kroki: – s może być wybrane przy pomocy metody „grid search", tak by maksymalizować wartość L(θ)

17 17 Algorytmy dla NMNK i MNW –Można wyprowadzić długość kroku i wzór na iteracje przyjmie postać: –Problemy: wiele maksimów lokalnych – wypróbuj wiele wartości startowych jeśli hessian H nie jest dodatnio określoną macierzą to algorytm może wskazywać przybliżenia w złym kierunku

18 18 Algorytmy dla NMNK i MNW Metoda Newtona-Raphsona –Szybsza zwykle niż metoda „najszybszego spadku” jeśli spełnione są warunki: istnieją drugie pochodne funkcji L(θ), funkcja L(θ) jest wypukła, tzn. H(θ) jest macierzą dodatnio określoną na całej przestrzeni parametrów

19 19 Algorytmy dla NMNK i MNW –przybliżenie logarytmu funkcji wiarygodności przy pomocy szeregu Taylora: –przyrównujemy pochodną po wektorze parametrów do zera: –wyprowadzenie algorytmu: –często stosuje się kroki o różnej długości:

20 20 Algorytmy dla NMNK i MNW Metoda Gaussa-Newtona (tylko dla NMNK) –gdzie oznacza gradient funkcji f po parametrach –To przybliżenie macierzy H jest dodatnio określone. –Można zastosować MNK do wyznaczenia kroku!

21 21 Algorytmy dla NMNK i MNW Korekty na dodatnią określoność macierzy H używana w algorytmie „Marquardt-Levenberg” ( c>0 ) metoda quasi-Newtona

22 22 Algorytmy dla NMNK i MNW Davidon-Fletcher-Powell –ułatwienie - nie trzeba liczyć hessianu w każdym kroku (jego wartość jest jedynie przybliżana)

23 23 Algorytmy dla NMNK i MNW Zakończenie algorytmu lub po przekroczeniu pewnej liczby kroków

24 Symulowane wyżarzanie -simulated annealing Wycięte z: Goffe, Ferrier, Rogers (1994) 24

25 Symulowane wyżarzanie (2) 25

26 Symulowane wyżarzanie (3) Kryterium wyboru nowego punktu: 26

27 Algorytm Neldera-Meada Wycięte z wikipedii (jest też polska wersja językowa) - minimalizacja: 27

28 Algorytm Neldera-Meada (2) 28

29 Algorytm Neldera-Meada (3) Standardowe wartości parametrów: 29


Pobierz ppt "1 Ekonometryczne modele nieliniowe Wykład 4 NMNK, MNW, metody gradientowe."

Podobne prezentacje


Reklamy Google