Ekonometryczne modele nieliniowe

Prezentacja na temat: "Ekonometryczne modele nieliniowe"— Zapis prezentacji:

1 Ekonometryczne modele nieliniowe
Wykład 7 Modele łagodnego przejścia, sieci neuronowe w ekonometrii

2 Literatura Timo Teräsvirta, Specification, Estimation, and Evaluation of Smooth Transition Autoregressive Models, Journal of the American Statistical Association, Vol. 89, No. 425 (Mar., 1994), pp Dick van Dijk, Timo Teräsvirta and Philip Hans Franses, Smooth transition autoregressive models - A survey of recent developments, Econometric Reviews, 2002, vol. 21, issue 1, pp

3 Literatura Marcelo C. Medeiros & Timo Terasvirta, 2001, Statistical methods for modelling neural networks, Textos para discussão 445, Department of Economics PUC-Rio (Brazil). Timo Teräsvirta, Dick van Dijk, Marcelo C. Medeiros, Linear models, smooth transition autoregressions, and neural networks for forecasting macroeconomic time series: A re-examination, International Journal of Forecasting, Volume 21, Issue 4, 2005, pp

4 Literatura Książka: P.H. Frances, D. van Dijk, Non-linear time series models in empirical finance, Cambridge University Press, Cambridge, UK.

5 Przejście z modelu progowego…
Model z dwoma reżimami …inaczej zapisany

6 Model STR Smooth Transition (Auto-)Regression

7 Funkcja przejścia G – funkcja logistyczna gdy , to model liniowy
gdy , to model progowy

8 Funkcja przejścia G – funkcja eksponencjalna gdy , to model liniowy

9 Funkcja przejścia

10 Estymacja Teräsvirta (1994) „conditional least squares”:

11 Estymacja Estymator zgodny i asymptotycznie normalny
Problemy techniczne metody gradientowej: ESTR: silnie skorelowane z parametrami (bez stałej) standardyzuj wykładnik w G przez podzielenie go przez wariancję y ustal startową wartość , np. jeśli algorytm gradientowy nie zbiega, to „grid search” -

12 Estymacja Estymator zgodny i asymptotycznie normalny
Problemy techniczne metody gradientowej: LSTR: do oszacowania i gdy , to model TR (duży błąd oszacowania ) Skaluj parametry startowe (zmniejsz i zwiększ c [??]), podziel wykładnik w G przez odchylenie stand. y Jeśli algorytm gradientowy nie zbiega, to „grid search”- c

13 Estymacja Możliwa estymacja MNK pod warunkiem, że znane

14 Specyfikacja wybór modelu liniowego (np. AR(p))
testowanie liniowości modelu (przeciw STR) dla różnych zmiennych przejścia (transition variables) + wybór optymalnej zmiennej przejścia wybór między LSTR i ESTR

15 Testowanie modelu STR Hipotezy
Problem z parametrami nieidentyfikowalnymi przy H0  niestandardowe rozkłady statystyk testowych Problem z parametrami nieidentyfikowalnymi przy H0  niestandardowe rozkłady statystyk testowych

16 Testowanie modelu STR Luukkonen, Saikkonen, Teräsvirta (1988):
Rozwinięcie modelu STR w szereg Taylora wokół Zastosowanie testu LM

17 Testowanie LSTR Szereg Taylora 1. rzędu: Przy H0 …dlatego test LM

18 Testowanie LSTR c.d. Testowanie ( ) równoważne z
Standardowy test LM (szczegóły później) Nazywany tutaj: „LM-type test” Problem: kiedy , trzeba usunąć z „testowego” modelu regresji (współliniowość) test nie nadaje się do testowania zmian stałej

19 Testowanie LSTR c.d. Rozwiązanie: szereg Taylora 3. rzędu Test LM bez
lub uproszczona wersja: Test LM

20 Testowanie ESTR Rozwinięcie ESTR w szereg Taylora 1. rzędu:
lub uwzględniając 2 punkty przegięcia w ESTR – rozwinięcie 2. rzędu:

21 Testowanie ESTR c.d. Test typu LM

22 Obliczanie statystyk LM
Oszacuj model przy założeniu H0 Oszacuj „testową” regresję: y  x, xz Statystyka: lub w małych próbach:

23 Autokorelacja składnika losowego
Niech Oszacuj model STR i oblicz reszty Oblicz gdzie Oszacuj model liniowy i oblicz R-kwadrat: Rozszerzenie testu Godfreya (1979): H0: brak autokorelacji

24 Test pozostałej nieliniowości
Model rozszerzony: H0: lub Zamień G2 na rozwinięcie w szereg Taylora 3. rzędu: Po przekształceniu, H0:

25 Test pozostałej nieliniowości
Niech Oszacuj model STR i oblicz reszty Oblicz gdzie Oszacuj model liniowy i oblicz R-kwadrat: Statystyka LM

26 Wybór funkcji przejścia
Sekwencja testów (statystyki LM): Reguła decyzyjna: Jeśli empiryczny poziom istotności (p-value) najmniejszy dla H02 , to wybierz model ESTR Jeśli empiryczny poziom istotności najmniejszy dla H01 lub H03 , to wybierz model LSTR

27 Źródło: http://kik.pcz.czest.pl/nn/arch.php?art=3
Sieci neuronowe Źródło:

28 Sieci neuronowe Model z jedną warstwą ukrytą
Funkcja logistyczna F lub inna sigmoidalna

29 Sieci neuronowe Dokładne dopasowanie modelu do danych Prognozowanie
możliwe dowolnie dokładne przybliżenie funkcji ciągłej nie proces generujący dane, ale model przybliżający prawdziwy proces Prognozowanie Ekonomiczna interpretacja zależności? Nie.

30 Identyfikowalność parametrów
3 problemy z identyfikowalnością h! permutacji neuronów (funkcji przejścia) ma taką samą wartość funkcji wiarygodności dodatkowo: duża liczba funkcji przejścia Rozwiązanie: restrykcje: odpowiednia specyfikacja modelu

31 Budowa modelu Wybór zmiennych Wybór liczby funkcji przejścia
wymaga estymacji modelu

32 Budowa modelu Wybór zmiennych
przybliżenie sieci neuronowej przez wielomian k-tego rzędu szacowanie modeli i optymalizacja kryterium informacyjnego: AIC, SBIC

33 Estymacja modelu Metoda Największej Wiarygodności
równoważna: Nieliniowa MNK Przydatna reparametryzacja

34 Estymacja modelu Wektor parametrów
Standaryzowanie zmiennych wejściowych: Var(x)=1 Możliwość „koncentracji” funkcji wiarygodności – tzn. szacowanie parametrów w grupach

35 Estymacja c.d. Przyjmij za znane: Zbuduj macierz Z dla regresji:

36 Estymacja c.d. Szacuj parametry MNK:
Parametry szacuj minimalizując sumę kwadratów reszt algorytmy optymalizacji: BFGS, Levenberg-Marquardt

37 Wybór liczby funkcji przejścia
Metoda „od małego do dużego” dodawanie neuronów (hidden units) Testowanie czy h+1 neuron zbędny

38 Testowanie funkcji przejścia
Rozwinięcie modelu w szereg Taylora 3. rzędu: Oszacuj model z h neuronami i oblicz reszty Wyznacz wektor „score” Jeśli i nie są ortogonalne, to oszacuj regresję tych zmiennych i wyznacz reszty

39 Testowanie c.d. Oblicz Oszacuj regresję na i Oblicz reszty oraz

40 Testowanie c.d. Statystyka: W małych próbach:
z m stopniami swobody W małych próbach: ma w przybliżeniu rozkład F(m,T-n-m)

41 Ewaluacja modelu Testy aukorelacji, niestabilności parametrów
Analiza prognoz