Analiza reszt w regresji

Reszty losowe, sformułowanie problemu Powiedzmy, że rozpatrywana przez nas zmienna losowa Y jest normalna o wartości oczekiwanej będącej funkcją jednej lub wielu zmiennych niezależnych (objaśniających) oraz stałej wariancji dla dowolnych kombinacji tych zmiennych W wielu zastosowaniach praktycznych nie mamy jednoznacznej informacji o postaci wartości oczekiwanej: dr Janusz Górczyński, WSZiM

Reszty losowe, sformułowanie problemu Oznacza to, że eksperymentator a priori zakłada jakąś postać modelu, co w jakimś stopniu wynika z dotychczasowej wiedzy o przebiegu badanego zjawiska. Powiedzmy, że wartość oczekiwana zmiennej losowej Y jest funkcją f rozpatrywanych zmiennych objaśniających: Parametry funkcji f muszą być ustalone metodą NK na podstawie odpowiedniej próby losowej. Otrzymamy ocenę modelu z próby: dr Janusz Górczyński, WSZiM

Pytanie, czy funkcja f jest dobrze wybrana? Na etapie estymacji modelu nie jesteśmy w stanie ocenić, czy model został poprawnie wybrany (być może inny model lepiej opisuje zachowanie zmiennej losowej Y). Załóżmy, że model został dobrze wybrany. Jeżeli tak, to wartości obserwowane zmiennej losowej Y powinny być przypadkowo rozrzucone wokół funkcji regresji. Inaczej mówiąc część obserwacji będzie mieć wartości mniejsze od wynikających z modelu, a część większe. Niech oznacza reszty losowe, czyli różnice między wartościami obserwowanymi a teoretycznymi zmiennej losowej Y dr Janusz Górczyński, WSZiM

Pytanie, czy funkcja f jest dobrze wybrana? Jeżeli funkcja f jest dobrze określona względem wybranej zmiennej objaśniającej, to rozkład wektora reszt e, uporządkowanego rosnąco względem tej wybranej zmiennej, powinien być losowy (przypadkowy). Testem statystycznym, który możemy zastosować do weryfikacji o losowości rozkładu reszt jest test serii. Podstawą konstrukcji testu serii badającego losowość reszt jest pojęcie serii – ciągu reszt wyłącznie dodatnich lub ujemnych w uporządkowa-nym rosnąco, względem wybranej zmiennej, wektorze reszt. Przykładowo, w ciągu reszt + + - - - + + - + - - + mamy 7 serii. dr Janusz Górczyński, WSZiM

Badanie losowości reszt - test serii Weryfikacja hipotezy o losowości rozkładu odchyleń od modelu (reszt) ma na celu ocenę trafności doboru postaci analitycznej modelu. Weryfikujemy hipotezę zerową: wobec Punktem wyjścia do weryfikacji tak sformułowanej hipotezy zerowej jest ciąg reszt uszeregowanych wg rosnącej wartości zmiennej niezależnej (w modelu z wieloma zmiennymi dla wybranej zmiennej objaśniającej). Dla tak uporządkowanego wektora reszt e oblicza się liczbę serii S oraz liczbę reszt dodatnich n1 i liczbę reszt ujemnych n2. dr Janusz Górczyński, WSZiM

Badanie losowości reszt - test serii Z tablic testu liczby serii dla danej liczby reszt dodatnich n1, liczby reszt ujemnych n2 oraz przyjętego poziomu istotności  odczytujemy dwie wartości krytyczne liczby serii: Wnioskowanie: To nie mamy podstaw do odrzucenia hipotezy zerowej H0 Jeżeli Merytorycznie oznacza to tyle, że względem wybranej zmiennej model jest dobrze określony. Jeżeli lub to hipoteza H0 powinna zostać odrzucona, tym samym model względem wybranej zmiennej jest źle określony i powinien być zmieniony. dr Janusz Górczyński, WSZiM

dr Janusz Górczyński, WSZiM Test serii, duża próba Wartości krytyczne testu serii zostały wyznaczone jedynie dla liczby reszt dodatnich i ujemnych nie większych od 20. Przy dużych próbach losowych powinniśmy skorzystać z możliwości standaryzacji rozkładu liczby serii S. Dla dużej próby ocenami wartości oczekiwanej i odchylenia standardowego liczby serii S są odpowiednio: ma rozkład N(0; 1) Tym samym zmienna dr Janusz Górczyński, WSZiM

dr Janusz Górczyński, WSZiM Test serii, duża próba Tym samym weryfikacja hipotezy Sprowadza się do weryfikacji Którą przeprowadzamy w sposób standardowy poprzez sprawdzenie, czy wartość zS należy do obszaru krytycznego. dr Janusz Górczyński, WSZiM

Test serii, przykład źle i dobrze dobranego modelu dr Janusz Górczyński, WSZiM

Test serii, przykład zastosowań Prześledzimy dobór modelu funkcji regresji, który ma opisać zależność wielkości zbioru zbóż (w tys. Ton – zmienna Y) od dwóch wybranych zmiennych niezależnych: x1 – użytki rolne w tys. ha, x2 to liczba pracujących w rolnictwie w tys. osób. Poszukiwana funkcja może być opisana zależnością potęgową postaci: Estymacja parametrów tego modelu wymaga jego wcześniejszej linearyzacji (obustronnego zlogarytmowania logarytmem np. naturalnym. dr Janusz Górczyński, WSZiM

Test serii, przykład zastosowań - dane dr Janusz Górczyński, WSZiM

Test serii, przykład, dane po transformacji dr Janusz Górczyński, WSZiM

Test serii, przykład, estymacja modelu Do estymacji modelu wykorzystamy arkusz RegresjaNowa.xls, z jego pomocą wyznaczymy także wartości teoretyczne zmiennej losowej Y dla obserwowanych wartości zmiennych niezależnych Przed wywołaniem procedury „Regresja wielokrotna” musimy trochę inaczej zapisać dane logarytmowane – muszą po prostu tworzyć jeden zwarty obszar. Ja zapisałem je w obszarze I2:K33 Na kilku kolejnych slajdach będą pokazane kolejne kroki pracy nad wyestymowaniem parametrów założonego modelu funkcji regresji. dr Janusz Górczyński, WSZiM

Estymacja modelu, krok 1, podanie zakresu zmiennych dr Janusz Górczyński, WSZiM

Estymacja modelu, krok 2, określenie roli zmiennych dr Janusz Górczyński, WSZiM

Estymacja modelu, regresja krokowa, model wyjściowy dr Janusz Górczyński, WSZiM

Estymacja modelu, regresja krokowa, model jest dobrany dr Janusz Górczyński, WSZiM

Wyniki estymacji modelu dr Janusz Górczyński, WSZiM

Wykorzystanie procedury „Prognoza” dr Janusz Górczyński, WSZiM

dr Janusz Górczyński, WSZiM Wyniki prognozy dr Janusz Górczyński, WSZiM

Wyznaczenie wektora reszt (sortowany wg ln(x1)) dr Janusz Górczyński, WSZiM

Wykorzystanie arkusza TestSerii.xls Wyznaczony na poprzednim slajdzie wektor reszt przeniesiemy teraz, via schowek Windows, do specjalnie przygotowanego arkusza o nazwie TestSerii.xls Zadaniem formuł tego arkusza jest weryfikacja hipotezy o losowości wektora reszt. Weryfikacja wykonywana jest przedstawionym wcześniej testem serii z automatycznym przejściem na zmienną standardową z wtedy, gdy próba jest duża. Wektor reszt umieszczony w schowku Windows powinien być wklejony od komórki A1 arkusza „ArkuszObliczeniowy” skoroszytu TestSerii, z reguły poprzez polecenie „Wklej specjalnie/wartości” z uwagi na wyznaczenie reszt formułami. dr Janusz Górczyński, WSZiM

Wykorzystanie arkusza TestSerii.xls dr Janusz Górczyński, WSZiM

Wykorzystanie arkusza TestSerii.xls W naszym przypadku, z uwagi na dużą próbę i brak w tablicach wartości krytycznych testu serii dla n1=19 i n2=13 nastąpiło automatyczne przejście na test z. Wymagało to oszacowania wartości oczekiwanej i odchylenia rozkładu serii, a następnie wyznaczenia empirycznej wartości z. Weryfikowana hipoteza zakłada, że z = 0, p-value dla tej hipotezy jest bardzo duże i znacznie przekracza standardowy poziom istotności (0,05), tym samym NIE MAMY podstaw do odrzucenia hipotezy o losowości reszt. Wniosek merytoryczny: model funkcji regresji jest poprawnie dobrany. dr Janusz Górczyński, WSZiM

Przykład liczbowy do pobrania W folderze download\Ekonometria\Zadania znajduje się arkusz excela o nazwie ZobaczModelProdukcji.xls Zakładka „Dane” zawiera wyjściowe dane eksperymentalne (kolumny A-C), w kolumnach I-K są logarytmy naturalne tych danych, a w kolumnach N-P są dane logarytmowane, ale posortowane narastająco względem zmiennej ln(x1) – dla potrzeb wyznaczenia wektora reszt. Zakładka „Model” zawiera wyniki estymacji modelu potęgowego uzyskane metodą regresji krokowej wraz z prognozą dla obserwo-wanych wartości zmiennych niezależnych (dokładniej – ln(x1)) oraz wyznaczonym wektorem reszt e. Obliczenia testu serii robione są już w standardowym arkuszu TestSerii.xls dr Janusz Górczyński, WSZiM

Badanie nieobciążoności Badanie nieobciążoności odchyleń losowych modelu przeprowadza się dla modeli nieliniowych. Weryfikujemy hipotezę: Statystyka testowa oparta jest o rozkład t-Studenta: gdzie Przy prawdziwości hipotezy zerowej podana statystyka ma rozkład t-Studenta z liczbą stopni swobody v = n -1 dr Janusz Górczyński, WSZiM

Badanie autokorelacji Pod pojęciem autokorelacji odchyleń losowych rozumiemy liniową zależność między odchyleniami losowymi z różnych okresu czasu. Miarą siły i kierunku autokorelacji odchyleń losowych et i et- jest współczynnik korelacji rzędu : dr Janusz Górczyński, WSZiM

Badanie autokorelacji Hipotezę o braku autokorelacji możemy weryfikowana testem Durbina-Watsona lub klasycznym testem t-Studenta: Przy prawdziwości hipotezy zerowej tak sformułowana statystyka ma rozkład t-Studenta z liczbą stopni swobody v = n--2 dr Janusz Górczyński, WSZiM