Modele (hipotezy) zagnieżdżone Porównywanie modeli Modele (hipotezy) zagnieżdżone Model o mniejszej liczbie parametrów jest szczególnym przypadkiem modelu o większej liczbie parametrów

Stosujemy test F, porównując wariancję odpowiadającą dopasowaniu rozszerzenia modelu 1 (uboższego) do reziduów z modelu 1 z wariancją z modelu 2 (bogatszego). Uwaga! Nie można przy pomocy tego testu porównywać wariancji z modelu 1 z wariancją z modelu 2 bo modele te zawierają część wspólną.

Modele (hipotezy) niezagnieżdżone Nie istnieje transformacja odwzorowująca jeden z porównywalnych modeli w drugi. Modele te mogą zawierać taką samą lub różną liczbę parametrów. W takim przypadku nie można używać “zwykłej” statystyki F do oceny, który z modeli lepiej pasuje do danych doświadczalnych. Można utworzyć model rozszerzony a następnie porównać z nim przy pomocy testu F każdy z modeli cząstkowych. Często jednak okazuje się, że żaden z modeli nie jest odróżnialny od modelu rozszerzonego.

Sposób bardziej ogólny Minimalizujemy F traktując parametry obu modeli (p i q) oraz l jako parametry minimalizacji. Następnie korzystamy z testów statystycznych (np. testu Studenta) aby określić przedział ufności l; kłopot powstaje jeżeli l wychodzi statystycznie różne od 0 albo 1.

Zasada największej wiarygodności (Maximum Likelihood Principle) Mamy próbę (x1,x2,...,xn) f(x,l): funkcja określająca rozkład gęstości prawdopodobieństwa, gdzie l jest zestawem parametrów rozkładu. Zasada największej wiarygodności: najlepsze l maksymalizuje prawdopodobieństwo wystąpienia próby. Ta zasada jest podstawą wszystkich metod estymowania parametrów rozkładu prawdopodobieństwa (a zatem i modelu matematycznego) z próby danych.

Ponieważ poszczególne elementy próby są niezależne iloraz wiarygodności funkcja wiarygodności

Właściwości asymptotyczne funkcji wiarygodności Dla dużych prób

Przypadek wielowymiarowy

Dla dużych prób rozkład parametrów staje się rozkładem normalnym z macierzą wariancji-kowariancji B. Jeżeli jednak liczebność próby jest ograniczona to odchylenia od normalności rozkładu mogą być znaczne.

Przykład zastosowania zasady największej wiarygodności: obliczanie wartości średniej przy założeniu, że rozkład prawdopodobieństwa jest rozkładem normalnym

Test ilorazu wiarygodności Coxa LF – wartość funkcji wiarygodności dla hipotezy HF LG – wartość ilorazu wiarygodności dla hipotezy HG.

Jeżeli hipoteza Hf jest prawdziwa, to zmienna Tf ma rozkład normalny z wartością średnią 0 i wariancją daną powyższym wzorem. W przeciwnym przypadku Tf jest istotnie mniejsze od 0. Uwaga! W przypadku gdy funkcja rozkładu gęstości prawdopodobieństwa odpowiada regresji jej logarytm jest minus sumą kwadratów odchyleń!

Przypadek regresji

Wariancja Tn

Literatura na temat testu Coxa Podstawowe sformułowanie dla przypadków ogólnych: D.R. Cox, Tests of separate families of hypotheses. Proc. 4th Berkeley Symp. 1, 105-123 (1961). D.R. Cox, Further results of separate families of hypotheses. J. Royal Stat. Soc. B, 24, 406-424 (1962). Porównywanie różnych modeli regresji liniowej: G.R. Fisher, Tests for two separate regressions, J. Econom., 21, 117-132 (1983) Porównywanie różnych modeli regresji nieliniowej: V. Aguirre-Torres, R. Gallant, The null and non-null asymptotic distribution of the Cox test for multivariate nonlinear regression. J. Econometrics, 21, 5-33 (1983).

Programy na zaliczenie Program regresji liniowej y=ax+b w przypadku gdy obie zmienne są obarczone błędem. Program obliczający poziom ufności w teście Coxa porównywania dwóch niezagnieżdżonych modeli regresji (liniowej lub nieliniowej). Program dopasowujący sumę gaussianów do widma absorpcyjnego metodą regresji nieliniowej.