Własności asymptotyczne ciągów zmiennych losowych Wykład nr 5

Zbieżność… …ciągu …nie zawsze istnieje, ale zawsze istnieją:

Zbieżność …ciągów zmiennych losowych z prawdopodobieństwem

Prawa wielkich liczb Nierówność Czebyszewa Przykład ==> czyli

Prawa wielkich liczb Słabe prawo wielkich liczb Zastosowanie: estymator zgodny

Prawa wielkich liczb Zbieżność prawie na pewno… …implikuje zbieżność z prawdopodobieństwem

Prawa wielkich liczb Mocne prawo wielkich liczb

Prawa wielkich liczb Dla wektora zmiennych miara euklidesowa: Równoważność założeń

Prawa wielkich liczb Wektor średnich z próby losowej Słabe prawo wielkich liczb dla wektorów…

Zbieżność …z dystrybuantą przydatna do przybliżania prawdziwych nieznanych rozkładów zmiennych losowych

Zbieżność z dystrybuantą Funkcja charakterystyczna zmiennej losowej Twierdzenie Lévy’ego-Craméra „o ciągłości”

Zbieżność z dystrybuantą Twierdzenie Craméra-Wolda

Centralne twierdzenie graniczne Interesuje nas przybliżenie rozkładu średniej Z SPWL wiemy, że ==> Przypomnijmy, że czyli Przeskalujmy:

Centralne twierdzenie graniczne Twierdzenie Lindeberga-Lévy'ego

Centralne twierdzenie graniczne Wersja dla różnych rozkładów

Centralne twierdzenie graniczne Jeśli i to

Centralne twierdzenie graniczne …dla zmiennych wielowymiarowych:

Centralne twierdzenie graniczne …i „uproszczenie”

Momenty wyższych rzędów Analizujemy transformację zmiennej losowej Estymator momentów:

Momenty wyższych rzędów …oraz dla wyskalowanej zmiennej

Funkcje momentów Rozpatrzmy teraz parametr będący funkcją momentów Na przykład: średnia geometryczna płac Przykład: wariancja zmiennej

Funkcje momentów Kolejny przykład: parametr skośności wtedy: oraz

Estymatory wykorzystujące funkcje momentów Estymatory „wtyczkowe” (plug-in estimators) zamiana nieznanego parametru przez jego szacunek Chcemy znać więc: liczymy podstawiamy

Estymatory wykorzystujące funkcje momentów Przykład: średnia geometryczna płac Przykład: wariancja zmiennej

Estymatory wykorzystujące funkcje momentów Przykład: parametr skośności krok 1: krok 2:

Estymatory wykorzystujące funkcje momentów Twierdzenie o zachowaniu granic przez funkcje ciągłe Przykład: jeżeli przy , to

Estymatory wykorzystujące funkcje momentów Twierdzenie Czyli estymatory „wtyczkowe” są zgodne dla ciągłych funkcji

Estymatory wykorzystujące funkcje momentów Rozszerzenie twierdzenia o zachowaniu granic

Estymatory wykorzystujące funkcje momentów Twierdzenia Słuckiego …to szczególny (i przydatny) przypadek CMT

Metoda delty Wcześniejsze teorie nie dają wiedzy o rozkładzie estymatora… Twierdzenie: metoda delty

Estymatory wykorzystujące funkcje momentów Połączenie twierdzeń Zgodność wymaga: skończonej średniej dla i ciągłej Asymptotyczna normalność wymaga: skończonej wariancji i ciągłej pochodnej z

Notacja Oznaczenia zbieżności zwykłych ciągów to przy to przy to ograniczony jednostajnie w , tzn. istnieje takie , że dla wszystkich to

Notacja Oznaczenia zbieżności ciągów zm. losowych to przy to Na przykład dla zgodnego estymatora mamy: to jest ograniczony w prawdopodobieństwie, tzn. dla dowolnego istnieje takie, że to:

Zbieżność ciągów zmiennych losowych Implikacja: --> Implikacja: --> dla takiego , że Przykład: --> Dla estymatora spełniającego mamy lub inaczej

Zbieżność ciągów zmiennych losowych Twierdzenie Ciąg losowy z ograniczonym momentem jest stochastycznie ograniczony

Zbieżność ciągów zmiennych losowych Własności zbieżnych ciągów losowych:

Półparametryczna efektywność Czy średnia z próby i estymator „wtyczkowy” są efektywnymi estymatorami? Kiedy znany jest rozkład zmiennej losowej, to czasami można znaleźć dokładniejszy estymator niż średnia z próby Interesuje nas sytuacja, kiedy rozkład nieznany

Półparametryczna efektywność Wiemy, że estymowany parametr jest skończenie wymiarowy i nic nie wiemy o innych cechach rozkładu Estymator półparametrycznie efektywny, kiedy ma najmniejszą asymptotyczną wariancję wśród półparametrycznych estymatorów

Półparametryczna efektywność Model półparametryczny można rozbić na zbiór modeli parametrycznych Dla modeli parametrycznych można znaleźć dolne ograniczenie wariancji Cramera-Rao. Dolne ograniczenie wariancji modelu semiparametrycznego zdefiniowane jako supremum indywidualnych ograniczeń wariancji

Półparametryczna efektywność Supremum wariancji Cramera-Rao z ograniczeń wariancji submodeli jest zawsze niższe lub równe asymptotycznej wariancji półparametrycznych estymatorów. to półparametryczne asymptotyczne ograniczenie lub semiparametryczne efektywne ograniczenie

Półparametryczna efektywność Twierdzenie o estymatorze średniej - klasa rozkładów ze skończoną wariancją

Półparametryczna efektywność Dla klasy modeli mamy twierdzenie dla „wtyczkowego” estymatora Czyli gładkie funkcje momentów z próby są efektywnymi estymatorami parametrów z populacji