Modelowanie zmiennej licznikowej

Prezentacja na temat: "Modelowanie zmiennej licznikowej"— Zapis prezentacji:

1 Modelowanie zmiennej licznikowej

2 Zmienna licznikowa Y= 0, 1, 2, 3, ... Na przykład liczba: przybyć klientów na godzinę do małego sklepu, zgłoszeń telefonicznych, zachorowań w danej grupie wypadków w ciągu dnia na danym skrzyżowaniu liczba bramek strzelonych w czasie meczu liczba dzieci w rodzinie Zmienna dyskretna przyjmująca małe wartości

3 Model regresji Poissona
Każda obserwacja Yi pochodzi z rozkładu Poissona z parametrem λi, który jest powiązany ze zmiennymi objaśniającymi xi.

4 Rozkład Poissona

5 Parametr λ Najczęściej stosowaną funkcją uzależniającą parametr λi od zmiennych xi jest model log-liniowy: Gdzie x’iβ jest funkcją liniową zawierającą wyraz wolny. Warunkowa wartość oczekiwana jak i warunkowa wariancja są równe:

6 Każda obserwacja z innego rozkładu Poissona
y λ1 λ2 λ3 λ4 λ5 x

7 Metoda szacowania Parametry modelu są szacowane metodą największej wiarygodności, gdzie maksymalizowana jest funkcja:

8 Rozkład Poissona Mimo, że model Poissona do pewnych kategorii danych wydaje się o wiele bardziej odpowiedni niż inne modele, to jednak wymaga on spełnienia dosyć trudnego założenia: wariancja zmiennej Yi powinna być równa jej wartości oczekiwanej. Jeśli wariancja jest większa od wartości oczekiwanej ( występuje tzw. overdispersion), to estymacje parametrów są nieefektywne <

9 Przykład 1 Teo, A. H. L. (2005), “Time in delinquency: implications for mortgage lending and MBS”, Briefings in Real Estate Finance VOL.4 NO.4 PP:275–289 Zastosowanie modelu Poissona do analizy nie spłacanych kredytów hipotecznych Yi - Liczba miesięcy nie spłacania rat kredytu przez gospodarstwa domowe w Singapurze ma rozkład Poissona Zbadanych zostało 647 kredytów hipotecznych, z których 133 miało w latach okres zawieszenia spłaty rat. O parametrze λi danego gospodarstwa domowego decydują zmienne objaśniające xi : zmienne charakteryzujące sam kredyt (stosunek kredytu do wartości nieruchomości, okres kredytowania, itp.), zmienne charakteryzujące nieruchomość (powierzchnia, piętro itp.) oraz zmienne charakteryzujące kredytobiorcę (stosunek raty do dochodu, długość zatrudnienia, wiek itp.).

10 Przykład 1 Zastosowanie modelu Poissona do analizy nie spłacanych kredytów hipotecznych

11 Przykład 2 Cheung, U. S. L., K.K.W. Yau, Y.V. Hui (2004), “The Effects of Attributes on the Repeat Sales Pattern of Residential Property in Hong Kong”, Journal of Real Estate Finance and Economics, 29:3, Zastosowanie modelu Poissona do analizy częstotliwości sprzedaży mieszkań Yi - liczba powtarzających się sprzedaży mieszkań w pewnej inwestycji w Honk Kongu w ciągu ośmiu lat. Większość mieszkań w tej inwestycji nie była ani razu powtórnie sprzedana (nabywca kupił je od dewelopera i odtąd w nim mieszkał), około 20% mieszkań było sprzedanych powtórnie tylko raz, około 10% zmieniło właściciela dwukrotnie. Przypadki większej liczby sprzedaży tego samego mieszkania były o wiele rzadsze. Zmienne objaśniające xi: np. piętro na jakim się znajduje mieszkanie, widok na morze

12 Przykład 2 Zastosowanie modelu Poissona do analizy częstotliwości sprzedaży mieszkań

13 Przykład 3

14 Przykład 4

15 Przykład 5 Plik -> liczba dzieci.dta
Zastosowanie modelu Poissona do analizy wpływu różnych czynników na liczbę dzieci w gospodarstwie domowym Plik -> liczba dzieci.dta Yi - jest liczbą dzieci w wieku do 6 lat w gospodarstwie domowym.

16 Obserwowany rozkład zmiennej
histogram dzieci_do6, discrete -> rozkład zmiennej zależnej

17 STATA – model regresji Poissona
bycie małżeństwem, posiadanie domu lub mieszkania na własność oraz wiek zwiększają oczekiwaną liczbę dzieci w gospodarstwie domowym, dochód jest nieistotny

18 Interpretacja Z wykorzystaniem ilorazu (factor change):
Oczekiwana liczba dzieci w wieku do 6 lat w gospodarstwie domowym, które jest małżeństwem jest 5 razy większa (exp(1,6)=4,96) niż w gospodarstwie, które nie jest małżeństwem.

19 Interpretacja Efekt krańcowy
Efekt krańcowy dla małżeństwa wynosi 0,66, co oznacza, że fakt bycia małżeństwem zwiększa oczekiwaną liczbę dzieci o 0,66 (dla średnich wartości pozostałych zmiennych objaśniających)

20 Efekt krańcowy

21 Model regresji ujemnej dwumianowej
Negative binomial model (negbin) Uogólnienie modelu Poissona Można zastosować wtedy, gdy wariancja zmiennej licznikowej jest większa niż jej wartość oczekiwana. < Przykład Liczba bezpośrednich inwestycji zagranicznych w poszczególnych rejonach państwa. Możemy próbować modelować liczbę inwestycji znając cechy charakterystyczne danego rejonu, jednak może się zdarzyć, że sam fakt lokalizacji jednej firmy przyciąga też inne. Nie jesteśmy wtedy w stanie dokładnie oszacować jaki jest wpływ zmiennych xi na parametr λ. Powstaje wtedy ”nadmierne rozproszenie” czyli pewna forma heteroskedastyczności.

22 Model regresji ujemnej dwumianowej
Uwzględnia nie obserwowaną heterogeniczność obserwacji. λi = exp(β0 + β1xi1 + β2xi2) Model Poissona ~ λi = exp(β0 + β1xi1 + β2xi2 + εi) = =exp(β0 + β1xi1 + β2xi2) exp(εi)= =exp(β0 + β1xi1 + β2xi2)ui zwiększona wariancja (niespełnione założenie)

23 Model regresji ujemnej dwumianowej
Jeśli zmienna licznikowa ma rozkład ujemny dwumianowy, to: Parametr α określa poziom rozproszenia (dispersion). Jeśli α=0, modele regresji ujemnej dwumianowej redukuje się do modelu poissona

24 Model regresji ujemnej dwumianowej
zmienne stałe

25 NBREG - parametry

26 Test na overdispersion
Hipoteza zerowa: = 0 (brak nadmiernego rozproszenia) Hipoteza alternatywna: > 0 (nadmierne rozproszenie) Test polega na porównaniu logarytmów modelu regresji Poissona (MP) i modelu regresji ujemnej dwumianowej (MRUD) Nie ma podstaw do odrzucenia hipotezy zerowej -> nie występuje zjawisko nadmiernego rozproszenia

27 Model z podwyższoną liczbą zer
Zero-inflated model Czasem zmienna licznikowa może mieć wyjątkowo dużą proporcję liczby zer. Wtedy model regresji Poissona jak i model regresji ujemnej dwumianowej będą niedoszacowywać zera. Przykład zmiennej: liczba wad w oprogramowaniu (zazwyczaj zero)

28 Model z podwyższoną liczbą zer
Model dzieli najpierw wszystkie obserwacje na dwie kategorie: IDEAL=1 obserwacje, dla których zmienna licznikowa z pewnością przyjmie wartość 0 IDEAL=0 obserwacje, które mają szanse przyjąć wartość 0, ale częściej przyjmą wartość większą niż 0 (nie-idealne moduły oprogramowania, w których liczba wad ma pewny stochastyczny rozkład, w tym przypadku rozkład Poissona).

29 Model z podwyższoną liczbą zer
Przynależność do grupy IDEAL może być modelowana za pomocą modelu logitowego lub probitowego Warunkowe prawdopodobieństwo, że zmienna Y przyjmie wartość yi, gdy obserwacja nie należy do grupy IDEAL: Ogólnie funkcja prawdopodobieństwa obserwowanej zmiennej licznikowej:

30 Model z podwyższoną liczbą zer

31 Model z podwyższoną liczbą zer
Test Vuong’a Porównuje model Poissona z podwyższoną liczbą zer ze zwykłym modelem Poissona. Polega na porównaniu prognozowanych przez oba modele prawdopodobieństw P1 – model z podwyższoną liczbą zer, P2 – zwykły model Poissona, N – liczba obserwacji, średnia mi, odchylenie standardowe mi V ma rozkład normalny, V>1,96 – pierwszy model lepszy, V<-1,96 – drugi model lepszy

32 Model z podwyższoną liczbą zer
V>1,96 zatem model z podwyższoną liczbą zer lepszy

33 Model z podwyższoną liczbą zer
Jeśli w gospodarstwie domowym co najmniej dwie osoby pracują, to prawdopodobieństwo znalezienia się w grupie A (brak dzieci) spada. Czyli zwiększa się prawdopodobieństo posiadania dzieci (są na to warunki materialne) Jednak fakt, że co najmniej dwie osoby pracują zmniejsza oczekiwaną liczbę dzieci (być może brak czasu na wychowywanie większej liczby dzieci ze względu na karierę zawodową kobiety

34 Zadania z kolokwium (2009 – 2011)

35 Zadanie 1

36

37 odpowiedzi 1. chemia 2. medycyna itd. Nie jest Jeden doktorant więcej -> oczekiwana liczba patenów rośnie o 9% vuong

38 Zadanie 2 Odpowiedzi Większa liczba miesięcy zmniejsza prawdopodobieństwo bezwypadkowości (inflate), zwiększa oczekiwaną liczbę wypadków (poisson) Statystyka testu > 1,96 więc lepiej dopasowany jest model uwzględniający podwyższoną liczbę zer w zmiennej objaśnianej Wariancja zmiennej objaśnianej jest większa od wartości oczekiwanej tc

39

40 Zadanie 3

41 Odpowiedzi Zmniejsza się szansa, że ani jednego dnia nie poświęca na aktywny wysiłek fizyczny. Zmniejsza się też oczekiwana liczba dni aktywnego wysiłku (co prawda zmienna jest istotna na poziomie 10%) Wzrost wartości zmiennej o jeden stopień (pogorszenie stanu zdrowia) powoduje zwiększenie szansy braku jakiegokolwiek wysiłku o 48% Jeśli wiek wzrośnie o 5 lat, to oczekiwana liczba dni wysiłku wzrasta o 9% Z podwyższoną liczbą zer

42 Zadanie 4 Jak zmieni się oczekiwana liczba pobytów w szpitalu w ciągu roku, jeśli wiek respondenta zwiększy się o 10 lat? 2. Jak zmieni się oczekiwana liczba pobytów w szpitalu w ciągu roku, jeśli roczny dochód respondenta spadnie o 1000 dolarów?

43 Odpowiedzi Wzrośnie dwukrotnie Wzrośnie 1,5 raza