Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Seminarium magisterskie Zajęcia czwarte – budowanie scenariusza kontrfaktycznego – podejście pierwsze.

Podobne prezentacje


Prezentacja na temat: "Seminarium magisterskie Zajęcia czwarte – budowanie scenariusza kontrfaktycznego – podejście pierwsze."— Zapis prezentacji:

1 Seminarium magisterskie Zajęcia czwarte – budowanie scenariusza kontrfaktycznego – podejście pierwsze.

2 Krótka opowieść motywująca:  Badanie MPiPS w Polsce z 2006 roku o skutkach z wdrażania tzw. SPO RZL  Podstawowy komunikat: dzięki SPO RZL pracę w Polsce znalazło ponad 50% bezrobotnych  Fakty: 50% objętych działaniami (bo tylko ci podlegali ewaluacji) tylko 90% ukończyło jakikolwiek program z tych, którzy ukończyli, rzeczywiście 50% pracuje, ale tylko 60% z nich deklaruje, że to dzięki programowi Seminarium magisterskie - zajęcia 42

3 Krótka opowieść motywująca: Seminarium magisterskie - zajęcia 43 ??? 90 % Wskaźnik rezultatu Wskaźnik wpływu Efektywność brutto Efektywność netto (1) Efektywność netto (2) Ukończyło szkolenie znalazło zatrudnienie dzięki programowi

4 Wnioski z krótkiej opowieści  Można po prostu porównać kogoś/coś „przed” i „po” i powiedzieć, że cała „różnica” to właśnie skutek  Sęk w tym, że to w ogóle nie jest interesująca kategoria: Co się stało pomiędzy „przed” i „po” dla wszystkich (nie tylko dla wąskiej „objętej” podpopulacji)? Czy ci, którym to „coś” się „stało” są tacy sami, jak wszyscy pozostali? A może charakteryzują się czymś, co determinuje wyższe/niższe rezultaty niezależnie od „objęcia”… Seminarium magisterskie - zajęcia 44

5 Podstawowy problem w ekonometrii  Magiczne narzędzie „ceteris paribus” Regresja to nic innego jak ceteris paribus Sęk w tym, że dane – jak podpróba populacji – mogą nie być dostosowane do ceteris paribus  Przykłady: 1. Działanie leku 2. Skutek polityki gospodarczej 3. Skutek zmiany strategii firmy albo formy zarządzania Seminarium magisterskie - zajęcia 45

6 Nie ma nigdy „równoległej” rzeczywistości, ale są sposoby 1. LEK: Zawsze dobiera się grupę kontrolną, która też jest „chora” ale dostaje inny lek lub placebo 2. NOWA POLITYKA: Poprawnie przeprowadzoną zmianę polityki poprzedza się eksperymentem (więc grupa kontrolna) + alternatywnie tzw. naturalne eksperymenty 3. NOWE ROZWIĄZANIE: Szukamy kogoś, kto pod względem wszystkich istotnych charakterystyk jest taki sam, i sprawdzamy, co u niego Seminarium magisterskie - zajęcia 46

7 „Causal effects” czyli przyczyna i skutek  Metody Propensity Score Matching Regression Discontinuity Fixed Effects Instrumental Variables Seminarium magisterskie - zajęcia 47

8 Jeśli nie ma możliwości eksperymentu… Seminarium magisterskie - zajęcia 48 Dane przekrojowe Dane panelowe „Regression Discontinuity Design“ „Propensity Score Matching“ Zmienne instrumentalne Before After Estimators Difference in Difference Estimators (DiD) „Propensity Score Matching“ + DiD

9 Jeśli dane panelowe  Sprawa względnie prosta Obserwujemy konkretne jednostki w czasie, więc można sprawdzić, jak zmieniła się ich sytuacja  Tzw. estymatory różnicowe (tj. difference-in-difference)  Typowy model xit – charakterystyki indywidualne Ci – zmienna 0-1 określająca, czy ktoś „dostał treatment” czy nie Α i – efekt indywidualny, czyli niezmienny w czasie Θ t – efekt zmienny w czasie ε it – „biały szum“ Seminarium magisterskie - zajęcia 49

10 Pierwsze wnioski  Ci, którzy dostali „treatment” i pozostali różnią się czymś, czego nie obserwujemy, ale co jest zmienne w czasie (np. ambicja albo talent)  Mogą także różnić się cechami obserwowalnymi i zmiennym w czasie, ale to wkładamy do xit  Końcowo dostajemy:  Problemy: Założenie, że w „jednostkach badanych” nic niebserwowalnego się w okresie trwania panelu nie zmienia jest dość wymagające (krótkie panele!) Tzw. compliance rate, czyli kogo objęło to coś nowego i dlaczego? Czy znane jest z pewnością następstwo czasów? Co można przypisać tej konkretnej „zmianie”? Seminarium magisterskie - zajęcia 410

11 Problem wnioskowania przyczynowego Seminarium magisterskie - zajęcia 411 Confounding Influence (otoczenie) Oddziaływanie Wynik Czynniki obserwowalne Czynniki nieobserwowalne

12 Propensity Score Matching Confounding Influence (otoczenie) Treatment Wynik Oddziaływanie Czynniki obserwowalne Czynniki nieobserwowalne Seminarium magisterskie - zajęcia 412

13 Propensity score matching GrupaY1Y0 Objęci (D=1) obserwowanakontrfaktyczna – (nie istnieje) Nieobjęci (D=0) kontrfaktyczna – (nie istnieje)obserwowana  Average treatment effect E(Y)=E(Y1-Y0)=E(Y1)-Y0  Average treatment effect for the untreated E(Y1-Y0|D=0)=E(Y1|D=0)-E(Y0|D=0)  Average treatment effect for the treated (ATT) E(Y1-Y0|D=1)=E(Y1|D=1)-E(Y0|D=1) Seminarium magisterskie - zajęcia 413

14 Propensity Score Matching  Idea: porównywać tylko jednostki porównywalne  Przykład Słabsi uczniowie będą mieli pewnie słabsze wyniki na studiach i częstsze poprawki –czy działają dodatkowe zajęcia z matematyki na WNE? Naiwne porównanie „dodatkowi”/„standardowi” będzie obciążone, bo „standardowi” wyjściowo byli „lepsi” Estymator PSM porówna tylko podobnych spośród „dodatkowych” i standardowych  Zalety: wnioskujemy tylko w „porównywalnych” warunkach, „ważna” grupa Dzięki stosowaniu PSM (a nie po prostu szukaniu parami) rozwiązuje się problem wielowymiarowości  Ograniczenia Jeśli nie ma „bliźniaków” – nie da się zrobić takiego badania Nie da się skorygować „ważnych z punktu widzenia niedopasowań” jeśli nie istnieją zmienne właściwie je mierzące Seminarium magisterskie - zajęcia 414

15 Propensity Score Matching  Jak dostać estymator PSM Pierwszy etap: zrobić regresję „treatmentu” na zmiennych obserwowalnych Drugi etap: oszacuj prawdopodobieństwo dostania „treatmentu” Trzeci etap: porównaj wyniki objętych „treatmentem” i nieobjętych lecz bardzo podobnych. Powinna być tym mniejsza waga danego porównania, im mniej są do siebie podobne Seminarium magisterskie - zajęcia 415

16 Estymator PSM jest bez znaczenia  Metoda najbliższego sąsiada NEAREST NEIGHBOR (NN)  Zalety => tzw. 1:1  Wady => gdy nie ma 1:1, traci sens Seminarium magisterskie - zajęcia 416

17 Estymator PSM jest bez znaczenia  Promień/kaliper CALIPER/RADIUS MATCHING(NN)  Zalety => bardziej elastyczna niż NN  Wady => problem ustalenia wiarygodnego poziomu promienia/kalipra Seminarium magisterskie - zajęcia 417

18 Estymator PSM jest bez znaczenia  Stratyfikacja i przedziały Stratification and Interval  Zalety => niweluje problem uznaniowości promienia  Wady => w ramach grup, niekoniecznie mowa o podobnych jednostkach Seminarium magisterskie - zajęcia 418

19 Estymator PSM jest bez znaczenia  Metoda kernelowa KERNEL MATCHING (KM)  Zalety => wykorzystuje zawsze wszystkie obserwacje  Wady => konieczność stosowania tzw. common support Seminarium magisterskie - zajęcia 419 TreatmentControl * ** * * *

20 Estymator PSM jest bez znaczenia  Metoda najbliższego sąsiada NEAREST NEIGHBOR (NN)  Zalety => tzw. 1:1  Wady => gdy nie ma 1:1, traci sens Seminarium magisterskie - zajęcia 420

21 Co to jest „common support”  Rozkłady pscore wśród objętych i nieobjętych mogą się bardzo różnić  Same te różnice narzucają, co jest sens robić, a czego nie – nie zawsze CS jest najlepszym rozwiązaniem Seminarium magisterskie - zajęcia 421

22 Co to jest „common support” Seminarium magisterskie - zajęcia 422

23 Seminarium magisterskie - zajęcia 423 Jak to działa w STATA  Wersja 1 – psmatch2: Zamiast reg + definiujemy zmienne wchodzące piszemy psmatch2 treatment var_in (+ warunki, wagi, itp.) Definiujemy zmienne wychodzące : out(var_out) Definiujemy sposób dopasowania: kernel(biweight) Definiujemy co nas interesuje na wyjściu: att/ate/atu Definiujemy common support lub trim: comsup/trim(5) Definiujemy (potencjalnie) całą masę innych parametrów, np. wiążących ze sobą metody

24 Seminarium magisterskie - zajęcia 424 Jak to działa w STATA  Wersja 2 – pscore: Zamiast reg + definiujemy zmienne wchodzące piszemy pscore treatment var_in (+ warunki, wagi, itp.) Definiujemy nazwe propensity score: pscore(mojpscore) Definiujemy liczbe i nazwe poszczegolnych blokow blockid(nazwa) numblo(5) Definiujemy common support lub trim: comsup/trim(5) Na końcu tej procedury dostaniemy dopiero pscore, więc konieczne będzie dalsze ćwiczenie, żeby dostać oszacowania psmatch

25 Jak to działa w STATA - przykład  Standardowe polecenia – wersja 1 psmatch2 treat $in, out($out) common mahal(ekd3) caliper(0.33) att psmatch2 treat $in, out($out) common kernel(biweight) att  Standardowe polecenia – wersja 2 pscore treat $in, pscore(mypscore) comsup numblo (5) level (0.001) blockid (myblock) logit  Co dostajemy potem? Seminarium magisterskie - zajęcia 425

26 Output ze STATy – wersja Seminarium magisterskie - zajęcia 426

27 Output ze STATy – wersja 1 cd Seminarium magisterskie - zajęcia 427

28 Seminarium magisterskie - zajęcia 428 Jak wiedzieć, czy to dobry model…  Matching ma sens tylko wtedy, gdy dobrze dopasujemy „objętych” do „nieobjętych”  Pscore nic nie mówi o tym, także statystyki opisowe na tym etapie  Pojawić się mogą dwa problemy Niedopasowanie rozkładów pscore wśród objętych i nieobjętych psgraph Niedopasowanie poszczególnych (ważnych!) cech pomiędzy „objętymi i nieobjętymi” (tzw. balancing properties) pstest

29 psgraph Seminarium magisterskie - zajęcia 429

30 pstest Seminarium magisterskie - zajęcia 430

31 Seminarium magisterskie - zajęcia 431 Podsumowanie  Przydatna metoda, bo pozwala uwzględnić heterogeniczność…  … i tworzy wartość w scenariuszu kontrfaktycznym…  … ale nie „wyczaruje” tego, co nieobserwowanymi determinantami…  … i trzeba robić PSM z dużą dyscypliną, bo to tylko statystyka…  PSM na pewno nie nadaje się do pewnych klas problemów – inne metody (random assignment oraz regression discontinuity design)


Pobierz ppt "Seminarium magisterskie Zajęcia czwarte – budowanie scenariusza kontrfaktycznego – podejście pierwsze."

Podobne prezentacje


Reklamy Google