Seminarium magisterskie

Seminarium magisterskie
Zajęcia czwarte – budowanie scenariusza kontrfaktycznego – podejście pierwsze.

Krótka opowieść motywująca:
Badanie MPiPS w Polsce z 2006 roku o skutkach z wdrażania tzw. SPO RZL Podstawowy komunikat: dzięki SPO RZL pracę w Polsce znalazło ponad 50% bezrobotnych Fakty: 50% objętych działaniami (bo tylko ci podlegali ewaluacji) tylko 90% ukończyło jakikolwiek program z tych, którzy ukończyli, rzeczywiście 50% pracuje, ale tylko 60% z nich deklaruje, że to dzięki programowi Seminarium magisterskie - zajęcia 4

Krótka opowieść motywująca:
??? 90 % 52 30 Wskaźnik rezultatu Wskaźnik wpływu Efektywność brutto Efektywność netto (1) Efektywność netto (2) Ukończyło szkolenie... ... znalazło zatrudnienie... ... dzięki programowi Seminarium magisterskie - zajęcia 4

Wnioski z krótkiej opowieści
Można po prostu porównać kogoś/coś „przed” i „po” i powiedzieć, że cała „różnica” to właśnie skutek Sęk w tym, że to w ogóle nie jest interesująca kategoria: Co się stało pomiędzy „przed” i „po” dla wszystkich (nie tylko dla wąskiej „objętej” podpopulacji)? Czy ci, którym to „coś” się „stało” są tacy sami, jak wszyscy pozostali? A może charakteryzują się czymś, co determinuje wyższe/niższe rezultaty niezależnie od „objęcia”… Seminarium magisterskie - zajęcia 4

Podstawowy problem w ekonometrii
Magiczne narzędzie „ceteris paribus” Regresja to nic innego jak ceteris paribus Sęk w tym, że dane – jak podpróba populacji – mogą nie być dostosowane do ceteris paribus Przykłady: Działanie leku Skutek polityki gospodarczej Skutek zmiany strategii firmy albo formy zarządzania Seminarium magisterskie - zajęcia 4

Nie ma nigdy „równoległej” rzeczywistości, ale są sposoby
LEK: Zawsze dobiera się grupę kontrolną, która też jest „chora” ale dostaje inny lek lub placebo NOWA POLITYKA: Poprawnie przeprowadzoną zmianę polityki poprzedza się eksperymentem (więc grupa kontrolna) + alternatywnie tzw. naturalne eksperymenty NOWE ROZWIĄZANIE: Szukamy kogoś, kto pod względem wszystkich istotnych charakterystyk jest taki sam, i sprawdzamy, co u niego  Seminarium magisterskie - zajęcia 4

„Causal effects” czyli przyczyna i skutek
Metody Propensity Score Matching Regression Discontinuity Fixed Effects Instrumental Variables Seminarium magisterskie - zajęcia 4

Jeśli nie ma możliwości eksperymentu…
Dane przekrojowe Dane panelowe Zmienne instrumentalne „Propensity Score Matching“ + DiD „Propensity Score Matching“ Before After Estimators Difference in Difference Estimators (DiD) „Regression Discontinuity Design“ Seminarium magisterskie - zajęcia 4

Seminarium magisterskie - zajęcia 4
Jeśli dane panelowe Sprawa względnie prosta Obserwujemy konkretne jednostki w czasie, więc można sprawdzić, jak zmieniła się ich sytuacja Tzw. estymatory różnicowe (tj. difference-in-difference) Typowy model xit – charakterystyki indywidualne Ci – zmienna 0-1 określająca, czy ktoś „dostał treatment” czy nie Αi – efekt indywidualny, czyli niezmienny w czasie Θt – efekt zmienny w czasie εit – „biały szum“ Seminarium magisterskie - zajęcia 4

Pierwsze wnioski Ci, którzy dostali „treatment” i pozostali różnią się czymś, czego nie obserwujemy, ale co jest zmienne w czasie (np. ambicja albo talent) Mogą także różnić się cechami obserwowalnymi i zmiennym w czasie, ale to wkładamy do xit Końcowo dostajemy: Problemy: Założenie, że w „jednostkach badanych” nic niebserwowalnego się w okresie trwania panelu nie zmienia jest dość wymagające (krótkie panele!) Tzw. compliance rate, czyli kogo objęło to coś nowego i dlaczego? Czy znane jest z pewnością następstwo czasów? Co można przypisać tej konkretnej „zmianie”? Seminarium magisterskie - zajęcia 4

Problem wnioskowania przyczynowego
Confounding Influence (otoczenie) Oddziaływanie Wynik Czynniki obserwowalne Czynniki nieobserwowalne Seminarium magisterskie - zajęcia 4

Propensity Score Matching
Confounding Influence (otoczenie) Treatment Oddziaływanie Wynik Czynniki obserwowalne Czynniki nieobserwowalne Seminarium magisterskie - zajęcia 4

Propensity score matching
Grupa Y1 Y0 Objęci (D=1) obserwowana kontrfaktyczna – (nie istnieje) Nieobjęci (D=0) kontrfaktyczna – (nie istnieje) Average treatment effect E(Y)=E(Y1-Y0)=E(Y1)-Y0 Average treatment effect for the untreated E(Y1-Y0|D=0)=E(Y1|D=0)-E(Y0|D=0) Average treatment effect for the treated (ATT) E(Y1-Y0|D=1)=E(Y1|D=1)-E(Y0|D=1) Seminarium magisterskie - zajęcia 4

Idea: porównywać tylko jednostki porównywalne Przykład Słabsi uczniowie będą mieli pewnie słabsze wyniki na studiach i częstsze poprawki –czy działają dodatkowe zajęcia z matematyki na WNE? Naiwne porównanie „dodatkowi”/„standardowi” będzie obciążone, bo „standardowi” wyjściowo byli „lepsi” Estymator PSM porówna tylko podobnych spośród „dodatkowych” i standardowych Zalety: wnioskujemy tylko w „porównywalnych” warunkach, „ważna” grupa Dzięki stosowaniu PSM (a nie po prostu szukaniu parami) rozwiązuje się problem wielowymiarowości Ograniczenia Jeśli nie ma „bliźniaków” – nie da się zrobić takiego badania Nie da się skorygować „ważnych z punktu widzenia niedopasowań” jeśli nie istnieją zmienne właściwie je mierzące Talk about matching methods: can do bins for all characteristics. PSM reduces the dimensionality. Seminarium magisterskie - zajęcia 4

Jak dostać estymator PSM Pierwszy etap: zrobić regresję „treatmentu” na zmiennych obserwowalnych Drugi etap: oszacuj prawdopodobieństwo dostania „treatmentu” Trzeci etap: porównaj wyniki objętych „treatmentem” i nieobjętych lecz bardzo podobnych. Powinna być tym mniejsza waga danego porównania, im mniej są do siebie podobne Seminarium magisterskie - zajęcia 4

Estymator PSM jest bez znaczenia
Metoda najbliższego sąsiada NEAREST NEIGHBOR (NN) Zalety => tzw. 1:1 Wady => gdy nie ma 1:1, traci sens Seminarium magisterskie - zajęcia 4

Promień/kaliper CALIPER/RADIUS MATCHING(NN) Zalety => bardziej elastyczna niż NN Wady => problem ustalenia wiarygodnego poziomu promienia/kalipra Seminarium magisterskie - zajęcia 4

Stratyfikacja i przedziały Stratification and Interval Zalety => niweluje problem uznaniowości promienia Wady => w ramach grup, niekoniecznie mowa o podobnych jednostkach Seminarium magisterskie - zajęcia 4

Metoda kernelowa KERNEL MATCHING (KM) Zalety => wykorzystuje zawsze wszystkie obserwacje Wady => konieczność stosowania tzw. common support Treatment Control * Seminarium magisterskie - zajęcia 4

Metoda najbliższego sąsiada NEAREST NEIGHBOR (NN) Zalety => tzw. 1:1 Wady => gdy nie ma 1:1, traci sens Seminarium magisterskie - zajęcia 4

Co to jest „common support”
Rozkłady pscore wśród objętych i nieobjętych mogą się bardzo różnić Same te różnice narzucają, co jest sens robić, a czego nie – nie zawsze CS jest najlepszym rozwiązaniem Seminarium magisterskie - zajęcia 4

Co to jest „common support”
Seminarium magisterskie - zajęcia 4

Jak to działa w STATA Wersja 1 – psmatch2: Zamiast reg + definiujemy zmienne wchodzące piszemy psmatch2 treatment var_in (+ warunki, wagi, itp.) Definiujemy zmienne wychodzące : out(var_out) Definiujemy sposób dopasowania: kernel(biweight) Definiujemy co nas interesuje na wyjściu: att/ate/atu Definiujemy common support lub trim: comsup/trim(5) Definiujemy (potencjalnie) całą masę innych parametrów, np. wiążących ze sobą metody Seminarium magisterskie - zajęcia 4

Jak to działa w STATA Wersja 2 – pscore: Zamiast reg + definiujemy zmienne wchodzące piszemy pscore treatment var_in (+ warunki, wagi, itp.) Definiujemy nazwe propensity score: pscore(mojpscore) Definiujemy liczbe i nazwe poszczegolnych blokow blockid(nazwa) numblo(5) Definiujemy common support lub trim: comsup/trim(5) Na końcu tej procedury dostaniemy dopiero pscore, więc konieczne będzie dalsze ćwiczenie, żeby dostać oszacowania psmatch Seminarium magisterskie - zajęcia 4

Jak to działa w STATA - przykład
Standardowe polecenia – wersja 1 psmatch2 treat $in, out($out) common mahal(ekd3) caliper(0.33) att psmatch2 treat $in, out($out) common kernel(biweight) att Standardowe polecenia – wersja 2 pscore treat $in, pscore(mypscore) comsup numblo (5) level (0.001) blockid (myblock) logit Co dostajemy potem? Seminarium magisterskie - zajęcia 4

Output ze STATy – wersja 1

Output ze STATy – wersja 1 cd

Jak wiedzieć, czy to dobry model…
Matching ma sens tylko wtedy, gdy dobrze dopasujemy „objętych” do „nieobjętych” Pscore nic nie mówi o tym, także statystyki opisowe na tym etapie Pojawić się mogą dwa problemy Niedopasowanie rozkładów pscore wśród objętych i nieobjętych psgraph Niedopasowanie poszczególnych (ważnych!) cech pomiędzy „objętymi i nieobjętymi” (tzw. balancing properties) pstest Seminarium magisterskie - zajęcia 4

psgraph Seminarium magisterskie - zajęcia 4

pstest Seminarium magisterskie - zajęcia 4

Podsumowanie Przydatna metoda, bo pozwala uwzględnić heterogeniczność… … i tworzy wartość w scenariuszu kontrfaktycznym… … ale nie „wyczaruje” tego, co nieobserwowanymi determinantami… … i trzeba robić PSM z dużą dyscypliną, bo to tylko statystyka… PSM na pewno nie nadaje się do pewnych klas problemów – inne metody (random assignment oraz regression discontinuity design) Seminarium magisterskie - zajęcia 4

Seminarium magisterskie

Podobne prezentacje

Prezentacja na temat: "Seminarium magisterskie"— Zapis prezentacji:

Podobne prezentacje

О projekcie

Zwrotny adres

Wejść

Zaloguj się poprzez sieć społeczną:

Seminarium magisterskie

Podobne prezentacje

Prezentacja na temat: "Seminarium magisterskie"— Zapis prezentacji:

Podobne prezentacje

О projekcie

Zwrotny adres