Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół

Prezentacja na temat: "Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół"— Zapis prezentacji:

1 Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół
Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski wrzesień 2008 Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

2 Program prezentacji Jak możemy liczyć EWD?
Precyzja i zmienność jednorocznych wskaźników EWD EWD gimnazjum szacowane dla 3 roczników Ewaluacja nauczania metodą EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

3 I. METODY EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

4 Metody szacowania EWD dla gimnazjum
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji EWD jako różnica między średnimi wynikami uczniów na egzaminach (lub staninami wyników) EWD jako średnia reszt z równania regresji na danych indywidualnych uczniów EWD jako efekt stały w regresji EWD jako efekt losowy w regresji EWD jako efekt losowy z losowym nachyleniem wyników sprawdzianu EWD z wielokrotnym pomiarem umiejętności uczniów

5 EWD jako różnica średnich
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Obliczamy średni wynik uczniów danego gimnazjum ze sprawdzianu Obliczamy średni wynik uczniów na egzaminie gimnazjalnym Przewidujemy za pomocą regresji na poziomie średnich dla szkół wynik egzaminu gimnazjalnego EWD j-tego gimnazjum to różnica między rzeczywistym i przewidywanym średnim wynikiem Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

6 EWD jako różnica średnich c.d.
metoda ta operuje średnimi na poziomie szkół, a nie danymi indywidualnymi, ale i tak musimy sięgnąć do danych indywidualnych metoda ta niepotrzebnie traci dostępne informacje nie pozwala ocenić precyzji EWD jeśli korzystamy ze stanin a nie wyników punktowych to precyzja i rzetelność jest bardzo niska Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

7 EWD jako średnia reszt Metody EWD
Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji szacujemy równanie regresji dla całej Polski, gdzie x to wynik ucznia na sprawdzianie, y to wynik na egzaminie gimnazjalnym, D to wektor cech indywidualnych (płeć i dysleksja), ε to błąd losowy EWD to średnia różnic między wynikiem uzyskanym a przewidywanym dla każdego ucznia Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

8 EWD jako średnia reszt Powtórka Precyzja i zmienność
Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników Przykładowy rozrzut wyników uczniów względem krzywej regresji dla całej populacji. Zielone strzałki oznaczają „reszty” z równania regresji, których średnia równa jest EWD. Im wyżej (niżej) uczeń leży nad (pod) krzywą, tym dokonał większego (mniejszego) postępu w gimnazjum w porównaniu z uczniami o podobnym wyniku na sprawdzianie. Jeśli większość uczniów leży ponad (poniżej) krzywej, to oznacza to, że dane gimnazjum ponadprzeciętnie (poniżej przeciętnej) przyczyniło się do wzrostu wiedzy swoich uczniów w trakcie nauki w gimnazjum. Wielkość tego wzrostu mierzy EWD.

9 EWD jako średnia reszt Metody EWD
Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji to jest metoda przyjęta dla EWD jednorocznikowego pozwala oszacować przedziały ufności EWD, a więc daje podstawę do statystycznie uprawnionych porównań między szkołami metoda ta otwiera też drogę do analiz wewnątrzszkolnych lub dla dowolnych grup uczniów EWD można dowolnie liczyć mając jedynie tabele predykcji wyników egzaminu gimnazjalnego Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

10

11 EWD jako efekt stały lub losowy
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji szacujemy podobne równanie regresji dla całej Polski, jednak w równaniu uwzględniono efekt uj dla każdego gimnazjum Efekt uj można interpretować jako przesunięcie w pionie krzywej regresji dla całej szkoły Oszacowany efekt to EWD gimnazjum W metodzie z efektami losowymi zakładamy, że efekty mają rozkład zbliżony do normalnego mało wiarygodne oceny EWD są przy tym „ściągane” do przeciętnej, czyli do zera

12 EWD jako efekt stały Powtórka Precyzja i zmienność EWD dla 3 roczników
Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników W modelu z efektem stałym zakładamy, że kształt zależności między wynikami sprawdzianu i egzaminu gimnazjalnego jest w każdej szkole taki sam. Efekt stały odpowiada przesunięciu krzywej regresji dla danej szkoły ponad lub poniżej krzywej oszacowanej dla całej populacji. Metoda ta dla polskich danych jest niemal identyczna z metodą średniej z reszt regresji. Obie metody można interpretować jako przesunięcie krzywej o średni przyrost wiedzy uczniów w danym gimnazjum względem przeciętnego wzrostu wiedzy w całej Polsce.

13 Wykres ten pokazuje zależność między zróżnicowaniem EWD a liczbą uczniów zdających egzamin gimnazjalny w danej szkole i roku. Dla mniejszych szkół efekty stałe dają bardzo zróżnicowane oceny EWD (kwadraty po lewej stronie wykresu). Metoda efektów losowych ściąga EWD szkół do przeciętnej, czyli zera (kropki leżą bliżej osi zero). Ściąganie do przeciętnej jest tym silniejsze im mniejsza jest szkoła i im dalej od przeciętnej leży EWD szkoły, a więc tym silniejsze im mniej pewni jesteśmy wiarygodności naszej oceny. Widać, że dla szkół z zdającymi różnica między efektem stałym i losowym jest już niewielka, szczególnie dla szkół o EWD bliskim przeciętnej. Dla szkół większych skrajne EWD są rzadsze i różnica między dwoma modelami jest znikoma.

14 EWD jako efekt stały lub losowy
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji są to poprawne metody liczenia EWD ze statystycznego punktu widzenia jednak mniej przejrzyste stąd jednoroczne EWD będzie dalej liczone metodą średnich z reszt regresji, ale już 3 rocznikowe metodą efektów stałych lub losowych metoda efektów losowych dominuje obecnie na świecie przy wielu próbach daje oceny EWD najbliższe prawdziwym Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

15 EWD z losowym nachyleniem wyników sprawdzianu
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji w tej metodzie szkole przypisywany jest nie tylko efekt losowy przesuwający całą krzywą regresji w zależności od EWD szkoły, ale i nachylenie wyników sprawdzianu może być w każdej szkole inne w ten sposób nachylenie wyników sprawdzianu może się w każdej szkole różnić, przy czym przy jego ocenie korzystamy z wiedzy o całej populacji pozwala to oszacować EWD szkoły osobno dla uczniów słabszych i dla uczniów z lepszymi wynikami ze sprawdzianu

16 Model z losowym nachyleniem dopuszcza zróżnicowanie nachylenia wyników sprawdzianu między szkołami. Bardziej strome nachylenie oznacza wyższą efektywność pracy z uczniami o wyższym wyniku na sprawdzianie. Bardziej płaska linia oznacza relatywnie wyższą efektywność pracy z uczniami słabszymi. Na rysunku przecięcie krzywych z pionowymi liniami pokazuje jakie 4 przykładowe gimnazja mają EWD dla uczniów z ok. 10 i ok. 35 punktami ze sprawdzianu. Przykładowo, gimnazja oznaczone liniami żółtą i zieloną mają podobną (bliską przeciętnej dla kraju) efektywność pracy z uczniami słabszymi, jednak znacznie różnią się w efektywności pracy z uczniami o wyższym wyniku „na wejściu”: szkoła „żółta” ma w tym przypadku znacznie wyższą EWD (ponadprzeciętną w skali kraju) niż szkoła „zielona” (poniżej przeciętnej dla kraju).

17 Na ile EWD oszacowane różnymi modelami się różni?
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Korelacje między EWD dla roku część humanistyczna część matematyczno- przyrodnicza Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy Regresja na średnich dla szkół 0,99 0,97 Efekt losowy 0,98 1,00 Losowe nachylenie (1 kwintyl) 0,56 0,65 0,66 0,52 0,62 0,63

18 Podsumowanie: modele EWD
wybór modelu ma niewielkie praktyczne konsekwencje oprócz EWD z losowym nachyleniem Co poza wyborem modelu EWD? oszacowanie modeli dla każdego roku kwestia błędu pomiaru kwestia zrównania wyników egzaminów niepotrzebne w przypadku modeli dla jednego roku wskazane w przypadku modeli dla danych z kilku lat kwestia efektu egzaminatora rozwiązana przez wyłączenie „podejrzanych” pytań Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

19 II. PRECYZJA i zmienność
Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

20 Precyzja i zmienność Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Modele EWD powinny jak najdokładniej wskazywać „prawdziwą”, ukrytą wartość odpowiadającą temu co chcemy zmierzyć jako EWD Model EWD jest tym lepszy, im bliższy jest precyzyjnego określenia przyrostu wiedzy uczniów w każdym z gimnazjów Precyzję można oceniać ze względu na kilka kryteriów Jedne z nich dotyczą dokładności oceny EWD w danym roku Inne dotyczą stabilności EWD między latami Waga kryterium zależy od kontekstu użycia EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

21 Statystyki dla punktowego EWD
2006 rok Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy EWD: część humanistyczna średnia 0.04 0.00 odchylenie standardowe 2.17 2.18 1.92 min -10.74 -11.27 -8.34 max 9.09 9.01 7.65 EWD: część matematyczno-przyrodnicza 0.11 2.56 2.51 2.14 -9.12 -9.18 -7.79 16.92 17.14 14.59 Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Odchylenie standardowe, a więc zróżnicowanie jednorocznej EWD liczonej jako średnia reszt z regresji na uczniach jest większe niż zróżnicowanie EWD liczonej jako efekt losowy. Metoda średniej z reszt regresji daje także bardziej skrajne oceny niż efekty losowe (min i max).

22 Statystyki dla szerokości przedziałów ufności
Reszty z regresji na uczniach Efekt losowy EWD: część humanistyczna średnia 2.60 2.25 odchylenie standardowe 0.81 0.53 min 1.27 1.31 max 5.06 3.43 EWD: część matematyczno-przyrodnicza 2.95 0.88 0.60 1.60 1.51 6.29 3.94 Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Metoda średniej z reszt regresji daje szersze przedziały ufności niż metoda z efektami losowymi, a więc jest pod tym względem mniej precyzyjna. Przedziały ufności w metodzie z efektami losowymi mają maksymalnie niecałe 4 punkty szerokości, a przeciętnie mają od 2.25 do 2.6 punktów szerokości. Są więc stosunkowo precyzyjne. Podobne statystyki dla pozostałych metod są znacznie większe. Podane tu wartości dotyczą losowej próby szkół, ale można je uogólnić na całą populację.

23 Korelacja między EWD dla różnych lat oszacowanych tą samą metodą
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji EWD z lat 2005 i 2006 Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy część humanistyczna 0,35 0,39 0,40 część matematyczno- przyrodnicza 0,50 0,52 0,53 Wszystkie metody dają oceny EWD podobnie skorelowane między latami (model z losowym nachyleniem jest silniej skorelowany, ale to wynika z dużej liczby bardzo skrajnych ocen). Korelacje na poziomie można uznać za słabe, niewątpliwie jednak zależność między latami istnieje. Trudno oczekiwać, że EWD między latami było silniej skorelowane jeśli wiemy, że w większości gimnazjów zmieniają się nauczyciele kolejnych roczników, zmienia się też zapewne ogólna efektywność nauczania wielu szkół. Podobny poziom korelacji EWD między latami występuje też w innych krajach, takich jak Anglia lub Słowenia. Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

24 Procent gimnazjów z pozytywnym lub negatywnym EWD w obydwu latach
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji EWD z lat 2005 i 2006 Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy część humanistyczna 62% 64% część matematyczno- przyrodnicza 68% 2/3 gimnazjów utrzymuje pozytywną bądź negatywną ocenę EWD między latami. Wszystkie metody dają EWD podobnie stabilne pod tym względem. Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

25 Zależność między EWD z 2005 i 2007 roku dla szkół jednego z OKE
Zależność między EWD z 2005 i 2007 roku dla szkół jednego z OKE. Istnieje spora liczba szkół, których skrajne oceny utrzymują się między latami. Szkoły te wymagają zainteresowania. Gimnazja o stabilnym, wysoce pozytywnym EWD (szkoły w prawym górnym rogu) powinny służyć jako źródło informacji o tym, co sprzyja tak wysokiej jakości nauczania. Szkoły o wysoce ujemnym EWD w kolejnych latach wymagają natychmiastowej pomocy.

26 III. EWD dla 3 roczników Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

27 EWD dla 3 roczników Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji EWD dla jednego roku (jednego rocznika, czy raczej kohorty uczniów) jest dobrym narzędziem do analizy efektów nauczania z tą grupą uczniów Precyzja i stabilność takich wskaźników pozostawiają jednak wiele do życzenia Jeśli chcemy ocenić pracę szkoły w jak najbardziej precyzyjny i stabilny sposób, to powinniśmy podsumować informację z kilku lat, dając jeden wskaźnik EWD na cały okres wskaźnik szacowany dla kilku roczników będzie siłą rzeczy bardziej precyzyjny i stabilny, bo wykorzystuje niemal 3 razy większą liczbę obserwacji

28 Kropki oznaczające EWD jednoroczne rozrzucone są wokół kwadratów oznaczających ocenę EWD na podstawie pełnej informacji dla 3 roczników. Widać, że o ile roczne EWD są często dalekie od siebie, to EWD dla 3 roczników jest bardziej precyzyjne, przyjmując wartość między jednorocznymi wskaźnikami.

29 Dlaczego 3 roczniki? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji 3 lata wydają się dobrym okresem dla dokonania podsumowania działalności szkoły dla 3 roczników skład nauczycielski i organizacja pracy nie zmieniają się tak bardzo kraje z większym doświadczeniem przyjmują taki okres jako podstawę oceny szkół (np. Holandia) docelowo wskaźnik taki będzie szacowany co roku, dla ostatnich 3 roczników określony będzie też trend efektywności nauczania szkoły dopiero ocena trendu pozwoli określić kierunek rozwoju szkoły… ale to dopiero za kilka lat Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

30 Ile gimnazjów posiada dane z 3 lat?
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Szkoły z oszacowanym EWD w każdym roku Liczba szkół Liczba uczniów EWD w każdym roku 5956 EWD w każdym roku i z co najmniej 10 uczniami łącznie przez 3 lata 5873 EWD w każdym roku i z co najmniej 30 uczniami łącznie przez 3 lata 5691 EWD w każdym roku i z co najmniej 50 uczniami łącznie przez 3 lata 5440 Ograniczając się do szkół z co najmniej 30 uczniami zdającymi egzamin w ciągu 3 lat zwiększamy precyzję oszacowań EWD. Co prawda w ten sposób wykluczamy z oceny ponad 200 szkół, to jednak są to szkoły niewielkie i liczba uczniów objętych oceną EWD maleje tylko nieznacznie.

31 Precyzja modeli jednorocznych a precyzja EWD dla 3 roczników
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji szerokość przedziałów ufności* Efekt losowy EWD: część humanistyczna średnie w pojedynczych latach od 2.54 do 2.87 średnia 3 roczniki 1.65 EWD: część matematyczno-przyrodnicza od 2.33 do 2.82 1.82 * próba 170 losowo wybranych gimnazjów Przejście od modelu jednorocznego do 3 rocznikowego pozwala zmniejszyć przeciętną szerokość przedziału ufności od ponad 20 do blisko 50%. Jest to szczególnie widoczne w modelu EWD jako średniej reszt z regresji, gdzie jednoroczne przedziały ufności liczone na niewielkich próbach są bardzo szerokie. Dla danych z 3 lat przeciętna szerokość przedziału ufności spada poniżej 2 punktów co oznacza, że w wielu przypadkach wskaźnik ten pozwoli na uprawnione statystycznie porównania przyrostu wiedzy uczniów w różnych gimnazjach.

32 IV. EWD jako narzędzie Ewaluacji
Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

33 Ewaluacja czego? Na poziomie kraju lub regionu:
polityki edukacyjnej polityki samorządów programów nauczania Na poziomie szkoły lub gminy: postępów grup uczniów pracy szkół pracy nauczycieli lokalnej programów edukacyjnych metod nauczania Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

34 W jaki sposób? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Na poziomie kraju lub regionu, gdzie dostępna jest duża liczba obserwacji, można wykorzystać model regresji EWD z uwzględnieniem interesujących nas zmiennych Na poziomie gminy czy jednej lub kilku gimnazjów można wykorzystać oszacowania modeli EWD dla kraju i porównywać średnie „reszty” między grupami Jeśli mamy wyniki kilkuset uczniów to także możemy stosować modele regresji EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

35 Analiza dla szkół lub gminy
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Analiza „reszt” uczniów porównanie między szkołami porównanie między klasami testy na różnice średnich testy na różnice w zróżnicowaniu postępów uczniów wyjaśnianie poszczególnych przypadków - praca z nauczycielami Przykłady autorstwa dr Ewy Stożek (

36 Problem: wynik niżej średni  wdrażamy program naprawczy
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Rozporządzenie o nadzorze pedagogicznym z (już nie obowiązuje) formułuje standardy oceny jakości pracy szkół i placówek, wśród nich w obszarze Kształcenie, Efekty kształcenia znajdujemy zapis „10. Średnia liczba punktów uzyskanych przez uczniów na sprawdzianie lub egzaminach jest porównywalna ze średnią liczbą punktów uzyskanych przez uczniów szkół w województwie lub ją przewyższa”. Do dziś zdarza się wizytatorom zalecać wprowadzenie programu naprawczego tylko dlatego, że wynik na egzaminie był niższy od średniego. Czy tej szkole jest potrzebny program naprawczy? Fakty: wykres obrazuje wyniki 22 uczniów, zatem w najniższym staninie jest 2 uczniów, którzy mają obniżone wymagania egzaminacyjne. Wynik szkoły bez tych dwóch uczniów plasuje się w staninie wyżej średnim. Czy nadal wizytator sugerowałby wdrożenie programu naprawczego? Problem: wynik niżej średni  wdrażamy program naprawczy Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

37 EWD jako narzędzie ewaluacji EWD GH = 1,21 Metody EWD
Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Jakiego rodzaju analiza jest potrzebna tej szkole? Czego chcielibyśmy się o szkole dowiedzieć? EWD GH = 1,21 uczniowie o obniżonych wymaganiach edukacyjnych

38 Dlaczego klasa B uzyskała nieznacznie lepsze wyniki?
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Dlaczego klasa B uzyskała nieznacznie lepsze wyniki?

39 Przykład II.3 EWD jako narzędzie ewaluacji
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, Klasa B zdecydowanie lepiej poradziła sobie z rozprawką oraz z interpretowaniem poezji. Jaki wpływ na to miały metody pracy nauczyciela?

40 stanin wyżej średni stanin wyżej średni
Duża miejska szkoła, 220 uczniów. Wyniki wyżej średniego, z ponadprzeciętną efektywnością w zakresie przedmiotów humanistycznych i matematyczno-przyrodniczych. Problem: jak udało się to osiągnąć?

41 Duże zróżnicowanie wyników na wejściu w szkole.
„Problem”: różna efektywność pracy z uczniami o różnym potencjale

42 EWD jako narzędzie ewaluacji Metody EWD Precyzja i zmienność
EWD dla 3 roczników EWD jako narzędzie ewaluacji

43 zróżnicowanie EWD w klasach
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji W szkole są „dwie szkoły” – klasy A-E uzyskujące porównywalne ponadprzeciętne wyniki oraz klasy F-H uzyskujące porównywalną, niżej przeciętną efektywność. Czy klasy są takie same?

44 Ewaluacja na poziomie kraju
Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Zastosowanie modeli EWD do danych z całej populacji uczniów Pierwszy problem: czy efektywność szkół zależy od wydatków w przeliczeniu na ucznia? Drugi problem: czy wielkość klas wpływa na przyrost wiedzy uczniów?

45 Zmienna zależna: łączny wynik egzaminu gimnazjalnego
Sprawdzian 1.256*** 1.253*** Średnie wydatki na ucznia w trakcie nauki w gimnazjum -0.067*** -0.066*** Szkoła niepubliczna 2.569*** 2.934*** liczba uczniów w szkole -0.173** Rozstęp ćwiartkowy wyników sprawdzianu w gimnazjum -0.045*** liczba uczniów w gminie 0.259*** dochody na mieszkańca gminy 1.555*** Wydatki na ucznia w trakcie nauki w szkole podstawowej -0.337*** Procent dzieci 3-5 letnich, które korzystały z przedszkoli 0.008*** Oznaczenie typu miejscowości Tak Liczba uczniów Liczba gimnazjów 6211 Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

46 Zmienna zależna: łączny wynik egzaminu gimnazjalnego
Scentrowany wynik sprawdzianu (0 = 10 percentyl oryginalnych wyników) 1.240*** (0.010) 1.213*** Średnie wydatki na ucznia w trakcie nauki w gimnazjum -0.055** (0.024) -0.105*** Średnie wydatki * sprawdzian -0.001 (0.002) -0.002* Logarytm naturalny liczby uczniów w szkole 0.279*** (0.022) Logarytm naturalny liczby uczniów w gminie -0.172*** (0.055) Logarytm naturalny dochodów na mieszkańca gminy 1.648*** (0.221) Rozstęp ćwiartkowy wyników sprawdzianu wśród uczniów gimnazjum -0.128*** (0.006) Średni wynik sprawdzianu wśród uczniów gimnazjum 0.180*** Log restricted-likelihood Liczba uczniów Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

47 Regresja z efektami stałymi
Regresja liniowa Regresja z efektami stałymi Przeciętna liczba uczniów w klasie 0.051*** -0.006 Wynik sprawdzianu 1.198*** 1.240*** Mediana wyników sprawdzianu 0.322*** 0.291*** Rozstęp ćwiartkowy wyników sprawdzianu -0.061*** -0.053*** R2 0.64 0.63 R2 „within” R2 „between” 0.75 Liczba gimnazjów 5280 Liczba uczniów

48 Zmiana mniejsza niż 25% i średnie klasy od 15 do 30 uczniów
Regresja z efektami stałymi Zmiana mniejsza niż 25% Zmiana mniejsza niż 25% i średnie klasy od 15 do 30 uczniów Przeciętna liczba uczniów w klasie -0.016 -0.019 Sprawdzian 1.244*** 1.242*** Mediana wyników sprawdzianu 0.324*** 0.325*** Rozstęp ćwiartkowy wyników sprawdzianu -0.059*** -0.060*** R2 0.63 R2 „within” R2 „between” 0.77 Liczba gimnazjów 3894 3882 Liczba uczniów

49 Podsumowanie Wybór modelu EWD ma niewielkie praktyczne znaczenie
pozostają jednak kwestie wpływu błędu pomiaru, zrównywania wyników itp. EWD trzeba liczyć z danych indywidualnych i podawać jako przedział ufności EWD 3 rocznikowe jest dużo precyzyjniejsze i będzie stanowić podstawę oceny pracy szkoły Czy model EWD powinien w większym stopniu uwzględniać środowisko nauczania? Badania trwają…

50 Podsumowanie EWD może być wykorzystywane jako narzędzie ewaluacji
Ewaluacja metodami EWD może być prowadzona dla jednej lub kilku szkół. Jest wtedy mniej precyzyjna, ale można (trzeba) ją połączyć ze znajomością lokalnego kontekstu EWD powinno służyć do ewaluacji polityki oświatowej to potężne narzędzie, opierające się na obiektywnym pomiarze umiejętności uczniów i olbrzymiej liczbie danych jego stosowanie wymaga jednak znajomości metod statystycznych i świadomości ich ograniczeń

51 Dziękuję za uwagę. WWW. EWD. EDU. PL www. wne. uw. edu
Dziękuję za uwagę! Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,