Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski

Podobne prezentacje


Prezentacja na temat: "Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski"— Zapis prezentacji:

1 Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski wrzesień 2008 Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

2 Program prezentacji 1.Jak możemy liczyć EWD? 2.Precyzja i zmienność jednorocznych wskaźników EWD 3.EWD gimnazjum szacowane dla 3 roczników 4.Ewaluacja nauczania metodą EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

3 I. METODY EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

4 Metody szacowania EWD dla gimnazjum 1.EWD jako różnica między średnimi wynikami uczniów na egzaminach (lub staninami wyników) 2.EWD jako średnia reszt z równania regresji na danych indywidualnych uczniów 3.EWD jako efekt stały w regresji 4.EWD jako efekt losowy w regresji 5.EWD jako efekt losowy z losowym nachyleniem wyników sprawdzianu 6.EWD z wielokrotnym pomiarem umiejętności uczniów Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

5 EWD jako różnica średnich a)Obliczamy średni wynik uczniów danego gimnazjum ze sprawdzianu b)Obliczamy średni wynik uczniów na egzaminie gimnazjalnym c)Przewidujemy za pomocą regresji na poziomie średnich dla szkół wynik egzaminu gimnazjalnego d)EWD j-tego gimnazjum to różnica między rzeczywistym i przewidywanym średnim wynikiem Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

6 EWD jako różnica średnich c.d. metoda ta operuje średnimi na poziomie szkół, a nie danymi indywidualnymi, ale i tak musimy sięgnąć do danych indywidualnych metoda ta niepotrzebnie traci dostępne informacje nie pozwala ocenić precyzji EWD jeśli korzystamy ze stanin a nie wyników punktowych to precyzja i rzetelność jest bardzo niska Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

7 EWD jako średnia reszt szacujemy równanie regresji dla całej Polski, gdzie x to wynik ucznia na sprawdzianie, y to wynik na egzaminie gimnazjalnym, D to wektor cech indywidualnych (płeć i dysleksja), ε to błąd losowy EWD to średnia różnic między wynikiem uzyskanym a przewidywanym dla każdego ucznia Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

8 EWD jako średnia reszt Powtórka Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników

9 EWD jako średnia reszt to jest metoda przyjęta dla EWD jednorocznikowego pozwala oszacować przedziały ufności EWD, a więc daje podstawę do statystycznie uprawnionych porównań między szkołami metoda ta otwiera też drogę do analiz wewnątrzszkolnych lub dla dowolnych grup uczniów EWD można dowolnie liczyć mając jedynie tabele predykcji wyników egzaminu gimnazjalnego Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

10

11 EWD jako efekt stały lub losowy szacujemy podobne równanie regresji dla całej Polski, jednak w równaniu uwzględniono efekt u j dla każdego gimnazjum Efekt u j można interpretować jako przesunięcie w pionie krzywej regresji dla całej szkoły Oszacowany efekt to EWD gimnazjum W metodzie z efektami losowymi zakładamy, że efekty mają rozkład zbliżony do normalnego mało wiarygodne oceny EWD są przy tym ściągane do przeciętnej, czyli do zera Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

12 EWD jako efekt stały Powtórka Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników

13

14 EWD jako efekt stały lub losowy są to poprawne metody liczenia EWD ze statystycznego punktu widzenia jednak mniej przejrzyste stąd jednoroczne EWD będzie dalej liczone metodą średnich z reszt regresji, ale już 3 rocznikowe metodą efektów stałych lub losowych metoda efektów losowych dominuje obecnie na świecie przy wielu próbach daje oceny EWD najbliższe prawdziwym Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

15 EWD z losowym nachyleniem wyników sprawdzianu w tej metodzie szkole przypisywany jest nie tylko efekt losowy przesuwający całą krzywą regresji w zależności od EWD szkoły, ale i nachylenie wyników sprawdzianu może być w każdej szkole inne w ten sposób nachylenie wyników sprawdzianu może się w każdej szkole różnić, przy czym przy jego ocenie korzystamy z wiedzy o całej populacji pozwala to oszacować EWD szkoły osobno dla uczniów słabszych i dla uczniów z lepszymi wynikami ze sprawdzianu Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

16

17 Na ile EWD oszacowane różnymi modelami się różni? Korelacje między EWD dla 2006 roku część humanistyczna część matematyczno- przyrodnicza Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy Reszty z regresji na uczniach 0,990,97 Efekt losowy 0,981,000,970,99 Losowe nachylenie (1 kwintyl) 0,560,650,660,520,620,63 Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

18 Podsumowanie: modele EWD wybór modelu ma niewielkie praktyczne konsekwencje oprócz EWD z losowym nachyleniem Co poza wyborem modelu EWD? oszacowanie modeli dla każdego roku kwestia błędu pomiaru kwestia zrównania wyników egzaminów –niepotrzebne w przypadku modeli dla jednego roku –wskazane w przypadku modeli dla danych z kilku lat kwestia efektu egzaminatora –rozwiązana przez wyłączenie podejrzanych pytań Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

19 II. PRECYZJA I ZMIENNOŚĆ Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

20 Precyzja i zmienność Modele EWD powinny jak najdokładniej wskazywać prawdziwą, ukrytą wartość odpowiadającą temu co chcemy zmierzyć jako EWD Model EWD jest tym lepszy, im bliższy jest precyzyjnego określenia przyrostu wiedzy uczniów w każdym z gimnazjów Precyzję można oceniać ze względu na kilka kryteriów Jedne z nich dotyczą dokładności oceny EWD w danym roku Inne dotyczą stabilności EWD między latami Waga kryterium zależy od kontekstu użycia EWD Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

21 Statystyki dla punktowego EWD 2006 rok Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy EWD: część humanistyczna średnia odchylenie standardowe min max EWD: część matematyczno-przyrodnicza średnia odchylenie standardowe min max Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

22 Statystyki dla szerokości przedziałów ufności 2006 rok Reszty z regresji na uczniach Efekt losowy EWD: część humanistyczna średnia odchylenie standardowe min max EWD: część matematyczno-przyrodnicza średnia odchylenie standardowe min max Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

23 Korelacja między EWD dla różnych lat oszacowanych tą samą metodą EWD z lat 2005 i 2006 Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy część humanistyczna 0,35 0,39 0,40 część matematyczno- przyrodnicza 0,50 0,52 0,53 Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

24 Procent gimnazjów z pozytywnym lub negatywnym EWD w obydwu latach EWD z lat 2005 i 2006 Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy część humanistyczna 62% 64% część matematyczno- przyrodnicza 68% Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

25

26 III. EWD DLA 3 ROCZNIKÓW Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

27 EWD dla 3 roczników EWD dla jednego roku (jednego rocznika, czy raczej kohorty uczniów) jest dobrym narzędziem do analizy efektów nauczania z tą grupą uczniów Precyzja i stabilność takich wskaźników pozostawiają jednak wiele do życzenia Jeśli chcemy ocenić pracę szkoły w jak najbardziej precyzyjny i stabilny sposób, to powinniśmy podsumować informację z kilku lat, dając jeden wskaźnik EWD na cały okres wskaźnik szacowany dla kilku roczników będzie siłą rzeczy bardziej precyzyjny i stabilny, bo wykorzystuje niemal 3 razy większą liczbę obserwacji Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

28

29 Dlaczego 3 roczniki? 3 lata wydają się dobrym okresem dla dokonania podsumowania działalności szkoły dla 3 roczników skład nauczycielski i organizacja pracy nie zmieniają się tak bardzo kraje z większym doświadczeniem przyjmują taki okres jako podstawę oceny szkół (np. Holandia) docelowo wskaźnik taki będzie szacowany co roku, dla ostatnich 3 roczników określony będzie też trend efektywności nauczania szkoły dopiero ocena trendu pozwoli określić kierunek rozwoju szkoły… ale to dopiero za kilka lat Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

30 Ile gimnazjów posiada dane z 3 lat? Szkoły z oszacowanym EWD w każdym roku Liczba szkół Liczba uczniów EWD w każdym roku EWD w każdym roku i z co najmniej 10 uczniami łącznie przez 3 lata EWD w każdym roku i z co najmniej 30 uczniami łącznie przez 3 lata EWD w każdym roku i z co najmniej 50 uczniami łącznie przez 3 lata Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

31 Precyzja modeli jednorocznych a precyzja EWD dla 3 roczników szerokość przedziałów ufności* Efekt losowy EWD: część humanistyczna średnie w pojedynczych latach od 2.54 do 2.87 średnia 3 roczniki 1.65 EWD: część matematyczno-przyrodnicza średnie w pojedynczych latach od 2.33 do 2.82 średnia 3 roczniki 1.82 * próba 170 losowo wybranych gimnazjów Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

32 IV. EWD JAKO NARZĘDZIE EWALUACJI Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

33 Ewaluacja czego? Na poziomie kraju lub regionu: polityki edukacyjnej polityki samorządów programów nauczania Na poziomie szkoły lub gminy: postępów grup uczniów pracy szkół pracy nauczycieli lokalnej programów edukacyjnych metod nauczania Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

34 W jaki sposób? Na poziomie kraju lub regionu, gdzie dostępna jest duża liczba obserwacji, można wykorzystać model regresji EWD z uwzględnieniem interesujących nas zmiennych Na poziomie gminy czy jednej lub kilku gimnazjów można wykorzystać oszacowania modeli EWD dla kraju i porównywać średnie reszty między grupami Jeśli mamy wyniki kilkuset uczniów to także możemy stosować modele regresji EWD Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

35 Analiza dla szkół lub gminy Analiza reszt uczniów porównanie między szkołami porównanie między klasami testy na różnice średnich testy na różnice w zróżnicowaniu postępów uczniów wyjaśnianie poszczególnych przypadków - praca z nauczycielami Przykłady autorstwa dr Ewy Stożek (www.ewd.edu.pl) Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

36 Problem: wynik niżej średni wdrażamy program naprawczy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

37 EWD GH = 1,21 uczniowie o obniżonych wymaganiach edukacyjnych Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

38 Dlaczego klasa B uzyskała nieznacznie lepsze wyniki? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

39 Klasa B zdecydowanie lepiej poradziła sobie z rozprawką oraz z interpretowaniem poezji. Jaki wpływ na to miały metody pracy nauczyciela? Przykład II.3 Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

40 stanin wyżej średni

41 Duże zróżnicowanie wyników na wejściu w szkole. Problem: różna efektywność pracy z uczniami o różnym potencjale

42 Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

43 zróżnicowanie EWD w klasach Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

44 Ewaluacja na poziomie kraju Zastosowanie modeli EWD do danych z całej populacji uczniów Pierwszy problem: czy efektywność szkół zależy od wydatków w przeliczeniu na ucznia? Drugi problem: czy wielkość klas wpływa na przyrost wiedzy uczniów? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

45 Zmienna zależna: łączny wynik egzaminu gimnazjalnego Sprawdzian1.256***1.253*** Średnie wydatki na ucznia w trakcie nauki w gimnazjum ***-0.066*** Szkoła niepubliczna2.569***2.934*** liczba uczniów w szkole-0.173** Rozstęp ćwiartkowy wyników sprawdzianu w gimnazjum-0.045*** liczba uczniów w gminie0.259*** dochody na mieszkańca gminy1.555*** Wydatki na ucznia w trakcie nauki w szkole podstawowej-0.337*** Procent dzieci 3-5 letnich, które korzystały z przedszkoli0.008*** Oznaczenie typu miejscowościTak Liczba uczniów Liczba gimnazjów6211 Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

46 Zmienna zależna: łączny wynik egzaminu gimnazjalnego Scentrowany wynik sprawdzianu (0 = 10 percentyl oryginalnych wyników) 1.240*** (0.010) 1.213*** (0.010) Średnie wydatki na ucznia w trakcie nauki w gimnazjum ** (0.024) *** (0.024) Średnie wydatki * sprawdzian (0.002) * (0.002) Logarytm naturalny liczby uczniów w szkole 0.279*** (0.022) Logarytm naturalny liczby uczniów w gminie *** (0.055) Logarytm naturalny dochodów na mieszkańca gminy 1.648*** (0.221) Rozstęp ćwiartkowy wyników sprawdzianu wśród uczniów gimnazjum *** (0.006) Średni wynik sprawdzianu wśród uczniów gimnazjum 0.180*** (0.006) Log restricted-likelihood Liczba uczniów Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,

47 Regresja liniowa Regresja z efektami stałymi Przeciętna liczba uczniów w klasie0.051*** Wynik sprawdzianu1.198***1.240*** Mediana wyników sprawdzianu 0.322***0.291*** Rozstęp ćwiartkowy wyników sprawdzianu-0.061***-0.053*** R2R R 2 within0.63 R 2 between0.75 Liczba gimnazjów5280 Liczba uczniów

48 Regresja z efektami stałymi Zmiana mniejsza niż 25% Zmiana mniejsza niż 25% i średnie klasy od 15 do 30 uczniów Przeciętna liczba uczniów w klasie Sprawdzian1.244***1.242*** Mediana wyników sprawdzianu 0.324***0.325*** Rozstęp ćwiartkowy wyników sprawdzianu-0.059***-0.060*** R2R R 2 within0.63 R 2 between0.77 Liczba gimnazjów Liczba uczniów

49 Podsumowanie Wybór modelu EWD ma niewielkie praktyczne znaczenie pozostają jednak kwestie wpływu błędu pomiaru, zrównywania wyników itp. EWD trzeba liczyć z danych indywidualnych i podawać jako przedział ufności EWD 3 rocznikowe jest dużo precyzyjniejsze i będzie stanowić podstawę oceny pracy szkoły Czy model EWD powinien w większym stopniu uwzględniać środowisko nauczania? Badania trwają…

50 Podsumowanie EWD może być wykorzystywane jako narzędzie ewaluacji Ewaluacja metodami EWD może być prowadzona dla jednej lub kilku szkół. Jest wtedy mniej precyzyjna, ale można (trzeba) ją połączyć ze znajomością lokalnego kontekstu EWD powinno służyć do ewaluacji polityki oświatowej to potężne narzędzie, opierające się na obiektywnym pomiarze umiejętności uczniów i olbrzymiej liczbie danych jego stosowanie wymaga jednak znajomości metod statystycznych i świadomości ich ograniczeń

51 Dziękuję za uwagę! Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO,


Pobierz ppt "Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski"

Podobne prezentacje


Reklamy Google