1 Konferencja dyrektorów szkół z terenu działania OKE w Krakowie październik 2008 roku część IV

2 Program konferencji Część I Przygotowanie sesji egzaminacyjnej 2008/2009 Egzamin gimnazjalny z języków obcych nowożytnych E-learning na platformie edukacyjnej OKE Część II i III Wykorzystanie wyników egzaminów dla doskonalenia jakości kształcenia Część IV Edukacyjna wartość dodana i jej wykorzystanie do kierowania rozwojem szkoły

Edukacyjna wartość dodana i jej wykorzystanie do kierowania rozwojem szkoły

EWD, czyli odrobina historii Od 2002 r. system egzaminów zewnętrznych dostarcza obiektywnych danych o osiągnięciach uczniów Rok 2005 umożliwił „scalenie” dwóch wyników dla ucznia kończącego gimnazjum –Wyniku sprawdzianu w 2002 r. oraz wyniku egzaminu gimnazjalnego w 2005 r. –Pierwsze próby liczenia EWD na przykładzie powiatu oświęcimskiego (prace dr M.K. Szmigel i A. Rappe)

Prace nad EWD obecnie W ramach PO KAPITAŁ LUDZKI, Priorytet III, Działanie 3.2 Rozwój systemu egzaminów zewnętrznych trwają Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD) Projekt obejmuje lata Kierownikiem projektu jest dr Roman Dolata Pośród członków zespołu jest trzech pracowników OKE w Krakowie

6 Informacje o EWD Kalkulator EWD (2005, 2006, 2007) Warsztaty EWD dla konsultantów, metodyków, dyrektorów (2007 i 2008) Tematyka EWD na konferencjach PTDE od 2005 r. Szereg publikacji w biuletynach i wydaniach książkowych CKE Tematyka obecna na spotkaniach z dyrektorami Dostępne informacje na stronie Wyniki EWD szkół (OKE w Krakowie) w październiku (system OBIEG)

7 Edukacyjna wartość dodana jako jedna z miar jakości nauczania Poziom końcowy osiągnięć szkolnych Zasoby na wejściu Jakość nauczania Dydaktyczno- wychowawcza praca szkoły Edukacyjna wartość dodana jest przyrostem wiedzy uczniów w wyniku danego procesu edukacyjnego Przykładowa lista zasobów danych: indywidualne – osiągnięcia szkolne, kapitał kulturowy, ekonomiczny i społeczny grupowe – osiągnięcia szkolne rówieśników, ich kapitał kulturowy, ekonomiczny, społeczny instytucjonalne – nakłady finansowe, infrastruktura

8 Dwa typy wskaźników edukacyjnej wartości dodanej Wskaźniki bezwzględne, wymagają pomiaru osiągnięć szkolnych na różnych etapach kształcenia za pomocą tych samych skal pomiarowych, nie jest to możliwe w Polsce Wskaźniki względne – przyjmujemy, że wynik na egzaminie „niższym” jest miarą potencjału i na jego podstawie prognozujemy wynik na etapie „wyższym”

9 Obecnie stosowana w Polsce metoda liczenia EWD dla gimnazjów Na podstawie wyniku ucznia na sprawdzianie szacujemy wynik przewidywany na egzaminie gimnazjalnym Obliczamy resztę, czyli różnicę między wynikiem faktycznym a przewidywanym i wartości zmiennych kontrolnych Obliczamy średnią reszt, czyli EWD dla szkoły Szacujemy przedział ufności dla EWD

10 Jak interpretować wartość reszty? Na wartość reszty wpływają różne czynniki, np..: –motywacyjne – wzrost motywacji w trakcie egzaminu gimnazjalnego w porównaniu ze sprawdzianem –środowiskowe – poprawa sytuacji materialnej rodziny, pozwala na większe inwestycje w edukację dziecka –biologiczne – zmienne tempo dojrzewania i rozwoju umysłowego, –sytuacyjne czy losowe – np. samopoczucie w trakcie egzaminu.

11 W polskiej metodzie szacowania EWD zastosowano Dodatkową informację o uczniu (zmienne kontrolne) –płeć –dysleksja Uśrednienie reszt –do średniej Określenie wiarygodności statystycznej –przedział ufności dla średniej (przedział, w którym z określonym prawdopodobieństwem znajduje się EWD) Prezentację wyników EWD w skalach: –staninowa –centylowa

12 Część humanistyczna Zależność wyniku sprawdzianu (2004 r.) i surowego wyniku egzaminu części humanistycznej (2007 r.) Zależność wyniku sprawdzianu (2004 r.) i EWD części humanistycznej (2007 r.) Część matematyczno- przyrodnicza Wynik egzaminu Wartość EWD Dwie miary jakości kształcenia Linia wyniku przewidywanego

13 Dwie miary jakości kształcenia dla województw, powiatów, gmin, szkół Surowe wyniki egzaminacyjne Wyniki EWD Z własności EWD wynika, że średnia dla wszystkich uczniów w kraju wynosi „zero” EWD jest miarą względną Grupując wyniki EWD dla uczniów musimy pamiętać, że część z nich będzie miała reszty dodatnie oraz część będzie miała reszty ujemne EWD dla szkoły jest wyrażona w jednostkach egzaminacyjnych (punktach)

14 Terytorialne zróżnicowanie surowych wyników egzaminów i EWD część humanistyczna

15 Terytorialne zróżnicowanie surowych wyników egzaminów i EWD część matematyczno-przyrodnicza

16 Próba monitorowania pracy szkół ID EWD 2005EWD 2006EWD 2007 Trzy letnie EWD Liczba uczniów* HUMMATHUMMATHUMMATHUMMAT 11,93-1,83,72-0,143,991,433,55-0, ,36-1,7-0,01-1,82,370,040,94-1, ,88-4,18-1,92-1,151,09-1,59-1,24-2, ,366,10,282,273,522,821,503, ,124,150,871,272,45-1,972,310, ,525,192,990,640,77-0,892,301, ,96-1,89-1,8-1,170,29-0,230,16-0, ,35-0,12-0,8-1,433,70,680,650,0086 Co oznaczają te wartości? Jak je interpretować?

17 Przedział ufności EWD dla szkół o numerze: 2, 3, 7, 9 różni się istotnie od 0 EWD dla szkół: 1, 4, 5, 6, 8 i 10 są statystycznie różne od 0

18 Duże zróżnicowanie wyników na wejściu w szkole Problem: różna efektywność pracy z uczniami o różnym potencjale Linia regresji – dzieli wyniki na dodatnie i ujemne Granice przedziałów punktowych dla wyników niskich i uczniów o średnim potencjale

19 Wykorzystanie danych na temat wyników egzaminów: nauka w służbie sztuki? Zestawienie wyników zostanie zamieszczone w serwisie OBIEG w zakładce Materiały

20 Pojęcia, które należy znać, aby odczytać komunikat o EWD Edukacyjna wartość dodana „Wyniki surowe” (w punktach, procentach) Skala standardowej dziewiątki i jej stopnie – staniny Skala centylowa i jej stopnie – centyle Wynik „na wejściu” i „wyjściu” Wynik szkoły na wejściu odpowiada 5 staninowi, czyli wynosi …. Wynik szkoły po egzaminie gimnazjalnym to 7 i 8 stanin, czyli …. Centyl 56 oznacza, że …… Procent połączonych (scalonych) wyników to (jakich?) Przedział ufności (dlaczego wyniki podawane są wraz z tą informacją?) Wynik 3 letniego EWD w części humanistycznej równe 1,37 oznacza... Wynik 3 letniego EWD dla części matematyczno-przyrodniczej 2,56 oznacza, że …

21 Komunikowanie EWD Skala standardowej dziewiątki Skala centylowa 14%najniższy 1 do 4 27%bardzo niski 5 do %niski 13 do %niżej średni 24 do %średni 40 do %wyżej średni 61 do %wysoki 79 do 89 87% bardzo wysoki 90 do 96 94%najwyższy 97 i >

22 Tabela zależności dla szkół wyników średnich egzaminu i wskaźników EWD EWD Wyniki surowe w skali standardowej dziewiątki CH 7BFE 6I 5 4 3JG 2AD 1 Gimnazja A, B, C, D, E, F, G, H, I

23 Jakie bodźce mogą skłonić szkoły do wykorzystania wskaźników EWD? EWD Wyniki „surowe” w skali standardowej dziewiątki CH 7BFE 6I 5 4 3JG 2AD 1 „Dobra efektywność” mimo niskiej pozycji w rankingach Szkoły „nieefektywne” „Wysoce efektywne” szkoły potwierdzone dwoma miarami Szkoły, które „spoczęły na laurach”

Wynik części humanistycznej EWD części humanistycznej Województwo podkarpackie „ Wysoce efektywne” szkoły potwierdzone dwoma miarami „Dobra efektywność” mimo niskiej pozycji w rankingach Szkoły, które „spoczęły na laurach” Szkoły „nieefektywne”

Wynik części matematyczno- przyrodniczej EWD części matematyczno- przyrodniczej Województwo podkarpackie „ Wysoce efektywne” szkoły potwierdzone dwoma miarami „Dobra efektywność” mimo niskiej pozycji w rankingach Szkoły, które „spoczęły na laurach” Szkoły „nieefektywne”

26 Przed zespołem pracującym w ramach projektu: Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD) stoi ważne zadanie związane z monitorowaniem wprowadzania EWD w Polsce. Podczas badań pilotażowych (OKE w Krakowie) zasięgaliśmy opinii na temat: jasności informacji, użyteczności i czytelności informacji, potrzeby wsparcia w zakresie interpretacji w tym ustalania przyczyn uzyskanych rezultatów.

27 Podsumowanie EWD dla organu prowadzącego EWD dla wizytatora EWD dla dyrektora szkoły  porównywalność szkół  ocena efektywności  identyfikacja szkół do wsparcia  porównywalność klas  ocena efektywności  ocena pracy nauczyciela EWD a dydaktyka? EWD dla nauczyciela? porównywalność, rozliczalność

28

29 Pytania, wątpliwości prosimy kierować do WBiA tel