Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Wykorzystanie wyników egzaminów zewnętrznych do doskonalenia jakości nauczania.

Podobne prezentacje


Prezentacja na temat: "Wykorzystanie wyników egzaminów zewnętrznych do doskonalenia jakości nauczania."— Zapis prezentacji:

1 Wykorzystanie wyników egzaminów zewnętrznych do doskonalenia jakości nauczania

2 Zagadnienia Źródła informacji o egzaminach i wynikach egzaminów Przykłady badań nad egzaminami Edukacyjna wartość dodana i jej wykorzystanie dla doskonalenia jakości nauczania w szkołach gimnazjalnych Zaproszenie do obserwacji egzaminów w gimnazjach

3 Zasięg terytorialny komisji egzaminacyjnych Ministerstwo Edukacji Narodowej Okręgowa Komisja Egzaminacyjna: w Gdańsku w Jaworznie w Krakowie w Łodzi w Łomży w Poznaniu w Warszawie we Wrocławiu Centralna Komisja Egzaminacyjna w Warszawie

4 Zadania okręgowych komisji egzaminacyjnych Tworzenie arkuszy egzaminacyjnych Przeprowadzenie sprawdzianu i egzaminów Szkolenia egzaminatorów Ocenianie prac egzaminacyjnych Przekazywanie wyników egzaminów zdającym, dyrektorom szkół, organom nadzorującym i prowadzącym szkoły Przekazywanie sprawozdań z przeprowadzonych sprawdzianów i egzaminów dyrektorom szkół, organom prowadzącym szkoły, kuratorom oświaty i CKE

5 2819 szkół, w których przeprowadzane są egzaminy zewnętrzne - prawie uczniów przystępujących co roku do egzaminów (1, 2-3 lub 5)

6 Jak wykorzystać wynik egzaminu gimnazjalnego?

7 7 Liczba punktów do uzyskania za każdy ze sprawdzanych standardów Numery zadań w arkuszach egzaminacyjnych Czytanie i odbiór tekstów kultury 25 50% 100% 1-20, 25, 26, 27, 28, 29 Tworzenie własnego tekstu 25 50% 21, 22, 23, 24, 30, 31, 32 Stosowanie terminów, pojęć i procedur… 1530% 100% 1, 2, 7, 9, 11, 19, 28, 31, 33 Wyszukiwanie i stosowanie informacji 1224% 3, 4, 5, 6, 8, 12, 13, 16, 21, 22, 29 Wskazywanie i opisywanie faktów, związków i zależności % 10, 14, 15, 17, 18, 20, 23, 24, 25, 27, 30 Stosowanie zintegrowanej wiedzy i umiejętności… 816% 26, 32 Koncepcja egzaminu gimnazjalnego 2008 zapisana w planie testu

8 8 8 86% punktów 83% punktów

9 9 Osiągnięcia uczniów Część HUM. Część MAT. PRZYR. Opis 64,2%54,1% Suma punktów uzyskanych przez wszystkich uczniów podzielona przez liczbę punktów możliwą do uzyskania przez nich x 100 Średnia punktów 30,7527,07 Suma punktów uzyskana przez wszystkich uczniów podzielona przez liczbę uczniów Miary tendencji centralnej Modalna 3821 Najczęstszy wynik Mediana 3226 Wynik środkowego ucznia rozkładu uporządkowanego malejąco (50% uczniów ma wynik niższy) Podstawowe miary statystyczne egzaminu gimnazjalnego 2008

10 Osiągnięcia uczniów klas III gimnazjalnych według sprawdzanych umiejętności w roku 2008 w % uzyskanych punktów Część humanistyczna Część matematyczno-przyrodniczaCzęść humanistyczna

11 Okręgowa Komisja Egzaminacyjna w Krakowie Opracowanie: dr Maria Krystyna Szmigel Zapraszamy do lektury Centralnie wydawane i przekazywane do każdej szkoły są wydawnictwa książkowe

12 Stopień skali (Stanin) w % Opis dydaktyczny skali Uczniowie 14najniższy Zagrożeni niskimi osiągnięciami 27bardzo niski 312niski 417niżej średni Uczniowie o średnim potencjale 520średni 617wyżej średni 712wysoki Uczniowie o wysokim potencjale 87bardzo wysoki 94najwyższy Normalizacja wyników w skali standardowej dziewiątki

13 13 Tabela 15. Łatwość sprawdzanych umiejętności a wynik ucznia w skali standardowej dziewiątki Stopień skali (Stanin)/ procent populacji Czytanie i odbiór tekstów kultury Tworzenie własnego tekstu Stosowanie terminów, pojęć i procedur… Wyszukiwanie i stosowanie informacji Wskazywanie i opisywanie faktów, związków i zależności... Stosowanie zintegrowanej wiedzy i umiejętności … W procentach punktów 1 (4%) (7%) (12%) (17%) (20%) (17%) (12%) (7%) (4%) Niski potencjał Wysoki potencjał Średni potencjał

14

15

16 16 Wyniki wszystkich szkół podstawowych i gimnazjalnych

17 17

18 18

19 Część humanistyczna Część matematyczno-przyrodnicza 19

20 Sprawozdania i raporty na stronie internetowej OKE w Kakowie

21 Gimnazjum 2008

22 Edukacyjna wartość dodana, czyli jak wykorzystać wyniki egzaminów zewnętrznych, do oceny efektywności nauczania

23 Odrobina historii Od 2002 r. system egzaminów zewnętrznych dostarcza obiektywnych danych o osiągnięciach uczniów Rok 2005 umożliwił scalenie dwóch wyników dla ucznia kończącego gimnazjum – Wyniku sprawdzianu w 2002 r. oraz wyniku egzaminu gimnazjalnego w 2005 r. – Pierwsze próby liczenia EWD na przykładzie powiatu oświęcimskiego a potem krośnieńskiego i M.Krosna (prace dr M.K. Szmigel i A. Rappe – OKE Kraków)

24 Informacje o EWD Kalkulator EWD (2005, 2006, 2007, 2008) Warsztaty EWD dla konsultantów, metodyków, dyrektorów (2007 i 2008) Tematyka EWD na konferencjach PTDE od 2005 r. Szereg publikacji w biuletynach i wydaniach książkowych CKE Tematyka obecna na spotkaniach z dyrektorami Dostępne informacje na stronie Wyniki EWD szkół (OKE w Krakowie) - system OBIEG

25 Projekt obejmuje lata

26

27 Edukacyjna wartość dodana jako jedna z miar jakości nauczania Zasoby na wejściu Jakość nauczania Poziom końcowy wiedzy Szkoła Edukacyjna wartość dodana jest przyrostem wiedzy i umiejętności uczniów w wyniku danego procesu edukacyjnego

28 Główne cele wprowadzania EWD Zmniejszenie roli surowych wyników egzaminów jako jedynej miary jakości nauczania. Diagnozowanie jakości nauczania celem nieustannej pracy nad poprawą efektywności nauczania. Zachęcanie szkół do konkurencji jakością nauczania. Docenienie pracy nauczycieli pracujących w środowiskach o niekorzystnych cechach społeczno- ekonomicznych.

29 Jak liczona jest EWD w polskim modelu? 1.Na podstawie wyniku ucznia na sprawdzianie szacujemy za pomocą metody regresji wynik przewidywany na egzaminie gimnazjalnym. 2.Obliczamy różnicę punktów – tzw. resztę – między faktycznym wynikiem ucznia na egzaminie a jego wynikiem przewidywanym. 3.Obliczamy średnią reszt, czyli EWD dla szkoły (gminy, powiatu, województwa). 4.Szacujemy przedział ufności dla EWD (jego długość zależy od liczby uczniów i od zróżnicowania wyników w szkole).

30 W polskiej metodzie szacowania EWD zastosowano : Dodatkową informację o uczniu (zmienne kontrolne) – płeć – dysleksja Uśrednienie reszt – do średniej Określenie wiarygodności statystycznej – przedział ufności dla średniej (przedział, w którym z prawdopodobieństwem 95% znajduje się EWD) Prezentacja wyników EWD w skalach: – skala staninowa – skala centylowa

31 EWD jest miarą względną Model liczenia EWD jest tak dobrany aby nie faworyzować żadnej ze szkół – ani szkoły, w której przeważają uczniowie słabsi, ani też szkół z najlepszymi uczniami. Prawdopodobieństwo uzyskania dodatniej lub ujemnej edukacyjnej wartości dodanej jest takie samo dla wszystkich szkół, niezależnie od składu uczniów na wejściu. Wyniki EWD podawane są w punktach egzaminacyjnych egzaminu gimnazjalnego danego roku. Podobnie jak dla średnich wyników egzaminacyjnych szkół, tak dla wskaźników EWD buduje się skalę staninową.

32 Wykorzystanie EWD Wykorzystanie nowego wskaźnika do oceny efektywności nauczania w: kraju województwie, powiecie, gminie, gimnazjum oddziale gimnazjum

33 Komunikowanie EWD Skala standardowej dziewiątki Skala centylowa 14%najniższy 1 do 4 27%bardzo niski 5 do %niski 13 do %niżej średni 24 do %średni 40 do %wyżej średni 61 do %wysoki 79 do 89 87% bardzo wysoki 90 do 96 94%najwyższy 97 i >

34 Krzywa regresji (linia przewidywanego wyniku) Przewidywany wynik GMP dla uczniów, którzy na sprawdzianie uzyskali 20 i 30 pkt.

35

36 Przedziały wyników punktowych dla 3 grup uczniów o różnym potencjale na podstawie wyników sprawdzianu, dla których liczymy EWD w kolejnych latach Potencjał EWD 2005EWD 2006EWD 2007EWD 2008 sprawdzian 2002 sprawdzian 2003 sprawdzian 2004 sprawdzian 2005 niski średni wysoki Uczniowie o wysokim potencjale Uczniowie o średnim potencjale Uczniowie zagrożeni niskimi osiągnięciami

37 Stopień skali* Edukacyjna wartość dodana dla szkół w Polsce najniższy -20,42 -4,88-11,28 -3,89-11,63 -3,64-9,97 -4,17 2bardzo niski -4,87 -2,94-3,88 -2,59-3,63 -2,41-4,16 -2,76 3niski -2, ,58 -1,46-2,40 -1,84-2,75 -1,56 4niżej średni -1,64 -0,47-1,45 -0,45-1,38 -0,38-1,55 -0,39 5średni -0,46 0,55-0,44 0,55-0,37 0,63-0,38 0,74 6wyżej średni 0,56 1,490,56 1,570,64 1,630,75 1,77 7wysoki 1,50 2,471,58 2,621,64 2,571,78 2,88 8bardzo wysoki 2,48 3,552,63 3,852,58 3,742,89 4,18 9najwyższy powyżej 3,56powyżej 3,86powyżej 3,75powyżej 4,19 * standardowa dziewiątka

38 Stopień skali* Edukacyjna wartość dodana najniższy -21,9 -5,24-10,53 -3,82-8,42 -3,15-8,53 -3,52 2bardzo niski -5,23 -3,08-3,81 -2,79-3,14 -2,17-3,51 -2,49 3niski -3,07 -1,77-2,69 -1,69-2,16 -1,32-2,48 -1,55 4niżej średni -1,76 -0,70-1,68 -0,66-1,31 -0,44-1,54 - 0,58 5średni -0,69 0,43-0,65 0,46-0,43 0,52-0,57 0,53 6wyżej średni 0,44 1,610,47 1,670,53 1,560,54 1,59 7wysoki 1,62 3,021,68 3,111,57 2,761,60 2,95 8bardzo wysoki 3,03 5,063,12 4,912,77 4,322,96 4,92 9najwyższypowyżej 5,07powyżej 4,92powyżej 4,33powyżej 4,93 * standardowa dziewiątka

39 W których województwach uczniowie uczynili największy względny postęp w okresie nauki w gimnazjum? (2007)

40 EWD w województwie małopolskim w latach WOJ. Wyniki surowe egzaminu w % 2007 Edukacyjna wartość dodana (EWD) Ogółem w latach GHUGMPGHUGMPGHUGMPGHUGMPGHUGMP MAZOWIECKIE 65,653,50,280,211,702,290,650,700,660,52 MAŁOPOLSKIE 65,552,30,27-0,240,52-0,170,670,310,810,16 PODKARPACKIE 64,050,30,30-0,240,55-0,600,820,230,890,00 LUBELSKIE 64,350,30,370,040,36-0,981,070,350,930,00 SLĄSKIE 63,650,00,55-0,070,07-0,420,25-0,310,58-0,11

41 Wskaźnik EWD 3-letni, Małopolska ( )

42 Z którą grupą uczniów: z wynikiem niskim, średnim, czy wysokim pracowano najefektywniej? powiat Ogółem EWDWyniki na sprawdzianie w roku 2004 GHUGMP Niskie Stanin 1-3 Średnie Stanin 4-6 Wysokie Stanin 7-9 GHUGMPGHUGMPGHUGMP brzeski 1,451,091,210,221,861,290,561,49 wadowicki 2,050,761,230,472,400,581,771,68 nowosądecki 1,87-0,771,60-1,182,19-0,671,27-0,46 KRAKÓW 1,150,810,46-0,081,621,080,881,98 TARNÓW 1,18-0,030,89-0,721,49-0,020,620,34 oświęcimski 0,48-1,100,90-0,520,13-1,060,74-1,63

43 Gimnazja EWD 2005EWD 2006EWD 2007 Trzy letnie EWD Liczba uczniów GHU**GMP***GHUGMPGHUGMPGHUGMP 1 1,93-1,803,72-0,143,991,433,55-0, ,36-1,70-0,01-1,82,370,040,94-1, ,88-4,18-1,92-1,151,09-1,59-1,24-2, ,366,100,282,273,522,821,503, ,63-0,130,45-2,540,440,240,71-0, ,580,82,621,432,181,302,131, ,124,150,871,272,45-1,972,310,9739 Przykładowe zestawienie wyników EWD dla gimnazjów w gminie

44 Tabela zależności dla szkół wyników średnich egzaminu i wskaźników EWD EWD Wyniki surowe w skali standardowej dziewiątki CH 7BFE 6I 5 4 3JG 2AD 1 Gimnazja A, B, C, D, E, F, G, H, I, J

45 Jakie bodźce mogą skłonić szkoły do wykorzystania wskaźników EWD? EWD Wyniki egzaminów w skali standardowej dziewiątki CH 7BFE 6I 5 4 3JG 2AD 1 Dobra efektywność mimo niskiej pozycji w rankingach Szkoły nieefektywne Wysoce efektywne szkoły potwierdzone dwoma miarami Szkoły, które spoczęły na laurach A B C D

46 Wynik części humanistycznej EWD części humanistycznej Województwo małopolskie Wysoce efektywne szkoły potwierdzone dwoma miarami Dobra efektywność mimo niskiej pozycji w rankingach Szkoły, które spoczęły na laurach Szkoły nieefektywne

47 Wynik części matematyczno- przyrodniczej EWD części matematyczno- przyrodniczej Województwo małopolskie Wysoce efektywne szkoły potwierdzone dwoma miarami Dobra efektywność mimo niskiej pozycji w rankingach Szkoły, które spoczęły na laurach Szkoły nieefektywne

48 EWD w gimnazjum Duże zróżnicowanie wyników na wejściu Problem: różna efektywność pracy z uczniami w części humanistycznej i matematyczno-przyrodniczej 2004 Wysoka efektywność w części humanistycznej (liczba uczniów z wynikami powyżej linii regresji) Niska efektywność w części matematyczno-przyrodniczej

49 EWD w gimnazjum Duże zróżnicowanie wyników na wejściu Problem: różna efektywność pracy z uczniami o różnym potencjale na wejściu Zaniedbanie uczniów najsłabszych w części humanistycznej i matematyczno-przyrodniczej

50 EWD w gimnazjum Przez sumowanie wyników pojedynczych uczniów i grupowanie według przedziałów (na rysunku środki przedziałów). Na osi pionowej liczebność uczniów. Najczęściej liczba wyników EWD równa 0 jest największa, co oznacza przeciętną efektywność dla tej grupy uczniów (na miarę wyniku na niższym etapie edukacyjnym). Dodatnia EWD – ponadprzeciętna efektywność Ujemna EWD – efektywność poniżej przeciętna

51 Różna efektywność pracy z uczniami w klasach Klasa C Klasa B Klasa A Gimnazjum

52 Wprowadzenie wskaźnika EWD Kto powinien zainicjować pracę nad wykorzystaniem EWD w szkole? – OKE – Kuratorium Oświaty – Samorząd Terytorialny

53 Przechowywanie wyników w systemie elektronicznym od 2005 roku Obsługa Internetowa Egzaminów

54

55 Wynik dla szkoły Wyniki według klas

56 Pojęcia, które należy znać, aby odczytać komunikat o EWD Edukacyjna wartość dodana Wyniki surowe (w punktach, procentach) Skala standardowej dziewiątki i jej stopnie – staniny Skala centylowa i jej stopnie– centyle Wynik na wejściu i wyjściu Wynik szkoły na wejściu odpowiada 5 staninowi, czyli wynosi …. Wynik szkoły po egzaminie gimnazjalnym to 7 i 8 stanin, czyli …. Centyl 56 oznacza, że …… Procent połączonych (scalonych) wyników to (jakich?) Przedział ufności (dlaczego wyniki podawane są wraz z tą informacją?) Wynik 3-letniego EWD w części humanistycznej równe 1,37 oznacza... Wynik 3-letniego EWD dla części matematyczno-przyrodniczej 2,56 oznacza, że …

57 Warsztaty z wizytatorami Małopolskiego Kuratorium Oświaty

58 Małopolski Kurator Oświaty zobowiązał szkoły do wykonania analizy EWD w roku 2008 W ilu gimnazjach w wykorzystano dane o EWD do analizy wyników nauczania? Czego warto dowiedzieć się w związku z wykorzystaniem informacji o EWD w szkole? – Czy w szkole obliczono wskaźnik EWD? – Czy w szkole natrafiono na trudności z obliczeniem tego wskaźnika? – Jakie konkretne działania podejmowano w trakcie przygotowania się do analizy EWD i w trakcie jej przeprowadzania? – Z jakimi innymi danymi jakościowymi próbowano powiązać informację o EWD? – Kto przeprowadzał analizę w szkole? – (…)

59

60 Kalkulator Edukacyjnej Wartości Dodanej Dane potrzebne do wprowadzenia: wynik na sprawdzianie (jeżeli korzystał z dostosowania warunków lub kryteriów oceniania) płeć dysleksja na sprawdzianie wynik na egzaminie gimnazjalnym – GHU, GMP dysleksja w gimnazjum (jeżeli korzystał z dostosowania warunków lub kryteriów oceniania)

61

62 Przykład wydruku wyników dla organów JST w województwie małopolskim oraz możliwości pracy z nimi

63

64 Stopień skali* Edukacyjna wartość dodana najwyższy powyżej 3,56powyżej 3,86powyżej 3,75powyżej 4,19 8 bardzo wysoki 2,48 3,552,63 3,852,58 3,742,89 4,18 7 wysoki 1,50 2,471,58 2,621,64 2,571,78 2,88 6 wyżej średni 0,56 1,490,56 1,570,64 1,630,75 1,77 5 średni -0,46 0,55-0,44 0,55-0,37 0,63-0,38 0,74 4 niżej średni -1,64 -0,47-1,45 -0,45-1,38 -0,38-1,55 -0,39 3 niski -2, ,58 -1,46-2,40 -1,84-2,75 -1,56 2 bardzo niski -4,87 -2,94-3,88 -2,59-3,63 -2,41-4,16 -2,76 1 najniższy -20,42 -4,88-11,28 -3,89-11,63 -3,64-9,97 -4,17 Liczba połączonych wyników Stopień skali* Edukacyjna wartość dodana najwyższypowyżej 5,07powyżej 4,92powyżej 4,33powyżej 4,93 8 bardzo wysoki 3,03 5,063,12 4,912,77 4,322,96 4,92 7 wysoki 1,62 3,021,68 3,111,57 2,761,60 2,95 6 wyżej średni 0,44 1,610,47 1,670,53 1,560,54 1,59 5 średni -0,69 0,43-0,65 0,46-0,43 0,52-0,57 0,53 4 niżej średni -1,76 -0,70-1,68 -0,66-1,31 -0,44-1,54 - 0,58 3 niski -3,07 -1,77-2,69 -1,69-2,16 -1,32-2,48 -1,55 2 bardzo niski -5,23 -3,08-3,81 -2,79-3,14 -2,17-3,51 -2,49 1 najniższy -21,9 -5,24-10,53 -3,82-8,42 -3,15-8,53 -3,52 Liczba połączonych wyników

65 Chłodnym okiem na EWD Sprawdza się w odniesieniu do szkół o dużej liczbie uczniów Jedna ale nie jedyna miara jakości pracy szkoły w kontekście roli szkoły w rozwoju ucznia Wymaga uczciwości na każdym egzaminie Wymaga poznania potencjału ucznia na wejściu EWD mierzy to na co szkoła ma wpływ. Czy szkoła jest wystarczająco efektywna, pracując z uczniami o określonym potencjale?

66 W trosce o zapewnienie jednakowych warunków przeprowadzania sprawdzianów i egzaminów Okręgowa Komisja Egzaminacyjna w Krakowie zaprasza do obserwacji przebiegu egzaminów zewnętrznych. Rozporządzenie Ministra Edukacji Narodowej z dnia 30 kwietnia 2007 r. w sprawie warunków i sposobu oceniania, klasyfikowania i promowania uczniów i słuchaczy oraz przeprowadzania egzaminów i sprawdzianów w szkołach publicznych (Dz. U. z 2007 r. nr 83 poz. 562, z późn. zm.). Ewaluacja przebiegu sprawdzianu i egzaminów

67 § Obserwatorami sprawdzianu, egzaminu gimnazjalnego, egzaminu maturalnego oraz egzaminu zawodowego mogą być: 1) delegowani pracownicy ministerstwa obsługującego ministra właściwego do spraw oświaty i wychowania; 2) delegowani przedstawiciele Komisji Centralnej i komisji okręgowych; 3) delegowani pracownicy ministerstw obsługujących ministrów właściwych dla zawodów; 4 ) delegowani przedstawiciele organu sprawującego nadzór pedagogiczny, organu prowadzącego szkołę, szkół wyższych i placówek doskonalenia nauczycieli, a w przypadku egzaminu zawodowego także delegowani przedstawiciele pracodawców, upoważnieni przez dyrektora komisji okręgowej. Ewaluacja przebiegu sprawdzianu i egzaminów

68 Wniosek na stronie głównej w dziale Badania, opracowania, raportyBadania, opracowania, raporty

69 Dziękuję za uwagę Lech Gawryłow Dyrektor Okręgowej Komisji Egzaminacyjnej w Krakowie


Pobierz ppt "Wykorzystanie wyników egzaminów zewnętrznych do doskonalenia jakości nauczania."

Podobne prezentacje


Reklamy Google