Zagadnienia Źródła informacji o egzaminach i wynikach egzaminów

Prezentacja na temat: "Zagadnienia Źródła informacji o egzaminach i wynikach egzaminów"— Zapis prezentacji:

1 Wykorzystanie wyników egzaminów zewnętrznych do doskonalenia jakości nauczania

2 Zagadnienia Źródła informacji o egzaminach i wynikach egzaminów
Przykłady badań nad egzaminami Edukacyjna wartość dodana i jej wykorzystanie dla doskonalenia jakości nauczania w szkołach gimnazjalnych Zaproszenie do obserwacji egzaminów w gimnazjach

3 Zasięg terytorialny komisji egzaminacyjnych
Ministerstwo Edukacji Narodowej Okręgowa Komisja Egzaminacyjna: w Gdańsku w Jaworznie w Krakowie w Łodzi w Łomży w Poznaniu w Warszawie we Wrocławiu Centralna Komisja Egzaminacyjna w Warszawie

4 Zadania okręgowych komisji egzaminacyjnych
Tworzenie arkuszy egzaminacyjnych Przeprowadzenie sprawdzianu i egzaminów Szkolenia egzaminatorów Ocenianie prac egzaminacyjnych Przekazywanie wyników egzaminów zdającym, dyrektorom szkół, organom nadzorującym i prowadzącym szkoły Przekazywanie sprawozdań z przeprowadzonych sprawdzianów i egzaminów dyrektorom szkół, organom prowadzącym szkoły, kuratorom oświaty i CKE

5 szkół, w których przeprowadzane są egzaminy zewnętrzne - prawie uczniów przystępujących co roku do egzaminów (1, 2-3 lub 5)

6 Jak wykorzystać wynik egzaminu gimnazjalnego?

7 Koncepcja egzaminu gimnazjalnego 2008 zapisana w planie testu
Liczba punktów do uzyskania za każdy ze sprawdzanych standardów Numery zadań w arkuszach egzaminacyjnych Czytanie i odbiór tekstów kultury 25 50% 100% 1-20, 25, 26, 27, 28, 29 Tworzenie własnego tekstu 21, 22, 23, 24, 30, 31, 32 Stosowanie terminów, pojęć i procedur… 15 30% 1, 2, 7, 9, 11, 19, 28, 31, 33 Wyszukiwanie i stosowanie informacji 12 24% 3, 4, 5, 6, 8, 12, 13, 16, 21, 22, 29 Wskazywanie i opisywanie faktów, związków i zależności... 10, 14, 15, 17, 18, 20, 23, 24, 25, 27, 30 Stosowanie zintegrowanej wiedzy i umiejętności… 8 16% 26, 32 7

8 86% punktów 83% punktów 8 8

9 Podstawowe miary statystyczne egzaminu gimnazjalnego 2008
Osiągnięcia uczniów Część HUM. Część MAT. PRZYR. Opis 64,2% 54,1% Suma punktów uzyskanych przez wszystkich uczniów podzielona przez liczbę punktów możliwą do uzyskania przez nich x 100 Średnia punktów 30,75 27,07 Suma punktów uzyskana przez wszystkich uczniów podzielona przez liczbę uczniów Miary tendencji centralnej Modalna 38 21 Najczęstszy wynik Mediana 32 26 Wynik środkowego ucznia rozkładu uporządkowanego malejąco (50% uczniów ma wynik niższy) 9

10 Część matematyczno-przyrodnicza
Osiągnięcia uczniów klas III gimnazjalnych według sprawdzanych umiejętności w roku w % uzyskanych punktów Część matematyczno-przyrodnicza Część humanistyczna Część humanistyczna

11 Okręgowa Komisja Egzaminacyjna w Krakowie
Centralnie wydawane i przekazywane do każdej szkoły są wydawnictwa książkowe Zapraszamy do lektury Okręgowa Komisja Egzaminacyjna w Krakowie Opracowanie: dr Maria Krystyna Szmigel

12 Normalizacja wyników w skali standardowej dziewiątki
Stopień skali (Stanin) w % Opis dydaktyczny skali Uczniowie 1 4 najniższy Zagrożeni niskimi osiągnięciami 2 7 bardzo niski 3 12 niski 17 niżej średni Uczniowie o średnim potencjale 5 20 średni 6 wyżej średni wysoki Uczniowie o wysokim potencjale 8 bardzo wysoki 9 najwyższy

13 Stopień skali (Stanin)/ procent populacji Czytanie i odbiór tekstów kultury Tworzenie własnego tekstu Stosowanie terminów, pojęć i procedur… Wyszukiwanie i stosowanie informacji Wskazywanie i opisywanie faktów, związków i zależności... Stosowanie zintegrowanej wiedzy i umiejętności… W procentach punktów 1 (4%) 35 5 10 34 20 1 2 (7%) 51 16 45 27 4 3 (12%) 62 18 24 53 33 8 4 (17%) 71 31 63 41 5 (20%) 78 49 47 73 52 30 6 (17%) 85 61 81 65 7 (12%) 91 77 88 8 (7%) 94 89 84 9 (4%) 97 92 98 96 95 Tabela 15. Łatwość sprawdzanych umiejętności a wynik ucznia w skali standardowej dziewiątki Niski potencjał Średni potencjał Wysoki potencjał 13

14

15

16 Wyniki wszystkich szkół podstawowych i gimnazjalnych
16

17 17

18 18

19 Część matematyczno-przyrodnicza
Część humanistyczna Część matematyczno-przyrodnicza 19

20 Sprawozdania i raporty na stronie internetowej OKE w Kakowie

21 Gimnazjum 2008

22 Edukacyjna wartość dodana, czyli jak wykorzystać wyniki egzaminów zewnętrznych, do oceny efektywności nauczania

23 Odrobina historii Od 2002 r. system egzaminów zewnętrznych dostarcza obiektywnych danych o osiągnięciach uczniów Rok 2005 umożliwił „scalenie” dwóch wyników dla ucznia kończącego gimnazjum Wyniku sprawdzianu w 2002 r. oraz wyniku egzaminu gimnazjalnego w 2005 r. Pierwsze próby liczenia EWD na przykładzie powiatu oświęcimskiego a potem krośnieńskiego i M.Krosna (prace dr M.K. Szmigel i A. Rappe – OKE Kraków)

24 Informacje o EWD Kalkulator EWD (2005, 2006, 2007, 2008) Warsztaty EWD dla konsultantów, metodyków, dyrektorów (2007 i 2008) Tematyka EWD na konferencjach PTDE od 2005 r. Szereg publikacji w biuletynach i wydaniach książkowych CKE Tematyka obecna na spotkaniach z dyrektorami Dostępne informacje na stronie Wyniki EWD szkół (OKE w Krakowie) - system OBIEG

25 Projekt obejmuje lata 2007-2013

26

27 Edukacyjna wartość dodana jako jedna z miar jakości nauczania
Poziom końcowy wiedzy Szkoła Zasoby na wejściu Jakość nauczania Edukacyjna wartość dodana jest przyrostem wiedzy i umiejętności uczniów w wyniku danego procesu edukacyjnego

28 Główne cele wprowadzania EWD
Zmniejszenie roli surowych wyników egzaminów jako jedynej miary jakości nauczania. Diagnozowanie jakości nauczania celem nieustannej pracy nad poprawą efektywności nauczania. Zachęcanie szkół do konkurencji jakością nauczania. Docenienie pracy nauczycieli pracujących w środowiskach o niekorzystnych cechach społeczno-ekonomicznych.

29 Jak liczona jest EWD w polskim modelu?
Na podstawie wyniku ucznia na sprawdzianie szacujemy za pomocą metody regresji wynik przewidywany na egzaminie gimnazjalnym. Obliczamy różnicę punktów – tzw. resztę – między faktycznym wynikiem ucznia na egzaminie a jego wynikiem przewidywanym. Obliczamy średnią reszt, czyli EWD dla szkoły (gminy, powiatu, województwa). Szacujemy przedział ufności dla EWD (jego długość zależy od liczby uczniów i od zróżnicowania wyników w szkole).

30 W polskiej metodzie szacowania EWD zastosowano:
Dodatkową informację o uczniu (zmienne kontrolne) płeć dysleksja Uśrednienie reszt do średniej Określenie wiarygodności statystycznej przedział ufności dla średniej (przedział, w którym z prawdopodobieństwem 95% znajduje się EWD) Prezentacja wyników EWD w skalach: skala staninowa skala centylowa

31 EWD jest miarą względną
Model liczenia EWD jest tak dobrany aby nie faworyzować żadnej ze szkół – ani szkoły, w której przeważają uczniowie słabsi, ani też szkół z najlepszymi uczniami. Prawdopodobieństwo uzyskania dodatniej lub ujemnej edukacyjnej wartości dodanej jest takie samo dla wszystkich szkół, niezależnie od składu uczniów na wejściu. Wyniki EWD podawane są w punktach egzaminacyjnych egzaminu gimnazjalnego danego roku. Podobnie jak dla średnich wyników egzaminacyjnych szkół, tak dla wskaźników EWD buduje się skalę staninową.

32 Wykorzystanie EWD Wykorzystanie nowego wskaźnika do oceny efektywności nauczania w: kraju województwie, powiecie, gminie, gimnazjum oddziale gimnazjum

33 Skala standardowej dziewiątki
Komunikowanie EWD Skala standardowej dziewiątki Skala centylowa 1 4% najniższy 1 do 4 2 7% bardzo niski 5 do 12 3 12% niski 13 do 23 4 17% niżej średni 24 do 39 5 20% średni 40 do 60 6 wyżej średni 61 do 78 7 wysoki 79 do 89 8 bardzo wysoki 90 do 96 9 najwyższy 97 i > Dwie skale obok siebie dla ułatwienia. 40 – 60 centyl – to średni wynik w skali standardowej dziewiątki. 97, 98, 99, centyl to najwyższy wynik w skali standardowej dziewiątki. Centyl 40 oznacza, że 39% szkół ma wyniki niższe niż szkoła, której wyniki analizujemy (sprawdzić?).

34 Krzywa regresji (linia przewidywanego wyniku)
Przewidywany wynik GMP dla uczniów, którzy na sprawdzianie uzyskali 20 i 30 pkt. Po co ten slajd po wynikach EWD szkół?? Można do dać przy metodzie liczenia EWD ale nie jest konieczny!!! 34

35 Przedziały ufności dla wyników EWD GMP, dla 10 wybranych szkół.
EWD dla szkół o numerze: 2, 3, 7, 9 różni się istotnie od 0 (czyli średniej dla populacji). Wartości EWD dla szkół: 1, 4, 5, 6, 8 i 10 są statystycznie różne od 0.

36 Potencjał EWD 2005 EWD 2006 EWD 2007 EWD 2008 sprawdzian 2002
Przedziały wyników punktowych dla 3 grup uczniów o różnym potencjale na podstawie wyników sprawdzianu, dla których liczymy EWD w kolejnych latach Uczniowie o średnim potencjale Uczniowie o wysokim potencjale Uczniowie zagrożeni niskimi osiągnięciami Potencjał EWD 2005 EWD 2006 EWD 2007 EWD 2008 sprawdzian 2002 sprawdzian 2003 sprawdzian 2004 sprawdzian 2005 niski 0 - 25 0 - 23 0 - 20 średni wysoki

37 Edukacyjna wartość dodana dla szkół w Polsce
* standardowa dziewiątka Stopień skali* Edukacyjna wartość dodana dla szkół w Polsce 2005 2006 2007 2008 1 najniższy -20,42  -4,88 -11,28  -3,89 -11,63  -3,64 -9,97  -4,17 2 bardzo niski -4,87  -2,94 -3,88  -2,59 -3,63  -2,41 -4,16  -2,76 3 niski -2,93  -1.65 -2,58  -1,46 -2,40  -1,84 -2,75  -1,56 4 niżej średni -1,64  -0,47 -1,45  -0,45 -1,38  -0,38 -1,55  -0,39 5 średni -0,46  0,55 -0,44  0,55 -0,37  0,63 -0,38  0,74 6 wyżej średni 0,56  1,49 0,56  1,57 0,64  1,63 0,75  1,77 7 wysoki 1,50  2,47 1,58  2,62 1,64  2,57 1,78  2,88 8 bardzo wysoki 2,48  3,55 2,63  3,85 2,58  3,74 2,89  4,18 9 najwyższy powyżej 3,56 powyżej 3,86 powyżej 3,75 powyżej 4,19

38 Edukacyjna wartość dodana
* standardowa dziewiątka Stopień skali* Edukacyjna wartość dodana 2005 2006 2007 2008 1 najniższy -21,9  -5,24 -10,53  -3,82 -8,42  -3,15 -8,53  -3,52 2 bardzo niski -5,23  -3,08 -3,81  -2,79 -3,14  -2,17 -3,51  -2,49 3 niski -3,07  -1,77 -2,69  -1,69 -2,16  -1,32 -2,48  -1,55 4 niżej średni -1,76  -0,70 -1,68  -0,66 -1,31  -0,44 -1,54  - 0,58 5 średni -0,69  0,43 -0,65  0,46 -0,43  0,52 -0,57  0,53 6 wyżej średni 0,44  1,61 0,47  1,67 0,53  1,56 0,54  1,59 7 wysoki 1,62  3,02 1,68  3,11 1,57  2,76 1,60  2,95 8 bardzo wysoki 3,03  5,06 3,12  4,91 2,77  4,32 2,96  4,92 9 najwyższy powyżej 5,07 powyżej 4,92 powyżej 4,33 powyżej 4,93

39 W których województwach uczniowie uczynili największy względny postęp w okresie nauki w gimnazjum? (2007) Na rys. przedstawiono uporządkowane województwa według sumy średnich wartości 3 letniego EWD z obu części egzaminu gimnazjalnego (GHUM+GMP). Na obu krańcach wykresu znajdują się województwa znacznie różniące się wartościami EWD. Dla województwa mazowieckiego EWD jest dodatnie dla obu części egzaminu, natomiast dla opolskiego ujemne dla obu części. Zatem uczniowie województwa mazowieckiego uzyskali średnio o 1,2 pkt. więcej na egzaminie gimnazjalnym niż uczniowie, którzy na sprawdzianie uzyskali tyle samo punktów, natomiast uczniowie województwa opolskiego uzyskali o 2,0 pkt mniej. EWD wyliczona jako średnia trzech kolejnych roczników dla 16 województw w części humanistycznej jest zróżnicowana od (-1,34) w województwie opolskim do 0,92 w województwie lubelskim, natomiast dla części matematyczno-przyrodniczej od -0,89 w województwie dolnośląskim do 0,52 w województwie mazowieckim. Dane te mogą spełniać funkcję „termometru”, który sygnalizuje stan podgorączkowy lub gorączkę oświatową a więc chorobę, w przypadku ujemnych wartości. Ujemny wskaźnik może mieć charakter trwały jak np. w województwach dolnośląskim, kujawsko-pomorskim, opolskim, podlaskim, warmińsko-mazurskim) lub krótkotrwały np. małopolskie (część matematyczno-przyrodnicza w 2005 i 2006 r.).

40 EWD w województwie małopolskim w latach 2005-2007
Wyniki „surowe” egzaminu w % 2007 Edukacyjna wartość dodana (EWD) 2005 2006 Ogółem w latach GHU GMP MAZOWIECKIE 65,6 53,5 0,28 0,21 1,70 2,29 0,65 0,70 0,66 0,52 MAŁOPOLSKIE 65,5 52,3 0,27 -0,24 -0,17 0,67 0,31 0,81 0,16 PODKARPACKIE 64,0 50,3 0,30 0,55 -0,60 0,82 0,23 0,89 0,00 LUBELSKIE 64,3 0,37 0,04 0,36 -0,98 1,07 0,35 0,93 SLĄSKIE 63,6 50,0 -0,07 0,07 -0,42 0,25 -0,31 0,58 -0,11 Przykład zestawienia wyników egzaminów w obu miarach: 2 pierwsze kolumny średni wynik punktowy w 2007 roku W kolejnych wynik EWD Możemy sprawdzić czy wyniki egzaminów czy EWD wyżej sytuuje województwo małopolskie

41 Wskaźnik EWD 3-letni, Małopolska (2005-2007)

42 Wyniki na sprawdzianie w roku 2004
Z którą grupą uczniów: z wynikiem niskim, średnim, czy wysokim pracowano najefektywniej? powiat Ogółem EWD Wyniki na sprawdzianie w roku 2004 GHU GMP Niskie Stanin 1-3 Średnie Stanin 4-6 Wysokie Stanin 7-9 brzeski 1,45 1,09 1,21 0,22 1,86 1,29 0,56 1,49 wadowicki 2,05 0,76 1,23 0,47 2,40 0,58 1,77 1,68 nowosądecki 1,87 -0,77 1,60 -1,18 2,19 -0,67 1,27 -0,46 KRAKÓW 1,15 0,81 0,46 -0,08 1,62 1,08 0,88 1,98 TARNÓW 1,18 -0,03 0,89 -0,72 -0,02 0,62 0,34 oświęcimski 0,48 -1,10 0,90 -0,52 0,13 -1,06 0,74 -1,63

43 Przykładowe zestawienie wyników EWD dla gimnazjów w gminie
Gimnazja EWD 2005 EWD 2006 EWD 2007 Trzy letnie EWD Liczba uczniów GHU** GMP*** GHU GMP 1 1,93 -1,80 3,72 -0,14 3,99 1,43 3,55 -0,09 334 2 0,36 -1,70 -0,01 -1,8 2,37 0,04 0,94 -1,09 185 3 -1,88 -4,18 -1,92 -1,15 1,09 -1,59 -1,24 -2,49 54 4 6,10 0,28 2,27 3,52 2,82 1,50 3,81 38 5 0,63 -0,13 0,45 -2,54 0,44 0,24 0,71 -0,69 297 6 0,58 0,8 2,62 2,18 1,30 2,13 1,38 91 7 3,12 4,15 0,87 1,27 2,45 -1,97 2,31 0,97 39 W trakcie pracy zespołu EWD pojawiały się różne próby komunikowania EWD Trudność wynika z potrzeby zachowania czytelności danych przy zachowaniu dużej rzetelności wyniku W tym zestawieniu zwrócono uwagę na różnice między liczba uczniów na podstawie których liczono EWD dla gimnazjum (brak przedziałów ufności, które są tym dłuższe im mniej uczniów przystępowało do egzaminu w pierwszym terminie i przy zastosowaniu arkusza standardowego).

44 Tabela zależności dla szkół wyników średnich egzaminu i wskaźników EWD
Wyniki „surowe” w skali standardowej dziewiątki 1 2 3 4 5 6 7 8 9 C H B F E I J G A D DOPISAŁAM NIE ROZUMIEM POJĘCIA WARTOŚCI SKORYGOWANE!!! TO NIE JEST TABELA KORELACYJNA!!! TO SĄ TABELE ZALEŻNOŚCI WARTOŚCI WYNIKÓW ŚREDNICH DLA SZKÓŁ I WARTOŚCI EWD Analizujemy wyniki kilku gimnazjów w gminie lub powiecie. Literami alfabetu oznaczono gimnazja. Im dalej na prawo umieszczono literę na tablicy korelacyjnej tym wynik szkoły wyższy w skali standardowej dziewiątki. Im wyżej umieszczono literę tym wyższe EWD w skali standardowej dziewiątki. Na kolejnych slajdach grupujemy szkoły według dwóch miar: wyników egzaminów i EWD Gimnazja A, B, C, D, E, F, G, H, I, J

45 Jakie bodźce mogą skłonić szkoły do wykorzystania wskaźników EWD?
Wyniki egzaminów w skali standardowej dziewiątki 1 2 3 4 5 6 7 8 9 C H B F E I J G A D „Dobra efektywność” mimo niskiej pozycji w rankingach B „Wysoce efektywne” szkoły potwierdzone dwoma miarami D Cztery grupy szkół wyróżnione ze względu na dwie miary jakości kształcenia. Opisy wpadają po kolei. Szkoły „nieefektywne” A Szkoły, które „spoczęły na laurach” C

46 Województwo małopolskie
„Dobra efektywność” mimo niskiej pozycji w rankingach „Wysoce efektywne” szkoły potwierdzone dwoma miarami Województwo małopolskie Szkoły „nieefektywne” Szkoły, które „spoczęły na laurach” Wynik części humanistycznej 1 2 3 4 5 6 7 8 9 11 18 26 15 33 13 34 47 32 20 44 40 17 14 Rozkład wyników EWD dla gimnazjów w województwie małopolskim w części humanistycznej. W tabeli liczba gimnazjów: wysoce efektywnych z dobrą efektywnością na podstawie EWD które spoczęły na laurach nieefektywnych (niedomagających) EWD części humanistycznej

47 Województwo małopolskie
„Dobra efektywność” mimo niskiej pozycji w rankingach Województwo małopolskie „Wysoce efektywne” szkoły potwierdzone dwoma miarami Szkoły „nieefektywne” Szkoły, które „spoczęły na laurach” Wynik części matematyczno-przyrodniczej 1 2 3 4 5 6 7 8 9 17 18 12 11 19 23 38 44 24 22 20 37 28 13 16 EWD części matematyczno-przyrodniczej Rozkład wyników EWD dla gimnazjów w województwie małopolskim w części matematyczno-przyrodniczej W tabeli liczba gimnazjów: wysoce efektywnych z dobrą efektywnością na podstawie EWD które spoczęły na laurach nieefektywnych (niedomagających)

48 EWD w gimnazjum Duże zróżnicowanie wyników „na wejściu”
2004 WYKRESY ROZRZUTU! tablice korelacyjne wyników na sprawdzianie i egzaminie gimnazjalnym. Każda kropka na wykresie to jeden uczeń w szkole (klasie). Linia regresji dzieli wyniki na dodatnie i ujemne. Pionowe wpadające linie stanowią granice przedziałów punktowych dla wyników niskich i uczniów o średnim potencjale. Pierwsze spostrzeżenie winno być kierowane na to, czy powyżej linii regresii jest więcej punktów (dodatnie EWD) czy poniżej linii regresji (EWD- ujemne). Drugie spostrzeżenie winno dotyczyć wniosków z efektów pracy z trzema grupami uczniów. Czy rozkład punktów pozwala stwierdzić, że indywidualizowano wymagania? Z którą grupą uczniów pracowano najskuteczniej? Którą grupę zaniedbano? Dlaczego...? Uogólnienie: Uczniowie podczas 3 lat w gimnazjum uczynili wyraźny postęp w dziedzinie przedmiotów humanistycznych uzyskując w stosunku do uczniów, którzy na sprawdzianie mieli tę samą ilość punktów znacznie lepsze wyniki. Zupełnie odwrotna sytuacja dla części matematyczno-przyrodniczej. Problem: różna efektywność pracy z uczniami w części humanistycznej i matematyczno-przyrodniczej Wysoka efektywność w części humanistycznej (liczba uczniów z wynikami powyżej linii regresji) Niska efektywność w części matematyczno-przyrodniczej

49 EWD w gimnazjum Duże zróżnicowanie wyników „na wejściu”
Problem: różna efektywność pracy z uczniami o różnym potencjale „na wejściu” Zaniedbanie uczniów najsłabszych w części humanistycznej i matematyczno-przyrodniczej

50 EWD w gimnazjum Przez sumowanie wyników pojedynczych uczniów i grupowanie według przedziałów (na rysunku środki przedziałów). Na osi pionowej liczebność uczniów. Najczęściej liczba wyników EWD równa „0” jest największa, co oznacza przeciętną efektywność dla tej grupy uczniów (na miarę wyniku na niższym etapie edukacyjnym). Dodatnia EWD – ponadprzeciętna efektywność Ujemna EWD – efektywność poniżej przeciętna

51 Różna efektywność pracy z uczniami w klasach
Gimnazjum Klasa A Klasa B Klasa C Wyraźnie wyższa efektywność nauczania w klasie A z zakresu przedmiotów matematyczno-przyrodniczych (rozłączne przedziały ufności). Efektywność GH i GMP jest porównywalna, jeżeli przedziały ufności zachodzą na siebie (mają część wspólną). Im większa jest część wspólna, tym mniej uzasadnione jest stwierdzenie, że efektywność jest większa lub mniejsza. Im większa część wspólna, tym mniej uzasadnione jest stwierdzenie, że efektywność jest mniejsza lub większa.

52 Wprowadzenie wskaźnika EWD
Kto powinien zainicjować pracę nad wykorzystaniem EWD w szkole? OKE Kuratorium Oświaty Samorząd Terytorialny

53 Obsługa Internetowa Egzaminów
Przechowywanie wyników w systemie elektronicznym od 2005 roku

54

55 Wynik dla szkoły Wyniki według klas

56 Pojęcia, które należy znać, aby odczytać komunikat o EWD
Edukacyjna wartość dodana „Wyniki surowe” (w punktach, procentach) Skala standardowej dziewiątki i jej stopnie – staniny Skala centylowa i jej stopnie– centyle Wynik „na wejściu” i „wyjściu” Wynik szkoły na wejściu odpowiada 5 staninowi, czyli wynosi …. Wynik szkoły po egzaminie gimnazjalnym to 7 i 8 stanin, czyli …. Centyl 56 oznacza, że …… Procent połączonych (scalonych) wyników to (jakich?) Przedział ufności (dlaczego wyniki podawane są wraz z tą informacją?) Wynik 3-letniego EWD w części humanistycznej równe 1,37 oznacza ... Wynik 3-letniego EWD dla części matematyczno-przyrodniczej 2,56 oznacza, że … Niektóre z tych pojęć zostaną pokrótce objaśnione. Innych wyjaśnień należy szukać w publikacjach na stronach internetowych Projektu EWD i komisji egzaminacyjnych. Wykorzystanie EWD wymaga szkoleń wszystkich, którzy tą miarą chcą się posługiwać!!! Nawet najmłodsi nauczyciele nie uczą się tego w trakcie studiów.

57 Warsztaty z wizytatorami Małopolskiego Kuratorium Oświaty
W trakcie szkoleń przekazano wyniki EWD w gimnazjach za lata Zachęcano do wykorzystania kalkulatorów do liczenia EWD w gimnazjach. Możliwe pogłębione analizy według klas!

58 Małopolski Kurator Oświaty zobowiązał szkoły do wykonania analizy EWD w roku 2008
W ilu gimnazjach w wykorzystano dane o EWD do analizy wyników nauczania? Czego warto dowiedzieć się w związku z wykorzystaniem informacji o EWD w szkole? Czy w szkole obliczono wskaźnik EWD? Czy w szkole natrafiono na trudności z obliczeniem tego wskaźnika? Jakie konkretne działania podejmowano w trakcie przygotowania się do analizy EWD i w trakcie jej przeprowadzania? Z jakimi innymi danymi jakościowymi próbowano powiązać informację o EWD? Kto przeprowadzał analizę w szkole? (…)

59

60 Kalkulator Edukacyjnej Wartości Dodanej
Dane potrzebne do wprowadzenia: wynik na sprawdzianie (jeżeli korzystał z dostosowania warunków lub kryteriów oceniania) płeć dysleksja na sprawdzianie wynik na egzaminie gimnazjalnym – GHU, GMP dysleksja w gimnazjum (jeżeli korzystał z dostosowania warunków lub kryteriów oceniania)

61 Przygotowano pliki wsadowe do kalkulatora dla każdego gimnazjum w OKE.
Załaczono kalkulator i instrukcję.

62 Przykład wydruku wyników dla organów JST w województwie małopolskim
oraz możliwości pracy z nimi

63

64 Edukacyjna wartość dodana 2005 2006 2007 2008
Stopień skali* Edukacyjna wartość dodana 2005 2006 2007 2008 9 najwyższy powyżej 3,56 powyżej 3,86 powyżej 3,75 powyżej 4,19 8 bardzo wysoki 2,48  3,55 2,63  3,85 2,58  3,74 2,89  4,18 7 wysoki 1,50  2,47 1,58  2,62 1,64  2,57 1,78  2,88 6 wyżej średni 0,56  1,49 0,56  1,57 0,64  1,63 0,75  1,77 5 średni -0,46  0,55 -0,44  0,55 -0,37  0,63 -0,38  0,74 4 niżej średni -1,64  -0,47 -1,45  -0,45 -1,38  -0,38 -1,55  -0,39 3 niski -2,93  -1.65 -2,58  -1,46 -2,40  -1,84 -2,75  -1,56 2 bardzo niski -4,87  -2,94 -3,88  -2,59 -3,63  -2,41 -4,16  -2,76 1 najniższy -20,42  -4,88 -11,28  -3,89 -11,63  -3,64 -9,97  -4,17 Liczba połączonych wyników 275 283 255 256 Stopień skali* Edukacyjna wartość dodana 2005 2006 2007 2008 9 najwyższy powyżej 5,07 powyżej 4,92 powyżej 4,33 powyżej 4,93 8 bardzo wysoki 3,03  5,06 3,12  4,91 2,77  4,32 2,96  4,92 7 wysoki 1,62  3,02 1,68  3,11 1,57  2,76 1,60  2,95 6 wyżej średni 0,44  1,61 0,47  1,67 0,53  1,56 0,54  1,59 5 średni -0,69  0,43 -0,65  0,46 -0,43  0,52 -0,57  0,53 4 niżej średni -1,76  -0,70 -1,68  -0,66 -1,31  -0,44 -1,54  - 0,58 3 niski -3,07  -1,77 -2,69  -1,69 -2,16  -1,32 -2,48  -1,55 2 bardzo niski -5,23  -3,08 -3,81  -2,79 -3,14  -2,17 -3,51  -2,49 1 najniższy -21,9  -5,24 -10,53  -3,82 -8,42  -3,15 -8,53  -3,52 Liczba połączonych wyników 275 283 255 256

65 Chłodnym okiem na EWD Sprawdza się w odniesieniu do szkół o dużej liczbie uczniów Jedna ale nie jedyna miara jakości pracy szkoły w kontekście roli szkoły w rozwoju ucznia Wymaga uczciwości na każdym egzaminie Wymaga poznania potencjału ucznia na wejściu EWD mierzy to na co szkoła ma wpływ. Czy szkoła jest wystarczająco efektywna, pracując z uczniami o określonym potencjale?

66 Ewaluacja przebiegu sprawdzianu i egzaminów
W trosce o zapewnienie jednakowych warunków przeprowadzania sprawdzianów i egzaminów Okręgowa Komisja Egzaminacyjna w Krakowie zaprasza do obserwacji przebiegu egzaminów zewnętrznych. Rozporządzenie Ministra Edukacji Narodowej z dnia 30 kwietnia 2007 r. w sprawie warunków i sposobu oceniania, klasyfikowania i promowania uczniów i słuchaczy oraz przeprowadzania egzaminów i sprawdzianów w szkołach publicznych (Dz. U. z 2007 r. nr 83 poz. 562, z późn. zm.).

67 Ewaluacja przebiegu sprawdzianu i egzaminów
§ 143 1. Obserwatorami sprawdzianu, egzaminu gimnazjalnego, egzaminu maturalnego oraz egzaminu zawodowego mogą być: 1) delegowani pracownicy ministerstwa obsługującego ministra właściwego do spraw oświaty i wychowania; 2) delegowani przedstawiciele Komisji Centralnej i komisji okręgowych; 3) delegowani pracownicy ministerstw obsługujących ministrów właściwych dla zawodów; 4) delegowani przedstawiciele organu sprawującego nadzór pedagogiczny, organu prowadzącego szkołę, szkół wyższych i placówek doskonalenia nauczycieli, a w przypadku egzaminu zawodowego także delegowani przedstawiciele pracodawców, upoważnieni przez dyrektora komisji okręgowej.

68 Ewaluacja przebiegu sprawdzianu i egzaminów
Wniosek na stronie głównej w dziale Badania, opracowania, raporty 68

69 Lech Gawryłow Dyrektor Okręgowej Komisji Egzaminacyjnej w Krakowie
Dziękuję za uwagę Lech Gawryłow Dyrektor Okręgowej Komisji Egzaminacyjnej w Krakowie