Zagadnienia Źródła informacji o egzaminach i wynikach egzaminów

Slides:



Advertisements
Podobne prezentacje
WYNIKI EGZAMINU GIMNAZJALNEGO Z JĘZYKA NOWOŻYTNEGO ROK SZKOLNY 2009/2010.
Advertisements

Opracowały: Dorota Gajda i Małgorzata Adamczyk
Narada dyrektorów szkół i placówek oświatowo-wychowawczych
Podczas sprawdzianu badano umiejętności z następujących obszarów:
POWIAT MYŚLENICKI Tytuł Projektu: Poprawa płynności ruchu w centrum Myślenic poprzez przebudowę skrzyżowań dróg powiatowych K 1935 i K 1967na rondo.
Analiza wyników konkursów przedmiotowych
PUBLICZNE GIMNAZJUM W DRAWSKU
Domy Na Wodzie - metoda na wlasne M
klasa3a3b3c3d ang 3d fr.3e3f3k3m3s Zad 13,462,752,623,573,822,762,722,623,322,76 Zad 22,611,51,550,851,761,51,091,062,251,33.
Wyniki sprawdzianu, egzaminu gimnazjalnego i maturalnego w 2009 r. uczni ó w szk ó ł prowadzonych przez Gminę Miejską Mielec.
Lp. TYPY SZKÓŁ LICZBA UCZNIÓW LICZBA ODDZIAŁÓW 1 SZKOŁY PODSTAWOWE GIMNAZJA V LO 2699 OGÓŁEM 4951 uczniów 209 oddziałów LICZBA DZIECI.
ANALIZA WYNIKÓW EGZAMINU GIMNAZJALNEGO
Prezentacja przygotowana przez zespół badawczy przy CKE pod kierunkiem dr R.Dolaty PRIORYTETY POMORSKIEGO KURATORA OŚWIATY w roku szkolnym 2008/
Fizyka i astronomia na egzaminach zewnętrznych w 2008 roku Egzamin gimnazjalny Matura Pracownia Doskonalenia Metodycznego Opracował: Zbigniew Łuczka.
NOWE TECHNOLOGIE NA USŁUGACH EDUKACJI Publiczna Szkoła Podstawowa nr 3 w Grodkowie Zajęcia w ramach projektu NTUE.
Prezentacja poziomu rozwoju gmin, które nie korzystały z FS w 2006 roku. Eugeniusz Sobczak Politechnika Warszawska KNS i A Wykorzystanie Funduszy.
Edukacyjna wartość dodana, czyli jak wykorzystać wyniki egzaminów zewnętrznych, do oceny efektywności nauczania Dr Maria Krystyna Szmigel Anna Rappe.
5 kwietnia 2011 roku odbył się kolejny ogólnopolski sprawdzian dla uczniów klas szóstych szkoły podstawowej. Został on zorganizowany i przeprowadzony na.
Analiza wyników egzaminów zewnętrznych absolwentów roku 2011 w Gimnazjum Nr 2 w Ciechanowie z wykorzystaniem metody EWD w ewaluacji wewnątrzkolnej. Opracowanie:
Informacje ogólne Zgodnie z Rozporządzeniem Ministra Edukacji Narodowej z dnia 30 kwietnia 2007r w sprawie warunków i sposobie oceniania, klasyfikowania.
Matura 2005 Wyniki Jarosław Drzeżdżon Matura 2005 V LO w Gdańsku
WYNIKI SPRAWDZIANU SZÓSTOKLASISTY 2010 DLA SZKOŁY.
Ogólnopolski Konkurs Wiedzy Biblijnej Analiza wyników IV i V edycji Michał M. Stępień
MATURA 2010 RAPORT Opracowały: Dorota Gajda i Małgorzata Adamczyk.
Wyniki egzaminu gimnazjalnego w latach
Wyniki sprawdzianu i egzaminu gimnazjalnego w 2013r
Analiza osiągnięć III LO w Krakowie na tle innych liceów krakowskich
Wyników sprawdzianu szóstoklasistów z dn r. Analiza.
Analiza osiągnięć III LO w Krakowie na tle innych liceów krakowskich.
Badania osiągnięć uczniów – analiza wyników
Osiągnięcia uczniów klasy szóstej, którzy przystąpili do sprawdzianu w kwietniu 2010 roku WOJEWÓDZTWO KUJAWSKO-POMORSKIE WOJEWÓDZTWO KUJAWSKO-POMORSKIE.
EGZAMIN GIMNAZJALNY W SUWAŁKACH 2009 Liczba uczniów przystępująca do egzaminu gimnazjalnego w 2009r. Lp.GimnazjumLiczba uczniów 1Gimnazjum Nr 1 w Zespole.
Wyniki egzaminów gimnazjalnych szkół powiatu nakielskiego w roku 2011 w kontekście wyników kraju, województwa i innych powiatów przy uwzględnieniu wyników.
Wyniki egzaminów gimnazjalnych szkół powiatu żnińskiego w roku 2011 w kontekście wyników kraju, województwa i innych powiatów przy uwzględnieniu wyników.
Warlubie, r.. Wyniki egzaminów gimnazjalnych szkół powiatu świeckiego w roku 2011 w kontekście wyników kraju, województwa i innych powiatów.
1. Pomyśl sobie liczbę dwucyfrową (Na przykład: 62)
Konferencja inauguracyjna Wolsztyn 14 listopada 2007.
Odpowiedzi ustne. Kartkówki obejmujące niewielką partię materiału. Zadania klasowe, sprawdziany, testy, arkusze egzaminacyjne, badanie wyników nauczania.
Osiągnięcia uczniów klasy szóstej, którzy przystąpili do sprawdzianu w kwietniu 2010 roku WOJEWÓDZTWO POMORSKIE WOJEWÓDZTWO POMORSKIE wrzesień 2010.
1. ŁATWOŚĆ ZADANIA (umiejętności) 2. ŁATWOŚĆ ZESTAWU ZADAŃ (ARKUSZA)
Edukacyjna Wartość Dodana czyli EWD
Analiza matury 2013 Opracowała Bernardeta Wójtowicz.
Badanie kwartalne BO 2.3 SPO RZL Wybrane wyniki porównawcze edycji I- VII Badanie kwartalne Beneficjentów Ostatecznych Działania 2.3 SPO RZL – schemat.
Wykorzystanie EWD w ewaluacji wewnętrznej szkoły
Spływ należności w Branży Elektrycznej
Wstępna analiza egzaminu gimnazjalnego.
EGZAMINU GIMNAZJALNEGO 2013
EcoCondens Kompakt BBK 7-22 E.
EcoCondens BBS 2,9-28 E.
Wyniki badań dzieci 10 letnich z realizacji podstawy programowej z wychowania fizycznego po I etapie edukacyjnym- wrzesień 2013, luty- czerwiec 2014 Kuratorium.
OCENA EFEKTYWNOŚCI NAUCZANIA z zastosowaniem metody edukacyjnej wartości dodanej OCENA EFEKTYWNOŚCI NAUCZANIA z zastosowaniem metody edukacyjnej wartości.
Projekt Badawczo- Rozwojowy realizowany na rzecz bezpieczeństwa i obronności Państwa współfinansowany ze środków Narodowego Centrum Badań i Rozwoju „MODEL.
WYNIKI EGZAMINU MATURALNEGO W ZESPOLE SZKÓŁ TECHNICZNYCH
Egzamin gimnazjalny Wyniki egzaminów w Gimnazjum nr 14 w Olsztynie Edukacyjna wartość w naszej szkole Opracował mgr K.Gremblewski.
Obiektywny wskaźnik wyników egzaminów gimnazjalnych WSKAŹNIK EDUKACYJNA WARTOŚĆ DODANA DLA GIMNAZJUM NR 3 Źródło danych Instytut Badań Edukacyjnych
1 Analiza wyników sprawdzianu ‘2014 Zespół Szkolno-Przedszkolny w Krowiarkach – XI 2014 – XI 2014 Opracował: J. Pierzchała.
EGZAMIN GIMNAZJALNY Charakterystyka wyników osiągniętych przez uczniów.
Testogranie TESTOGRANIE Bogdana Berezy.
Jak Jaś parował skarpetki Andrzej Majkowski 1 informatyka +
Wyniki sprawdzianu i egzaminu gimnazjalnego w 2014r. uczniów szkó ł w gminie Mas ł ów.
Elementy geometryczne i relacje
Strategia pomiaru.
LO ŁobżenicaWojewództwoPowiat pilski 2011r.75,81%75,29%65,1% 2012r.92,98%80,19%72,26% 2013r.89,29%80,49%74,37% 2014r.76,47%69,89%63,58% ZDAWALNOŚĆ.
Sprawdzian po klasie szóstej INFORMACJE W PIGUŁCE Do rozwiązania było 26 zadań z języka polskiego i matematyki Maksymalnie można było uzyskać 40.
EWD gimnazjalne Czym jest metoda edukacyjnej wartości dodanej (EWD)? Efektywność pracy szkoły, przed kilku laty, oceniano jedynie na podstawie wyników.
1 kwietnia 2015 roku odbył się kolejny ogólnopolski sprawdzian dla uczniów klas szóstych szkoły podstawowej. Został on zorganizowany i przeprowadzony na.
Egzamin gimnazjalny Na podstawie § 32 Rozporządzenia Ministra Edukacji Narodowej w sprawie warunków i sposobu oceniania, klasyfikowania i promowania.
Wyniki egzaminu gimnazjalnego w Społecznym Gimnazjum w Rybniku.
Informacja o wynikach sprawdzianu i egzaminu w publicznych szk o ł ach podstawowych i gimnazj ach szk o ł ach podstawowych i gimnazj ach (dla których organem.
Wyniki egzaminu maturalnego 2006 Maria Krystyna Szmigel OKE Kraków_2006.
Zapis prezentacji:

Wykorzystanie wyników egzaminów zewnętrznych do doskonalenia jakości nauczania

Zagadnienia Źródła informacji o egzaminach i wynikach egzaminów Przykłady badań nad egzaminami Edukacyjna wartość dodana i jej wykorzystanie dla doskonalenia jakości nauczania w szkołach gimnazjalnych Zaproszenie do obserwacji egzaminów w gimnazjach

Zasięg terytorialny komisji egzaminacyjnych Ministerstwo Edukacji Narodowej Okręgowa Komisja Egzaminacyjna: w Gdańsku w Jaworznie w Krakowie w Łodzi w Łomży w Poznaniu w Warszawie we Wrocławiu Centralna Komisja Egzaminacyjna w Warszawie

Zadania okręgowych komisji egzaminacyjnych Tworzenie arkuszy egzaminacyjnych Przeprowadzenie sprawdzianu i egzaminów Szkolenia egzaminatorów Ocenianie prac egzaminacyjnych Przekazywanie wyników egzaminów zdającym, dyrektorom szkół, organom nadzorującym i prowadzącym szkoły Przekazywanie sprawozdań z przeprowadzonych sprawdzianów i egzaminów dyrektorom szkół, organom prowadzącym szkoły, kuratorom oświaty i CKE

szkół, w których przeprowadzane są egzaminy zewnętrzne - prawie 47 000 uczniów przystępujących co roku do egzaminów (1, 2-3 lub 5)

Jak wykorzystać wynik egzaminu gimnazjalnego?

Koncepcja egzaminu gimnazjalnego 2008 zapisana w planie testu Liczba punktów do uzyskania za każdy ze sprawdzanych standardów Numery zadań w arkuszach egzaminacyjnych Czytanie i odbiór tekstów kultury 25 50% 100% 1-20, 25, 26, 27, 28, 29 Tworzenie własnego tekstu 21, 22, 23, 24, 30, 31, 32 Stosowanie terminów, pojęć i procedur… 15 30% 1, 2, 7, 9, 11, 19, 28, 31, 33 Wyszukiwanie i stosowanie informacji 12 24% 3, 4, 5, 6, 8, 12, 13, 16, 21, 22, 29 Wskazywanie i opisywanie faktów, związków i zależności... 10, 14, 15, 17, 18, 20, 23, 24, 25, 27, 30 Stosowanie zintegrowanej wiedzy i umiejętności… 8 16% 26, 32 7

86% punktów 83% punktów 8 8

Podstawowe miary statystyczne egzaminu gimnazjalnego 2008 Osiągnięcia uczniów Część HUM. Część MAT. PRZYR. Opis 64,2% 54,1% Suma punktów uzyskanych przez wszystkich uczniów podzielona przez liczbę punktów możliwą do uzyskania przez nich x 100 Średnia punktów 30,75 27,07 Suma punktów uzyskana przez wszystkich uczniów podzielona przez liczbę uczniów Miary tendencji centralnej Modalna 38 21 Najczęstszy wynik Mediana 32 26 Wynik środkowego ucznia rozkładu uporządkowanego malejąco (50% uczniów ma wynik niższy) 9

Część matematyczno-przyrodnicza Osiągnięcia uczniów klas III gimnazjalnych według sprawdzanych umiejętności w roku 2008 w % uzyskanych punktów Część matematyczno-przyrodnicza Część humanistyczna Część humanistyczna

Okręgowa Komisja Egzaminacyjna w Krakowie Centralnie wydawane i przekazywane do każdej szkoły są wydawnictwa książkowe Zapraszamy do lektury Okręgowa Komisja Egzaminacyjna w Krakowie Opracowanie: dr Maria Krystyna Szmigel

Normalizacja wyników w skali standardowej dziewiątki Stopień skali (Stanin) w % Opis dydaktyczny skali Uczniowie 1 4 najniższy Zagrożeni niskimi osiągnięciami 2 7 bardzo niski 3 12 niski 17 niżej średni Uczniowie o średnim potencjale 5 20 średni 6 wyżej średni wysoki Uczniowie o wysokim potencjale 8 bardzo wysoki 9 najwyższy

Stopień skali (Stanin)/ procent populacji Czytanie i odbiór tekstów kultury Tworzenie własnego tekstu Stosowanie terminów, pojęć i procedur… Wyszukiwanie i stosowanie informacji Wskazywanie i opisywanie faktów, związków i zależności... Stosowanie zintegrowanej wiedzy i umiejętności… W procentach punktów 1 (4%) 35 5 10 34 20 1 2 (7%) 51 16 45 27 4 3 (12%) 62 18 24 53 33 8 4 (17%) 71 31 63 41 5 (20%) 78 49 47 73 52 30 6 (17%) 85 61 81 65 7 (12%) 91 77 88 8 (7%) 94 89 84 9 (4%) 97 92 98 96 95 Tabela 15. Łatwość sprawdzanych umiejętności a wynik ucznia w skali standardowej dziewiątki Niski potencjał Średni potencjał Wysoki potencjał 13

Wyniki wszystkich szkół podstawowych i gimnazjalnych 16

17

18

Część matematyczno-przyrodnicza Część humanistyczna Część matematyczno-przyrodnicza 19

Sprawozdania i raporty na stronie internetowej OKE w Kakowie

Gimnazjum 2008 www.oke.krakow.pl

Edukacyjna wartość dodana, czyli jak wykorzystać wyniki egzaminów zewnętrznych, do oceny efektywności nauczania

Odrobina historii Od 2002 r. system egzaminów zewnętrznych dostarcza obiektywnych danych o osiągnięciach uczniów Rok 2005 umożliwił „scalenie” dwóch wyników dla ucznia kończącego gimnazjum Wyniku sprawdzianu w 2002 r. oraz wyniku egzaminu gimnazjalnego w 2005 r. Pierwsze próby liczenia EWD na przykładzie powiatu oświęcimskiego a potem krośnieńskiego i M.Krosna (prace dr M.K. Szmigel i A. Rappe – OKE Kraków)

Informacje o EWD Kalkulator EWD (2005, 2006, 2007, 2008) www.ewd.edu.pl Warsztaty EWD dla konsultantów, metodyków, dyrektorów (2007 i 2008) Tematyka EWD na konferencjach PTDE od 2005 r. Szereg publikacji w biuletynach i wydaniach książkowych CKE Tematyka obecna na spotkaniach z dyrektorami Dostępne informacje na stronie www.oke.krakow.pl Wyniki EWD szkół (OKE w Krakowie) - system OBIEG

Projekt obejmuje lata 2007-2013

Edukacyjna wartość dodana jako jedna z miar jakości nauczania Poziom końcowy wiedzy Szkoła Zasoby na wejściu Jakość nauczania Edukacyjna wartość dodana jest przyrostem wiedzy i umiejętności uczniów w wyniku danego procesu edukacyjnego

Główne cele wprowadzania EWD Zmniejszenie roli surowych wyników egzaminów jako jedynej miary jakości nauczania. Diagnozowanie jakości nauczania celem nieustannej pracy nad poprawą efektywności nauczania. Zachęcanie szkół do konkurencji jakością nauczania. Docenienie pracy nauczycieli pracujących w środowiskach o niekorzystnych cechach społeczno-ekonomicznych.

Jak liczona jest EWD w polskim modelu? Na podstawie wyniku ucznia na sprawdzianie szacujemy za pomocą metody regresji wynik przewidywany na egzaminie gimnazjalnym. Obliczamy różnicę punktów – tzw. resztę – między faktycznym wynikiem ucznia na egzaminie a jego wynikiem przewidywanym. Obliczamy średnią reszt, czyli EWD dla szkoły (gminy, powiatu, województwa). Szacujemy przedział ufności dla EWD (jego długość zależy od liczby uczniów i od zróżnicowania wyników w szkole).

W polskiej metodzie szacowania EWD zastosowano: Dodatkową informację o uczniu (zmienne kontrolne) płeć dysleksja Uśrednienie reszt do średniej Określenie wiarygodności statystycznej przedział ufności dla średniej (przedział, w którym z prawdopodobieństwem 95% znajduje się EWD) Prezentacja wyników EWD w skalach: skala staninowa skala centylowa

EWD jest miarą względną Model liczenia EWD jest tak dobrany aby nie faworyzować żadnej ze szkół – ani szkoły, w której przeważają uczniowie słabsi, ani też szkół z najlepszymi uczniami. Prawdopodobieństwo uzyskania dodatniej lub ujemnej edukacyjnej wartości dodanej jest takie samo dla wszystkich szkół, niezależnie od składu uczniów na wejściu. Wyniki EWD podawane są w punktach egzaminacyjnych egzaminu gimnazjalnego danego roku. Podobnie jak dla średnich wyników egzaminacyjnych szkół, tak dla wskaźników EWD buduje się skalę staninową.

Wykorzystanie EWD Wykorzystanie nowego wskaźnika do oceny efektywności nauczania w: kraju województwie, powiecie, gminie, gimnazjum oddziale gimnazjum

Skala standardowej dziewiątki Komunikowanie EWD Skala standardowej dziewiątki Skala centylowa 1 4% najniższy 1 do 4 2 7% bardzo niski 5 do 12 3 12% niski 13 do 23 4 17% niżej średni 24 do 39 5 20% średni 40 do 60 6 wyżej średni 61 do 78 7 wysoki 79 do 89 8 bardzo wysoki 90 do 96 9 najwyższy 97 i > Dwie skale obok siebie dla ułatwienia. 40 – 60 centyl – to średni wynik w skali standardowej dziewiątki. 97, 98, 99, centyl to najwyższy wynik w skali standardowej dziewiątki. Centyl 40 oznacza, że 39% szkół ma wyniki niższe niż szkoła, której wyniki analizujemy (sprawdzić?).

Krzywa regresji (linia przewidywanego wyniku) Przewidywany wynik GMP dla uczniów, którzy na sprawdzianie uzyskali 20 i 30 pkt. Po co ten slajd po wynikach EWD szkół?? Można do dać przy metodzie liczenia EWD ale nie jest konieczny!!! 34

Przedziały ufności dla wyników EWD GMP, dla 10 wybranych szkół. EWD dla szkół o numerze: 2, 3, 7, 9 różni się istotnie od 0 (czyli średniej dla populacji). Wartości EWD dla szkół: 1, 4, 5, 6, 8 i 10 są statystycznie różne od 0.

Potencjał EWD 2005 EWD 2006 EWD 2007 EWD 2008 sprawdzian 2002 Przedziały wyników punktowych dla 3 grup uczniów o różnym potencjale na podstawie wyników sprawdzianu, dla których liczymy EWD w kolejnych latach Uczniowie o średnim potencjale Uczniowie o wysokim potencjale Uczniowie zagrożeni niskimi osiągnięciami Potencjał EWD 2005 EWD 2006 EWD 2007 EWD 2008 sprawdzian 2002 sprawdzian 2003 sprawdzian 2004 sprawdzian 2005 niski 0 - 25 0 - 23 0 - 20 średni 26 - 35 24 - 34 21 - 32 24 - 35 wysoki 36 - 40 35 - 40 33 - 40

Edukacyjna wartość dodana dla szkół w Polsce * standardowa dziewiątka Stopień skali* Edukacyjna wartość dodana dla szkół w Polsce 2005 2006 2007 2008 1 najniższy -20,42  -4,88 -11,28  -3,89 -11,63  -3,64 -9,97  -4,17 2 bardzo niski -4,87  -2,94 -3,88  -2,59 -3,63  -2,41 -4,16  -2,76 3 niski -2,93  -1.65 -2,58  -1,46 -2,40  -1,84 -2,75  -1,56 4 niżej średni -1,64  -0,47 -1,45  -0,45 -1,38  -0,38 -1,55  -0,39 5 średni -0,46  0,55 -0,44  0,55 -0,37  0,63 -0,38  0,74 6 wyżej średni 0,56  1,49 0,56  1,57 0,64  1,63 0,75  1,77 7 wysoki 1,50  2,47 1,58  2,62 1,64  2,57 1,78  2,88 8 bardzo wysoki 2,48  3,55 2,63  3,85 2,58  3,74 2,89  4,18 9 najwyższy powyżej 3,56 powyżej 3,86 powyżej 3,75 powyżej 4,19

Edukacyjna wartość dodana * standardowa dziewiątka Stopień skali* Edukacyjna wartość dodana 2005 2006 2007 2008 1 najniższy -21,9  -5,24 -10,53  -3,82 -8,42  -3,15 -8,53  -3,52 2 bardzo niski -5,23  -3,08 -3,81  -2,79 -3,14  -2,17 -3,51  -2,49 3 niski -3,07  -1,77 -2,69  -1,69 -2,16  -1,32 -2,48  -1,55 4 niżej średni -1,76  -0,70 -1,68  -0,66 -1,31  -0,44 -1,54  - 0,58 5 średni -0,69  0,43 -0,65  0,46 -0,43  0,52 -0,57  0,53 6 wyżej średni 0,44  1,61 0,47  1,67 0,53  1,56 0,54  1,59 7 wysoki 1,62  3,02 1,68  3,11 1,57  2,76 1,60  2,95 8 bardzo wysoki 3,03  5,06 3,12  4,91 2,77  4,32 2,96  4,92 9 najwyższy powyżej 5,07 powyżej 4,92 powyżej 4,33 powyżej 4,93

W których województwach uczniowie uczynili największy względny postęp w okresie nauki w gimnazjum? (2007) Na rys. przedstawiono uporządkowane województwa według sumy średnich wartości 3 letniego EWD z obu części egzaminu gimnazjalnego (GHUM+GMP). Na obu krańcach wykresu znajdują się województwa znacznie różniące się wartościami EWD. Dla województwa mazowieckiego EWD jest dodatnie dla obu części egzaminu, natomiast dla opolskiego ujemne dla obu części. Zatem uczniowie województwa mazowieckiego uzyskali średnio o 1,2 pkt. więcej na egzaminie gimnazjalnym niż uczniowie, którzy na sprawdzianie uzyskali tyle samo punktów, natomiast uczniowie województwa opolskiego uzyskali o 2,0 pkt mniej. EWD wyliczona jako średnia trzech kolejnych roczników dla 16 województw w części humanistycznej jest zróżnicowana od (-1,34) w województwie opolskim do 0,92 w województwie lubelskim, natomiast dla części matematyczno-przyrodniczej od -0,89 w województwie dolnośląskim do 0,52 w województwie mazowieckim. Dane te mogą spełniać funkcję „termometru”, który sygnalizuje stan podgorączkowy lub gorączkę oświatową a więc chorobę, w przypadku ujemnych wartości. Ujemny wskaźnik może mieć charakter trwały jak np. w województwach dolnośląskim, kujawsko-pomorskim, opolskim, podlaskim, warmińsko-mazurskim) lub krótkotrwały np. małopolskie (część matematyczno-przyrodnicza w 2005 i 2006 r.).

EWD w województwie małopolskim w latach 2005-2007 Wyniki „surowe” egzaminu w % 2007 Edukacyjna wartość dodana (EWD) 2005 2006 Ogółem w latach 2005-2007 GHU GMP MAZOWIECKIE 65,6 53,5 0,28 0,21 1,70 2,29 0,65 0,70 0,66 0,52 MAŁOPOLSKIE 65,5 52,3 0,27 -0,24 -0,17 0,67 0,31 0,81 0,16 PODKARPACKIE 64,0 50,3 0,30 0,55 -0,60 0,82 0,23 0,89 0,00 LUBELSKIE 64,3 0,37 0,04 0,36 -0,98 1,07 0,35 0,93 SLĄSKIE 63,6 50,0 -0,07 0,07 -0,42 0,25 -0,31 0,58 -0,11 Przykład zestawienia wyników egzaminów w obu miarach: 2 pierwsze kolumny średni wynik punktowy w 2007 roku W kolejnych wynik EWD Możemy sprawdzić czy wyniki egzaminów czy EWD wyżej sytuuje województwo małopolskie

Wskaźnik EWD 3-letni, Małopolska (2005-2007)

Wyniki na sprawdzianie w roku 2004 Z którą grupą uczniów: z wynikiem niskim, średnim, czy wysokim pracowano najefektywniej? powiat Ogółem EWD Wyniki na sprawdzianie w roku 2004 GHU GMP Niskie Stanin 1-3 Średnie Stanin 4-6 Wysokie Stanin 7-9 brzeski 1,45 1,09 1,21 0,22 1,86 1,29 0,56 1,49 wadowicki 2,05 0,76 1,23 0,47 2,40 0,58 1,77 1,68 nowosądecki 1,87 -0,77 1,60 -1,18 2,19 -0,67 1,27 -0,46 KRAKÓW 1,15 0,81 0,46 -0,08 1,62 1,08 0,88 1,98 TARNÓW 1,18 -0,03 0,89 -0,72 -0,02 0,62 0,34 oświęcimski 0,48 -1,10 0,90 -0,52 0,13 -1,06 0,74 -1,63

Przykładowe zestawienie wyników EWD dla gimnazjów w gminie Gimnazja EWD 2005 EWD 2006 EWD 2007 Trzy letnie EWD 2005-2007 Liczba uczniów GHU** GMP*** GHU GMP 1 1,93 -1,80 3,72 -0,14 3,99 1,43 3,55 -0,09 334 2 0,36 -1,70 -0,01 -1,8 2,37 0,04 0,94 -1,09 185 3 -1,88 -4,18 -1,92 -1,15 1,09 -1,59 -1,24 -2,49 54 4 6,10 0,28 2,27 3,52 2,82 1,50 3,81 38 5 0,63 -0,13 0,45 -2,54 0,44 0,24 0,71 -0,69 297 6 0,58 0,8 2,62 2,18 1,30 2,13 1,38 91 7 3,12 4,15 0,87 1,27 2,45 -1,97 2,31 0,97 39 W trakcie pracy zespołu EWD pojawiały się różne próby komunikowania EWD Trudność wynika z potrzeby zachowania czytelności danych przy zachowaniu dużej rzetelności wyniku W tym zestawieniu zwrócono uwagę na różnice między liczba uczniów na podstawie których liczono EWD dla gimnazjum (brak przedziałów ufności, które są tym dłuższe im mniej uczniów przystępowało do egzaminu w pierwszym terminie i przy zastosowaniu arkusza standardowego).

Tabela zależności dla szkół wyników średnich egzaminu i wskaźników EWD Wyniki „surowe” w skali standardowej dziewiątki 1 2 3 4 5 6 7 8 9 C H B F E I J G A D DOPISAŁAM NIE ROZUMIEM POJĘCIA WARTOŚCI SKORYGOWANE!!! TO NIE JEST TABELA KORELACYJNA!!! TO SĄ TABELE ZALEŻNOŚCI WARTOŚCI WYNIKÓW ŚREDNICH DLA SZKÓŁ I WARTOŚCI EWD Analizujemy wyniki kilku gimnazjów w gminie lub powiecie. Literami alfabetu oznaczono gimnazja. Im dalej na prawo umieszczono literę na tablicy korelacyjnej tym wynik szkoły wyższy w skali standardowej dziewiątki. Im wyżej umieszczono literę tym wyższe EWD w skali standardowej dziewiątki. Na kolejnych slajdach grupujemy szkoły według dwóch miar: wyników egzaminów i EWD Gimnazja A, B, C, D, E, F, G, H, I, J

Jakie bodźce mogą skłonić szkoły do wykorzystania wskaźników EWD? Wyniki egzaminów w skali standardowej dziewiątki 1 2 3 4 5 6 7 8 9 C H B F E I J G A D „Dobra efektywność” mimo niskiej pozycji w rankingach B „Wysoce efektywne” szkoły potwierdzone dwoma miarami D Cztery grupy szkół wyróżnione ze względu na dwie miary jakości kształcenia. Opisy wpadają po kolei. Szkoły „nieefektywne” A Szkoły, które „spoczęły na laurach” C

Województwo małopolskie „Dobra efektywność” mimo niskiej pozycji w rankingach „Wysoce efektywne” szkoły potwierdzone dwoma miarami Województwo małopolskie Szkoły „nieefektywne” Szkoły, które „spoczęły na laurach” Wynik części humanistycznej   1 2 3 4 5 6 7 8 9 11 18 26 15 33 13 34 47 32 20 44 40 17 14 Rozkład wyników EWD dla gimnazjów w województwie małopolskim w części humanistycznej. W tabeli liczba gimnazjów: wysoce efektywnych - ..... z dobrą efektywnością na podstawie EWD które spoczęły na laurach nieefektywnych (niedomagających) EWD części humanistycznej

Województwo małopolskie „Dobra efektywność” mimo niskiej pozycji w rankingach Województwo małopolskie „Wysoce efektywne” szkoły potwierdzone dwoma miarami Szkoły „nieefektywne” Szkoły, które „spoczęły na laurach” Wynik części matematyczno-przyrodniczej   1 2 3 4 5 6 7 8 9 17 18 12 11 19 23 38 44 24 22 20 37 28 13 16 EWD części matematyczno-przyrodniczej Rozkład wyników EWD dla gimnazjów w województwie małopolskim w części matematyczno-przyrodniczej W tabeli liczba gimnazjów: wysoce efektywnych - ..... z dobrą efektywnością na podstawie EWD które spoczęły na laurach nieefektywnych (niedomagających)

EWD w gimnazjum Duże zróżnicowanie wyników „na wejściu” 2004 WYKRESY ROZRZUTU! tablice korelacyjne wyników na sprawdzianie i egzaminie gimnazjalnym. Każda kropka na wykresie to jeden uczeń w szkole (klasie). Linia regresji dzieli wyniki na dodatnie i ujemne. Pionowe wpadające linie stanowią granice przedziałów punktowych dla wyników niskich i uczniów o średnim potencjale. Pierwsze spostrzeżenie winno być kierowane na to, czy powyżej linii regresii jest więcej punktów (dodatnie EWD) czy poniżej linii regresji (EWD- ujemne). Drugie spostrzeżenie winno dotyczyć wniosków z efektów pracy z trzema grupami uczniów. Czy rozkład punktów pozwala stwierdzić, że indywidualizowano wymagania? Z którą grupą uczniów pracowano najskuteczniej? Którą grupę zaniedbano? Dlaczego...? Uogólnienie: Uczniowie podczas 3 lat w gimnazjum uczynili wyraźny postęp w dziedzinie przedmiotów humanistycznych uzyskując w stosunku do uczniów, którzy na sprawdzianie mieli tę samą ilość punktów znacznie lepsze wyniki. Zupełnie odwrotna sytuacja dla części matematyczno-przyrodniczej. Problem: różna efektywność pracy z uczniami w części humanistycznej i matematyczno-przyrodniczej Wysoka efektywność w części humanistycznej (liczba uczniów z wynikami powyżej linii regresji) Niska efektywność w części matematyczno-przyrodniczej

EWD w gimnazjum Duże zróżnicowanie wyników „na wejściu” Problem: różna efektywność pracy z uczniami o różnym potencjale „na wejściu” Zaniedbanie uczniów najsłabszych w części humanistycznej i matematyczno-przyrodniczej

EWD w gimnazjum Przez sumowanie wyników pojedynczych uczniów i grupowanie według przedziałów (na rysunku środki przedziałów). Na osi pionowej liczebność uczniów. Najczęściej liczba wyników EWD równa „0” jest największa, co oznacza przeciętną efektywność dla tej grupy uczniów (na miarę wyniku na niższym etapie edukacyjnym). Dodatnia EWD – ponadprzeciętna efektywność Ujemna EWD – efektywność poniżej przeciętna

Różna efektywność pracy z uczniami w klasach Gimnazjum Klasa A Klasa B Klasa C Wyraźnie wyższa efektywność nauczania w klasie A z zakresu przedmiotów matematyczno-przyrodniczych (rozłączne przedziały ufności). Efektywność GH i GMP jest porównywalna, jeżeli przedziały ufności zachodzą na siebie (mają część wspólną). Im większa jest część wspólna, tym mniej uzasadnione jest stwierdzenie, że efektywność jest większa lub mniejsza. Im większa część wspólna, tym mniej uzasadnione jest stwierdzenie, że efektywność jest mniejsza lub większa.

Wprowadzenie wskaźnika EWD Kto powinien zainicjować pracę nad wykorzystaniem EWD w szkole? OKE Kuratorium Oświaty Samorząd Terytorialny

Obsługa Internetowa Egzaminów Przechowywanie wyników w systemie elektronicznym od 2005 roku

Wynik dla szkoły Wyniki według klas

Pojęcia, które należy znać, aby odczytać komunikat o EWD Edukacyjna wartość dodana „Wyniki surowe” (w punktach, procentach) Skala standardowej dziewiątki i jej stopnie – staniny Skala centylowa i jej stopnie– centyle Wynik „na wejściu” i „wyjściu” Wynik szkoły na wejściu odpowiada 5 staninowi, czyli wynosi …. Wynik szkoły po egzaminie gimnazjalnym to 7 i 8 stanin, czyli …. Centyl 56 oznacza, że …… Procent połączonych (scalonych) wyników to (jakich?) Przedział ufności (dlaczego wyniki podawane są wraz z tą informacją?) Wynik 3-letniego EWD w części humanistycznej równe 1,37 oznacza ... Wynik 3-letniego EWD dla części matematyczno-przyrodniczej 2,56 oznacza, że … Niektóre z tych pojęć zostaną pokrótce objaśnione. Innych wyjaśnień należy szukać w publikacjach na stronach internetowych Projektu EWD i komisji egzaminacyjnych. Wykorzystanie EWD wymaga szkoleń wszystkich, którzy tą miarą chcą się posługiwać!!! Nawet najmłodsi nauczyciele nie uczą się tego w trakcie studiów.

Warsztaty z wizytatorami Małopolskiego Kuratorium Oświaty W trakcie szkoleń przekazano wyniki EWD w gimnazjach za lata 2005-2008 Zachęcano do wykorzystania kalkulatorów do liczenia EWD w gimnazjach. Możliwe pogłębione analizy według klas!

Małopolski Kurator Oświaty zobowiązał szkoły do wykonania analizy EWD w roku 2008 W ilu gimnazjach w wykorzystano dane o EWD do analizy wyników nauczania? Czego warto dowiedzieć się w związku z wykorzystaniem informacji o EWD w szkole? Czy w szkole obliczono wskaźnik EWD? Czy w szkole natrafiono na trudności z obliczeniem tego wskaźnika? Jakie konkretne działania podejmowano w trakcie przygotowania się do analizy EWD i w trakcie jej przeprowadzania? Z jakimi innymi danymi jakościowymi próbowano powiązać informację o EWD? Kto przeprowadzał analizę w szkole? (…)

Kalkulator Edukacyjnej Wartości Dodanej Dane potrzebne do wprowadzenia: wynik na sprawdzianie (jeżeli korzystał z dostosowania warunków lub kryteriów oceniania) płeć dysleksja na sprawdzianie wynik na egzaminie gimnazjalnym – GHU, GMP dysleksja w gimnazjum (jeżeli korzystał z dostosowania warunków lub kryteriów oceniania)

Przygotowano pliki wsadowe do kalkulatora dla każdego gimnazjum w OKE. Załaczono kalkulator i instrukcję.

Przykład wydruku wyników dla organów JST w województwie małopolskim oraz możliwości pracy z nimi

Edukacyjna wartość dodana 2005 2006 2007 2008 Stopień skali* Edukacyjna wartość dodana 2005 2006 2007 2008 9 najwyższy powyżej 3,56 powyżej 3,86 powyżej 3,75 powyżej 4,19 8 bardzo wysoki 2,48  3,55 2,63  3,85 2,58  3,74 2,89  4,18 7 wysoki 1,50  2,47 1,58  2,62 1,64  2,57 1,78  2,88 6 wyżej średni 0,56  1,49 0,56  1,57 0,64  1,63 0,75  1,77 5 średni -0,46  0,55 -0,44  0,55 -0,37  0,63 -0,38  0,74 4 niżej średni -1,64  -0,47 -1,45  -0,45 -1,38  -0,38 -1,55  -0,39 3 niski -2,93  -1.65 -2,58  -1,46 -2,40  -1,84 -2,75  -1,56 2 bardzo niski -4,87  -2,94 -3,88  -2,59 -3,63  -2,41 -4,16  -2,76 1 najniższy -20,42  -4,88 -11,28  -3,89 -11,63  -3,64 -9,97  -4,17 Liczba połączonych wyników 275 283 255 256 Stopień skali* Edukacyjna wartość dodana 2005 2006 2007 2008 9 najwyższy powyżej 5,07 powyżej 4,92 powyżej 4,33 powyżej 4,93 8 bardzo wysoki 3,03  5,06 3,12  4,91 2,77  4,32 2,96  4,92 7 wysoki 1,62  3,02 1,68  3,11 1,57  2,76 1,60  2,95 6 wyżej średni 0,44  1,61 0,47  1,67 0,53  1,56 0,54  1,59 5 średni -0,69  0,43 -0,65  0,46 -0,43  0,52 -0,57  0,53 4 niżej średni -1,76  -0,70 -1,68  -0,66 -1,31  -0,44 -1,54  - 0,58 3 niski -3,07  -1,77 -2,69  -1,69 -2,16  -1,32 -2,48  -1,55 2 bardzo niski -5,23  -3,08 -3,81  -2,79 -3,14  -2,17 -3,51  -2,49 1 najniższy -21,9  -5,24 -10,53  -3,82 -8,42  -3,15 -8,53  -3,52 Liczba połączonych wyników 275 283 255 256

Chłodnym okiem na EWD Sprawdza się w odniesieniu do szkół o dużej liczbie uczniów Jedna ale nie jedyna miara jakości pracy szkoły w kontekście roli szkoły w rozwoju ucznia Wymaga uczciwości na każdym egzaminie Wymaga poznania potencjału ucznia na wejściu EWD mierzy to na co szkoła ma wpływ. Czy szkoła jest wystarczająco efektywna, pracując z uczniami o określonym potencjale?

Ewaluacja przebiegu sprawdzianu i egzaminów W trosce o zapewnienie jednakowych warunków przeprowadzania sprawdzianów i egzaminów Okręgowa Komisja Egzaminacyjna w Krakowie zaprasza do obserwacji przebiegu egzaminów zewnętrznych. Rozporządzenie Ministra Edukacji Narodowej z dnia 30 kwietnia 2007 r. w sprawie warunków i sposobu oceniania, klasyfikowania i promowania uczniów i słuchaczy oraz przeprowadzania egzaminów i sprawdzianów w szkołach publicznych (Dz. U. z 2007 r. nr 83 poz. 562, z późn. zm.).

Ewaluacja przebiegu sprawdzianu i egzaminów § 143 1. Obserwatorami sprawdzianu, egzaminu gimnazjalnego, egzaminu maturalnego oraz egzaminu zawodowego mogą być: 1) delegowani pracownicy ministerstwa obsługującego ministra właściwego do spraw oświaty i wychowania; 2) delegowani przedstawiciele Komisji Centralnej i komisji okręgowych; 3) delegowani pracownicy ministerstw obsługujących ministrów właściwych dla zawodów; 4) delegowani przedstawiciele organu sprawującego nadzór pedagogiczny, organu prowadzącego szkołę, szkół wyższych i placówek doskonalenia nauczycieli, a w przypadku egzaminu zawodowego także delegowani przedstawiciele pracodawców, upoważnieni przez dyrektora komisji okręgowej.

Ewaluacja przebiegu sprawdzianu i egzaminów Wniosek na stronie głównej www.oke.krakow.pl w dziale Badania, opracowania, raporty 68

Lech Gawryłow Dyrektor Okręgowej Komisji Egzaminacyjnej w Krakowie Dziękuję za uwagę Lech Gawryłow Dyrektor Okręgowej Komisji Egzaminacyjnej w Krakowie