Wykorzystanie wskaźników EWD w planowaniu rozwoju szkoły Opracowanie na podstawie materiałów IBE

Wprowadzony w 2002 roku jednolity system egzaminów szkolnych pozwala spojrzeć nauczycielom, uczniom, rodzicom oraz organom prowadzącym na wyniki nauczania w nowej, o wiele szerszej niż dotąd, perspektywie. Przeprowadzane w taki sposób w skali kraju egzaminy szkolne pełnią wiele funkcji, z których najważniejsze są: wyznaczanie stopnia spełniania przez uczniów wymagań programowych; ewaluacja pracy szkół; monitorowanie procesów edukacyjnych.

Porównywalność wyników w skali całej Polski umożliwia analizę osiągnięć szkolnych z punktu widzenia kraju, województwa czy gminy. Obraz pracy szkoły widziany przez pryzmat wyników końcowych nauczania jest jednak niepełny, gdyż nie uwzględnia potencjału ucznia przychodzącego do szkoły. Bardziej istotny wydaje się postęp, jaki robią uczniowie przez kilka lat nauki w danej placówce. Metoda edukacyjnej wartości dodanej (EWD) pozwala w sposób poprawny statystycznie zmierzyć wkład szkoły w ten postęp, dzięki czemu staje się ważnym instrumentem wykorzystywanym do analizy wyników nauczania oraz ewaluacji pracy szkół.

EWD pozwala dyrektorom i nauczycielom dokonać wnikliwej analizy wyników egzaminacyjnych, a w efekcie: sformułować wnioski do planów rozwoju szkoły; określić mocne i słabe strony nauczania w szkole; zweryfikować skuteczność podejmowanych działań; określić zakres koniecznych modyfikacji; wskazać czynniki determinujące w istotny sposób ostateczny wynik ucznia na egzaminie zewnętrznym; upewnić się, że szkoła organizuje procesy edukacyjne w sposób uwzględniający potrzeby i możliwości rozwojowe uczniów.

Z metody EWD szeroko korzysta nadzór pedagogiczny podczas ewaluacji zewnętrznej szkół, dokonując obiektywnej oceny postępów uczniów dane szkoły w cyklu nauczania. Ewaluacja prowadzona przez samą szkołę w celu poprawy swojego funkcjonowania to najważniejszy obszar wykorzystania wyników egzaminacyjnych, a tym samym i metody edukacyjnej wartości dodanej. Beneficjentami skutecznej autoewaluacji stają się więc uczniowie, którzy mają szansę uczyć się w skuteczniej nauczających szkołach.

Co to są metody EWD? Metody EWD to metody statystyczne (najczęściej wykorzystywane są modele regresji), które pozwalają na podstawie zasobów na wejściu (np. wynik na egzaminie poprzedniego etapu kształcenia, informacja o zasobach materialnych szkoły, środowisku, nakładach na szkołę) oraz na wyjściu (np. wynik na egzaminie końcowym dla danego etapu kształcenia), oszacować efektywność nauczania, czyli wkład danej szkoły w końcowy wynik egzaminacyjny. W tym sensie EWD jest egzaminacyjnym wskaźnikiem efektywności nauczania w danej szkole.

Prace nad metodą edukacyjnej wartości dodanej rozpoczęto w Polsce w 2005. Opracowano metodologię szacowania wskaźników EWD, sposób prezentacji wyników, narzędzia analizy, materiały pomocnicze dla nauczycieli i dyrektorów. Szkołom udostępniono narzędzie analityczne w postaci kalkulatora EWD, który umożliwia wykonywanie analiz na zdefiniowanych przez użytkownika grupach uczniowskich.

Badania prowadzone w szkołach wykazały, że nie wszystkie z nich potrafią wykorzystać wskaźniki EWD do analizowania wyników egzaminacyjnych czy oceny efektywności nauczania. Często wielu dyrektorów i nauczycieli nie widzi potrzeby uwzględniania tych wskaźników przy prowadzeniu ewaluacji wewnętrznej w szkole. Z właściwie interpretowanych wskaźników można uzyskać informacje przydatne w analizie spełniania wymagań państwa wobec szkół.

Stosowanie przez szkoły wskaźników EWD do oceny efektywności nauczania w 2012 roku i wcześniej Źródło: A. Jasińska, G. Humenny, L. Humenny: Wykorzystanie przez szkoły metody edukacyjnej wartości dodanej. Wyniki badania ilościowego. Raport IBE, 2013

Opis poziomu: (nauczyciele/dyrekcja) Poziomy wykorzystania EWD przez szkoły, stan na 31.05.2014 r. Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości umiejętności /sposób organizacji pracy z danymi postawy Poziom 1. posiadają wiedzę potoczną o meto- dzie EWD; wiedzą jak są pre- zentowane trzyle- tnie wskaźniki EWD; wiedzą jakie poło- żenie elipsy jest „korzystne” dla szkoły; potrafią znaleźć elipsę swojej szkoły korzystając z wyszukiwarki na stronie projektu EWD; obawiają się rozliczania szkoły/ nauczyciela z efektów kształcenia; mają negatywny stosunek do egza- minów zewnę- trznych; uważają EWD za wy- mysł naukowców, nieprzydatny w pracy szkoły; Źródło: E. Kędracka, K. Matuszczak, A. Rappe, E. Stożek, Badanie na temat wykorzystania metody edukacyjnej wartości dodanej (EWD) przez szkoły ponadgimnazjalne. Raport IBE, 2013

Opis poziomu: (nauczyciele/dyrekcja) Poziomy wykorzystania EWD przez szkoły, stan na 31.05.2014 r. Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości umiejętności /sposób organizacji pracy z danymi postawy Poziom 2. wiedzą jak odczytać trzy- letnie wskaźniki EWD; rozumieją wzglę- dność wskaźników EWD; rozumieją dyna- mikę trzyletnich wskaźników; wiedzą jak porów- nywać szkoły ze względu na trzy- letni wskaźnik EWD; potrafią interpretować trzyletnie wskaźniki EWD; sprawnie posługują się wyszukiwarką/ porów- nywarką na stronie pro- jektu EWD; dokonują porównań trzyletnich wskaźników pomiędzy szkołami, śledzą dynamikę zmian w czasie; wskaźniki analizuje jedna, dwie osoby bez współpracy z radą pedagogiczną, często tylko dyrektor szkoły; w raportach nie przed- stawiają wniosków z analiz wyników egza- minacyjnych; w sposób formalny realizują zapisy roz- porządzeń i prawa oświatowego; działają rutynowo, boją się zmian;

Opis poziomu: (nauczyciele/dyrekcja) Poziomy wykorzystania EWD przez szkoły, stan na 31.05.2014 r. Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości umiejętności /sposób organizacji pracy z danymi postawy Poziom 3. (c.d.n.) wiedzą, czym różnią się jednoroczne wskaźniki EWD od trzyletnich; znają podstawowe pojęcia statystyczne używane w analizach wyników egzaminacyjnych z wykorzystaniem EWD (np. rozkład wyników, odchylenie standar- dowe, przedział ufności); posługują się kalku- latorem EWD, wyko- nują różnorodne ana- lizy w podziale na grupy „wbudowane” w kalkulator (np. klasy, potencjał edukacyjny, płeć); potrafią interpre- tować wykresy uzyskiwane w kalkulatorze EWD; analizy powstają w zespołach przed- miotowych, dotyczą tylko ostatniej sesji egzaminacyjnej, są prezentowane na radzie pedagogicznej; są otwarci na wyko- rzystywanie EWD w szkole; chcą pogłębiać wie- dzę o sposobach wykorzystania EWD i doskonalić umie- jętności obsługi narzędzi analitycz- nych, uczestniczą w szkoleniach;

Opis poziomu: (nauczyciele/dyrekcja) Poziomy wykorzystania EWD przez szkoły, stan na 31.05.2014 r. Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości umiejętności /sposób organizacji pracy z danymi postawy Poziom 3. (c.d.) znają podstawowe typy wykresów wykorzystywanych w kalkulatorze EWD; wiedzą, jakie czynniki niezależne od szkoły wpływają na wyniki egzaminów zewnę- trznych, a jakie zależne od szkoły mogą wpływać na EWD; wiedzą, że EWD nie zależy od uprzednich osiągnięć uczniów; w raportach z analizy wyników egzamina- cyjnych formułowane są wnioski z analiz; wykorzystują wska- źniki EWD w promocji szkoły; przeprowadzają dia- gnozę na wejściu, wykorzystując do tego również wyniki egzaminu zewnę- trznego niższego etapu kształcenia; rozmawiają między sobą o swojej pracy; modyfikują swój styl pracy;

Opis poziomu: (nauczyciele/dyrekcja) Poziomy wykorzystania EWD przez szkoły, stan na 31.05.2014 r. Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości umiejętności /sposób organizacji pracy z danymi postawy Poziom 4. (c.d.n.) wiedza o metodzie EWD jest powszechna wśród członków rady pedagogicznej; wiedzą, jakie czynniki efektywności naucza- nia są specyficzne dla ich szkoły; mają świadomość własnego warsztatu pracy; rozróżniają pojęcia efektywność naucza- nia i efekty kształ- cenia; swobodnie posługują się kalkulatorem EWD, potrafią wyko- nywać analizy w po- dziale na grupy, spe- cyficzne dla danej szkoły (inne niż wbudowane w kal- kulator); uzupełniają analizy wskaźników EWD analizami innych danych dostępnych w szkole (np. łatwości zadań, frekwencja); planują inne badania w szkole; identyfikują obszary do zmiany i podej- mują działania; widzą potrzebę wykorzystywania metody EWD do analizy wyników egzaminacyjnych w szkole; współpracują w celu lepszego zrozu- mienia czynników wpływających na efektywność nau- czania (np. obser- wacje koleżeńskie); są gotowi na wpro- wadzenie zmian we własnej pracy, których źródłem są analizy EWD; czują się odpowie- dzialni za efekty kształcenia

Opis poziomu: (nauczyciele/dyrekcja) Poziomy wykorzystania EWD przez szkoły, stan na 31.05.2014 r. Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości umiejętności /sposób organizacji pracy z danymi postawy Poziom 4. (c.d.) analizy wykonywane są w zespołach przedmiotowych i dotyczą kilku kolej- nych lat; wnioski z analiz dyskutowane są w radzie pedagogicznej, a rekomen- dacje do dalszej pracy są wypracowy- wane wspólnie; raporty z analiz wyników egzaminacyj- nych zawierają rekomendacje do dalszej pracy wraz ze wskazaniami kto jest od- powiedzialny za poszczególne działania i w jaki sposób oceniany będzie stopień realizacji rekomendacji; potrafią rozmawiać o wskaźnikach edu- kacyjnych z różnymi partnerami szkoły (np. rodzice, organ prowadzący, organ nadzoru pedagogicznego) świadomie planują swoją pracę z uczniami, również w kontekście zakładanych celów do osiągnięcia;

Opis poziomu: (nauczyciele/dyrekcja) Poziomy wykorzystania EWD przez szkoły, stan na 31.05.2014 r. Zaawansowanie wykorzystania wskaźnika EWD przez szkołę Opis poziomu: (nauczyciele/dyrekcja) wiedza/wiadomości umiejętności /sposób organizacji pracy z danymi postawy Poziom 5. rozumieją celo- wość wykorzy- stywania EWD w ewaluacji wew- nętrznej; rozumieją, że analiza wyników egzaminacyjnych z wykorzysta- niem EWD jest jednym z proce- sów w szkole, który powinien być zorganizo- wany i zarzą- dzany; wiedza o wskaźnikach EWD jest aktualizo- wana; gromadzą różnorodne dane o uczniach i ich osiągnięciach, zarówno na poziomie klas, jak i szkoły, wykorzystując do tego bazy danych; analizy wyników egza- minacyjnych z wykorzy- staniem wskaźników EWD są prowadzone celowo: dostarczają szkole infor- macji o skutkach podej- mowanych przez nią działań, są włączane do procesu ewaluacji wewnętrznej; raport z analizy wyników egzaminacyjnych jest częścią raportu ewa- luacyjnego i jest raportem o procesach przebiegają- cych w szkole; są przekonani o użyteczności wska- źników edukacyj- nych, traktują EWD jako źródło infor- macji o efektywności nauczania i jedną z ważnych informacji o tym, jak pracuje szkoła; myślą o szkole w kategoriach rozwoju, a nie rankingu; cechuje ich wysoka refleksyjność doty- cząca własnej pracy jako elementu sys- temu szkolnego; chętnie dzielą się swoją wiedzą i do- świadczeniem z innymi szkołami;

(uprzednie osiągnięcia edukacyjne). Co to jest EWD? EWD - (edukacyjna wartość dodana) – jest przyrostem wiedzy i umiejętności ucznia w wyniku danego procesu dydaktycznego. Wynik uzyskany przez ucznia np. na sprawdzianie w kl. VI - przyjmuje się jako ogólną miarę potencjału edukacyjnego ucznia (uprzednie osiągnięcia edukacyjne). Miara ta jest używana jako prognostyk wyniku na wyższym etapie edukacyjnym, czyli na egzaminie gimnazjalnym.

Wartość dodana dla ucznia jest różnicą pomiędzy oczekiwanym a rzeczywistym wynikiem gimnazjalnym. Wartość dodana dla szkoły jest średnią wartością EWD dla uczniów szkoły. Analogicznie wynik egzaminu gimnazjalnego można traktować jako prognostyk wyniku egzaminu maturalnego. UWAGA! Nie znaczy to, że wprowadzając wyniki egzaminu gimnazjalnego do kalkulatora EWD można przewidzieć wynik konkretnego ucznia na maturze! ;)

Do niedawna CKE podawała w swoich statystykach średni wynik egzaminacyjny uczniów danej szkoły. Jednak zdaniem ekspertów takie „surowe" nieprzetworzone dane nie były miarodajne dla oceny pracy szkoły. Bez wątpienia łatwiej jest osiągnąć dobry wynik egzaminacyjny nauczycielowi, który pracuje z młodzieżą o dużym kapitale wiedzy już na starcie, niż jego koledze, który ma pracować z uczniami o dużych brakach.  Wskaźnik EWD uwzględnia taką sytuację koncentrując się bardziej na uchwyceniu przyrostu wiedzy z perspektywy egzaminu niż tylko na jego suchych wynikach.

Dlaczego nie posługujemy się sumą punktów? Porównywanie wyników różnych testów jest niemożliwe. Trudno ocenić, czy dany wynik jest wysoki, czy też niski. Niemożliwe jest szybkie oszacowanie, jaki procent populacji posiada wynik wyższy lub niższy od aktualnie analizowanego. Niemożliwe jest porównanie ze sobą wyników uczniów piszących dwie wersje testu.

Jak wylicza się wskaźniki? Naukowcy wyliczając wskaźniki nie posługują się sumą punktów z testu, lecz znając odpowiedzi na poszczególne pytania skalują wyniki uczniów (modelem IRT) Procedura standaryzacji przeprowadzana jest oddzielnie dla uczniów liceów ogólnokształcących i techników w każdym z czterech opisywanych wskaźnikami obszarów nauczania. Należy podkreślić, że  wskaźniki egzaminacyjne, zarówno wyniku końcowego jak i EWD, są szacowane oddzielnie dla różnych populacji (np. liceów ogólnokształcących i techników). Oznacza to, że  wskaźniki dla liceów i techników nie są porównywalne.

Wyniki przedstawiane są na skali o średniej równej 100 i odchyleniu standardowym równym 15 Dzięki własnościom rozkładu normalnego wynik przedstawiony na standaryzowanej skali ma ustaloną interpretację ilościową, czyli można powiedzieć, jak dany wynik wygląda na tle populacji odniesienia. Na wykresie przedstawiono wartości procentowe dla wybranych punktów skali. I tak wynik 130 oznacza, że tylko trochę ponad 2% zdających w danej populacji uzyskało wynik wyższy, natomiast rezultat 85 wskazuje, że  blisko 16% uzyskało wynik niższy.

Wyskalowane wyniki maturalne służą zarówno do prezentacji średniego rezultatu maturalnego dla danego liceum ogólnokształcącego lub technikum, jak i do prezentacji wartości wskaźnika edukacyjnej wartości dodanej. W wypadku wskaźnika EWD skala ma swój środek w punkcie 0. Na przykład wynik EWD szkoły równy 5 pkt oznacza, że  wynik w danym obszarze nauczania przeciętnego ucznia tej szkoły na maturze był o 5 punktów wyższy (w skali standardowej, czyli o 1/3 odchylenia standardowego wyższy), niż by to wynikało z jego rezultatu na egzaminie gimnazjalnym.

Średni wynik egzaminacyjny i EWD, czyli wskaźnik efektywności nauczania, to miary komplementarne. Łącznie dają pełniejszą informację o szkole, niż każdy z nich z osobna. Konsekwencją tego, że uwzględniamy zarówno wynik maturalny jak i wskaźnik EWD, jest prezentacją wyniku szkoły w dwuwymiarowym układzie współrzędnych. Ze względu na niepewność statystyczną szacowania wskaźników położenie szkoły przedstawiane jest za pomocą elipsy. Wielkość elipsy graficznie przedstawia stopień tej niepewności. Im więcej wyników egzaminacyjnych uwzględnia się w obliczeniach, tym mniejsza niepewność i mniejsza tym samym elipsa.

Średni wynik egzaminacyjny szkoły, jak i wskaźnik EWD można traktować jako wskaźniki ewaluacyjne. Posługując się wskaźnikami egzaminacyjnymi w ewaluacji zakładamy, że egzaminy zewnętrzne istotnie przenoszą informacje o procesach zachodzących w szkole. Wskaźniki egzaminacyjne nie przenoszą informacji o wszystkich obszarach pracy szkoły, dotyczą przede wszystkim rzeczywistości egzaminacyjnej, ale jest ona na tyle bogata, że na tej podstawie można wnioskować o wielu procesach zachodzących w szkole. Poniższa tabela zestawia informacje o dwóch powszechnie stosowanych wskaźnikach egzaminacyjnych: średnim wyniku egzaminacyjnym oraz wskaźnikach edukacyjnej wartości dodanej. Takie ważne cechy wskaźników wykorzystywanych w ewaluacji [por. Górniak, Keler, s. 176- 177] jak dostępność, aktualność, porównywalność, statystyczna poprawność są w większym stopniu właściwe wskaźnikom EWD.

Średni wynik egzaminacyjny   Średni wynik egzaminacyjny Wskaźniki EWD 1 pokazuje poziom osiągnięć uczniów w zakresie sprawdzanym egzaminem zewnętrznym pokazuje efektywność nauczania w zakresie sprawdzanym egzaminem zewnętrznym 2 średnie wyniki szkół publikowane są lokalnie przez okręgowe komisje egzaminacyjne trzyletnie wskaźniki EWD publikowane są dla wszystkich gimnazjów w jednej aplikacji internetowej 3 wysoki/niski wynik egzaminacyjny może być zarówno efektem pracy szkoły, jak i konsekwencją potencjału uczniowskiego w szkole daje informację zwrotną o wkładzie szkoły w wynik egzaminacyjny niezależnie od potencjału uczniowskiego w szkole 4 bezpośrednie porównywanie ze sobą szkół ze względu na średni wynik (nie uwzględniając liczebności i zróżnicowania wyników) prowadzi do przekłamań porównywanie ze sobą szkół jest możliwe poprzez komunikowanie wskaźników EWD wraz z przedziałami ufności 5 porównywanie wyników między latami jest możliwe jedynie poprzez porównanie pozycji szkoły na skali staninowej trzyletnie wskaźniki EWD komunikowane są na skali standardowej setki, co daje możliwość bardziej precyzyjnego śledzenia zmian wskaźników w czasie

Rodzaje wskaźników EWD wskaźniki jednoroczne wskaźniki trzyletnie do obliczenia konieczna aplikacja Kalkulator EWD-100 dostępne na stronie projektu gimnazjum: http://gimnazjum.ewd.edu.pl liceum, technikum: http://matura.ewd.edu.pl dostępne tylko dla dyrektorów szkół (lub za ich pośrednictwem) – wymagają uzyskania wyników egzaminacyjnych z OKE powszechnie dostępne obliczane na podstawie wyników jednego rocznika absolwentów, np. 2012 r, 2013 r. Wyliczane na podstawie wyników trzech kolejnych roczników absolwentów, np. 2010-2012, 2011-2013 dla bardzo małych szkół nie mogą być sensownie wyliczone mogą zostać opublikowane także dla bardzo małych szkół (więcej uczniów)

Rodzaje wskaźników EWD wskaźniki jednoroczne wskaźniki trzyletnie mogą podlegać dużym wahaniom z roku na rok dosyć stabilne pozwalają przyjrzeć się szczegółom pracy szkoły, ewaluacja wewnątrzszkolna pozwalają na bardziej ogólną ocenę pracy szkoły, ewaluacja zewnętrzna możliwość prowadzenia wielu rodzajów analiz w Kalkulatorze EWD-100 tylko ściśle określony zestaw wskaźników udostępniany na stronie internetowej analizy głównie w ramach jednej szkoły łatwe porównanie między szkołami

Do czego mogą się przydać wyniki egzaminacyjne/EWD? Możliwości wykorzystania wskaźników EWD do oceny stopnia spełnienia wymagań. Wymaganie wg rozporządzenia Do czego mogą się przydać wyniki egzaminacyjne/EWD? Wskaźniki EWD typ analizy 1. Szkoła lub placówka realizuje koncepcję pracy ukierunkowaną na rozwój uczniów; Ocena adekwatności uzyskanych wyników do zamierzonych; trzyletnie wskaźniki EWD –porównanie z innymi szkołami o podobnych cechach; w przypadku szkoły maturalnej –wybieralność przedmiotów; 2. Procesy edukacyjne są zorganizowane w sposób sprzyjający uczeniu się; Planowanie z uwzględnieniem analizy wyników egzaminów z poprzedniego etapu kształcenia. Planowanie z uwzględnieniem rozpoznanych czynników efektywności dla danej szkoły. potencjał edukacyjny na wejściu coroczne analizy z użyciem jednorocznych wskaźników EWD dla grup uczniowskich, w tym oddziałów klasowych

Do czego mogą się przydać wyniki egzaminacyjne/EWD? Możliwości wykorzystania wskaźników EWD do oceny stopnia spełnienia wymagań. Wymaganie wg rozporządzenia Do czego mogą się przydać wyniki egzaminacyjne/EWD? Wskaźniki EWD typ analizy 3. Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej; Egzamin zewnętrzny jako kryterium poziomu osiągnięć uczniów. Monitorowanie efektów kształcenia. Ocena skuteczności podejmowanych działań. trzyletnie wskaźniki egzaminacyjne dynamika trzyletnich wskaźników EWD 6. Szkoła lub placówka wspomaga rozwój uczniów uwzględniając ich indywidualną sytuację; Monitorowanie skuteczności podejmowanych działań w stosunku do określonych grup uczniowskich analizy jednorocznej EWD dla grup uczniowskich, także w podziale na płeć i dysleksję itp. analizy jednorocznej EWD ze względu na potencjał na wejściu;

Do czego mogą się przydać wyniki egzaminacyjne/EWD? Możliwości wykorzystania wskaźników EWD do oceny stopnia spełnienia wymagań. Wymaganie wg rozporządzenia Do czego mogą się przydać wyniki egzaminacyjne/EWD? Wskaźniki EWD typ analizy 7. Nauczyciele współpracują w planowaniu i realizowaniu procesów edukacyjnych; EWD jest zaproszeniem do refleksji nad efektywnością kształcenia. Analiza wyników jest działaniem zespołowym i ma szanse przełożyć się na działania w szkole, jeśli wnioski i rekomendacje są akceptowane przez wszystkich nauczycieli. trzyletnie i jednoroczne wskaźniki EWD 10. Wykorzystywane są zasoby szkoły oraz środowiska lokalnego na rzecz wzajemnego rozwoju Monitorowanie losów absolwentów szkół podstawowych na podstawie ich wyników/EWD w gimnazjum. Współpraca w gminie szkół podstawowych i gimnazjów. jednoroczne wskaźniki EWD wg szkoły podstawowej, którą ukończył uczeń gimnazjum; jednoroczne wskaźniki EWD w grupie uczniów dojeżdżających; trzyletnie wskaźniki EWD – porównanie z innymi szkołami w gminie;

Do czego mogą się przydać wyniki egzaminacyjne/EWD? Możliwości wykorzystania wskaźników EWD do oceny stopnia spełnienia wymagań. Wymaganie wg rozporządzenia Do czego mogą się przydać wyniki egzaminacyjne/EWD? Wskaźniki EWD typ analizy 11. Szkoła lub placówka organizując procesy edukacyjne uwzględnia wnioski z analizy wyników (…) egzaminacyjnych oraz innych badań zewnętrznych i wewnętrznych; Szkoła prowadzi analizę wyników egzaminacyjnych ukierunkowaną na identyfikację mocnych i słabych stron, rozpoznanie czynników efektywności (EWD), doskonalenie warsztatu pracy nauczycieli  trzyletnie i jednoroczne wskaźniki EWD 12. Zarządzanie szkołą lub placówką służy jej rozwojowi; Obserwacje z analiz EWD są impulsem do prowadzenia ewaluacji wewnętrznej. Proces analizy wyników jest w szkole zarządzany. Decyzje podejmowane są z uwzględnieniem wyników egzaminacyjnych i badań wewnętrznych.

Przykłady wskaźników trzyletnich:

Przykłady wskaźników trzyletnich:

Przykłady wskaźników trzyletnich:

Przykłady wskaźników trzyletnich:

Przykłady wskaźników trzyletnich:

Analizy wskaźników jednorocznych: Mając do dyspozycji Kalkulator EWD 100 oraz dostęp do wyników egzaminacyjnych z OKE (takie możliwości posiada dyrektor) można przygotować dane do analiz jednorocznych wskaźników EWD. Właściwa interpretacja uzyskanych informacji pozwoli na racjonalizację wniosków niezbędnych do planowania i modyfikowania działań związanych z doskonaleniem procesów edukacyjnych oraz podniesieniem efektywności pracy szkoły.

MOŻLIWOŚCI KALKULATORA EWD 100 Kalkulator EWD 100 jest rozszerzeniem i bezpośrednim następcą Kalkulatora EWD Plus. Podstawowe zmiany: zastosowanie skali 100/15, zarówno w przypadku wyników na sprawdzianie, jak i wyników egzaminu gimnazjalnego; Konsekwencją zastosowania skali 100/15 jest możliwość porównania wyników między latami oraz uwzględnienia w modelach uczniów o wydłużonym toku kształcenia; w module maturalnym również zastosowano skalę 100/15, na której przedstawiono wyniki egzaminu gimnazjalnego w części matematyczno- przyrodniczej oraz wyniki z matematyki maturalnej (poziom podstawowy).

MOŻLIWOŚCI KALKULATORA EWD 100 Skala 100/15. Wyniki i analizy są przedstawiane na standardowej skali, o średnim wyniku 100 i odchyleniu standardowym 15. Obsługa nowej formuły egzaminu gimnazjalnego. W Kalkulatorze EWD 100 można wyliczyć wskaźniki, odpowiadające czterem arkuszom gimnazjalnym: GH-P, GH-H, GM-M, GM-P oraz wskaźniki złożone dla części humanistycznej (GH) oraz matematyczno-przyrodniczej (GMP). Złożone wskaźniki pozwalają porównywać wyniki z wcześniejszymi rocznikami (2009, 2010 i 2011). Nowa struktura danych. Dane importowane do Kalkulatora są dzielone na szkoły, roczniki i klasy; dzięki temu można przeprowadzać bardziej elastyczny podział na grupy uczniowskie (grupowanie, filtry, dodatkowe cechy zdefiniowane przez użytkownika). Model jednorocznej EWD uwzględniający uczniów drugorocznych. W kalkulatorze zaimplementowane są modele jednorocznej EWD dla gimnazjów na skali 100/15 za lata 2009, 2010, 2011, 2012, 2013 uwzględniające uczniów drugorocznych.

MOŻLIWOŚCI KALKULATORA EWD 100 Porównywanie między latami. Kalkulator pozwala na porównywanie danych między różnymi latami, z jednej bądź kilku szkół. Nowe rodzaje wykresów. Oprócz analiz znanych z poprzedniego Kalkulatora, dostępne są nowe wykresy: Rozkład wyników, Rozkład wyników przewidywanych oraz Rozkład potencjałów, a od wersji 1.2 także Średnie wyniki oraz Krzywe przewidywanego wyniku Od wersji 1.1 - moduł maturalny. Możliwe jest analizowanie wyników maturalnych z matematyki (poziom podstawowy). Zaimplementowane są modele jednorocznej EWD na skali 100/15 za lata 2010, 2011, 2012 uwzględniające uczniów drugorocznych.

Nowości w wersji 1.2 - wrzesień 2013: Modele gimnazjalne dla roku 2013 Możliwość eksportu danych do pliku .csv Możliwość tworzenia nowych analiz z już istniejących analiz Możliwość doimportowania danych do już istniejącego projektu Pomoc kontekstowa w postaci odnośników do stron informacyjnych dotyczących poszczególnych analiz Możliwość przeciągnięcia analizy z aplikacji bezpośrednio do otwartego dokumentu typu Word albo PowerPoint Aplikacja pomaga weryfikować poprawność importu Kombinacja przycisków Ctrl+S zapisuje projekt

Nowości w wersji 1.2 - wrzesień 2013: Automatyczny zapis projektu wraz z możliwością odzyskania pracy przy nagłym zamknięciu się aplikacji Nowy wykres krzywych przewidywanego wyniku Nowy wykres średnich wyników przedstawionych w przedziałach ufności Możliwość rysowania różnych krzywych przewidywanego wyniku na wykresie rozrzutu Możliwość zmiany skali wykresu korzystając z kombinacji przycisku Ctrl i kółka myszy Przybliżanie wykresów jest możliwe za pomocą kółka myszy lub poprzez wciśnięcie lewego przycisku Ctrl wraz z zaznaczeniem części wykresu

Nowości w wersji 1.2 - wrzesień 2013: Możliwość wybrania skróconych opisów serii danych w analizach Możliwość włączania/wyłączania filtrów dodanych do analizy Możliwość edycji stworzonych filtrów Możliwość łączenia filtrów zależnością „lub” Możliwość zmiany kolejności wskaźników w tabeli Dodanie wskaźnika MMA-P procentowego w tabeli Możliwość ręcznego wykonania aktualizacji Możliwość otwarcia projektu z listy „Ostatnio otwarte projekty” w dowolnym momencie korzystania z aplikacji Modele maturalne dla roku 2013

Nowość: Kalkulator EWD SP Kalkulator EWD SP jest przeznaczony do wykonywania analiz wyników sprawdzianu po VI klasie szkoły podstawowej z wykorzystaniem wskaźników edukacyjnej wartości dodanej (EWD). Wskaźniki EWD dla szkoły podstawowej zostały zbudowane na wynikach Ogólnopolskiego Badania Umiejętności Trzecioklasistów (OBUT) oraz wynikach sprawdzianu. Analiza wyników sprawdzianu przeprowadzana jest poprzez tworzenie wykresów różnego typu dla różnych grup uczniowskich. Poniżej zostały podane podstawowe informacje o dostępnych w kalkulatorze wykresach.

Nowość: Kalkulator EWD SP Wyniki przewidywane Porównanie rozkładu wyników przewidywanych z modelu EWD oraz rozkładu wyników faktycznie uzyskanych przez uczniów na sprawdzianie pozwala oszacować wskaźnik EWD. Różnica średniej w rozkładzie wyników rzeczywistych i średniej w rozkładzie wyników przewidywanych jest równa wskaźnikowi EWD dla rozpatrywanej grupy uczniów. Wskaźniki EWD Podstawowy wykres wykorzystywany przy analizach z wykorzystaniem wskaźników EWD. EWD dla danej grupy uczniów jest prezentowane wraz z przedziałem ufności, który obrazuje niepewność pomiarową. W kalkulatorze EWD SP zastosowano 90% przedziały ufności. Przedziały ufności pozwalają na statystycznie poprawne porównywanie EWD dla grup uczniowskich: dwie grupy istotnie różnią się ze względu na wskaźniki EWD, jeśli przedziały ufności są rozłączne. Średnie wyniki Średnie wyniki sprawdzianu i testu OBUT prezentowane są z 90% przedziałami ufności. Zastosowanie przedziałów ufności pozwala na statystycznie poprawne porównywanie średnich wyników dla grup uczniów: dwie grupy statystycznie istotnie różnią się ze względu na średnie wyniki egzaminacyjne, jeśli przedziały ufności są rozłączne.

Nowość: Kalkulator EWD SP Uprzednie osiągnięcia Uprzednie osiągnięcia to wyniki uczniów na poprzednim etapie kształcenia. W kalkulatorze EWD SP uprzednie osiągnięcia to wyniki na teście OBUT. Wyniki z poprzedniego etapu kształcenia są dobrym prognostykiem wyników na egzaminie końcowym, zatem jest miarą potencjału edukacyjnego na wejściu. Osiągnięcia niskie – wyniki poniżej 88,75 na skali 100/15; osiągnięcia wysokie – wyniki powyżej 111,25 na skali 100/15. Osiągnięcia średnie – wyniki w przedziale od 88,75 do 111,25 na standardowej skali 100/15. Wykres skumulowany kolumnowy pozwala określić procentowy udział uczniów o określonym przedziale wyników „na wejściu” w analizowanej grupie uczniowskiej. Rozkład wyników Rozkład wyników testu (sprawdzian, OBUT) wyrażonych na skali 100/15 pozwala ocenić, w jaki sposób wyniki uczniów różnią się od rozkładu normalnego.

Nowość: Kalkulator EWD SP Wykres rozrzutu Na wykresie rozrzutu wyników przedstawiona jest łączna informacja o wyniku na teście OBUT (wyrażona na skali 100/15) oraz na sprawdzianie po VI klasie (wyrażona na skali 100/15). Kropka obrazuje pojedynczego ucznia. Na wykresie pokazana jest również linia przewidywanego wyniku dla danego roku (dla chłopców bez dysleksji). Odległość punktu (wyniku ucznia) od linii przewidywanego wyniku nazywamy resztą. EWD jest średnią reszt wszystkich uczniów w grupie. Rozkład reszt Ten rodzaj wykresu pozwala ocenić, na ile rozkład reszt dla danej grupy uczniów różni się od krajowego, normalnego rozkładu. Pionowa przerywana linia pokazuje średnią reszt, czyli wartość wskaźnika EWD dla danej grupy uczniów. Krzywe przewidywanego wyniku Podstawową krzywą wyznaczaną w modelu EWD jest krzywa dla chłopców bez dysleksji (odpowiada to zerowym wartościom zmiennych kontrolnych płeć i dysleksja). Jednak po uwzględnieniu tych zmiennych otrzymujemy nowe krzywe przewidywanych wyników – dla chłopców z dysleksją, dla dziewcząt bez dysleksji, dla dziewcząt z dysleksją. Panel analiz „Krzywe przewidywanego wyniku” pozwala śledzić wzajemne położenie krzywych w danym roku oraz w wybranych latach.

podstawową jednostką jest szkoła, Struktura danych. Dane przechowywane są w kalkulatorze w określonej strukturze: podstawową jednostką jest szkoła, która dzieli się na roczniki, a te z kolei na klasy.

Cechami ucznia są: Struktura danych. Analizy można wykonywać na każdym z tych zbiorów osobno. Można też łączyć między sobą klasy, roczniki. Można również wyodrębnić różne grupy uczniów według ich cech. Cechami ucznia są: kod ucznia płeć dysleksja potencjał na wejściu (określany na podstawie wyniku na egzaminie poprzedniego etapu kształcenia) oraz cechy zadane przez użytkownika.

Wykonywanie analiz Wyniki analizujemy tworząc wykresy i/lub tabele, które w Kalkulatorze nazywamy Analizami. Analizy, razem z danymi są częścią pojedynczego projektu Kalkulatora. Aby narysować wykres/zbudować tabelę, należy wybrać z górnego menu opcję Dodaj analizę.

Wykonywanie analiz - Wykres rozrzutu Wykres rozrzutu - pozwala na jednym wykresie zobaczyć wynik ucznia na egzaminie poprzedniego etapu kształcenia i na egzaminie końcowym. Krzywa przewidywanego wyniku, wyrysowana dla całej populacji zdających, odpowiada określonemu rocznikowi. Pomoc on line: http://www.youtube.com/watch?v=6QsblssvqEM&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=1

Wykonywanie analiz - Wskaźniki EWD Wskaźniki EWD wraz z przedziałami ufności pozwalają porównać ze względu na EWD różne grupy uczniów. Podział na grupy można wykonać poprzez grupowanie oraz filtry. Pomoc on line: http://www.youtube.com/watch?v=XUYI8MG1vXw&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=2

Wykonywanie analiz - Średnie wyniki egzaminacyjne Średnie wyniki egzaminacyjne wraz z przedziałami ufności pozwalają statystycznie poprawnie porównywać średnie wyniki dla grup uczniów: dwie grupy statystycznie istotnie różnią się ze względu na średnie wyniki egzaminacyjne, jeśli przedziały ufności są rozłączne. Pomoc on line: http://www.youtube.com/watch?v=VE87fRcnwvE&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=5

Wykonywanie analiz - Rozkłady potencjałów pozwalają porównywać między sobą grupy uczniów ze względu na potencjał uczniowski na wejściu ustalony na podstawie wyników na egzaminie poprzedniego etapu kształcenia. potencjał niski (poniżej 88,75 punktów), potencjał średni (od 88,75 do 111,25 punktów), potencjał wysoki (powyżej 111,25 punktów). Pomoc on line: http://www.youtube.com/watch?v=4WJ6Xp5O51o&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=6

Wykonywanie analiz - Rozkłady wyników Rozkład wyników przewidywanych i rzeczywiście uzyskanych jest inną formą ilustracji pojęcia edukacyjnej wartości dodanej i pokazuje o ile punktów szkole udało się „przesunąć” przeciętnego ucznia w stosunku do wyniku przewidywanego. Pomoc on line: http://www.youtube.com/watch?v=6OliMZE1a2U&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=7

Wykonywanie analiz - Rozkłady reszt Rozkłady reszt pozwalają m.in. porównać zróżnicowanie reszt w szkole z rozkładem krajowym. Pomoc on line: http://www.youtube.com/watch?v=wKoaY1-l4Qg&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=3

Wykonywanie analiz – Tabele i wyniki przewidywane Tabele udostępniają wiele wskaźników liczbowych, dotyczących zarówno EWD jak i wyników egzaminacyjnych. Pomoc on line: http://www.youtube.com/watch?v=Nc99jAJHoJ0&feature=share&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&index=4

Wykonywanie analiz - Tabele Tabele udostępniają wiele wskaźników liczbowych, dotyczących zarówno EWD jak i wyników egzaminacyjnych. Krzywe przewidywanego wyniku - ten panel pozwala śledzić wzajemne położenie krzywych w danym roku oraz w wybranych latach. Dodawanie nowej cechy: Pomoc on line: http://www.youtube.com/watch?v=eU97yfZf7OY&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&feature=share&index=9 Grupowanie i filtrowanie: Pomoc on line: http://www.youtube.com/watch?v=En81o8B4Lm4&feature=share&list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN&index=8 Po skończonej pracy, można zapisać swój projekt jako plik *.ewdx. Jest to specjalny format plików Kalkulatora. Otwierając pliki *.ewdx w Kalkulatorze można w dowolnym czasie wrócić do swoich danych i analiz.

Zespół EWD informuje, że zostały zakończone prace nad modelami edukacyjnej wartości dodanej za 2014 rok. Szkoły podstawowe W tym roku po raz pierwszy został opracowany model EWD dla II etapu edukacyjnego dla szkół podstawowych, biorących udział w badaniu OBUT w 2011 roku. Model został zaimplementowany do kalkulatora EWD SP. Kalkulator EWD SP wraz z filmami instruktażowymi i broszurą szkoleniową jest dostępny na stronie internetowej od 30.08. 2014 r.

Zespół EWD informuje, że zostały zakończone prace nad modelami edukacyjnej wartości dodanej za 2014 rok. Gimnazja Model jednorocznej EWD dla gimnazjów został zaimplementowany w wersji 1.2.6 kalkulatora EWD 100 i opublikowany 25.08.2014 r. Obecna wersja kalkulatora EWD 100 (1.2.8), dostępna na stronie internetowej zawiera ponadto możliwość wykonywania analiz na wynikach sprawdzianu z lat 2012-2014, czyli dla obecnych uczniów klas I, II i III gimnazjów (roczniki gimnazjalne 2015, 2016, 2017 odpowiednio).

Zespół EWD informuje, że zostały zakończone prace nad modelami edukacyjnej wartości dodanej za 2014 rok. Gimnazja (c.d.) Trzyletnie wskaźniki EWD 2012-2014 dla gimnazjów zostały opublikowane 17.10.2014, w nowej szacie graficznej i są dostępne dla ponad 6 tys. gimnazjów w Polsce na stronie internetowej. Obok wskaźnika humanistycznego i matematyczno- przyrodniczego, które są publikowane od okresu trzyletniego 2006-2008, w tym roku, po trzech latach funkcjonowania egzaminu gimnazjalnego w nowej formule, zostały opublikowane również trzyletnie przedmiotowe wskaźniki EWD: z j. polskiego, historii i WOS, z przedmiotów przyrodniczych i matematyki.

Licea ogólnokształcące i technika Zespół EWD informuje, że zostały zakończone prace nad modelami edukacyjnej wartości dodanej za 2014 rok. Licea ogólnokształcące i technika Model jednorocznej EWD dla maturalnej matematyki został w tym roku gruntownie zmodyfikowany. Model obejmuje teraz zarówno wyniki uczniów z matematyki podstawowej, jak i z matematyki rozszerzonej. Jednoroczny wskaźnik EWD matematyczny jest teraz informacją o efektywności nauczania matematyki, a nie tylko matematyki podstawowej, jak to było poprzednio.

Licea ogólnokształcące i technika Zespół EWD informuje, że zostały zakończone prace nad modelami edukacyjnej wartości dodanej za 2014 rok. Licea ogólnokształcące i technika Odpowiednie modyfikacje modeli, także dla lat poprzednich, wprowadzono do kalkulatora EWD 100, w wersji 1.2.8, która jest dostępna na stronie internetowej od 27 listopada 2014. Trzyletnie wskaźniki EWD 2012-2014 dla liceów ogólnokształcących i techników zostały opublikowane 2 grudnia 2014, w nowej szacie graficznej. Wskaźniki dla ponad 4 tysięcy liceów ogólnokształcą- cych i techników, są dostępne na stronie internetowej.

Gdzie szukać informacji? Strona Instytutu Badań Edukacyjnych – badania i publikacje zespołu projektowego EWD http://ewd.edu.pl EWD-I Trzyletnie wskaźniki EWD http://www.youtube.com/watch?v=oXJG5YjYo5c&list=PLBTJQXcbBFqbmJnkLZYuDMIMeXXCfr C-h&feature=share EWD-II Jednoroczne wskaźniki EWD http://www.youtube.com/watch?v=yUuWNKTDKLo&feature=share&list=PLBTJQXcbBFqbmJnk LZYuDMIMeXXCfrC-h&index=1 EWD-III Refleksja nauczycielska http://www.youtube.com/watch?v=NKV14e_MUT0&list=PLBTJQXcbBFqbmJnkLZYuDMIMeXXC frC-h&feature=share&index=2 EWD-IV Gdzie szukać informacji? http://www.youtube.com/watch?v=IY7SXjqykjQ&list=PLBTJQXcbBFqbmJnkLZYuDMIMeXXCfrC -h&feature=share&index=3 Screencasty autorzy: Zespół EWD -10 filmów o łącznym czasie wyświetlania 41 minut (5 674 wyświetlenia); http://ewd.edu.pl/lista-filmow https://www.youtube.com/playlist?list=PLBTJQXcbBFqb5OZ8js1ewVWtLtRnzVPHN

Bibliografia: 1. Edukacyjna wartość dodana jako metoda oceny efektywności nauczania na podstawie wyników egzaminów zewnętrznych. pod red. Dolaty R., wyd. CKE, Warszawa 2007 2. Dolata R., Hawrot A., Humenny G., Jasińska A., Koniewski M., Majkut P., Żółtak T.: Trafność metody edukacyjnej wartości dodanej dla gimnazjów, IBE, Warszawa 2013 http://ewd.edu.pl//badania-gimnazja/Trafnosc_EWD_gim.pdf 3. Jasińska A., Humenny G., Humenny L.: Wykorzystanie przez szkoły metody edukacyjnej wartości dodanej. Wyniki badania ilościowego”. Raport IBE, Warszawa 2013 http://ewd.edu.pl/wykorzystanie_ewd/wykorzystanie_CATI.pdf 4. Kędracka E., Matuszczak K., Rappe A., Stożek E.: Badanie na temat wykorzystania edukacyjnej wartości dodanej (EWD) przez szkoły ponadgimnazjalne, Raport IBE, Warszawa 2013 http://ewd.edu.pl/wykorzystanie_ewd/Wykorzystanie_ponadgimnazjalne.pdf

Bibliografia: 5. Kędracka E.: Efekty uczenia się – w centrum uwagi w: MERITUM, Warszawa; http://meritum.mscdn.pl/meritum/moduly/egzempl/18/18_2_abc.pdf 6. MacBeath J., Schratz M., Meuret D., Jakobsen L.: Czy nasza szkoła jest dobra?, WSiP., Warszawa 2003 7. Senge P.M.: Piąta dyscyplina. Teoria i praktyka organizacji uczących się, Dom Wydawniczy ABC, Warszawa 1998 (wyd. II 2000) 8. Szmigel M. K., Planowanie rozwoju szkoły z wykorzystaniem trzyletnich wskaźników egzaminacyjnych; XVI Konferencja Diagnostyki Edukacyjnej, Toruń 2010, http://www.ptde.org/file.php/1/Archiwum/XVI_KDE/szmigel.pdf

Dziękuję za uwagę