Analiza wyników egzaminów krajowych a wymagania państwa wobec szkół Roman Dolata, Ewa Stożek, Tomasz Żółtak

Funkcje systemu egzaminacyjnego ocena osiągnięć szkolnych uczniów w świetle wymagań programowych (funkcja selekcyjna) diagnoza osiągnięć szkolnych uczniów monitorowanie procesów edukacyjnych w skali kraju ewaluacja i autoewaluacja szkół ze względu na efektywność nauczania

Wzmocnienie ewaluacyjnej funkcji egzaminów zewnętrznych dostępność wykorzystanie /szkoły, nadzór pedagogiczny, organy prowadzące/ danych Procedury decyzyjne metod Umiejętności interpretacyjne i analityczne Wysoki poziom refleksji nad efektami pracy Przekonanie o przydatności i użyteczności narzędzi

Rozwój metody edukacyjnej wartości dodanej Rozwój metodologii szacowania wskaźników EWD Upowszechnienie metody EWD Przygotowywanie zintegrowanych baz danych Opracowywanie modeli statystycznych Badanie trafności metody EWD Opracowywanie i udostępnianie narzędzi analitycznych Konferencje upowszechniające Opracowywanie materiałów szkoleniowych Strona internetowa

Pracownia EWD IBE Projekt na lata 2007-2013: Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej Lider Zespołu SUEK dr hab. Roman Dolata, pedagog Lider Pracowni EWD: dr Ewa Stożek, matematyk Koordynator: Danuta Ostrochulska, Klara Sołtan-Kościelecka Członkowie zespołu: Anna Hawrot, psycholog Aleksandra Jasińska, pedagog Anna Rappe, informatyk dr Krystyna Szmigel, geograf Grzegorz Humenny, socjolog Przemysław Majkut, socjolog i psycholog Tomasz Żółtak, socjolog Mateusz Żółtak, informatyk Stali współpracownicy: Ewa Kędracka, pedagog Zofia Lisiecka, polonista dr Maciej Jakubowski, socjolog dr Artur Pokropek, pedagog, socjolog

Powiązania międzyprojektowe Projekt EWD dostarcza jeden z wielu wskaźników przydatnych do budowania lokalnych strategii oświatowych. Projekt OBUT dostarcza danych niezbędnych do zbudowania modelu EWD dla II etapu edukacyjnego EWD jest narzędziem dla szkolnych organizatorów rozwoju edukacji (SORE) Projekt EWD dostarcza narzędzi potrzebnych w pracy osób sprawujących zewnętrzny nadzór pedagogiczny. Porównywalne wyniki egzaminacyjne uzupełniają wskaźniki EWD

Historia rozwoju metody edukacyjnej wartości dodanej (EWD) w Polsce 2005 Pierwszy rocznik gimnazjalistów, dla których był dostępny zarówno wynik sprawdzianu w klasie VI jak i egzaminu gimnazjalnego Pierwsze próby wykorzystania prostych modeli EWD do analizy wyników egzaminacyjnych Powołanie przy CKE zespołu badawczego ds. rozwoju metody EWD (pierwszy projekt EFS, 2005-2007) 2006 Pierwsza edycja Kalkulatora EWD dla gimnazjów (arkusz Excela, prosty model analizy) Kaskadowe szkolenie dyrektorów gimnazjów

Historia rozwoju metody edukacyjnej wartości dodanej (EWD) w Polsce, cd 2006-2007 Kolejne edycje Kalkulatora EWD Testowanie bardziej złożonych, doskonalszych statystycznie modeli szacowania EWD Uruchomienie przy CKE kolejnego zespołu projektowego ds. rozwoju metody EWD (EFS, 2007-2013) 2008 Powstaje strona www.ewd.edu.pl . Z czasem strona przeradza się w portal wiedzy nt. wykorzystania wyników egzaminacyjnych do ewaluacji pracy szkół Pierwsza Wiosenna Szkoła EWD Pierwsza polska monografia naukowa poświęcona metodzie EWD 2009 Opracowanie aplikacji komputerowej Kalkulator EWD Plus – samodzielnego programu do analiz wyników egzaminacyjnych dla gimnazjów Pierwsze upublicznienie na stronie projektu trzyletnich wskaźników egzaminacyjnych dla gimnazjów; nowatorska metoda prezentacji wyników Rozpoczynają się trzy badania podłużne mające dostarczyć informacji potrzebnych do rozwoju metody EWD

Historia rozwoju metody edukacyjnej wartości dodanej (EWD) w Polsce, cd 2010 Upublicznienie jednorocznych wskaźników ewaluacyjnych dla LO i techników w zakresie matematyki i polskiego Doskonalenie modeli szacowania EWD dla trzyletnich wskaźników gimnazjalnych 2011 Stworzenie spójnej bazy szkół, uporządkowanie baz wyników egzaminacyjnych Upublicznienie dwuletnich wskaźników ewaluacyjnych dla LO i techników w zakresie przedmiotów humanistycznych, matematyczno-przyrodniczych i oddzielnie matematyki 2012 Opracowanie aplikacji komputerowej Kalkulator EWD 100 - nowej wersji programu do analiz wyników egzaminacyjnych Upublicznienie trzyletnich wskaźników ewaluacyjnych dla LO i techników w zakresie przedmiotów humanistycznych, matematyczno-przyrodniczych i oddzielnie polskiego i matematyki

Historia rozwoju metody edukacyjnej wartości dodanej (EWD) w Polsce, cd 2013 Kalkulator EWD 100 może już analizować wyniki matury z matematyki Kolejne edycje wskaźników trzyletnich dla gimnazjów i szkół maturalnych Raporty podsumowujące wyniki badań i doświadczenia z modelowania 2014 -2015 Projekt EWD bis

Ewaluacja pracy szkoły Jak jest? Jak powinno być? Dlaczego nie jest tak jak powinno być? Co zrobić, żeby było tak jak powinno być? Wskaźniki EWD jako dowody spełnienia (lub nie) wymagań Wskaźniki EWD jako wskaźniki monitorujące skuteczność podjętych działań Wskaźniki EWD jako impuls do ewaluacji wewnętrznej

Wymagania państwa wobec szkół Szkoła lub placówka realizuje własną koncepcję pracy ukierunkowaną na ROZWÓJ uczniów Do czego mogą się przydać wyniki egzaminacyjne/EWD? Typ analizy Ocena uzyskania zamierzonych efektów w skali całej szkoły trzyletnie wskaźniki EWD – analiza trendu, porównanie z innymi szkołami o podobnych cechach w przypadku szkoły maturalnej - wybieralność przedmiotów i wyniki w zakresie preferowanych przez uczniów obszarów

Wymagania państwa wobec szkół Procesy edukacyjne są zorganizowane w sposób sprzyjający uczeniu się Do czego mogą się przydać wyniki egzaminacyjne/EWD? Typ analizy Planowanie z uwzględnieniem analizy wyników egzaminów z poprzedniego etapu kształcenia . Planowanie z uwzględnieniem rozpoznanych czynników efektywności dla danej szkoły. potencjał edukacyjny na wejściu podział uczniów na oddziały, przydział nauczycieli analizy z użyciem jednorocznych wskaźników EWD dla grup uczniowskich, w tym oddziałów klasowych

Wymagania państwa wobec szkół Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej Do czego mogą się przydać wyniki egzaminacyjne/EWD? Typ analizy Egzamin krajowy jako zewnętrzne kryterium poziomu osiągnięć uczniów. Ocena skuteczności podejmowanych działań. trzyletnie wskaźniki egzaminacyjne i analiza trendów analiza trendów za pomocą wskaźników jednorocznych analiza rozkładu wyników analiza wykonania poszczególnych grup zadań  

Wymagania państwa wobec szkół Szkoła lub placówka wspomaga ROZWÓJ uczniów uwzględniając ich indywidualną sytuację Do czego mogą się przydać wyniki egzaminacyjne/EWD? Typ analizy Monitorowanie skuteczności podejmowanych działań w stosunku do różnych grup uczniowskich analizy jednorocznych wskaźników EWD dla różnych grup uczniowskich np.: klasy wyrównawcze, płeć, potencjał na wejściu, dowożeni, kółka zainteresowań

Wymagania państwa wobec szkół Nauczyciele współpracują w planowaniu i realizowaniu procesów edukacyjnych Do czego mogą się przydać wyniki egzaminacyjne/EWD? Typy analizy Analiza wyników powinna być działaniem zespołowym. wszelkie analizy

Wymagania państwa wobec szkół Szkoła lub placówka organizując procesy edukacyjne uwzględnia wnioski z analizy wyników sprawdzianu, egzaminu gimnazjalnego, egzaminu maturalnego i egzaminu potwierdzającego kwalifikacje zawodowe oraz innych badań zewnętrznych i wewnętrznych Do czego mogą się przydać wyniki egzaminacyjne/EWD? Wskaźniki EWD/typ analizy Szkoła prowadzi analizę wyników egzaminacyjnych ukierunkowaną na identyfikację mocnych i słabych stron, rozpoznanie czynników efektywności, doskonalenie warsztatu pracy nauczycieli. wszelkie analizy

Szkoła analizuje wyniki egzaminów krajowych Analiza wyników egzaminacyjnych jest jednym z procesów, który powinien być w szkole zarządzany. W jaki sposób szkoła gromadzi dane egzaminacyjne? Czy jest powołany zespół ds. analiz? Czy dane analizuje się w czasie? Czy proces analizy danych jest zarządzany? Czy „wnioski z analiz” są impulsem do ewaluacji wewnętrznej? Czy „wnioski z analiz” znajdują odzwierciedlenie w rocznym planie pracy szkoły (i/lub planie rozwoju szkoły) w planie nadzoru pedagogicznego w wyborach oferty szkoleniowej?

Idea szacowania EWD czerwona linia – linia przewidywanego wyniku – pokazuje, jakich wyników na egzaminie kończącym etap kształcenia możemy oczekiwać od uczniów o danych wynikach egzaminu kończącego poprzedni etap kształcenia; jej przebieg oszacowujemy metodami statystycznymi; uczniowie, którzy na wykresie znajdują się powyżej tej linii osiągnęli więcej, niż można było oczekiwać; uczniowie, którzy na wykresie znajdują się poniżej tej linii osiągnęli mniej, niż można było oczekiwać;

Idea szacowania EWD czerwona linia – linia przewidywanego wyniku – pokazuje, jakich wyników na egzaminie kończącym etap kształcenia możemy oczekiwać od uczniów o danych wynikach egzaminu kończącego poprzedni etap kształcenia; jej przebieg oszacowujemy metodami statystycznymi; uczniowie, którzy na wykresie znajdują się powyżej tej linii osiągnęli więcej, niż można było oczekiwać; uczniowie, którzy na wykresie znajdują się poniżej tej linii osiągnęli mniej, niż można było oczekiwać; szkoła A pracuje efektywnie – uczniowie osiągają przeciętnie wyniki wyższe, niż oczekiwane

Idea szacowania EWD czerwona linia – linia przewidywanego wyniku – pokazuje, jakich wyników na egzaminie kończącym etap kształcenia możemy oczekiwać od uczniów o danych wynikach egzaminu kończącego poprzedni etap kształcenia; jej przebieg oszacowujemy metodami statystycznymi; uczniowie, którzy na wykresie znajdują się powyżej tej linii osiągnęli więcej, niż można było oczekiwać; uczniowie, którzy na wykresie znajdują się poniżej tej linii osiągnęli mniej, niż można było oczekiwać; szkoła B pracuje nieefektywnie – uczniowie osiągają przeciętnie wyniki niższe, niż oczekiwane

Idea szacowania EWD szkoła D szkoła C czerwona linia – linia przewidywanego wyniku – pokazuje, jakich wyników na egzaminie kończącym etap kształcenia możemy oczekiwać od uczniów o danych wynikach egzaminu kończącego poprzedni etap kształcenia; jej przebieg oszacowujemy metodami statystycznymi; uczniowie, którzy na wykresie znajdują się powyżej tej linii osiągnęli więcej, niż można było oczekiwać; uczniowie, którzy na wykresie znajdują się poniżej tej linii osiągnęli mniej, niż można było oczekiwać; szkoła D szkoła C szkoła C pracuje efektywniej niż szkoła D, choć szkoła D ma wyższe wyniki końcowe

Zmienne kontrolne w modelach EWD Linię przewidywanego wyniku można wyznaczać nie tylko na podstawie wyników wcześniejszych egzaminów. W polskich modelach EWD wyznaczamy ją np. oddzielnie dla uczniów o standardowej długości toku kształcenia i uczniów, których tok kształcenia uległ wydłużeniu o 1 rok. Oznacza to, że uczniowie o wydłużonym toku kształcenia są porównywani do innych uczniów o wydłużonym toku kształcenia. W polskich modelach EWD do wyznaczania przewidywanych (oczekiwanych) wyników używamy też informacji o: płci; posiadaniu zaświadczenia o dysleksji (nieco inne zasady pisania egzaminów).

Przedstawianie wyników egzaminów na skali 100;15 Na potrzeby wyliczania wskaźników EWD wyniki polskich egzaminów przeliczamy na skale standaryzowaną 100;15: Na skali znormalizowanej średnie wyniki w skali kraju są dla każdego roku równe 100, a ich odchylenie standardowe 15. Zapewnia to podstawową (względną) porównywalność wyników między latami. Pozwala w ten sam sposób przedstawić wynik zdającego w porównaniu do innych zdających w tym samym roku. Egzamin 1 Egzamin 2 Egzamin 3 wyniki surowe wyniki na skali standardowej

Wskaźniki jednoroczne i trzyletnie wskaźniki trzyletnie obliczane na podstawie wyników jednego rocznika absolwentów wyliczane na podstawie wyników trzech kolejnych roczników absolwentów dla bardzo małych szkół nie mogą być sensownie wyliczone mogą zostać opublikowane także dla bardzo małych szkół (więcej) mogą podlegać dużym wahaniom z roku na rok dosyć stabilne pozwalają przyjrzeć się szczegółom pracy szkoły pozwalają na bardziej ogólną ocenę pracy szkoły dostępne tylko dla dyrektorów szkół (lub za ich pośrednictwem) – wymagają uzyskania wyników egzaminacyjnych z OKE powszechnie dostępne możliwość prowadzenia wielu rodzajów analiz w Kalkulatorze EWD tylko ściśle określony zestaw wskaźników udostępniany na stronie internetowej analizy głównie w ramach jednej szkoły łatwe porównanie między szkołami

A teraz przykłady analiz na żywo …