Analiza i interpretacja wyników egzaminu ósmoklasisty, wykorzystanie wniosków z analizy do poprawy jakości kształcenia Joanna Maźniewska 6 luty 2019 r.

System egzaminów zewnętrznych to narzędzie pozwalające na zmierzenie efektywności pracy nauczyciela/szkoły w zakresie sprawdzanym przez egzamin

SZKOŁA WYŻSZEGO SZCZEBLA ORGAN PROWADZĄCY Wynik egzaminu UCZEŃ ORGAN NADZORUJĄCY MEN SZKOŁA WYŻSZEGO SZCZEBLA 3

Szkolna analiza wyników egzaminu to wnioskowanie o osiągnięciach uczniów

Analiza wyników egzaminów powinna: prowadzić do ustalenia takich obszarów, w których osiągnięcia uczniów są zadowalające i niezadowalające, uświadomić konieczność włączenia wymagań ogólnych i szczegółowych podstawy programowej w ciągły proces dydaktyczny, uświadomić potrzebę monitorowania osiągnięć uczniów z wykorzystaniem zasad oceniania kryterialnego stosowanych podczas egzaminów uwzględniać konteksty oceniania: szkolne, środowiskowe, indywidualne, prowadzić do refleksji nad jakością własnej pracy.

Do przeprowadzenia analizy potrzebne są: Raport OKE zawierający: statystyczny opis egzaminu i jego wyników (analizę ilościową), analizę jakościową zadań; Wyniki szkoły; Wyniki badań kontekstowych, programy nauczania, nauczycielskie plany wynikowe

Etapy analizy wyników egzaminu analiza ilościowa wyników szkoły na tle wyników województwa, miasta, kraju analiza zakresu treści egzaminu określenie mocnych i słabych stron uczniów sformułowanie wniosków wynikających z analizy sformułowanie rekomendacji wynikających z wniosków

Analiza ilościowa wyników Zebranie, zestawienie, statystyczne opracowanie i interpretacja danych uzyskanych podczas egzaminu – wskaźniki statystyczne. Opiera się na analizie statystycznej, dzięki czemu uzyskujemy możliwość dokładniejszego porównaniami opisu badanych grup.

Wskaźniki statystyczne Analiza wyników testowania: średnia arytmetyczna (X) mediana (Me)- wynik środkowy -porównujemy ze średnią; wyższa od średniej pokazuje, że uczniów z wynikiem wyższym od średniej jest więcej, test był dla nich łatwy modalna (Mo) -wynik uzyskiwany przez największą liczbę testowanych; wynik najbardziej typowy najwyższy i najniższy wynik

Średnia (X) Możemy porównywać średnią szkoły ze średnią: uzyskaną przez inną szkołę województwa kraju Możemy porównywać średnią klasy ze średnią: innych klas szkoły

Analiza miar tendencji centralnej czyli X, Me, Mo, pozwala na sformułowanie wniosków o trudności testu dla danej populacji zdających

Prezentacja arkusza do analizy wyników CKE 11/10/2019 www.sod.ids.czest.pl

Parametry statystyczne Wyniki egzaminu ósmoklasisty z j. polskiego w szkole X (wyniki w punktach) Parametry statystyczne Klasa A Klasa B Szkoła Wynik średni (średnia arytmetyczna – X) 15,4 14,3 14,86 Wynik środkowy (mediana – Me) 12,5 10 12 Modalna – Mo 7 3 20 Wynik najwyższy 39 40 Wynik najniższy 5 1 Rozstęp 34

Parametry statystyczne Wyniki egzaminu ósmoklasisty z j. angielskiego w szkole X (wyniki w punktach) Parametry statystyczne Klasa A Klasa B Szkoła Wynik średni (średnia arytmetyczna – X) 25,20 21,56 23,78 Wynik środkowy (mediana – Me) 19 14,5 15 Modalna – Mo 9 16 Wynik najwyższy 57 7 50 Wynik najniższy 8 49 Rozstęp

Parametry statystyczne Wyniki egzaminu ósmoklasisty z matematyki w szkole X (wyniki w punktach) Parametry statystyczne Klasa A Klasa B Szkoła Wynik średni (średnia arytmetyczna – X) 9,64 7,37 8 Wynik środkowy (mediana – Me) 10 5,5 6 Modalna – Mo 7 Wynik najwyższy 21 24 Wynik najniższy 1 Rozstęp 20

Zastosowanie podstawowych miar tendencji centralnej Rozkład symetryczny – średnia, mediana i modalna przyjęły tę samą wartość (taki rozkład wyników bardzo rzadko występują w praktyce szkolnej) Rozkład asymetryczny lewostronnie (lewoskośny) – powstaje, gdy średnia jest niższa od mediany i modalnej, oznacza, że uczniowie w większości uzyskali wysokie wyniki na teście czy egzaminie, test okazał się łatwy Rozkład asymetryczny prawostronnie (prawoskośny) – modalna jest niższa od mediany, a mediana niższa od średniej, oznacza, że uczniowie w większości uzyskali niskie wyniki na teście czy egzaminie, bo zadania okazały się dla nich zbyt trudne

Rozkład wyników szkoły – j. polski

Rozkład wyników szkoły – j. angielski

Rozkład wyników szkoły – matematyka

Pułapki średniej arytmetycznej Porównywanie klas Kl. A – 85%, 87%, 20% Kl. B – 65%, 64%, 63% X= 64 Porównywanie wyników szkoły w różnych latach lub śledzenie trendów osiągnięć

Skala staninowa Znormalizowana skala standardowa, w której wszystkie wyniki uczniów poddanych egzaminowi porządkuje się od najwyższego do najniższego i dzieli się na dziewięć nierównych frakcji. Daje możliwość porównania wyników z różnych lat niezależnie od trudności testu i potencjału uczniów.

Analiza jakościowa Analiza zakresu treści arkusza to szczegółowa analiza, jakie wiadomości i umiejętności były sprawdzane poszczególnymi zadaniami arkusza, do jakich wymagań ogólnych i szczegółowych podstawy programowej te zadania należą oraz jakie są ich wskaźniki łatwości (poziom wykonania zadania).

Co to jest wskaźnik łatwości zadania? łatwość zadania (p) - stosunek liczby punktów uzyskanych za rozwiązanie danego zadania przez wszystkich uczniów do maksymalnej liczby punktów możliwych do uzyskania za to zadanie, mieści się w przedziale od 0 do 1 Współczynnik łatwości stosowany w pomiarze dydaktycznym odpowiada nam na pytanie, czy osiągnięcia ucznia są jego mocną czy słabą stroną. 11/10/2019 www.sod.ids.czest.pl

Interpretacja stopnia opanowania umiejętności Jeżeli p = 0,50 to dana umiejętność jest opanowana w stopniu koniecznym Jeżeli 0,5< p < 0,7 to to dana umiejętność jest opanowana w stopniu niżej zadawalającym. Jeżeli p ⋝ 0,7 to dana umiejętność jest opanowana w stopniu zadowalającym.

Interpretacja wskaźnika łatwości zadań Wartość wskaźnika łatwości (p) 0-0,19 0,20-0,49 0,50-0,69 0,70-079 0,80-0,89 0,90-1 Interpretacja wskaźnika bardzo trudne trudne umiarkowanie trudne łatwe bardzo łatwe Stopień osiągnięć uczniów bardzo niski niski niżej zadawalający zadawala-jący dobry bardzo dobry

Wartość wskaźnika łatwości zadań Wartości wskaźnika łatwości zadań standardowego arkusza z matematyki w szkole, województwie, kraju Nr zadania Sprawdzane umiejętności Uczeń: Wartość wskaźnika łatwości zadań szkoła woj. kraj 1 odczytuje i interpretuje dane przedstawione w tekstach, tabelach, diagramach i na wykresach, czyta ze zrozumieniem tekst zawierający informacje liczbowe 0,62 2 odczytuje i interpretuje dane przedstawione w tekstach, tabelach, diagramach i na wykresach, dostrzega zależności między podanymi informacjami, porównuje różnicowo i ilorazowo liczby naturalne, zamienia i prawidłowo stosuje jednostki masy: gram, kilogram, dekagram, tona 0,22 3 stosuje obliczenia procentowe do rozwiązywania problemów w kontekście praktycznym, również w przypadkach wielokrotnych podwyżek lub obniżek danej wielkości 0,32 4 rozpoznaje liczby naturalne podzielne przez 2, 3, 5, 9, 10, 100, rozkłada liczby dwucyfrowe na czynniki pierwsze, znajduje największy wspólny dzielnik (NWD) oraz wyznacza najmniejszą wspólną wielokrotność dwóch liczb naturalnych metodą rozkładu na czynniki, rozpoznaje wielokrotności danej liczby 5 oblicza pola wielokątów metodą podziału na mniejsze wielokąty lub uzupełniania do większych wielokątów, do rozwiązywania zadań osadzonych w kontekście praktycznym stosuje poznaną wiedzę z zakresu arytmetyki i geometrii oraz nabyte umiejętności rachunkowe, a także własne poprawne metody 0,38 6 w sytuacji praktycznej oblicza: drogę przy danej prędkości i danym czasie, prędkość przy danej drodze i danym czasie, czas przy danej drodze i danej prędkości; stosuje jednostki prędkości: km/h, m/s, porównuje różnicowo i ilorazowo liczby naturalne. 0,35

Wartość wskaźnika łatwości zadań Wartości wskaźnika łatwości zadań standardowego arkusza z matematyki w szkole, województwie, kraju Nr zadania Sprawdzane umiejętności Uczeń: Wartość wskaźnika łatwości zadań szkoła woj. kraj 7 zaokrągla ułamki dziesiętne, porównuje liczby naturalne. 0,46 8 szacuje wielkość danego pierwiastka kwadratowego lub sześciennego oraz wyrażenia arytmetycznego zawierającego pierwiastki 0,19 9 oblicza średnią arytmetyczną kilku liczb 0,27 10 przeprowadza proste doświadczenia losowe, polegające na rzucie monetą, rzucie sześcienną kostką do gry, rzucie kostką wielościenną lub losowaniu kuli spośród zestawu kul, analizuje je i oblicza prawdopodobieństwa zdarzeń w doświadczeniach losowych 0,14 11 stosuje oznaczenia literowe nieznanych wielkości liczbowych i zapisuje proste wyrażenie algebraiczne na podstawie informacji 0,35 12 rozpoznaje i nazywa trójkąty ostrokątne, prostokątne, rozwartokątne, równoboczne i równoramienne, stosuje twierdzenie o sumie kątów wewnętrznych trójkąta 0,43 13 znajduje środek odcinka, którego końce mają dane współrzędne (całkowite lub wymierne) oraz znajduje współrzędne drugiego końca odcinka, gdy dany jest jeden koniec i środek 19 do rozwiązywania zadań osadzonych w kontekście praktycznym stosuje poznaną wiedzę z zakresu arytmetyki i geometrii oraz nabyte umiejętności rachunkowe, a także własne poprawne metody, zna i stosuje w sytuacjach praktycznych twierdzenie Pitagorasa (bez twierdzenia odwrotnego 0,05

Interpretacja wskaźnika łatwości zadań arkusza egzaminacyjnego 0 - 0,19 0,20 - 0,49 0,50 - 0,69 0,70 - 0,89 0,90 - 1 bardzo trudne trudne umiarkowanie trudne łatwe bardzo łatwe województwo śląskie moja szkoła 8, 10, 16, 18, 19 5 zadań 2, 3, 4, 5, 6, 7, 9, 11, 12, 13, 14, 15, 17, 20, 21 15 zadań 1 1 zadanie

Łatwość testu i wymagań ogólnych Łatwość testu (p) - stosunek sumy punktów uzyskanych za rozwiązanie wszystkich zadań do liczby punktów możliwych do uzyskania. Wskaźnik łatwości przyjmuje wartości z przedziału 0-1. Łatwość wymagań ogólnych(p) - stosunek sumy punktów uzyskanych za rozwiązanie zadań danego wymagania do liczby punktów możliwych do uzyskania. Wskaźnik łatwości przyjmuje wartości z przedziału 0-1.

Łatwość arkusza w szkole p= 0,27 arkusz z matematyki trudny

Łatwość wymagań ogólnych I.  Sprawność rachunkowa – 3 zadania II.  Wykorzystanie i tworzenie informacji – 8 zadań III.  Wykorzystanie i interpretowanie reprezentacji –6 zadań IV. Rozumowanie i argumentacja– 4 zadania

Łatwość wymagań ogólnych I.  Sprawność rachunkowa – 3 zadania II.  Wykorzystanie i tworzenie informacji – 8 zadań III.  Wykorzystanie i interpretowanie reprezentacji –6 zadań IV. Rozumowanie i argumentacja– 4 zadania

Łatwość wymagań ogólnych Nowa podstawa programowa wyodrębnia 4 wymagania ogólne z matematyki. I.  Sprawność rachunkowa – 3 zadania II.  Wykorzystanie i tworzenie informacji – 8 zadań III.  Wykorzystanie i interpretowanie reprezentacji –6 zadań IV. Rozumowanie i argumentacja– 4 zadania

Zadania bardzo trudne – 19, łatwość 0,05 Zadanie 19 było najtrudniejszym zadaniem w całym arkuszu – rozwiązało je poprawnie tylko 5% zdających. www.sod.ids.czest.pl

Typowe błędy …… ….. Przyczyny błędów 11/10/2019 www.sod.ids.czest.pl

Wnioski z analizy wyników ustalenie mocnych i słabych stron zdających w zakresie danego przedmiotu, wskazanie umiejętności, które nie zostały opanowane w stopniu zadowalającym, uwzględnienie wniosków zawartych w sprawozdaniu OKE

Rekomendacje – sposób i kierunek działania powinny wynikać z wniosków własnych i OKE, muszą być konkretnymi propozycjami działań, które pomogą wzmocnić słabe strony, zazwyczaj odnoszą się do przedmiotowego i szkolnego systemu kształcenia

Planowanie pracy w kontekście wyników egzaminu oraz wymagań ogólnych i szczegółowych podstawy programowej

Tylko realizacja wszystkich wymagań edukacyjnych zawartych w podstawie programowej jest gwarantem sukcesu uczniów na egzaminie

Dziękuję za uwagę i życzę sukcesów egzaminacyjnych Joanna Maźniewska j.mazniewska@sod.edu.pl 11/10/2019 www.sod.ids.czest.pl