„Jak analizować wyniki egzaminów zewnętrznych? Wykorzystanie wniosków z analiz do podniesienia jakości nauczania w szkole.” SZKOLENIE DLA DYREKTORÓW GIMNAZJÓW I SZKÓŁ PONADGIMNAZJALNYCH KONIN, 06.11.2012 R.

Zagadnienia: O egzaminach zewnętrznych, Wskaźniki statystyczne, Na co zwrócić uwagę? EWD, Propozycja działań, Podsumowanie.

O egzaminach Pierwszym egzaminem zewnętrznym jest sprawdzian po klasie szóstej szkoły podstawowej. Cechami charakterystycznymi tego egzaminu są: obiektywizm, powszechność, obowiązkowość, jednolitość, nie ma możliwości jego niezdania. Ma on charakter diagnozujący.

Drugim egzaminem zewnętrznym w naszym systemie oświatowym jest egzamin gimnazjalny. Charakteryzuje się on tymi samymi cechami co sprawdzian, ale różni się od niego tym, że ma wyraźnie charakter preorientujący. Preorientacja jest bardzo istotnym założeniem tego egzaminu, gdyż powinien pomóc uczniowi w wyborze kierunku dalszego kształcenia.

Trzeci z egzaminów zewnętrznych – egzamin maturalny Trzeci z egzaminów zewnętrznych – egzamin maturalny. To jest zupełnie inny egzamin niż dwa wcześniejsze. Jego cechami charakterystycznymi są (również) obiektywizm, jednolitość i powszechność, ale już nie obowiązkowość. Jego wynik nie ma żadnego wpływu na ukończenie szkoły. Wynik decyduje o dostaniu się absolwenta na konkretny kierunek studiów wyższych w wybranej uczelni. Dlatego właśnie ma on charakter różnicujący. 

Egzamin potwierdzający kwalifikacje zawodowe  zwany egzaminem zawodowym jest formą oceny poziomu opanowania wiadomości i umiejętności z zakresu danego zawodu, ustalonych w standardach wymagań będących podstawą przeprowadzania egzaminu potwierdzającego kwalifikacje zawodowe. Egzamin zawodowy przeprowadzany jest dla absolwentów: - zasadniczych szkół zawodowych  - techników  - techników uzupełniających - szkół policealnych

Pomimo różnic dzielących poszczególne egzaminy jeden element wspólny: Wyniki uzyskiwane przez uczniów podczas egzaminów zewnętrznych stanowią podstawę do oceny efektywności pracy nauczycieli i całej szkoły. Z tego właśnie względu w wymaganiach ewaluacyjnych został umieszczony zapis o obowiązkowym przeprowadzaniu analizy wyników egzaminów zewnętrznych, w różnym zakresie.

By w pełni wykorzystać informacje o wynikach egzaminu zewnętrznego, na podstawie ich analiz trzeba starać się ustalić, które szkolne działania dydaktyczno-organizacyjne oraz w jaki sposób wpłynęły na osiągnięcia uczniów.

Analiza ogólnego wyniku szkoły w zestawieniu z wynikami uzyskanymi przez uczniów za pojedyncze zadania oraz czynności. Spojrzenie ogólne daje nam możliwość dostrzeżenia pewnych prawidłowości, przyjrzenie się szczegółom może wskazać konkretne problemy oraz sugerować sposoby ich rozwiązania. W analizie wyników obie perspektywy są niezwykle istotne i wzajemnie się uzupełniają. 

Analiza powinna być przeprowadzona w kilku płaszczyznach: ilościowej (ile?) jakościowej (co to znaczy?) perspektywicznej (jak będzie dalej?) retrospektywnej (jak było?) efektywnej, w tym operacyjnej (co zrobić?)

Uzyskane informacje (wielopłaszczyznowe) pozwolą w obiektywny sposób ocenić efekty pracy i to nie tylko w ostatnim roku, ale w całym mijającym cyklu edukacyjnym. Egzamin zewnętrzny jest zwieńczeniem wysiłków ponoszonych przez cały okres kształcenia na danym etapie.

1) średniego wyniku szkoły z egzaminu Ogólny obraz tego, jak szkoła wypadła podczas egzaminu, buduje się zwykle na podstawie dwóch wartości: 1) średniego wyniku szkoły z egzaminu 2) pozycji, jaką ten wynik zajmuje na skali staninowej. Powstały w ten sposób obraz powinien być wzbogacony o rozkład wyników uczniów w szkole. Jest to ważny element, który mówi nam więcej niż średnia czy stanin.

Egzamin zewnętrzny jest dla organów prowadzących i nadzorujących szkołę ważnym wskaźnikiem jej pracy. Szkoła oceniana jest zwykle na podstawie wyników egzaminu. OP i ON posługują się głównie średnim wynikiem szkoły i jego pozycją na skali standardowej dziewiątki – i na tym poprzestają. Nie zawsze tego rodzaju analizy są przeprowadzane poprawnie. Staniny i uśrednione wyniki są często nadużywane, a ich interpretacja jest zbyt rozległa.

Szkoły powinny jednak dokonywać tego typu analiz z kilku powodów: pozwala to ująć pracę szkoły w szerszej perspektywie, możemy spojrzeć na szkołę w sposób, w jaki czynią to obserwatorzy z zewnętrz – np. z perspektywy organu prowadzącego lub nadzorującego, poprawne wykonanie tego typu analiz daje nam wymierne i nie dające się podważyć argumenty w sytuacji, gdy nasza szkoła podlega ocenie.

Przygotowując samodzielnie tego typu analizy każda szkoła może prowadzić dyskusję merytoryczną, zauważyć nadinterpretację analiz innych podmiotów – przedstawić ogólny i zarazem obiektywny obraz szkoły ze swojej perspektywy. SZKOŁA

Średni wynik szkoły powinien być wstępem do pracy nad interpretacją wyników egzaminacyjnych. Pozwala spojrzeć ogólnie na pracę szkoły i umiejscowić jej wynik względem innych szkół. Dzięki temu możemy zauważyć pewne kierunki zmian w wynikach egzaminu.

www.oke.poznan.pl wyniki raporty staniny tendencje rozwojowe

Najwięcej informacji o pracy uczniów i szkoły możemy zdobyć, przyglądając się wynikom poszczególnych uczniów za kolejne zadania lub czynności. Wtedy widać wyraźnie, które elementy w pracy dydaktycznej szkoły są zadowalające, a które należałoby poprawić. W przypadku dużej liczby uczniów nie możemy wprost tego zrobić, gdyż szczegółowych informacji jest zbyt wiele. W takim przypadku korzystamy z pomocy uniwersalnych narzędzi statystycznych. Pozwalają one, za pomocą kilku liczb, przedstawić w syntetycznej formie informacje o osiągnięciach uczniów. Jednak zarazem należy pamiętać, że są to pewnego rodzaju przekształcenia wyników, nie zawierają w sobie całej informacji szerokiej, którą mają wyniki egzaminów poszczególnych uczniów w szkole.

Należy zawsze określić granicę liczby uczniów, dla których uzasadnione jest stosowanie narzędzi statystycznych. Za granicę tę zazwyczaj przyjmuje się nie mniej niż 10 uczniów, choć najlepiej tego typu działania można podejmować dla grup liczących co najmniej 30 uczniów. W grupach większych niż 10, ale mniejszych niż 30 uczniów można stosować narzędzia statystyczne. Pamiętać jednak należy, że ich wyniki mogą być obarczone sporym błędem. Przy takiej liczbie uczniów najlepiej zastosować najdokładniejszą metodę analizy wyników, czyli dokładne przyjrzenie się wykonaniu zadań przez pojedynczego ucznia.

Porównując średnie wyniki należy pamiętać o możliwościach i ograniczeniach parametru statystycznego, jakim jest średnia arytmetyczna. Pozwala nam ona na ogólne spojrzenie na wynik, jednak sposób jej liczenia jest niezwykle wrażliwy na wartości skrajne (w przypadku egzaminów na bardzo niskie lub bardzo wysokie wyniki), zwłaszcza w przypadku niewielkiej liczby uczniów. Wystarczy, by w szkole, w której niewielu uczniów pisało egzamin, kilka osób uzyskało skrajne wyniki, by średnia dawała nam zniekształcony obraz. Dlatego ważne jest, by oprócz średniej brać także pod uwagę rozkład wyników uczniów w szkole, który najprościej jest przedstawić w formie graficznej, na przykład na wykresie.

Podstawowe parametry statystyczne i kolejność działań Każdy z nauczycieli, który przystępuje do analizy danych zawierających wyniki egzaminacyjne powinien dokładnie zapoznać się z podstawowymi wskaźnikami statystycznymi. Najważniejsze z nich to: wynik średni, wynik środkowy (mediana), wynik minimalny, wynik maksymalny, modalna (inaczej dominanta), miara rozrzutu, może być nią np. rozstęp oraz przedział wyników typowych.

zanalizować wyniki egzaminacyjne dla każdej części egzaminu odrębnie. Kolejność działań związanych z analizą egzaminów zewnętrznych: zanalizować wyniki egzaminacyjne dla każdej części egzaminu odrębnie. 2) uporządkować wyniki od wyniku najwyższego do najniższego i zestawić wyniki w klasy ilościowe, a następnie wykonać wykresy rozkładu wyników. 3) obliczyć średnie wyniki i porównać z wynikami uczniów w kraju, województwie, powiecie, gminie i mieście.

Traktujemy je jako punkt odniesienia dla wyników szkoły, gdyż są one średnim wynikiem wszystkich uczniów piszących egzamin w danej szkole. Szacujemy, czy wyniki szkoły są większe, mniejsze czy porównywalne z wynikiem większych jednostek terytorialnych. Za wynik porównywalny uznajemy wynik w granicach o jeden punkt większy lub mniejszy od wyniku szkoły. Zastanawiamy się nad istniejącymi różnicami oraz ich wielkością.

W taki sam sposób dokonujemy analizy porównawczej między wynikami poszczególnych klas a szkołą, oraz poddajemy dalszej analizie wyniki poszczególnych uczniów. Jeśli badana w szkole populacja jest liczna, można dokonać powyższych zestawień w podziale na chłopców i dziewczęta, uczniów dojeżdżających i miejscowych itp. porównując wyniki grup. Porównania mogą być bardzo interesujące.

Skala staninowa Wynik szkoły można także porównać z wynikami wszystkich pozostałych szkół, w których w danym roku przeprowadzono egzamin. Jeśli interesuje nas pozycja szkoły względem innych szkół, możemy posłużyć się skalą staninową, stanowiącą pewne przekształcenie surowych wyników wszystkich egzaminowanych szkół i uczniów. Pozycja wyniku szkoły na skali staninowej informuje nas, jaki procent szkół uzyskał lepszy wynik, jaki gorszy, a jaki porównywalny z naszą szkołą.

SKALA STANINOWA 96% 89% 77% 60% 40% 23% 11% 4% 0% 1 2 3 4 5 6 7 8 9 Wynik wyższy uzyskało 96% 89% 77% 60% 40% 23% 11% 4% 0% stanin 1 2 3 4 5 6 7 8 9 opis dydakty-czny naj-niższy bardzo niski niski niżej średni średni wyżej średni wysoki bardzo wysoki naj-wyższy procent wyników 7% 12% 17% 20% Wynik niższy uzyskało

Pozycja wyniku na skali staninowej może okazać się niezwykle pożytecznym narzędziem do porównywania wyników szkół, należy jednak stosować je z rozmysłem i na jego podstawie ostrożnie formułować wnioski. Przede wszystkim należy pamiętać o tym, że wskaźnik ten nie daje tyle informacji o szkole, co analiza rozkładu wyników w szkole. Pozwala nam jedynie umiejscowić pozycję szkoły względem innych szkół, ale w sposób dość ogólny. Jako taki nadaje się właśnie do ogólnych porównań.

Skala staninowa dla szkół jest konstruowana co roku po egzaminie zewnętrznym na podstawie średnich wyników wszystkich szkół, w których był on przeprowadzany. Jest to względna miara pozycyjna – znaczy to, że stanin szkoły może się zmieniać w kolejnych latach nie dlatego, że zdecydowanie zmienił się z roku na rok poziom nauczania w tej szkole, ale dlatego, że inne szkoły znacząco zmieniły swoje wyniki. Należy o niej myśleć jako o bardzo ogólnej etykiecie, która w sposób bardzo generalny opisuje szkołę względem pozostałych szkół w Polsce.

Każdego roku zbiór wyników egzaminów zewnętrznych w Polsce jest podstawą utworzenia skali staninowej dla uczniów. Metoda liczenia jest taka sama jak w przypadku skali dla szkół. Skala staninowa szkolna i uczniowska są różnymi skalami. Używane obecnie w Polsce skale staninowe dla uczniów i szkół są opracowane na podstawie wyników egzaminu opartego na wersji standardowej arkusza.

Normalizacja wyników w skali standardowej dziewiątki Stopień skali (Stanin) w % Opis dydaktyczny skali Uczniowie 1 4 najniższy Zagrożeni niskimi osiągnięciami 2 7 bardzo niski 3 12 niski 17 niżej średni Uczniowie o średnim potencjale 5 20 średni 6 wyżej średni wysoki Uczniowie o wysokim potencjale 8 bardzo wysoki 9 najwyższy

W skali staninowej dla ucznia bierzemy pod uwagę zbiór wyników wszystkich uczniów w Polsce, którzy pisali egzamin w danym roku. Możemy porównać wynik pojedynczego ucznia w szkole z wynikami wszystkich uczniów w całej Polsce, określić, jaki procent uczniów uzyskał wynik gorszy, lepszy lub porównywalny z jego wynikiem.

Analiza łatwości zadań Łatwość jest istotnym wskaźnikiem i liczy się ją w bardzo prosty sposób. Obliczamy łatwość każdego standardu (wg starej podstawy programowej) lub wymagania (wg nowej podstawy programowej) lub zadania dla całej szkoły, posługując się danymi pozyskanymi z OKE. Liczymy sumę punktów, jakie uczniowie uzyskali w poszczególnych obszarach i dzielimy przez iloczyn maksymalnego wyniku punktowego w obszarze i liczby uczniów. W podobny sposób obliczamy łatwość całego arkusza testowego. Możemy również obliczyć łatwość zadań, obszarów, całego testu dla poszczególnych klas.

Z raportu OKE lub CKE pozyskujemy dane na temat łatwości standardów i testu w całej badanej populacji uczniów i porównujemy te wartości z wartościami obliczonymi dla naszej szkoły. Analizujemy dane z tabeli, odpowiadając na pytania: W których standardach, wymaganiach, zadaniach szkoła uzyskała wynik satysfakcjonujący (0,70 lub więcej)? W których tzw. niezbędne minimum (0,50)? W których wynik był poniżej poziomu 0,50? Czy łatwość całego testu dla uczniów szkoły jest wyższa czy niższa niż dla wszystkich piszących? Uczniowie której klasy wypadli najlepiej, a której najsłabiej na egzaminie?

Edukacyjna Wartość Dodana

Edukacyjna wartość dodana jako jedna z miar jakości nauczania Poziom końcowy wiedzy Szkoła Zasoby na wejściu Jakość nauczania Edukacyjna wartość dodana jest przyrostem wiedzy i umiejętności uczniów w wyniku danego procesu edukacyjnego

Główne cele wprowadzania EWD Zmniejszenie roli surowych wyników egzaminów jako jedynej miary jakości nauczania. Diagnozowanie jakości nauczania celem nieustannej pracy nad poprawą efektywności nauczania. Zachęcanie szkół do konkurencji jakością nauczania. Docenienie pracy nauczycieli pracujących w środowiskach o niekorzystnych cechach społeczno-ekonomicznych.

Jak liczona jest EWD w polskim modelu? Na podstawie wyniku ucznia na sprawdzianie szacujemy za pomocą metody regresji wynik przewidywany na egzaminie gimnazjalnym. Obliczamy różnicę punktów – tzw. resztę – między faktycznym wynikiem ucznia na egzaminie a jego wynikiem przewidywanym. Obliczamy średnią reszt, czyli EWD dla szkoły (gminy, powiatu, województwa). Szacujemy przedział ufności dla EWD (jego długość zależy od liczby uczniów i od zróżnicowania wyników w szkole).

Komunikowanie EWD w odniesieniu do skali staninowej Komunikowanie EWD w odniesieniu do skali staninowej. Jakie bodźce mogą skłonić szkoły do wykorzystania wskaźników EWD? EWD Wyniki egzaminów w skali standardowej dziewiątki 1 2 3 4 5 6 7 8 9 C H B F E I J G A D „Dobra efektywność” mimo niskiej pozycji w rankingach Szkoły wspierające B „Wysoce efektywne” szkoły potwierdzone dwoma miarami Szkoły sukcesu D Cztery grupy szkół wyróżnione ze względu na dwie miary jakości kształcenia. Opisy wpadają po kolei. Szkoły „nieefektywne” Szkoły wymagające pomocy Szkoły, które „spoczęły na laurach” Szkoły zmarnowanych szans A C

www.ewd.edu.pl

Chłodnym okiem na EWD Sprawdza się w odniesieniu do szkół o dużej liczbie uczniów Jedna ale nie jedyna miara jakości pracy szkoły w kontekście roli szkoły w rozwoju ucznia Wymaga uczciwości na każdym egzaminie Wymaga poznania potencjału ucznia na wejściu EWD mierzy to na co szkoła ma wpływ. Czy szkoła jest wystarczająco efektywna, pracując z uczniami o określonym potencjale?

I co dalej? Jak wykorzystać analizy?

PODNIESIENIA JAKOŚCI KSZTAŁCENIA „RECEPTA” TWORZENIE PLANU PODNIESIENIA JAKOŚCI KSZTAŁCENIA W SZKOLE (czyli skuteczniejszego przygotowania uczniów do egzaminów zewnętrznych)

NAUCZYCIELE PRZEDMIOTÓW 1. Sporządzić (ściągnąć z OKE) zestawienie wyników uczniów z egzaminu – z każdego przedmiotu i poziomu - w formie tabeli (najlepiej w Excelu); 2. Obliczyć łatwość (p) każdego zadania (do 2 miejsc po przecinku) suma punktów w pionie (w kolumnie) p = -------------------------------------------------------- liczba punktów za zadanie * ilość uczniów 3. Ściągnąć z OKE (lub raportu) kartoteki testów, nanieść współczynniki łatwości do zadań; 4. Zinterpretować łatwość (bardzo trudne: 0,00-0,19, trudne: 0,20-0,49, umiarkowanie trudne: 0,50-0,69, łatwe: 0,70-0,89, bardzo łatwe: 0,90-1,00); 5. Wyszukać „punkty mocne”, czyli zadania i umiejętności, dla których p > 0,90; 6. Wyszukać „punkty słabe”, czyli zadania i umiejętności, dla których p<0,70;

INTERPRETACJA WYNIKÓW EGZAMINU ……………….. (w zakresie …………………………………………………………….) przedmiot UMIEJĘTNOŚCI OPANOWANE W STOPNIU NIEZADOWALAJĄCYM STANDARD/ WYMAGANIE UMIEJĘTNOŚCI UCZNIÓW/ CELE SZCZEGÓŁOWE ZAD. ŁATWOŚĆ INTERPRETACJA WIADOMOŚCI I ROZUMIENIE/ ……………. KORZYSTANIE Z INFORMACJI/ ……………….. TWORZENIE INFORMACJI/ ……………….

9. Zaplanować zadania naprawcze (konkretne, realne i mierzalne); 7. Określić, które z tych punktów słabych są „krytyczne” – najsłabsze, niezbędne do kształcenia uczniów; 8. Przeanalizować kontekst – co powoduje, że tak jest, na co możemy mieć wpływ, co nam pomoże, co przeszkadza. Punkty krytyczne systemu kształcenia (UMIEJĘTNOŚCI UCZNIÓW) Czynniki sprzyjające (zasoby) Czynniki ograniczające (przeszkody) 9. Zaplanować zadania naprawcze (konkretne, realne i mierzalne);

ZESPOŁY PRZEDMIOTOWE 10. Przedyskutować problem w zespołach przedmiotowych (szczególnie w aspekcie działań wspólnych);

ZESPÓŁ DO TWORZENIA PLANU PODNIESIENIA JAKOŚCI KSZTAŁCENIA W SZKOLE 11. Powołać szkolny zespół do opracowania ww. planu. Zespół zbierze wypracowane w zespołach plany cząstkowe w całość. Zespół dokona analizy tendencji rozwojowych szkoły oraz wskaźników EWD (w okresie 3 lat i dłuższym) Do zespołu włączyć nauczycieli wf, pedagogów szkolnych itp., którzy będą mieli za zadanie wzbogacić plan w działania wychowawcze i prozdrowotne. Wskazane jest aby w pracy zespołu uczestniczył dyrektor lub wicedyrektor. 12. Zespół przedstawi wstępny plan całej radzie pedagogicznej, dyskusja, korekta, zatwierdzenie.

PROJEKT DOSKONALENIA PROCESU DYDAKTYCZNO-WYCHOWAWCZEGO W ZAKRESIE PRZYGOTOWANIA UCZNIÓW DO EGZAMINÓW ZEWNĘTRZNYCH w ………………………………….. Obszar (standardów) wymagań Zadania naprawcze (dotyczące umiejętności) Uczniowie (adresaci) Sposoby realizacji (działania dydaktyczno – wychowawczo- organizacyjne) Termin realizacji Osoby odpowiedzialne za realizację Monitoring i ewaluacja (sposób/czas) 1 2 3 4 5 6 7 KROKI NASTĘPNE: Realizacja planu, monitoring, ewaluacja, ulepszenie, realizacja…… Małymi kroczkami, krok po kroku….

PODSUMOWANIE Informacje płynące z systemu egzaminów zewnętrznych pozwalają wnioskować o: POZIOMIE OSIĄGNIĘĆ UCZNIÓW – współczynniki łatwości zadań dla uczniów, wyniki poszczególnych uczniów, średnie wyniki klas, szkoły (sukcesy, porażki – uczniów  poszczególnych nauczycieli) 2. EFEKTYWNOŚCI NAUCZANIA W SZKOLE – pozycja na skali staninowej, EWD

„Trzeba skończyć z tą modą na twierdzenia, że szkoła uczniem stoi. Dobra szkoła powinna stać nauczycielem, który dobrze nauczy nawet najsłabszych! Na Zachodzie renomę szkoły tworzą wykładowcy.” (autor nieznany)

Dziękuję za uwagę Ewa Gryczman Doradca MODN w Koninie Opracowano na podstawie: materiałów udostępnionych przez OKE Poznań, OKE Kraków i CKE Warszawa materiałów ze szkoleń autorskich Dziękuję za uwagę Ewa Gryczman Doradca MODN w Koninie

MIEJSKI OŚRODEK DOSKONALENIA NAUCZYCIELI w KONINIE ul. Przemysłowa 3d, 62-510 Konin tel/fax. 632433352 lub 632112756 sekretariat@modn.konin.pl www.modn.konin.pl