Opracowanie: Sylwester Pałka POMIAR DYDAKTYCZNY Opracowanie: Sylwester Pałka

Co to jest pomiar dydaktyczny? Pomiar dydaktyczny jest to pomiar osiągnięć szkolnych. Za pomocą tego pomiaru sprawdzamy – „mierzymy” osiągnięcia szkolne ucznia w stosunku do programu nauczania, czyli porównujemy treść opanowaną przez ucznia z treścią wcześniej planowaną do opanowania. Osiągnięcia szkolne to wynik procesu dydaktycznego, będący obrazem zdolności uczniów do wykonywania określonego typu czynności

Co to jest pomiar dydaktyczny? (c.d.) Pomiar dydaktyczny dotyczy osiągnięć poznawczych, tzn. wiadomości i umiejętności. Pozwala on nam sprawdzić w jakim stopniu uczniowie opanowali wybrane wiadomości i umiejętności. Pomiar dydaktyczny jest przyporządkowaniem symboli (stopni szkolnych) uczniom w taki sposób, by relacje między symbolami odpowiadały relacjom między uczniami ze względu na określone osiągnięcia. Zasady przyporządkowania powinny być ustalone i możliwie dokładnie przestrzegane, a sam proces pomiarowy powinien podlegać obiektywnej kontroli.

Co sprawdzać i oceniać? Treść nauczania opanowaną przez uczniów. Komentarz: Ponieważ chcemy odróżnić to co uczeń opanował, od tego, czego nie opanował z zakresu treści planowanej, musimy objąć sprawdzianem treść planowaną. Powinniśmy objąć sprawdzaniem i ocenianiem całość treści planowanej, tj. wszystkie cele poznawcze i poziomy wymagań programowych. Należy przestrzec przed pomijaniem wyższych kategorii celów, bardziej zaawansowanego materiału i wyższych wymagań ze względu na trudność ich sprawdzania i oceniania.

Komentarz: Ponieważ zadanie wszystkich możliwych pytań z danego zakresu treści jest na ogół niewykonalne, dobieramy reprezentację danej treści do sprawdzenia wiadomości i umiejętności danego ucznia. Im będzie ona szersza (obejmuje więcej czynności ucznia) i staranniej dobrana, tym dokładniejsze będzie wnioskowanie o osiągnięciach ucznia tj. o stopniu opanowania zaplanowanej treści nauczania. W doborze reprezentacji treści nauczania najważniejsze jest jej wyważenie, tj. proporcjonalne ujęcie wszystkich kategorii celów nauczania i działów materiałów nauczania (tematów) na każdym poziomie wymagań.

Pomiar różnicujący W pomiarze tym układem odniesienia wyniku każdego ucznia są wyniki innych uczniów. Układ odniesienia wyniku jest reprezentowany przez jeden punkt skali, zwykle średnią arytmetyczną, z danych opartych na planowym przebadaniu pewnej populacji uczniów. Nauczyciel stosuje intuicyjnie zasadę pomiaru różnicującego wtedy, gdy uzyska obraz wyników prac kilkunastu uczniów, potem określa średnią tych wyników np. jako dostateczny i na końcu ustala indywidualne oceny przez porównanie z tą średnią. Pomiar różnicujący jest stosowany wtedy jeśli nauczyciel nie chcę lub nie umie określić wymagań programowych. Jest również stosowany przy przyjmowania kandydatów na wyższe uczelnie.

Pomiar sprawdzający W pomiarze tym układem odniesienia wyniku każdego ucznia są wymagania programowe. Narzędzia pomiaru (testy) buduje się według wymagań programowych, tak by je możliwie dokładnie reprezentowały i by można było orzec, czy są spełnione.

Test Test osiągnięć szkolnych jest to zbiór zadań przeznaczonych do rozwiązania w toku jednego zajęcia szkolnego, reprezentujących wybrany zakres treści kształcenia w taki sposób, by z ich wyników można było wnioskować o poziomie opanowania tej treści. Test jest narzędziem pomiaru dydaktycznego, zbudowanym w celu sprawdzania i oceniania osiągnięć uczniów.

Rodzaje testów

Koncepcja testu Koncepcja testu jest zbiorem decyzji dotyczących przeznaczenia, treści i narzędzia pomiaru dydaktycznego, które ma być zbudowane. Ustalenie nazwy testu – nazwa powinna być zwięzła ale dokładna. Powinna zawierać poprawne określenie głównej umiejętności do sprawdzenia oraz klasy i typu szkoły. Charakterystyka programowa testu – należy wskazać zakres i rodzaj programu kształcenia objętych testem. Określenie przeznaczenia testu – diagnozujący, kształtujący, sumujący, do selekcji np. do olimpiady. Ustalenie rodzaju testu (np. pisemny, sprawdzający, nauczycielski) Wybór formy zadań, dobór liczby zadań i czasu pracy, który wynika z rodzaju zadań i liczby zadań. Zbudowanie planu testu. Ustalenie warunków testowania (urządzenie pomieszczenia, wyposażenie każdego ucznia, organizacja testowania). Zaplanowanie podręcznika testowania (przy testach standaryzowanych)

Plan testu To zestawienie pokazujące, jakie zadania mają być zbudowane. Jest to dokument, który zamyka analizę treści kształcenia i służy pomocą w trakcie budowania zadań. Plan testu może być: opisowy – wiązka zadań graficzny – wykres przedstawiający części testu lub pojedyncze zadania oraz powiązania między nimi. tabelaryczny – jest liczbowym zestawieniem projektowanych zadań w układzie materiału kształcenia, kategorii celów kształcenia i poziomów wymagań programowych (macierz Tylera). Zaletami takiego planu jest zwięzłość (procentowe) przedstawianie proporcji udziału głównych warstw treści kształcenia w teście.

Sporządzanie tabelarycznego planu testu Sporządzenie operacyjnych celów kształcenia na podstawie wybranego zakresu programowego. Podjęcie decyzji o liczbie kategorii celów, poziomów wymagań (warstwowanie treści). Podjęcie decyzji o procentowym przydziale zadań (wagi procentowe, z dokładnością 5-10%) z uwzględnieniem poziomu wymagań (np.. sprawdzamy wymag. podstawowe) i kategorii celów (np.. sprawdzamy A, B) Podjęcie decyzji o ogólnej liczbie zadań (zależy to czasu testowania i formy zadań). Sprawdzenie planu testu – skorygować wagi procentowe. Liczby i procenty zadań powinny się zgadzać.

KONSTRUOWANIE ZADAŃ TESTOWYCH

Zadanie testowe Jest to najmniejsza względnie niezależna cząstka testu, wymagająca od ucznia udzielenia odpowiedzi. Może mieć postać polecenia, pytania, wypowiedzi niekompletnej lub twierdzenia poddawanego w wątpliwość. Zadanie może być proste, wymagać pokonania jednej trudności, lub złożone, gdy liczy się nie tylko wykonanie wielu czynności prostych lecz także strategia i struktura powiązania tych czynność w funkcjonalną całość.

Formy zadań testowych Rodzaj testu Forma zadania Postać rozwiązania Czas pracy Liczba zadań (2 godz.) Praktyczny Próba pracy Wykonanie czynności zawodowych na w pełni wyposażonym stanowisku pracy. 100’ 1 Nisko symulowane Wykonywanie działań praktycznych w warunkach zbliżonych do sytuacji naturalnej. np. w pracowni. 20’ 5 Wysoko Wykonywanie działań praktycznych w sytuacji umownej np.. inscenizacje, modele, diagramy. 10’ 10 Pisemny Rozszerzonej odpowiedzi Rozprawka na zadany temat oceniana według rozwinięcia tematu, struktury i poprawności. Krótkiej odpowiedzi Rozwiązanie podane w formie pojedynczego słowa, liczby, zdania lub wyrażenia matemat. 3’ 35 Z luką Wstawienia słowa lub wyrażenia brakującego w zdaniu. 40’’ 150 Wyboru wielokrotnego Wskazanie prawidłowej lub najlepszej odpowiedzi spośród kilku odpowiedzi podanych. 90’’ 70 Na dobieranie Dobieranie jednej pary danych z dwu kolumn. (klasyfikacja, uporządkowanie) 60’’ (5’) 100 Prawda - fałsz Ocena prawdziwości podanego twierdzenia. 30’’ 200

Budowanie pisemnych zadań otwartych Zasady budowania pisemnych zadań otwartych: Budując zadania kieruj się własnym planem testu, a nie przykładami zadań z innych testów. Budując zadania wczuwaj się w sytuację ucznia rozwiązującego zadania (empatia). Najpierw zajmij się treścią zadania, a potem jego formą, która powinna być jak najprostsza. Staraj się by tekst zadań był jasny i zwięzły. Stosuj w miarę możności język ucznia, gdyż poziom ścisłości języka powinien odpowiadać szczeblowi kształcenia ucznia, a nie wykształcenia nauczyciela.

Budowanie pisemnych zadań zamkniętych Budując zadanie zamknięte, formułujemy nie tylko pytanie lecz także dokładną odpowiedź na to pytanie. W zadaniach tych uczeń wskazuje jedną z gotowych odpowiedzi, co daje możliwość punktowania obiektywnego, tj. niezależnego od osoby punktującej i automatycznego tj. opartego na optycznym sczytywaniu odpowiedzi. Zadanie zamknięte składa się z trzonu zadania, objaśniającego sytuację zadaniową i czynność, jaka ma być w niej wykonana, oraz z gotowych odpowiedzi, z których (zwykle) jedna, zwana westraktorem, jest prawidłowa lub najlepsza, a pozostałe pełnią funkcję dystraktorów – odpowiedzi towarzyszących, mających pozory prawidłowości lub stanowiących alternatywne ale słabsze rozwiązania zadania.

ORGANIZACJA TESTOWANIA

Organizacja testowania osiągnięć uczniów – celowe uporządkowanie działań uczniów, nauczycieli i personelu pomocniczego w pomiarze dydaktycznym. Przygotowanie testowania obejmuje następujące czynności: Przygotowanie uczniów do pracy z danym testem. Wydrukowanie (powielenie) dokładnie sprawdzonych testów oraz właściwe uporządkowanie egzemplarzy. Przygotowanie pomieszczeń przy których ma się odbyć testowanie. Stworzenie warunków sprzyjających samodzielności przy rozwiązywaniu testu. Napisanie instrukcji testowania. Przygotowanie prowadzących testowanie.

ANALIZA I OCENA ZADAŃ TESTOWYCH

Jakość zadania testowego Zgodnie z ogólną teorią jakości przez jakość narzędzi pomiaru dydaktycznego będziemy rozumieć spełnienie oczekiwań ich użytkowników: uczniów, nauczycieli, pracodawców, naukowców. Od zadania testowego wymagamy trzech właściwości: Poprawności dydaktycznej – poprawność rzeczowa, redakcyjna, odpowiednia trudność. Rzetelności – by dokładnie mierzyło osiągnięcia uczniów (można wykorzystać statystyczną analizę wyników zadań). Stosowności – by mierzyło te osiągnięcia, które powinno mierzyć (trafność doboru treści).

Analiza ilościowa zadań Polega na obliczaniu oraz interpretacji wskaźników statystycznych wyników testowania. Jest możliwa dopiero po testowaniu próbnym lub głównym. Analiza ilościowa zadań obejmuje: Opuszczanie zadań przez uczniów, jako pomocniczy wskaźnik poprawności dydaktycznej i stosowności zadania. Łatwość (trudność) zadań dla ogółu uczniów i wybranych grup uczniów, jako pomocniczy wskaźnik poprawności dydaktycznej zadania. Moc różnicująca zadań, tj. ich zdolność do odróżniania uczniów o wyższych i niższych osiągnięciach w zakresie programowym objętym danym testem, jako główny wskaźnik rzetelności oraz pomocniczy wskaźnik poprawności i stosowności zadania.

Opuszczanie zadania W teście za zadanie opuszczone uważamy zadanie pozostawione bez odpowiedzi, jeżeli uczeń podał jakąkolwiek odpowiedź do zadania kolejnego. Frakcja opuszczeń zadania może być traktowana jako wskaźnik pomocniczy poprawności dydaktycznej i stosowności zadania (by mierzyło te osiągnięcia, które powinno mierzyć). f - frakcja opuszczeń zadania no – liczba uczniów którzy opuścili zadanie n – liczba uczniów testowanych Przyjmuje się, że frakcja opuszczeń zadania nie powinna przekraczać 0,15, jeżeli jest większa zadanie może nie być poprawne merytorycznie, redakcyjnie lub pod względem trudności.

Łatwość (trudność) zadania Łatwość zadania jest stosunkiem liczby punktów uzyskanych za rozwiązanie tego zadania przez uczniów biorących udział w testowaniu do maksymalnej liczby punktów możliwej do uzyskania przez tę liczbę uczniów: px – łatwość zadnia - suma punktów uzyskanych za rozwiązanie zadania przez n uczniów n – liczba uczniów testowanych k – maksymalna liczba punktów możliwych do uzyskania przez jednego ucznia za rozwiązanie zadania Dla punktowania 0-1 wzór przyjmuje postać: p – łatwość zadania punktowanego 0-1 np­ - liczba uczniów którzy rozwiązali zadanie q = 1 – p q – trudność zadania punktowanego 0-1 Wskaźnik łatwości Interpretacja zadania 0,00-0,19 bardzo trudne 0,20-0,49 trudne 0,50-0,69 umiarkowanie trudne 0,70-0,89 łatwe 0,90-1,00 bardzo łatwe Najbardziej pożądane są zdania umiarkowane trudna i łatwe.

Minimalna rzeczywista Moc różnicująca zadania Moc różnicująca zadania testowego jest korelacją wyników zadania z wynikami testu w którym mieści się to zadanie. Ze względu na skomplikowany wzór mocy różnicującej powszechnie stosuje się wskaźnik zastępczy mocy różnicującej zadania punktowanego 0-1 D50 = pw - pn D - wskaźnik zastępczy mocy różnicującej obliczany z wyników grup połówkowych pw – łatwość zadania w górnej połowie wyników testu pn – łatwość zadania w dolnej połowie wyników testu Minimalna i zadawalająca moc różnicująca zadań w testach o różnej długości Liczba zadań w teście Minimalna rzeczywista moc różnicująca zadań Zadawalająca 100 0,10 0,22 25 0,20 0,42 10 0,32 0,60 5 0,45 0,75

Analiza zadań testu nauczycielskiego Sprawdzanie poprawności merytorycznej – najlepiej przy pomocy drugiego nauczyciela tego przedmiotu. Sprawdzenie poprawności redakcyjnej zadań najlepiej przy pomocy drugiego nauczyciela (np. j. polskiego.) Sprawdzenie słowności zadań względem planu testu. Przeprowadzenie testowania próbnego. Przeprowadzenie testowania głównego zwracając uwagę na samodzielną pracę uczniów. Wypunktowanie wyników testowania zgodnie z kluczem lub schematem punktowania. Sporządzenie tabeli zbiorczej wyników testowania, zawierającej wyniki punktowe każdego z uczniów w poszczególnych zadaniach. Obliczenie frakcji opuszczeń, łatwości i mocy różnicującej wszystkich zadań. Dokonanie oceny zadań ze względu na wartość tych składników. Podjęcie decyzji o ewentualnym pominięciu wadliwych zadań w wynikach testowania. Wyciągnięcie wniosków o jakości zadań – do wykorzystania w przyszłych zastosowaniach testu nauczycielskiego.