Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Testowanie i walidacja testów Barbara Sawicka 23.10.2015.

Podobne prezentacje


Prezentacja na temat: "Testowanie i walidacja testów Barbara Sawicka 23.10.2015."— Zapis prezentacji:

1 Testowanie i walidacja testów Barbara Sawicka 23.10.2015

2 Główne zagadnienia Historia testowania Testowanie i ocenianie Rodzaje testów Podstawowe pojęcia Techniki walidacji testów

3 Historia testowania Okres pre-naukowy Okres psychometryczny/strukturalizm Okres testowania zintegrowanego Okres komunikatywny (Brown 1996:23-25) Testowanie wspomagane komputerowo

4 Okres pre-naukowy Metodologia gramatyczno-tłumaczeniowa: Zadania tłumaczeniowe i wypracowania Ocena subiektywna

5 Okres psychometryczny/strukturalistyczny Behawioryzm - obiektywnie postrzegane dane, rejestrowane i mierzone, język jako zbiór elementów (discrete structure points): Test wielokrotnego wyboru (multiple choice) Zadania typu prawda/fałsz

6 Okres testowania zintegrowanego Kreatywność języka, kontekst społeczny, język w szerszym kontekście, a nie zbiór oddzielnych elementów: Zadania typu tekst z lukami (cloze) Dyktando

7 Okres komunikatywny Testowanie umiejętności zademonstrowania znajomości językowej (competence) w rzeczywistych sytuacjach (performance) (Canale and Swain 1980:34) Nieformalne odpytywanie w klasie przez nauczyciela Pół-formalne ćwiczenia i quizy przeprowadzane w klasie Samoocena Ocena rówieśnicza Portfolio językowe (Green 2014:7)

8 Testowanie wspomagane komputerowo 1.Computer Based Testing CBT/Computer Assisted Language Testing CALT 2.Computer Adptive Testing CAT e.g. BULATS, TOEFL iBT Zalety: natychmiastowa informacja zwrotna dla zdającego (zanim rozpocznie następne zadanie); różnorodność pomocy naukowych on-line np. słowniki; szczegółowa analiza postępów zdającego; prędkość i precyzja w obliczaniu punktów i analizie testu (Alderson 1991) Wady: tradycyjne podejście do testowania (e.g. test wielokrotnego wyboru, prawda/fałsz)

9 Testowanie i ocenianie Ocenianie: jakiekolwiek działanie mające na celu zebranie informacji o umiejętnościach językowych osoby ocenianej na podstawie wykonania zadanie wymagającego użycia języka po to aby podjąć szczególne decyzje dot. zdającego Test: mały zbiór kontrolowanych procedur które zazwyczaj odbywają się w określonym czasie i są tylko pewnymi rodzajami oceniania językowego. Testowanie (‘testing cycle’): zorganizowany proces pomiaru umiejętności językowych (Green 2014:5-6)

10 Rodzaje testów Klasyfikacja pod względem podejmowanej decyzji (Purpura 2014) Niska stawka (low stakes) test diagnostyczny, test gotowości test osiągnięć, postępów test kwalifikacyjny test selekcji, promocji lub braku promocji test certyfikujący, odpowiedzialności (accountability) Wysoka stawka (high stakes)

11 Podstawowe pojęcia Trafność (validity) Rzetelność (reliability) Praktyczność (practicality)

12 Określenie zakresu/przedmiotu testu (construct) Cel testu (wysoka stawka czy niska stawka) Cele kursu (dziedzina, tematy, zagadnienia itd.) Lista umiejętności (sytuacje, role, zadania, itd.) Lista materiału językowego (słownictwo, struktury gramatyczne) Dobór adekwatnych zadań testowych (waga umiejętności, jednoznaczność) Trafność testu (validity)

13 Rzetelność (reliability)  Zdający - powtarzalność wyników  Oceniający - powtarzalność oceny (inter-reliability, intra- reliability) Klarowne polecenia Klarowne zadania Liczba zadań (np. gramatyka, słownictwo) Długość zadań Kryteria oceny Punktacja - podstawa analizy i wniosków Ocenianie zadań subiektywnych (inter-rater reliability oraz intra-rater reliability)

14 Praktyczność testu (practicality) Zasoby ludzkie, np. osoby tworzące zadania, zaplecze administracyjne Zasoby materialne, np. dostępność sal egzaminacyjnych oraz sprzętu audio Czas, np. czas na stworzenie testu, czas na poprawę, czas na analizę wyników testu (Bachman and Palmer 1996:30)

15 Techniki walidacji zadań i testów Analiza zadań testowych i tworzenie banku zadań  Korelacja zadań testowych (test correlation)  Trudność zadań testowych (facility value)  Poziom umiejętności a wynik zadania (discrimination index) Weryfikacja rzetelności testu (reliability testing)  Test-retest reliability  Parallel-form reliability  Inter-item consistency (Alderson 1995:73-103)

16 Porównanie testu ze specyfikacją Wywiad formalny i nieformalny (studenci, testujący, nauczyciele) Porównanie wyników poszczególnych części testu z wynikiem końcowym (korelacja części testu z wynikiem ogólnym) Porównanie wyników poszczególnych zadań testu z innymi zadaniami testu (korelacja zadań) Porównanie wyników testu z wynikami innych testów (np. Placement test) Porównanie wyników testu z oceną nauczyciela Analiza statystyczna (opisowa) Techniki walidacji testów

17 Korelacje wyników

18 Porównanie wyników testu ACERT z wynikami testu kwalifikacyjnego (placement test) 38 osób badanych z 3 grup Kierunki: Elektronika iTelekomunikacja, Energetyka i Elektrotechnika Korelacja: Placement – ocena z egzaminu ACERT: 0,893 Dodatkowe obserwacje:  Żadna osoba, która uzyskała wynik A2 na teście kwalifikacyjnym nie otrzymała certyfikatu ACERT!

19 ACERT Wyniki całościowe

20 Analiza statystyczna (opisowa) Wyniki całościowe - Elektrotechnika ocena ogólna (indeks) Średnia2,958646617 Błąd standardowy0,097829764 Mediana3 Tryb3 Odchylenie standardowe 1,128227882 Wariancja próbki1,272898154 Kurtoza-0,656897955 Skośność-0,373670619 Zakres4 Minimum1 Maksimum5 Suma393,5 Licznik133 Wyniki całościowe - Energetyka ocena ogólna (indeks) Średnia3,427778 Błąd standardowy0,092328 Mediana3,5 Tryb3,5 Odchylenie standardowe0,875898 Wariancja próbki0,767197 Kurtoza0,130764 Skośność-0,74895 Zakres4 Minimum1 Maksimum5 Suma308,5 Licznik90

21 Bibliografia Alderson, J. Charles. 1991. Language testing in the 1990s: how far have we come? How much farther have we to go? In S. Anivan (ed.) Current developments in language testing. Sngapore: Regional Language Centre: 1-26. Alderson, J. Charles, Caroline Clapham, Dianne Wall. 1995. Language Test Construction and Evaluation. Cambridge: Cambridge University Press. Bachman, Lyle F., Adrian S. Palmer. 1996. Language Testing in Practice. Oxford: Oxford University Press. Brown, J. D. 1996. Testing in language programs. Upper Saddle River, NJ: Prentice Hall. Canale, Michael, Merrill Swain. 1980. Theoretical bases of communicative approaches to second language teaching and testing. Applied Linguistics, 1: 1-47. Green, Anthony. 2014. Exploring Language Assessment and Testing. Routledge: New York. Purpura, James. 2014. An Overview on Language Testing and Assessment. (A lecture presented at Universita per Stranieri di Siena, Siena, 28 July - 1 August 2014.).

22 Serdecznie dziękuję za uwagę


Pobierz ppt "Testowanie i walidacja testów Barbara Sawicka 23.10.2015."

Podobne prezentacje


Reklamy Google