1 ICT in the assessment of speaking and writing Autorka: Małgorzata Rzeźnik Automatyczne ocenianie umiejętności pisania i mówienia

2 ICT in the assessment of speaking and writing Główne punkty: Dlaczego ocenianie przez komputer? Problemy związane z oceną pisania przez komputer Problemy związane z oceną mówienia przez komputer Przykłady programów – Versant English Test

3 Dlaczego ocenianie przez komputer? Instytucje egzaminacyjne: Standaryzacja kryteriów; Mniejsze problemy logistyczne i finansowe związane ze szkoleniem egzaminatorów. Szkoły, nauczyciele, słuchacze kursów Wykorzystanie takich programów w celach treningowych.

4 Dlaczego ocenianie przez komputer? Bo w pewnym stopniu już jest to możliwe

5 ICT in the assessment of speaking and writing Problemy związane z oceną mówienia Ogólne 1. Wybór standardu 2. Co oceniamy: język, czy umiejętność komunikowania się.

6 ICT in the assessment of speaking and writing Problemy związane z oceną mówienia Związane z wykorzystaniem ICT: 1. Koszty budowy systemu; 2. Koszty gromadzenia korpusów językowych; 3. Opór rynku.

7 ICT in the assessment of speaking and writing Problemy związane z oceną pisania Ogólne 1.Dysleksja. 2. Dysgrafia. 3. Ewolucja form pisania związana z rozwojem Internetu.

8 ICT in the assessment of speaking and writing Problemy związane z oceną pisania Związane z wykorzystaniem ICT 1.Statystyczna analiza i ocena – ortografia (BrE vs. AmE), interpunkcja, gramatyka (BrE vs. AmE), organizacja tekstu. 2. Analiza semantyczna. 3. Czy łatwo oszukać komputer?

9 Przykład testu: Versant English Test (Pearson Knowledge Technologies) Format testu: 1.Czytanie na głos zdań z kartki/ekranu 2. Powtarzanie usłyszanych zdań 3. Tworzenie zdań z usłyszanych elementów 4.Odpowiedzi na pytania (słówka) 5. Powtarzanie usłyszanych historyjek 6. Odpowiedzi na pytania otwarte

10 ICT in the assessment of speaking and writing – Versant English Test

11 Porównanie wyników Versant English Test z wynikami egzaminu z człowiekiem Versant English Test – Pearson Knowledge Technologies

Oceny cząstkowe - człowiek

Oceny cząstkowe - komputer

14 Porównanie wyników Versant English Test z wynikami egzaminu z człowiekiem – wymowa (Pronunciation) Czy komputer i człowiek oceniali to samo?

15 Porównanie wyników Versant English Test z wynikami egzaminu z człowiekiem – biegłość/płynność (Fluency) Czy komputer i człowiek oceniali to samo?

16 Porównanie wyników Versant English Test z wynikami egzaminu z człowiekiem – słownictwo (Vocabulary) Czy komputer i człowiek oceniali to samo?

Porównanie wyników Versant English Test z innymi egzaminami InstrumentCorrelationSample size Common European Framework, 1st experiment Common European Framework, 2nd experiment Common European Framework, 3rd experiment TOEFL iBT Speaking IELTS Speaking

18 ICT in the assessment of speaking and writing Questions?