Projekt innowacyjny: Poszukiwanie nowych skutecznych metod aktywizacji zawodowej i społecznej grup zawodowych wymagających szczególnego wsparcia PROJEKT.

Prezentacja na temat: "Projekt innowacyjny: Poszukiwanie nowych skutecznych metod aktywizacji zawodowej i społecznej grup zawodowych wymagających szczególnego wsparcia PROJEKT."— Zapis prezentacji:

1

2 Projekt innowacyjny: Poszukiwanie nowych skutecznych metod aktywizacji zawodowej i społecznej grup zawodowych wymagających szczególnego wsparcia PROJEKT INNOWACYJNY TESTUJĄCY Priorytet VI. Rynek pracy otwarty dla wszystkich Działanie 6.4 Projekty innowacyjne „@doradca zawodowy – elektroniczna aplikacja on-line”

3 Wprowadzenie do psychometrii

4 Czym się zajmuje psychometria? Psychometria to gałąź psychologii zajmująca się określaniem warunków, jakie powinny spełniać narzędzia wykorzystywane do pomiaru cech psychologicznych, oraz budowaniem modeli wiążących wyniki takich pomiarów z rzeczywistymi wartościami mierzonych cech (Hornowska, 2001).

5 Definicja testu Test psychologiczny jest specyficzną procedurą diagnozowania. Test może być zbiorem zadań lub pytań, które w standardowych warunkach mają wywoływać określone rodzaje zachowań i dostarczać wyników o pożądanych właściwościach psychometrycznych, tj. posiadających wysoką rzetelność i trafność (APA, 2007, s.8)

6 Test psychologiczny jest narzędziem, które (Hornowska, 2001): Pozwala na uzyskanie takiej próbki zachowań, które mogą być wskaźnikami określonej cechy psychologicznej Dostarcza reguł obliczania wartości mierzonej cechy Spełnia określone kryteria takie jak obiektywność, standaryzacja, rzetelność, trafność i normalizacja Jasno określa zakres i rodzaj dopuszczalnych zachowań diagnosty Zakłada kooperacyjną postawę osoby badanej

7 Badanie testowe (Paluchowski, 1991, s. 41) Sytuacja, w której osoba badana uczestniczy dobrowolnie, świadoma celu, jakim jest jej ocena Sytuacja tworzona specjalnie do celów diagnostycznych, w której wywołuje się zachowania typowe pod względem charakterystyki, która ma być przedmiotem obserwacji Sytuacja, która nie wymaga osobistego zaangażowania diagnosty i w której jest jasno określony zakres dopuszczalnych zachowań

8 Rodzaje testów Standaryzowane – dokładnie sprecyzowane zasady stosowania oraz wyposażone w normy Niestandaryzowane np. testy wiadomości budowane przez nauczycieli, stosowane tylko raz Indywidualne – badanie osób pojedynczoGrupowe – testowanie dużych grup Szybkości – czas rozwiązania ograniczony, zadanie niezbyt trudne Mocy – stwarzają każdej osobie szansę na rozwiązanie wszystkich pozycji a trudność zadań stopniowo rośnie Obiektywne - stałe metody obliczania wynikówNieobiektywne - ocena wymaga umiejętności psychologicznych Słowne – zbudowane z materiału werbalnegoBezsłowne – polegają na wykonywaniu czynności Właściwości poznawczych – mierzące wytwory procesów poznawczych np.: zdolności, uwagi, pojemności pamięci – każde zadanie ma prawidłową odpowiedź (problem zgadywania) Właściwości afektywnych – postawy, wartości, zainteresowania, osobowość – nie ma kategorii odpowiedzi prawidłowej (problem trafności samoopisu) Zorientowane na normy (w określonej populacji)Zorientowane na kryterium (standard wykonania, wzór)

9 Kryteria dobroci testów psychologicznych Obiektywność Standaryzacja Rzetelność Trafność Normy Właściwa adaptacja

10 Obiektywność czyli niezależność wyników testowania Test jest obiektywny, jeśli dwie osoby opracowujące wyniki dochodzą do tego samego rezultatu Jasno określony klucz odpowiedzi Techniką badania stopnia obiektywności jest technika tzw. ślepej diagnozy. Polega ona na rozesłaniu tego samego, wypełnionego arkusza testowego do różnych osób oceniających. Jeżeli otrzymane wyniki i ich interpretacja będą do siebie podobne, można uznać dany test za obiektywny.

11 Standaryzacja czyli jednolitość warunków badania Procedura badania testemJasne wskazówki dotyczące badania testem Instrukcja – badanie indywidualne bądź grupowe, liczebność grupy, limity czasowe, zaznaczanie odpowiedzi, możliwość powrotu do pytań, zgadywanie, kolejność zadań, zakres pomocy udzielanej badanemu, zmiany instrukcji Pomoce, materiał testowy Procedura obliczania wynikówKlucz odpowiedzi – obliczanie, kodowanie, rejestrowanie wyników Procedura obliczania wyników Procedura interpretowania wynikówNormy dla określonych populacji i właściwe dla osoby badanej

12 Konsekwencje nieprzestrzegania procedury Jaś Małgosia

13 Rzetelność Rzetelność to dokładność pomiaru, czyli wielkość błędu jaki popełnia psycholog W jakim stopniu wynik odzwierciedla poziom mierzonej cechy Wskaźnik rzetelności jest to współczynnik korelacji pomiędzy wynikami otrzymanymi w teście a wynikami prawdziwymi osób badanych Konieczność określania standardowego błędu pomiaru

14 Metody oceny rzetelności Porównanie rezultatów połówek tego samego testu - koreluje się wyniki uzyskane w odpowiedzi na parzyste i nieparzyste części testu Porównanie wyników uzyskanych w badaniach dwoma alternatywnymi wersjami danego testu - problemem jest tu dbałość o identyczność obu wersji, co bywa trudne do osiągnięcia Porównanie wyników dwóch pomiarów dokonanych na tej samej grupie z zachowaniem pewnego odstępu czasowego Obliczanie właściwości statystycznych poszczególnych pozycji testowych - korelacja rezultatów poszczególnych zadań testowych z wynikiem ogólnym testu

15 Rzetelność skali Współczynnik rzetelności zadania: Jest funkcją wariancji pozycji testowej i wielkości korelacji pomiędzy zadaniem a ogólnym wynikiem w teście Operacyjnie wyrażony jest w postaci iloczynu odchylenia standardowego wyników zadania i współczynnika korelacji zadania z testem Znajomości tego współczynnika pozwala poprawić rzetelność wyników poprzez dobranie do ostatecznej wersji kwestionariusza tych pozycji, które w najwyższym stopniu różnicują badaną cechę

16 Rzetelność skali c.d. Współczynnik mocy dyskryminacyjnej zadania: Mówi o tym, w jakim stopniu różnicuje ono badaną populację pod względem cechy, której dotyczy. Wyraża się współczynnikiem korelacji między zadaniem i wynikiem ogólnym skali Niska wartość (mniejsza niż 0,3) wskazuje na to, że pozycja mierzy coś innego niż skala jako całość

17 Przykład wskaźników rzetelności –WOPZ, skala realistyczna, N=603 Pozycja Średnia skali po usunięciu pozycji Wariancja skali po usunięciu pozycji α-Cronbacha po usunięciu pozycji Współczynnik rzetelności pozycji Współczynnik mocy dyskryminacyjnej pozycji 225,4580,200,9180,6700,558 725,7675,760,9080,9400,760 1526,1675,020,9080,9790,756 2025,5880,100,9180,6790,573 2525,3475,730,9120,9250,686 3226,1375,940,9090,9270,741 3725,6174,520,9061,0130,789 4325,9775,240,9110,9560,707 4825,4175,540,9080,9500,752 5825,3877,350,9140,8330,646 M skali = 28,53 SD skali = 9,68 α-Cronbacha dla skali = 0,919 SEM = 2,75 85%PU = ± 4 95%PU = ± 5

18 Rzetelność skali c.d. Stabilność wyników określa się poprzez porównanie wyników dwóch pomiarów dokonanych na tej samej grupie z zachowaniem pewnego odstępu czasowego:  R-Pearsona Wskaźniki połówkowe Guttmana i Spearmana-Browna

19 Przykład analizy stabilności wyników Tabela 15. Stabilność wyników dla skal - WOPZ Preferencje Współczynnik rho - Spearmana p Realistyczne0,927** Badawcze0,795** Artystyczne0,922** Społeczne0,901** Przedsiębiorcze0,892** Konwencjonalne0,824** Oznaczenia poziomu istotności: **p < 0,01

20 Trafność Obszar zastosowania testu – czy test mierzy zakładaną zmienną Pytanie o to, jakie wnioski można wyciągnąć na temat zmiennych mierzonych przez test Informacja o tym, jak test pełni swoją funkcję – adekwatność pomiaru w porównaniu z funkcjonowaniem w życiu Trafność dotyczy tylko konkretnego zastosowania

21 Rodzaje trafności Trafność diagnostyczna – określa w jakim stopniu test diagnozuje poziom określonej cechy występujący u danej jednostki Trafność prognostyczna – określa w jakim stopniu test przewiduje zachowanie jednostki w sytuacji poza testowej Treściowa zwana też wewnętrzną lub logiczną polega na wykazaniu, w jakim stopniu treść testu stanowi próbkę klasy sytuacji, które mają być przedmiotem pomiaru Teoretyczna - jednym z aspektów trafności teoretycznej jest tzw. trafność czynnikowa Kryterialna (diagnostyczna + prognostyczna) określona jest poprzez porównanie wyników testu z kryterium zewnętrznym.

22 Pytanie = ? Czy na podstawie testów inteligencji możemy przewidywać powodzenie w pracy badanego?

23 Przykład analizy trafności czynnikowej Ładunki czynnikowe dla poszczególnych pozycji kwestionariusza WOPZ po rotacji Pozycja Składowa 1 (R)2 (S)3 (P)4 (A)5 (B)6 (K) 32: Inni ludzie cenią mnie za moją fachową wiedzę dotyczącą naprawy maszyn i urządzeń. 0,888-0,2800,230-0,0760,0130,139 37: Lubię naprawiać różne rzeczy.0,864-0,2470,149-0,1130,0660,180 48: Łatwo przychodzi mi zrozumienie, jak działają różnego typu maszyny i urządzenia techniczne. 0,849-0,3330,209-0,0870,0960,062 15: Moi znajomi proszą mnie o pomoc, kiedy zepsuje się im jakieś urządzenie.0,836-0,1580,234-0,1190,0560,136 17: Chciałbym/chciałabym pomagać ludziom, którzy przeżywają trudne chwile.-0,2240,783-0,1220,1760,1470,085 36: Często słyszę, że potrafię udzielać wsparcia innym ludziom.-0,2750,7780,2810,1960,169-0,154 49: Lubię pomagać innym w rozwiązywaniu ich problemów osobistych.-0,2660,7620,0430,1880,1240,109 9: Inni często przychodzą do mnie, by opowiedzieć o swoich problemach.-0,3830,7470,1100,1290,075-0,045

24 Przykład analizy trafności kryterialnej Tabela.19 Korelacje pomiędzy poszczególnymi skalami WOPZ a skalami preferencji zawodowych KPZ Hollanda Skale WOPZ Kwestionariusz Preferencji Zawodowych Hollanda RealistycznaBadawczaArtystycznaSpołecznaPrzedsiębiorcza Konwencjon alna Realistyczna 0,517 *** 0,092-0,171 ** -0,404 *** -0,020-0,047 Badawcza 0,129 * 0,317 *** 0,275 *** 0,129 * -0,035-0,021 Artystyczna -0,0670,108 0,389 *** 0,245 *** -0,070-0,112 Społeczna -0,122 * 0,0230,140 * 0,318 *** 0,032-0,020 Przedsiębiorcza 0,0760,0520,003-0,001 0,218 *** 0,119 * Konwencjonalna 0,141 * 0,118 * 0,007 -0,156 ** -0,070 0,113

25 Normy, czyli nadawanie znaczenia wynikom testowym Wynik surowy:  odnosi się do wyniku otrzymanego w próbie standaryzacyjnej  pozwala stwierdzić w którym miejscu rozkładu mieści się osoba badana Efektem normalizacji jest zbudowanie zestawu norm, które stanowią podstawę interpretacji wyników testowych Norma – typowy poziom wykonania zadania Normy mają charakter relatywny i zależą od grupy odniesienia

26 Przykład tabeli norm dla wyników skal Normy stenowe dla poszczególnych preferencji w grupie kobiet (N = 529) STEN Wyniki surowe STEN RealistyczneBadawczeArtystyczneSpołecznePrzedsiębiorczeKonwencjonalne 11010 - 1410 - 1110 - 1710 - 1210 - 181 211 - 121512 - 1318 - 1913 - 14192 313 - 1616 - 2014 - 1920 - 2515 - 2020 - 263 417 - 2121 - 2820 - 2426 - 3021 - 2627 - 324 522 - 2929 - 3325 - 2931 - 3527 - 3233 - 375 630 - 3634 - 3830 - 3736 - 4033 - 3838 - 406 737 - 4139 - 4238 - 4441 - 4439 - 4341 - 447 842 - 4743 - 4745 - 4745 - 4844 - 4745 - 488 948 - 49 4948 - 49499 1050 10

27 Kryteria odróżniające dobry test od złego Kryterium decyzyjneNa co zwracać uwagę Autor testuTest powinien mieć autora – również autora adaptacji Podręcznik testowyOpis teorii lub sposobu doboru grup empirycznych Opis grupy standaryzacyjnej Opis procedury badania i interpretacji wyniku Opis badań rzetelności i błędu standardowego Opis badań trafności, procedur normalizacyjnych i norm dla zdefiniowanej populacji PomoceOpis materiałów testowych, pomocy, arkusza pytań, arkusza odpowiedzi; oryginalny komplet pomocy testowych Zabezpieczanie testuPodjęcie kroków zabezpieczających test Ochrona prawnaLegalna dystrybucja

28 Konstruowanie testu 1. Zdefiniowanie mierzonej właściwości / cechy 2. Określenie formy pozycji testowych i formatu odpowiedzi 3. Sformułowanie pozycji testowych 4. Analiza językowo – treściowa pozycji testowych 5. Badanie pilotażowe 6. Obliczenie wybranych wskaźników statystycznych dla pozycji testowych

29 Literatura American Educational Research Association, American Psychological Association, National Council on Measurement in Education (2007). Standardy dla testów stosowanych w psychologii i pedagogice. Gdańsk: Gdańskie Wydawnictwo Psychologiczne. Anastasi, A., Urbina, S. (1999). Testy psychologiczne. Warszawa: Pracownia Testów psychologicznych Polskiego Towarzystwa Psychologicznego Brzeziński, J. (1976). Etapy konstruowania kwestionariusza osobowości. W: W. Sanocki (red.), Kwestionariusze osobowości w psychologii (s. 303-313). Warszawa: PWN. Brzeziński, J. (2003) Metodologia badań psychologicznych. Warszawa: PWN. Chojnowski, M. (1971). Podstawy i zastosowania rzetelności testów psychologicznych, w: J. Kozielecki (red.), Problemy psychologii matematycznej (s. 65-118). Cronbach, L.J. (1990). Essentials of Psychological Testing. New York: Harper Collins Publishers. Hornowska, E. (2001). Testy psychologiczne. Teoria i praktyka. Warszawa: Wydawnictwo Naukowe „Scholar”.