Krzywe ROC Ocena trafności testu diagnostycznego Ewa Diakowska

Co to jest test diagnostyczny ?

Ocena trafności testu diagnostycznego Założenie: Wiemy które osoby mają cechę X. Liczebności obserwowane Obiektywna diagnoza Cecha X Brak cechy X Suma Test diagnostyczny TP FP TP + FP FN TN FN + TN TP + FN FP + TN N

Ocena trafności testu diagnostycznego Założenie: Wiemy które osoby mają cechę X. Liczebności obserwowane Obiektywna diagnoza Cecha X Brak cechy X Suma Test diagnostyczny TP FP TP + FP FN TN FN + TN TP + FN FP + TN N

Ocena trafności testu diagnostycznego Założenie: Wiemy które osoby mają cechę X. Liczebności obserwowane Obiektywna diagnoza Cecha X Brak cechy X Suma Test diagnostyczny TP FP TP + FP FN TN FN + TN TP + FN FP + TN N

Jakość testu diagnostycznego jest oceniana przez:  

Jakość testu diagnostycznego jest oceniana przez:  

Jakość testu diagnostycznego jest oceniana przez:  

Porównywanie testów diagnostycznych Wybór „najlepszego” testu diagnostycznego Budowa przedziałów ufności dla wartości oceniającej trafność testu

Zmiana wartości decyzyjnej testu diagnostycznego Przesunięcie punktu odcięcia w lewo

Zmiana wartości decyzyjnej testu diagnostycznego Przesunięcie punktu odcięcia w prawo

Moc diagnostyczna testu Krzywa ROC Funkcja zależności [1 – specyficzności] od [czułości] dla różnych punktów odcięcia. Moc diagnostyczna testu AUC – wartość pola po krzywą ROC. Liczba z przedziału <0,1>.

Przykład 200 pacjentów z rozpoznaną cukrzycą Dane: występowanie cukrzycy (tak/nie) Dane: wiek płeć (K/M) insulina (tak/nie) BMI glukoza

Test diagnostyczny dla glukozy AUC = 0,829 P < 0,0001 Czułość = 74,36 Swoistość = 86,11 Kryterium podziału = 114 58 15 73 20 93 113 78 108 186

Krzywa ROC dla glukozy

Test diagnostyczny dla insuliny AUC = 0,722 P < 0,0001 Czułość = 45,24 Swoistość = 99,13 Kryterium podziału = 1 38 1 39 46 114 160 84 115 199

Krzywa ROC dla insuliny

Test diagnostyczny dla wieku AUC = 0,57 P = 0,0875 brak istotności statystycznej Czułość = 54,76 Swoistość = 61,21 Kryterium podziału = 64 46 45 91 38 71 109 84 116 200

Krzywa ROC dla wieku

Model regresji logistycznej Zmienna objaśniana: występowanie cukrzycy Zmienne objaśniające: wiek płeć insulina glukoza BMI

Test diagnostyczny dla regresji logistycznej AUC = 0,881 P < 0,0001 Czułość = 80,77 Swoistość = 89,62 Kryterium podziału = 0,3849

Krzywa ROC dla regresji logistycznej

Porównanie krzywych ROC

Test dla dwóch krzywych ROC

Podsumowanie AUC dla regresjalog = 0,881 AUC dla glukoza = 0,828

Pytania ?