Ocena wartości diagnostycznej testu – obliczanie czułości, swoistości, wartości predykcyjnych testu. Krzywe ROC. Anna Sepioło gr. B III OAM.

Prezentacja na temat: "Ocena wartości diagnostycznej testu – obliczanie czułości, swoistości, wartości predykcyjnych testu. Krzywe ROC. Anna Sepioło gr. B III OAM."— Zapis prezentacji:

1 Ocena wartości diagnostycznej testu – obliczanie czułości, swoistości, wartości predykcyjnych testu. Krzywe ROC. Anna Sepioło gr. B III OAM

2 Opracowanie zakresu wartości referencyjnych
Dobranie grupy kontrolnej reprezentatywnej dla danej populacji Badanie próbek referencyjnych – otrzymujemy wartości referencyjne Opracowanie statystyczne wyników Obliczanie górnej i dolnej wartości referencyjnej – wyznaczenie przedziału referencyjnego zawierającego zwykle 95% wartości referencyjnych

3 Zbiór wartości prawidłowych cechuje rozproszenie (dyspersja)
Zbiór wartości prawidłowych cechuje rozproszenie (dyspersja). Ponieważ przy przejściu od stanu zdrowia do stanu choroby najczęściej obserwuje się stopniowe zmiany wartości prawidłowych do nieprawidłowych rozgraniczenie wartości mierzonych na właściwe dla grupy chorych i grupy zdrowych musi mieć charakter umowny. Chorzy Zdrowi

4 Wartość graniczna (wartość odcięcia) – kryterium rozdzielające wyniki prawidłowe od wyników uznanych za nieprawidłowe Zawsze pewna ilość osób zdrowych będzie mieć wartości mierzonego parametru poza wartością graniczną W grupie osób chorych pewna ilość badanych będzie mieć wartości mierzone poniżej wartości granicznej, a więc mieszczące się w zakresie referencyjnym

5 Chorzy Zdrowi TP=PD – wyniki prawdziwie dodadnie
TN=PU – wyniki prawdziwie ujemne FP=FD – wyniki fałszywie dodatnie FN=FU – wyniki fałszywie ujemne Chorzy Zdrowi

6

7 Podstawowe parametry testu diagnostycznego
Czułość Specyficzność Wartości predykcyjne

8 Czułość diagnostyczna
Stosunek wyników prawdziwie dodatnich do sumy prawdziwie dodatnich i fałszywie ujemnych Określa zdolność testu do wykrywania osób chorych Odnosi się tylko do populacji osób chorych czułość

9 Swoistość diagnostyczna
Stosunek wyników prawdziwie ujemnych do sumy prawdziwie ujemnych i fałszywie dodatnich Określa zdolność testu do wykrywania osób zdrowych (poprawnego wykluczenia choroby) Odnosi się tylko do populacji osób zdrowych swoistość

10 Wartość predykcyjna dodatnia PPV
Stosunek wyników prawdziwie dodatnich do sumy wyników prawdziwie dodatnich i fałszywie dodatnich (wszystkich wyników dodatnich) Proporcja osób rzeczywiście chorych wśród osób z dodatnim wynikiem testu wartość predykcyjna dodatnia

11 Wartość predykcyjna dodatnia PPV
Prawdopodobieństwo, że osobnik miał chorobę mając pozytywny wynik testu Jeśli więc badana osoba otrzymała pozytywny wynik testu, to PPV daje jej informację na ile może być pewna, że cierpi na daną chorobę

12 Wartość predykcyjna ujemna NPV
Stosunek wyników prawdziwie ujemnych do sumy wyników prawdziwie ujemnych i fałszywie ujemnych (wszystkich wyników ujemnych) Proporcja osób zdrowych wśród osób z ujemnym wynikiem testu wartość predykcyjna ujemna

13 Wartość predykcyjna ujemna NPV
Prawdopodobieństwo, że osobnik nie miał choroby mając negatywny wynik testu Jeśli więc badana osoba otrzymała negatywny wynik testu, to NPV daje jej informację na ile może być pewna, że nie cierpi na daną chorobę

14 Wiarygodność testu wiarygodność
Stopień, w jakim wyniki badania odzwierciedlają rzeczywistość Odsetek pacjentów prawidłowo zakwalifikowanych jako zdrowi lub jako chorzy wiarygodność

15 Kryteria ustalania wartości decyzyjnej
Cel badania (przesiewowe, potwierdzające) „strata społeczna” Częstość choroby w populacji

16 Przesunięcie punktu odcięcia w lewo
↑ czułość ↓ swoistość Kiedy zależy nam na wykryciu wszystkich osób chorych, np. badania przesiewowe (np. wykrywanie fenyloketonurii). Zdrowi Chorzy

17 Przesunięcie punktu odcięcia w prawo
↓ czułość ↑ swoistość Kiedy zależy nam na wykluczeniu wszystkich osób zdrowych, np. jeśli trzeba zdecydować o bardzo inwazyjnym leczeniu. Zdrowi Chorzy

18 Krzywe ROC Potrzebny jest „złoty środek” aby dobrze zaklasyfikować chorych i zdrowych Powinna być zbliżona liczba chorych i zdrowych Zdrowi i chorzy powinni reprezentować populację, dla której wykonuje się oznaczenia

19 Krzywe ROC ang. Receiver Operating Characteristic – krzywa charakterystyki operatora odbiornika Zależność pomiędzy czułością a (1-swoistością) Cel: ustalenie wartości decyzyjnej określonej przez konkretny punkt decyzyjny lub powierzchnię pod krzywą

20

21 Dla każdego z możliwych punktów odcięcia obliczamy czułość i specyficzność, a następnie zaznaczamy otrzymane wyniki na wykresie. Zaznaczamy je w układzie współrzędnych, gdzie na osi odciętych jest (1-swoistość), a na osi rzędnych czułość.

22 Chorzy Zdrowi

23 Optymalnym punktem odcięcia jest punkt krzywej ROC znajdujący się najbliżej punktu o współrzędnych (0,1). Punkt o współrzędnych (0,1) to punkt o czułości równej 1 i swoistości równej 1.

24 Idealny kształt krzywej ROC
Chorzy Zdrowi

25 Najgorszy kształt krzywej ROC
Chorzy Zdrowi

26

27 Pole pod krzywą (AUC) Bardzo popularnym podejściem jest wyliczanie pola pod wykresem krzywej ROC, oznaczanego jako AUC (area under curve). Jest to wskaźnik mocy diagnostycznej testu. Wartość wskaźnika AUC przyjmuje wartości z przedziału [0,1]; im większa, tym lepszy model. Większość testów używanych w diagnostyce reprezentuje moc diagnostyczną wyrażającą się wielkościami AUC pomiędzy 0,8 i 0,95. AUC

28 Wartość predykcyjna jest intuicyjnym wskaźnikiem wykonania testu, ale zależy od częstości występowania choroby. Częstość występowania choroby w populacji stosuje się, aby uzmysłowić, że test nie będzie taki sam po zastosowaniu w rzeczywistej sytuacji klinicznej.

29 Wpływ częstości choroby na wartość diagnostyczną testu
Prevalence (częstość) – proporcja ludzi z chorobą w danej populacji w szczególnym momencie czasu. Incidence (nowe przypadki) – liczba nowych przypadków choroby pojawiających się w danym okresie czasu (n/1000/rok).

30 Odds ratio (iloraz prawdopodobieństwa) – prawdopodobieństwo obecności danej choroby podzielone przez prawdopodobieństwo jej nieobecności. Likehood ratio (iloraz wiarygodności) – prawdopodobieństwo pojawienia się danego wyniku (gdy choroba jest obecna) podzielone przez prawdopodobieństwo tego samego wyniku gdy nie ma choroby.

31 Dziękuję za uwagę 