Anna Mueck grupa A/B, OAM Ocena wartości diagnostycznej testu – obliczanie czułości, swoistości, wartości predykcyjnych testu. Krzywe ROC. Anna Mueck grupa A/B, OAM

Czułość diagnostyczna Czułość diagnostyczna określa zdolność testu do wykrywania osób chorych. Jest to stosunek wyników prawdziwie dodatnich do sumy wyników prawdziwie dodatnich i fałszywie ujemnych (pomnożone przez 100%). Czułość 100% oznaczałaby, że wszystkie osoby chore lub ogólnie z konkretnymi poszukiwanymi zaburzeniami zostaną rozpoznane.

Czułość diagnostyczna = PD / (PD + FU)

Przykład: Jeżeli wartość czułości diagnostycznej wynosi 70%, oznacza to, że 70% pacjentów z daną jednostką chorobową, przy pomocy danego testu będzie dobrze sklasyfikowane. 30% natomiast, zostanie źle sklasyfikowane. Im wyższa czułość testu, tym jest on bardziej przydatny diagnostycznie. Idealny byłby test o 100% czułości.

Swoistość diagnostyczna Swoistość diagnostyczna określa zdolność testu do poprawnego wykluczenia choroby. Jest to stosunek wyników prawdziwie ujemnych do sumy wyników prawdziwie ujemnych i fałszywie dodatnich (pomnożone przez 100%). Swoistość 100% oznaczałaby, że wszyscy ludzie zdrowi w wykonanym teście diagnostycznym zostaną oznaczeni jako zdrowi. Test o wysokiej swoistości posiada niski błąd drugiego typu.

Swoistość diagnostyczna = PU / (PU + FD)

przykład: Jeżeli wartość swoistości diagnostycznej wynosi 40%, oznacza to, że 40% pacjentów zdrowych, przy pomocy danego testu będzie dobrze sklasyfikowane. 60% natomiast, zostanie źle sklasyfikowane. Im wyższa swoistość testu, tym jest on bardziej przydatny diagnostycznie. Idealny byłby test o 100% swoistości.

Inne parametry oceniające wartość diagnostyczną testu Dodatnia wartość predykcyjna Ujemna wartość predykcyjna

Wartość predykcyjna dodatnia Wartość predykcyjna dodatnia (PPV) – prawdopodobieństwo, że osobnik miał chorobę mając pozytywny wynik testu. Jeśli więc badana osoba otrzymała pozytywny wynik testu, to PPV daje jej informację na ile może być pewna, że cierpi na daną chorobę.

Dodatnia wartość predykcyjna = PD / (PD + FD)

Ujemna wartość predykcyjna Wartość predykcyjna ujemna (NPV) – prawdopodobieństwo, że osobnik nie miał choroby mając negatywny wynik testu. Jeśli więc badana osoba otrzymała negatywny wynik testu, to NPV daje jej informację na ile może być pewna, że nie cierpi na daną chorobę.

Ujemna wartość predykcyjna = PU / (PU + FU)

Krzywe ROC krzywe ROC są często stosowaną metodą służącą do opisania dokładności diagnostycznej testu. Służą one do porównywania testów diagnostycznych, analizy czy dany test jest efektywny w odróżnianiu różnych populacji, i ustalania wartości odcięcia. Krzywe ROC opisują cały zakres pracy klasyfikatora i pozwalają na miarodajne porównanie wyników z różnych klasyfikatorów. Zaletą stosowania krzywych ROC jest też ich niezależność od jednostek i skal stosowanych w danym badaniu oraz możliwość stosowania do danych skategoryzowanych (nie tylko binarnie).

FP: wyniki fałszywie dodatnie FN: wyniki fałszywie ujemne TP: wyniki prawdziwie dodatnie TN: wyniki prawdziwie ujemne

Chorzy Zdrowi

Diagram obrazujący centralną pozycję krzywych ROC w oszacowaniu dokładności diagnostycznej

Krzywe ROC Potrzebny jest „złoty środek” aby dobrze zaklasyfikować chorych i zdrowych Liczba osób chorych i osób zdrowych powinna być zbliżona Zdrowi i chorzy powinni reprezentować populacje dla której wykonuje się oznaczenia Krzywa ROC jest to zależność pomiędzy czułością a (1- swoistością) Cel: ustalenie wartości decyzyjnej

Kryteria ustalenia wartości decyzyjnej Cel badania (przesiewowe, potwierdzające) „strata społeczna” – ile będzie kosztowało zakwalifikowanie osoby do kategorii „zdrowy” lub „chory” Częstość choroby w populacji

Bardzo istotne jest właściwe umieszczenie punktu odcięcia na krzywej Przesunięci punktu odcięcia w prawo spowoduje spadek czułości diagnostycznej ponieważ większa część chorych zostanie zakwalifikowana jako zdrowi. Natomiast wzrośnie swoistość ponieważ wszystkich tych którzy są zdrowi zakwalifikujemy prawidłowo czyli wykluczymy chorobę. Gdy wzrasta czułość to spada swoistość i na odwrót. Analogiczna sytuacja zaistnieje gdy punkt odcięcia zostanie przesunięty w lewo (wzrośnie czułość, a spadnie swoistość).

Wykres krzywej ROC (ang Wykres krzywej ROC (ang. Receiver Operating Curve) jest w praktyce klinicznej narzędziem ułatwiającym wybór wartości progowej testu diagnostycznego, dla którego uzyskujemy optymalne parametry czułości i swoistości. Krzywa to graficzne przedstawienie zależności pomiędzy odsetkami wyników testu prawdziwie dodatnimi (czułość) oraz odsetkami wyników fałszywie dodatnimi (1-swoistość).

Zwiększenie czułości testu wiąże się ze zmniejszeniem odsetka wyników fałszywie ujemnych, ale jednocześnie ze zmniejszeniem swoistości (zwiększeniem odsetka wyników fałszywie dodatnich).

Zwiększenie swoistości testu wiąże się ze zmniejszeniem odsetka wyników fałszywie dodatnich, ale jednocześnie ze zmniejszeniem czułości (zwiększeniem odsetka wyników fałszywie ujemnych).

Optymalna wartość progowa wyniku testu (możliwie wysoka czułość testu przy wysokiej swoistości), to w  większości przypadków wartość najbardziej zbliżona do lewego górnego rogu wykresu (odpowiadającego 100% czułości i swoistości).

Pole powierzchni pod wykresem krzywej ROC – AUC (ang Pole powierzchni pod wykresem krzywej ROC – AUC (ang. Area Under Curve), przyjmujące wartości w przedziale od 0 do 1, określa zdolność testu do rozgraniczenia wyników prawidłowych i nieprawidłowych. Im większe jest AUC (im bardziej wklęsła będzie funkcja ROC) tym większa jest moc diagnostyczna testu. Tym samym zdolność rozdzielcza testu jest lepsza. Większość testów w diagnostyce reprezentuje moc diagnostyczną wyrażająca się wielkościami AUC pomiędzy 0,80 a 0,95.

AUC Do uzyskania zwartej informacji o skuteczności klasyfikacji można użyć AUC (Area Under Curve), czyli pole powierzchni pod krzywą ROC. Pole powierzchni pod krzywą ROC to prawdopodobieństwo, że klasyfikator nada wyższą rangę losowo wybranemu przypadkowi z odpowiedniej grupy, a nie losowo wybranemu przypadkowi z grupy, w której wiadomo że szukane dane nie występują. W AUC zawarty jest opis precyzji detekcji w całym zakresie pracy systemu. Wartość AUC równą 0.5 można opisać jako działanie losowe, a wartość równa 1.0 to wskaźnik idealny. Oznacza to, że krzywa przechodząca bliżej górnego lewego rogu obrazuje większą dokładność diagnostyczną.

Często stosowany opis jakości testów diagnostycznych jest wzorowany na amerykańskim systemie edukacji i może być opisany w następujący sposób: Obliczenie AUC wykonywane jest przed programy komputerowe. Pole powierzchni obliczane jest najczęściej według dwóch metod: - Metoda nie parametryczna (ang. non-parametric) oparta jest na konstruowaniu trapezoidów pod krzywą w celu oszacowania pola powierzchni pod wykresem. - Metoda parametryczna oparta jest na zasadzie określania maksymalnego prawdopodobieństwa (ang. maximum likelyhood estymator) aby dopasować linie ciągłą do wykresu danych. · 0.9-1.0 = bardzo dobry · 0.8-0.9 = dobry · 0.7-0.8 = satysfakcjonujący · 0.6-0.7 = średni · 0.5-0.6 = niedostateczny

Przykładowe krzywe ROC dla przypadku idealnego, testu rzeczywistego i dla przypadkowej selekcji na obecność patologii, zupełnie niezdeterminowanej informacją użyteczną.

Wpływ częstości choroby na wartość diagnostyczną testu Prevalance (częstość) – proporcja ludzi z chorobą w danej populacji, w szczególnym momencie czasu Incidence (nowe przypadki) – liczba nowych przypadków choroby pojawiających się w danym okresie czasu (n/1000/rok)

Odds ratio i likelihood ratio Odds ratio (iloraz prawdopodobieństwa) – prawdopodobieństwo obecności danej choroby podzielone przez prawdopodobieństwo jej nieobecności Likelihood ratio (iloraz wiarygodności) – prawdopodobieństwo pojawienia się danego wyniku (gdy choroba jest obecna) podzielone przez prawdopodobieństwo tego samego wyniku gdy nie ma choroby

Dziękuję za uwagę 