Pobierz prezentację
Pobieranie prezentacji. Proszę czekać
1
Evidence Based Medicine
Prof. Hanna SZAJEWSKA II Katedra Pediatrii AM w Warszawie
2
Kim jestem? Lekarzem pediatrą
Od ok. 14 lat zajmuję się badaniami klinicznymi Od ok. 8 lat zajmuję się EBM Szkolenia w Oxford Centre for EBM 2002 – How to practice EBM 2004 – Systematic reviews 2004 – Randomised controlled trials 2006 – Diagnostic tests 2007 – How to teach EBM Współpraca z Medycyną Praktyczną i PIEBM Pracownia EBM
3
O czym będziemy mówić? Cel zajęć
Dlaczego EBM? Co to jest EBM? Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia Tradycyjny vs systematyczny przegląd piśmiennictwa Alternatywy dla EBM
4
Dlaczego EBM? Podejmowanie decyzji
Lekarz Czy u chorej zastosować lek A czy B, aby uzyskać efekt Z? Czy u pacjentki zlecić badanie laboratoryjne A czy B w celu rozpoznania choroby Z? Menadżer Czy dla określonych chorych zakupić do apteki szpitalnej lek A czy B w celu uzyskania efektu Z Płatnik/system opieki zdrowotnej Które leki refundować chorym na chorobę X?
5
Dlaczego EBM? Zalew informacji
6
Dlaczego EBM? EBM pozwala na:
odróżnianie informacji bardziej od mniej wiarygodnych wyłowienie informacji przydatnych klinicznie, czyli istotnych dla pacjentów zrozumienie języka badań klinicznych i publikacji medycznych zrozumiałe i proste przekazanie informacji pacjentom uniezależnienie lekarzy
7
Dlaczego EBM? Część lekarzy nie potrafi krytycznie ocenić oryginalnej publikacji i zrozumieć wyników Efekt? Ograniczenie niezależności lekarzy Poleganie na opinii ekspertów, postępowaniu kolegów, informacjach dostarczanych przez przemysł farmaceutyczny
8
Evidence based medicine
9
Evidence based medicine
sytuacja kliniczna umiejętności i doświadczenie lekarza wartości i preferencje pacjenta dane z badań naukowych
10
Dwie fundamentalne zasady EBM
Zasada 1 Dane z badań naukowych nie wystarczają do podejmowania decyzji klinicznych Zasada 2 Hierarchizacja (wartościowanie) dowodów naukowych
11
Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania
Opis przypadków Badanie na zwierzętach Badanie in vitro Badanie kohortowe Opinia ekspertów Badanie z grupą kontrolną
12
Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania
Ś Ć R Y Z K O B Ł Ę D U Przegląd syst /metaanaliza Badanie z randomizacją (RCT) Badania obserwacyjne (kliniczno-kontrolne, kohortowe) Badania obserwacyjne (opis przypadku, seria przypadków) Badania doświadczalne
13
Badanie z randomizacją Randomised controlled trial RCT
14
Jak można wykorzystać wiedzę o badaniach z randomizacją?
Przy planowaniu własnego badania Do oceny badania przeprowadzonego przez innych
15
Pytanie 1 Badanie z randomizacją oznacza, że:
Do badania włącza się kolejnych, przypadkowych pacjentów, a lekarz na podstawie ich indywidualnej charakterystyki decyduje o włączeniu do grupy eksperymentalnej albo do grupy kontrolnej Uczestników badania przydziela się losowo do grupy eksperymentalnej i grupy kontrolnej Badacz nie wie, do której grupy należy pacjent
16
Pytanie 2 Celem randomizacji jest:
Uzyskanie grup eksperymentalnej i kontrolnej o zbliżonej liczebności Uzyskanie grup podobnych pod względem znanych i nieznanych czynników rokowniczych Uniknięcie różnego traktowania grup w czasie badania
17
Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Randomizacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe
18
Czy istotne jest jak zostało zaplanowane i przeprowadzone badanie z randomizacją?
19
Błąd systematyczny Bias (systematic error)
Błąd systematyczny, czyli nielosowy to błąd w ocenie uzyskanych wyników, którego źródłem mogą być nieprawidłowości w planowaniu badania, jego przeprowadzeniu lub błędy powstałe przy analizowaniu danych.
20
Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe
21
Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe
22
Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe
23
Błąd systematyczny związany z kwalifikacją badanych Selection bias
Jak uniknąć? Prawidłowa randomizacja Utajnienie randomizacji (alokacji)
24
Czy randomizacja była przeprowadzona prawidłowo?
Rzut monetą Rzut kostką Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Numer historii choroby Data urodzenia Dni parzyste / nieparzyste Dzień / noc Oddział Juni, Altman, Egger 2001
25
Czy randomizacja była przeprowadzona prawidłowo?
Rzut monetą Tak Rzut kostką Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Numer historii choroby Nie Data urodzenia Dni parzyste / nieparzyste Dzień / noc Oddział Juni, Altman, Egger 2001
26
Utajnienie randomizacji Allocation concealment
Procedury stosowane w celu uniknięcia świadomego lub nieświadomego wpływu na alokację uczestników do grup Procedury zapewniające, że wiedza badacza o rodzaju następnej interwencji nie wpłynie na sposób podejmowania przez niego decyzji o wprowadzeniu pacjenta do badania Zawsze jest możliwe!
27
Utajnienie randomizacji
Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Juni, Altman, Egger 2001
28
Utajnienie randomizacji
Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Tak Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć Procedury wynikające z pseudorandomizacji Nie Otwarta alokacja Otwarte, przezroczyste koperty Juni, Altman, Egger 2001
29
Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe
30
Błąd systematyczny związany ze znajomością interwencji Performance bias
Jak uniknąć? Maskowanie (ślepa próba)
31
Maskowanie Blinding, masking
Procedury zapobiegające identyfikacji rodzaju interwencji (leczenia), której została poddana osoba otrzymująca interwencję (pacjent) przez wszystkich uczestników badania eksperymentalnego na wszystkich jego etapach Maskowanie nie zawsze jest możliwe!
32
Maskowanie – kto może być zaślepiony?
Pacjent Randomizujący Lekarz leczący pacjentów Oceniający punkty końcowe Autor analizy Autor artykułu Badanie Metodą otwartą Pojedynczo ślepej próby Podwójnie ślepej próby Potrójnie ślepej próby Poczwórnie ślepej próby
33
Metodologia RCT Schulz i wsp. JAMA, 1995; 273: 408
Przegląd 250 badań z randomizacją Badania z prawidłowym utajnieniem randomizacji Efekt interwencji o 30-40% mniejszy niż badania bez niego lub z nieprawidłowym utajnieniem! Badania z podwójną ślepą próbą Mniejszy efekt leczenia o ok. 4-29% niż badania bez metody podwójnie ślepej próby
34
Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Punkty końcowe Punkty końcowe
35
Błąd systematyczny związany z dyskwalifikacją (wykluczeniem) Attrition (exclusion) bias
Jak uniknąć? Analizą objęto wszystkich pacjentów poddanych randomizacji (completeness of follow up) Analiza wykonana zgodnie z zaplanowanym leczeniem (intention to treat analysis)
36
Analiza w badaniu z randomizacją
Leczenie A 100 pacjentów 15 nie toleruje A 85 otrzymuje A Analiza zgodnie z zaplanowanym leczeniem Analiza zgodnie z protokołem R Kontrola B 100 pacjentów Dzięki uprzejmości J Mrukowicza
37
Czy wszyscy pacjenci, którzy rozpoczęli badanie, zostali zanalizowani w swojej pierwotnej grupie?
Analiza wyników W grupach wyodrębnionych zgodnie z zaplanowanym leczeniem (Intention to treat, ITT) W grupach wyodrębnionych zgodnie z protokołem (Analysis per protocol)
38
Analiza zgodnie z zaplanowanym leczeniem
Analiza wystąpienia punktów końcowych w grupach, do których badane osoby zostały wyjściowo przydzielone przez randomizację, niezależnie od tego czy ostatecznie zostały poddane zaplanowanej interwencji, czy nie Pozwala zachować istotę randomizacji!
39
Analiza zgodnie z protokołem
Grupy tworzą tylko osoby, które faktycznie zostały poddane i niepoddane badanej interwencji Nie ma pewności co do wyjściowego podobieństwa porównywanych grup Wiarygodność wyników jest podważalna!
40
Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe
41
Błąd systematyczny związany z oceną punktów końcowych Detection bias
Jak uniknąć? Maskowanie (ślepa próba) oceniający punkty końcowe autor analizy autor artykułu
42
Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe
43
Pytanie 3: Badanie z randomizacją oznacza, że:
Badacz nie wie, do której grupy należy pacjent Badany jest związek pomiędzy występowaniem określonej choroby a ekspozycją na dany czynnik w określonej populacji i jednym punkcie czasowym Wszystkie osoby są poddane zarówno interwencji eksperymentalnej, jak i kontrolnej, a kolejność interwencji u każdej osoby może być losowa lub nie. Uczestników badania przydziela się losowo do grupy eksperymentalnej i grupy kontrolnej
44
Jak czytać publikacje naukowe dotyczące leczenia?
45
Podstawowe kryteria oceny badania
Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?
46
Podstawowe kryteria oceny badania
Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?
47
Czy wyniki badania są wiarygodne?
Czy sposób leczenia był zdeterminowany przez proces randomizacji? Czy randomizacja była przeprowadzona prawidłowa? Czy było utajnienie randomizacji? Czy wszyscy pacjenci, którzy rozpoczęli badanie, zostali opisani po jego zakończeniu? Czy wszyscy pacjenci zostali zanalizowani w swojej pierwotnej grupie?
48
Podstawowe kryteria oceny każdego badania
Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?
49
Jakie są wyniki badania?
Oszacowanie wielkości efektów jakich można się spodziewać po zastosowaniu określonej interwencji Istotność statystyczna Trudna do interpretacji, wnosi niewiele informacji Istotność kliniczna Ryzyko względne Względne zmniejszenie ryzyka Bezwzględne zmniejszenie ryzyka Number needed to treat Przedział ufności
50
N Engl J Med 2004; 351:
51
Ablacja RF w bezobjawowym z. WPW N Engl J Med. 2004; 351: 1197-205
Pytanie kliniczne Jaka jest skuteczność profilaktycznej ablacji o częstotliwości radiowej (RF) w zapobieganiu zaburzeniom rytmu u dzieci z bezobjawowym zespołem Wolff-Parkinson-White? Metodyka badanie z randomizacją Badani N=47, w tym grupa badana n=20; grupa kontrolna n=27 Punkt końcowy Zaburzenia rytmu
52
Ablacja RF w bezobjawowym z. WPW N Engl J Med. 2004; 351: 1197-205
Bez leczenia RR RRR ARR NNT 1/20 (5%) 12/27 (44%) 0.11 (11%) 0.89 (89%) 39% 3 P<0.05
53
Ablacja RF w bezobjawowym z. WPW N Engl J Med. 2004; 351: 1197-205
Bez leczenia RR (95% CI) RRR ARR NNT 1/20 (5%) 12/27 (44%) 11% (2-16%) 89% (42-98%) 39% (15-59) 3 (2-7) P<0.05
54
Słownik EBM RR relative risk; ryzyko względne
określa część ryzyka, która „pozostała” po interwencji RRR relative risk reduction; względne zmniejszenie ryzyka część ryzyka „usunięta” w wyniku leczenia
55
Słownik EBM ARR absolute risk reduction, bezwzględne zmniejszenie ryzyka Określa bezwzględną wielkość „usuniętego” ryzyka
56
Słownik EBM NNT number needed to treat
Liczba pacjentów, których należy poddać leczeniu, aby zapobiec jednemu niekorzystnemu punktowi końcowemu
57
Słownik EBM CI confidence interval; przedział ufności
określa stopień precyzji danego oznaczenia zwykle 95% CI
58
Podstawowe kryteria oceny każdego badania
Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?
59
Czy wyniki badania będą pomocne w mojej praktyce klinicznej?
Czy pacjenci w badaniu są podobni do mojego pacjenta? Czy rozważono wszystkie znaczące klinicznie skutki leczenia? Czy spodziewane korzyści leczenia przewyższają potencjalne skutki niepożądane?
60
Kryteria wiarygodności
Czy wyniki badania są wiarygodne? Czy była randomizacja? Prawidłowa? Utajniona? Czy wszyscy pacjenci, którzy rozpoczęli badanie, zostali opisani po jego zakończeniu? Czy wszyscy pacjenci zostali zanalizowani w swojej pierwotnej grupie? Jakie są wyniki badania? RR, RRR, ARR, NNT, 95% CI Czy wyniki badania będą pomocne w mojej praktyce klinicznej? Czy pacjenci w badaniu są podobni do mojego pacjenta? Czy rozważono wszystkie znaczące klinicznie skutki leczenia? Czy spodziewane korzyści leczenia przewyższają potencjalne skutki niepożądane?
61
O czym mówiliśmy? Dlaczego EBM? Co to jest EBM? Badanie z randomizacją
Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia
62
Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania
Ś Ć R Y Z K O B Ł Ę D U Przegląd syst /metaanaliza Badanie z randomizacją (RCT) Badania obserwacyjne (kliniczno-kontrolne, kohortowe) Badania obserwacyjne (opis przypadku, seria przypadków) Badania doświadczalne
63
Tradycyjny przegląd piśmiennictwa
Metodyka wyszukiwania, selekcji i oceny danych ? Proces identyfikacji badań Ryzyko pominięcia ważnych danych Duże Ryzyko tendencyjności Wszystkim dobrze znane są tradycyjne, narracyjne przeglądy piśmiennictwa
64
Systematyczny przegląd piśmiennictwa
Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny Kontrpropozycją jest systematyczny przegląd piśmiennictwa. Co to jest? Zgodnie z jedną z definicji jest to jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny.
65
Przegląd systematyczny metaanaliza
Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego Metaanaliza Ilościowa synteza wyników wszystkich wiarygodnych badań dotyczących tego samego pytania klinicznego za pomocą odpowiednich metod statystycznych
66
Przegląd systematyczny
RCT N0 4 RCT N0 3 RCT N0 1 RCT N0 2 RCT N0 5 RCT N0 6 Opis
67
Metaanaliza Metody statystyczne RCT N0 3 RCT N0 1 RCT N0 2 RCT N0 5
Podsumowany wynik 6 badań z randomizacją
68
Przegląd systematyczny 5 etapów
Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.
69
Etap 1 Zdefiniowanie pytania klinicznego
Sprecyzowane kryteria włączenia i wyłączenia Populacja Interwencja Porównanie Punkt końcowy Metodyka (typ) badania, które odpowiada na zadane pytanie kliniczne Tak jak w każdym badaniu naukowym, a zgodziliśmy się, że SR jest badaniem naukowym, najważniejsze jest określenie celu badania. Najlepiej zrobić to poprzez zadanie pytania klinicznego, które sprecyzuje kryteria włączenia i wyłączenia. Najważniejsze elementy pytania to: populacja, interwencja, porównanie, punkt końcowy. Precyzyjny zadanie pytani klinicznego pozwoli na określenie jaka metodyka (typ) badania najlepiej odpowie na zadane pytania kliniczne.
70
Metodyka badania Pytanie Optymalny typ badania Leczenie
Badanie z randomizacją Diagnostyka Badanie przekrojowe Etiologia, ryzyko Badanie kohortowe Rokowanie Wszystkie badania są dobre, ale niektóre są lepsze niż inne. Na pytanie dotyczące leczenia – badanie z randomizacją; diagnostyka – badanie przekrojowe; etiologia, ryzyko – badanie kliniczno-kontrolne lub kohortowe; rokowanie – badanie kohortowe.
71
Etap 2 Wyszukiwanie publikacji
Opracowanie strategii wyszukiwania publikacji oraz wybór słów kluczowych Elektroniczne bazy danych (min. 2) Rejestr badań klinicznych Biblioteki Cochrane’a Piśmiennictwo do wyszukanych publikacji Kontakt z ekspertami Decyzja odnośnie ograniczeń Czas, dane nieopublikowane, język Podstawową różnicą między tradycyjnym a systematycznym przeglądem piśmiennictwa jest metodyka wyszukiwania danych. Dlatego niezwykle ważnym etapem opracowywania systematycznego przeglądu piśmiennictwa jest opracowanie strategii wyszukiwania danych oraz wybór słów kluczowych.
72
Jedna baza danych to za mało!
MEDLINE Tylko 30-80% badań z randomizacją MEDLINE & EMBASE Tylko ok. 34% czasopism jest indeksowanych w obu bazach danych Zależy od dziedziny (10-75%) MEDLINE and EMBASE Index Medicus and Excerpta Medica are indexes of healthcare journals that are available in electronic form as MEDLINE and EMBASE, respectively. One major limitation of subject indexes is that they are incomplete. Not all journals are covered by either index and articles from a portion of the included journals are included on a selective basis. The overlap in journals covered by MEDLINE and EMBASE is approximately 34%. The actual degree of reference overlap depends on the topic with reported overlap values in particular areas ranging from 10% to 75% .
73
Badania nieopublikowane
Dowody związku pomiędzy znamiennym wynikiem a publikacją! Identyfikacja badań trudna Kontakt z badaczami, listy z zapytaniem itp. Identifying unpublished studies Whiles it is difficults to identify published studies, identifying ongoing and/or unpublished studies presents even more of a challenge. Some completed studies are never published. If it could be assumed that unpublished studies of a given intervention were comparable to published studies on the same intervention, the failure to identify unpublished results would not be an important threat to the validity of a systematic review. However, an association between significant results and publication has been documented across a number of studies. Finding out about unpublished studies, and including them in a systematic review, when eligible, may be an important to minimizing bias. Unfortunately, there is no easy way to obtain information about studies that have been completed but never published. Colleagues, formal letter of request for information can be used.
74
Przykład D’Souza AL. et al. BMJ 2002; 324: 361-4
75
Przykład Dretzke J. et al. The Cochrane Library, Issue 3, 2004.
Search Strategy The Cochrane Controlled Trials Register (The Cochrane Library Issue 3, 2002), MEDLINE (1966 to 2002), EMBASE (1980 to 2002) and the Science Citation Index (1980 to 2002) were searched on 19th August Citation lists and web sites were checked and researchers in the field contacted.
76
Etap 3 Wybór publikacji zgodnie z kryteriami kwalifikacji i wyłączenia
Tytuły i streszczenia publikacji Pełna wersja publikacji Selekcja odpowiednich artykułów Ocena stopnia zgodności pomiędzy osobami dokonującymi wyboru prac Decisions regarding the inclusion or exclusion of individual studies often involve some degree of subjectivity. It is therefore useful to have two observers checking eligibility of candidate studies, with disagreements being resolved by discussion or a third reviewer.
77
Etap 4 Ekstrakcja danych
Ekstrakcja danych w ujednoliconej tabeli Wiarygodność metodologiczna – dwie osoby! Ocena stopnia zgodności pomiędzy osobami dokonującymi oceny wiarygodności badań Once studies have been selected, critically appraised and data extracted the characteristics of included studies should be presented in tabular form. Once all possible study reports have been identified, each study needs to be assessed for eligibility for inclusion, study quality and reported findings. Ideally, such assessment should involve two independent reviewers.
78
Ocena wiarygodności Nie ma „złotego standardu” wiarygodności badania
Najważniejsze Utajenie alokacji Maskowanie (ślepa próba) Analiza wszystkich pacjentów poddanych randomizacji Assessment of study quality What are approaches to summarizing the validity of studies? 25 scales and 9 checklists [formularzy] have been identified that have been used to assess the validity and ‘quality’ of RCTs. These scales and checklists include anywhere from 3 to 57 items and take from 10 to 45 minutes to complete. Almost all of the items in the instruments are based on suggested or ‘generally accepted’ criteria that are mentioned in clinical trials textbooks. Many of the instruments are liable to confuse the quality of reporting with the validity of the design and conduct of a trial. Because there is no ‘gold standard’ for the ‘true’ validity of a trial, the possibility of validating any proposed scoring system is limited. None of the currently available scales for measuring the validity or ‘quality’ of trials can be recommended without reservation (descriptive assessment is preferred) The use of summary scores from quality scales is problematic. Results depend on the choice of the scale, and the interpretation of findings is difficult. It is therefore preferable to examine the influence of individual components of methodological quality. Based on empirical evidence and theoretical considerations, concealment of treatment allocation, blinding of outcome assessment, and completness of data in the analysis should generally be assessed. Ideally, assessment of study quality should involve two independent reviewers.
79
Etap 5 Analiza danych Decyzja odnośnie sumowania wyników
Po co metaanaliza? moc (siła statystyczna) precyzja Kiedy przeprowadzenie metaanalizy jest uzasadnione? Badania jednorodne pod względem pytania klinicznego i metodyki Po co robimy metaanalizę? Aby zwiększyć moc badania (siłę statystyczną) prawdopodobieństwo otrzymania statystycznie istotnego wyniku, jeżeli on istnieje Aby zwiększyć precyzję (precyzja oznacza prawdopodobieństwo błędu losowego w wyniku badania czy metaanalizy). Miarą precyzji jest przedział ufności wokół oszacowania wielkości efektu. Oszacowanie wielkości efektu może być bardziej precyzyjne, jeżeli opiera się na większej liczbie danych
80
Interpretacja D’Souza AL. et al. BMJ 2002; 324: 361-4
81
Interpretacja LEFT RIGHT LESS EFFECT MORE EFFECT
D’Souza AL. et al. BMJ 2002; 324: 361-4
82
Przegląd systematyczny 5 etapów
Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.
83
Tradycyjny versus systematyczny przegląd piśmiennictwa
Metodyka wyszukiwania, selekcji i oceny danych ? Ściśle zdefiniowana Proces identyfikacji badań Opisany, przejrzysty, sprawdzalny Ryzyko pominięcia ważnych danych Duże Minimalne Ryzyko tendencyjności
84
Źródło wiarygodnych przeglądów systematycznych
Cochrane Library
85
Pytanie 4 Celem randomizacji jest uzyskanie grup podobnych pod względem znanych i nieznanych czynników rokowniczych Tak Nie
86
Pytanie 5 Analiza ITT (intention to treat) oznacza, że uzyskane wyniki analizowano w grupach wyodrębnionych na podstawie faktycznie przyjmowanej dawki leku w trakcie badania (tzn. jeśli osoba włączona do badania została wyjściowo przydzielona do leczenia większą dawką, a faktycznie przyjmowała dawkę mniejszą, to została przeniesiona do grupy leczonej mniejszą dawką - i odwrotnie) Tak Nie
87
Pytanie 6 NNT równe 100 w okresie 2 lat oznacza, że stosowanie danego leku u 100 chorych przez 2 lata zapobiega wystąpieniu jednego niekorzystnego punktu końcowego Tak Nie
88
Pytanie 7 Próba otwarta oznacza badanie, w którym pacjenci i badacze znają przynależność do grupy eksperymentalnej albo kontrolnej Tak Nie
89
Pytanie 8 Metaanaliza badań jest uzasadniona jeżeli dotyczą tego samego pytania klinicznego (podobne: populacja, interwencja i punkty końcowe) Tak Nie
90
Alternatywy dla EBM
91
Alternatywy dla EBM Isaacs D, Fitzgerald D. BMJ 1999; 319: 1618
EBM – eminence based medicine EBM – eloquence based medicine VBM – vehemence based medicine PBM – providence based medicine DBM – diffidence based medicine NBM – nervousness based medicine CBM – confidence based medicine
92
EBM, czyli eminence based medicine
Praktyka medyczna oparta na zasługach i własnym doświadczeniu im lekarz bardziej zasłużony i wyżej stojący w hierarchii, tym mniejszą wagę przypisuje czemuś tak banalnemu, jak dowody naukowe
93
EBM, czyli eloquence based medicine
Praktyka medyczna oparta na elokwencji opalone przez cały rok ciało, goździk w butonierce, elegancja w ubiorze jako substytuy dowodów naukowych
94
Vehemence based medicine
Praktyka medyczna oparta na głośności i porywczości wypowiedzi zastąpienie dowodów głośnym i porywczym wyrażaniem swych opinii
95
Providence based medicine
Praktyka medyczna oparta na zrządzeniu opatrzności kiedy troskliwy doktor nie ma pojęcia co zrobić, decyzję chętnie składa w ręce Wszechmogącego
96
Nervousness based medicine
Praktyka medyczna oparta na strachu strach przed pozwaniem do sądu silnie pobudza do wykonywania zbędnych badań diagnostycznych i stosowania niepotrzebnego leczenia
97
Confidence based medicine
Praktyka medyczna oparta na niezachwianej pewności siebie dotyczy jedynie chirurgów!
98
Wybór należy do Państwa!
99
O czym mówiliśmy? Dlaczego EBM? Co to jest EBM?
Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia Tradycyjny vs systematyczny przegląd piśmiennictwa Alternatywy dla EBM
100
Fakultety Jak czytać publikacje naukowe
Fakultety Jak czytać publikacje naukowe? Podstawy EBM Centrum EBM przy II Katedrze Pediatrii Sprawy organizacyjne: Dr med. A. Horvath
101
Pierwsze zajęcia Czwartek, 25 października godz. 14. 00 ul
Pierwsze zajęcia Czwartek, 25 października godz ul. Działdowska 1
102
Dziękuję! hanna.szajewska@am.edu.pl
103
Jak sobie poradzić z zalewem informacji,
czyli tradycyjny vs. systematyczny przegląd piśmiennictwa
104
Tradycyjny przegląd piśmiennictwa
Metodyka wyszukiwania, selekcji i oceny danych ? Proces identyfikacji badań Ryzyko pominięcia ważnych danych Duże Ryzyko tendencyjności Wszystkim dobrze znane są tradycyjne, narracyjne przeglądy piśmiennictwa
105
Systematyczny przegląd piśmiennictwa
Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny Kontrpropozycją jest systematyczny przegląd piśmiennictwa. Co to jest? Zgodnie z jedną z definicji jest to jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny.
106
Przegląd systematyczny metaanaliza
Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego Metaanaliza Ilościowa synteza wyników wszystkich wiarygodnych badań dotyczących tego samego pytania klinicznego za pomocą odpowiednich metod statystycznych
107
Przegląd systematyczny 5 etapów
Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.
108
Etap 1 Zdefiniowanie pytania klinicznego
Sprecyzowane kryteria włączenia i wyłączenia Populacja Interwencja Porównanie Punkt końcowy Metodyka (typ) badania, które odpowiada na zadane pytanie kliniczne Tak jak w każdym badaniu naukowym, a zgodziliśmy się, że SR jest badaniem naukowym, najważniejsze jest określenie celu badania. Najlepiej zrobić to poprzez zadanie pytania klinicznego, które sprecyzuje kryteria włączenia i wyłączenia. Najważniejsze elementy pytania to: populacja, interwencja, porównanie, punkt końcowy. Precyzyjny zadanie pytani klinicznego pozwoli na określenie jaka metodyka (typ) badania najlepiej odpowie na zadane pytania kliniczne.
109
Metodyka badania Pytanie Optymalny typ badania Leczenie
Badanie z randomizacją Diagnostyka Badanie przekrojowe Etiologia, ryzyko Badanie kohortowe Rokowanie Wszystkie badania są dobre, ale niektóre są lepsze niż inne. Na pytanie dotyczące leczenia – badanie z randomizacją; diagnostyka – badanie przekrojowe; etiologia, ryzyko – badanie kliniczno-kontrolne lub kohortowe; rokowanie – badanie kohortowe.
110
Przykład Osborn DA, Sinn J. The Cochrane Library, Issue 3, 2004.
Objective To determine whether use of hydrolysed formulas for infant feeding prevents allergy and food intolerance. If hydrolysed formulas are effective, to determine what type of hydrolysed formula is most effective including extensively and partially hydrolysed formulas. Selection Criteria Randomised and quasi-randomised trials that compare the use of a hydrolysed infant formula to human milk or cow's milk formula. Trials with >80% follow up of participants were eligible for inclusion.
111
Etap 2 Wyszukiwanie publikacji
Opracowanie strategii wyszukiwania publikacji oraz wybór słów kluczowych Elektroniczne bazy danych (min. 2) Rejestr badań klinicznych Biblioteki Cochrane’a Piśmiennictwo do wyszukanych publikacji Kontakt z ekspertami Decyzja odnośnie ograniczeń Czas, dane nieopublikowane, język Podstawową różnicą między tradycyjnym a systematycznym przeglądem piśmiennictwa jest metodyka wyszukiwania danych. Dlatego niezwykle ważnym etapem opracowywania systematycznego przeglądu piśmiennictwa jest opracowanie strategii wyszukiwania danych oraz wybór słów kluczowych.
112
Jedna baza danych to za mało!
MEDLINE Tylko 30-80% badań z randomizacją MEDLINE & EMBASE Tylko ok. 34% czasopism jest indeksowanych w obu bazach danych Zależy od dziedziny (10-75%) MEDLINE and EMBASE Index Medicus and Excerpta Medica are indexes of healthcare journals that are available in electronic form as MEDLINE and EMBASE, respectively. One major limitation of subject indexes is that they are incomplete. Not all journals are covered by either index and articles from a portion of the included journals are included on a selective basis. The overlap in journals covered by MEDLINE and EMBASE is approximately 34%. The actual degree of reference overlap depends on the topic with reported overlap values in particular areas ranging from 10% to 75% .
113
Badania nieopublikowane
Dowody związku pomiędzy znamiennym wynikiem a publikacją! Identyfikacja badań trudna Kontakt z badaczami, listy z zapytaniem itp. Identifying unpublished studies Whiles it is difficults to identify published studies, identifying ongoing and/or unpublished studies presents even more of a challenge. Some completed studies are never published. If it could be assumed that unpublished studies of a given intervention were comparable to published studies on the same intervention, the failure to identify unpublished results would not be an important threat to the validity of a systematic review. However, an association between significant results and publication has been documented across a number of studies. Finding out about unpublished studies, and including them in a systematic review, when eligible, may be an important to minimizing bias. Unfortunately, there is no easy way to obtain information about studies that have been completed but never published. Colleagues, formal letter of request for information can be used.
114
Przykład D’Souza AL. et al. BMJ 2002; 324: 361-4
115
Przykład Osborn DA, Sinn J. The Cochrane Library, Issue 3, 2004.
Search Strategy The standard search strategy of the Cochrane Neonatal Review Group was used including searches of the Cochrane Controlled Trials Register (2003, Issue 1), MEDLINE ( January 2003), EMBASE ( January 2003) and CINAHL ( January 2003) and previous reviews including cross references.
116
Etap 3 Wybór publikacji zgodnie z kryteriami kwalifikacji i wyłączenia
Tytuły i streszczenia publikacji Pełna wersja publikacji Selekcja odpowiednich artykułów Ocena stopnia zgodności pomiędzy osobami dokonującymi wyboru prac Decisions regarding the inclusion or exclusion of individual studies often involve some degree of subjectivity. It is therefore useful to have two observers checking eligibility of candidate studies, with disagreements being resolved by discussion or a third reviewer.
117
Etap 4 Ekstrakcja danych
Ekstrakcja danych w ujednoliconej tabeli Wiarygodność metodologiczna – dwie osoby! Ocena stopnia zgodności pomiędzy osobami dokonującymi oceny wiarygodności badań Once studies have been selected, critically appraised and data extracted the characteristics of included studies should be presented in tabular form. Once all possible study reports have been identified, each study needs to be assessed for eligibility for inclusion, study quality and reported findings. Ideally, such assessment should involve two independent reviewers.
118
Ocena wiarygodności Nie ma „złotego standardu” wiarygodności badania
Najważniejsze Prawidłowość randomizacji, utajnienie Maskowanie (ślepa próba) Analiza wszystkich pacjentów poddanych randomizacji Analiza zgodnie z zaplanowanym leczeniem Assessment of study quality What are approaches to summarizing the validity of studies? 25 scales and 9 checklists [formularzy] have been identified that have been used to assess the validity and ‘quality’ of RCTs. These scales and checklists include anywhere from 3 to 57 items and take from 10 to 45 minutes to complete. Almost all of the items in the instruments are based on suggested or ‘generally accepted’ criteria that are mentioned in clinical trials textbooks. Many of the instruments are liable to confuse the quality of reporting with the validity of the design and conduct of a trial. Because there is no ‘gold standard’ for the ‘true’ validity of a trial, the possibility of validating any proposed scoring system is limited. None of the currently available scales for measuring the validity or ‘quality’ of trials can be recommended without reservation (descriptive assessment is preferred) The use of summary scores from quality scales is problematic. Results depend on the choice of the scale, and the interpretation of findings is difficult. It is therefore preferable to examine the influence of individual components of methodological quality. Based on empirical evidence and theoretical considerations, concealment of treatment allocation, blinding of outcome assessment, and completness of data in the analysis should generally be assessed. Ideally, assessment of study quality should involve two independent reviewers.
119
Etap 5 Analiza danych Decyzja odnośnie sumowania wyników
Po co metaanaliza? moc (siła statystyczna) precyzja Kiedy przeprowadzenie metaanalizy jest uzasadnione? Badania jednorodne pod względem pytania klinicznego i metodyki Po co robimy metaanalizę? Aby zwiększyć moc badania (siłę statystyczną) prawdopodobieństwo otrzymania statystycznie istotnego wyniku, jeżeli on istnieje Aby zwiększyć precyzję (precyzja oznacza prawdopodobieństwo błędu losowego w wyniku badania czy metaanalizy). Miarą precyzji jest przedział ufności wokół oszacowania wielkości efektu. Oszacowanie wielkości efektu może być bardziej precyzyjne, jeżeli opiera się na większej liczbie danych
120
Interpretacja D’Souza AL. et al. BMJ 2002; 324: 361-4
121
Interpretacja LEFT RIGHT LESS EFFECT MORE EFFECT
D’Souza AL. et al. BMJ 2002; 324: 361-4
122
Przegląd systematyczny 5 etapów
Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.
123
Tradycyjny versus systematyczny przegląd piśmiennictwa
Metodyka wyszukiwania, selekcji i oceny danych ? Ściśle zdefiniowana Proces identyfikacji badań Opisany, przejrzysty, sprawdzalny Ryzyko pominięcia ważnych danych Duże Minimalne Ryzyko tendencyjności
124
Źródło wiarygodnych przeglądów systematycznych
Cochrane Library
125
Alternatywy dla EBM
126
Alternatywy dla EBM Isaacs D, Fitzgerald D. BMJ 1999; 319: 1618
EBM – eminence based medicine EBM – eloquence based medicine VBM – vehemence based medicine PBM – providence based medicine DBM – diffidence based medicine NBM – nervousness based medicine CBM – confidence based medicine
127
EBM, czyli eminence based medicine
Praktyka medyczna oparta na zasługach i własnym doświadczeniu im lekarz bardziej zasłużony i wyżej stojący w hierarchii, tym mniejszą wagę przypisuje czemuś tak banalnemu, jak dowody naukowe
128
EBM, czyli eloquence based medicine
Praktyka medyczna oparta na elokwencji opalone przez cały rok ciało, goździk w butonierce, elegancja w ubiorze jako substytuy dowodów naukowych
129
Vehemence based medicine
Praktyka medyczna oparta na głośności i porywczości wypowiedzi zastąpienie dowodów głośnym i porywczym wyrażaniem swych opinii
130
Providence based medicine
Praktyka medyczna oparta na zrządzeniu opatrzności kiedy troskliwy doktor nie ma pojęcia co zrobić, decyzję chętnie składa w ręce Wszechmogącego
131
Nervousness based medicine
Praktyka medyczna oparta na strachu strach przed pozwaniem do sądu silnie pobudza do wykonywania zbędnych badań diagnostycznych i stosowania niepotrzebnego leczenia
132
Confidence based medicine
Praktyka medyczna oparta na niezachwianej pewności siebie dotyczy jedynie chirurgów!
133
Wybór należy do Państwa!
134
O czym mówiliśmy? Dlaczego EBM? Co to jest EBM? Badanie z randomizacją
Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia Tradycyjny vs systematyczny przegląd piśmiennictwa Alternatywy dla EBM
135
Fakultety Jak czytać publikacje naukowe
Fakultety Jak czytać publikacje naukowe? Podstawy EBM Centrum EBM przy Klinice Gastroenterologii i Żywienia Dzieci Sprawy organizacyjne: Dr med. A. Horvath
136
Zajęcia Trzeci czwartek miesiąca godz. 14.00 ul. Działdowska 1
137
Częstość występowania punktu końcowego w grupie eksperymentalnej
Experimental event rate (EER) Częstość występowania punktu końcowego w grupie kontrolnej Control event rate (CER) CER EER
138
Relative risk (RR) = EER/CER
Ryzyko względne Relative risk (RR) = EER/CER ARR CER EER
139
Bezwzględne zmniejszenie ryzyka Absolute risk reduction (ARR)
CER EER
140
Co to jest? Evidence Based Medicine MEDLINE Cochrane Collaboration
Badanie z randomizacją Przegląd piśmiennictwa Systematyczny przegląd piśmiennictwa Ryzyko względne 0.5 NNT 15 95% przedział ufności = 7-25 P<0.05
141
Dlaczego EBM? Zalew informacji
30 kg wytycznych praktyki klinicznej w ciągu roku czasopism biomedycznych 8 000 publikacji naukowych dziennie!
Podobne prezentacje
© 2024 SlidePlayer.pl Inc.
All rights reserved.