Evidence Based Medicine Prof. Hanna SZAJEWSKA II Katedra Pediatrii AM w Warszawie hanna.szajewska@am.edu.pl

Kim jestem? Lekarzem pediatrą Od ok. 14 lat zajmuję się badaniami klinicznymi Od ok. 8 lat zajmuję się EBM Szkolenia w Oxford Centre for EBM 2002 – How to practice EBM 2004 – Systematic reviews 2004 – Randomised controlled trials 2006 – Diagnostic tests 2007 – How to teach EBM Współpraca z Medycyną Praktyczną i PIEBM Pracownia EBM

O czym będziemy mówić? Cel zajęć Dlaczego EBM? Co to jest EBM? Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia Tradycyjny vs systematyczny przegląd piśmiennictwa Alternatywy dla EBM

Dlaczego EBM? Podejmowanie decyzji Lekarz Czy u chorej zastosować lek A czy B, aby uzyskać efekt Z? Czy u pacjentki zlecić badanie laboratoryjne A czy B w celu rozpoznania choroby Z? Menadżer Czy dla określonych chorych zakupić do apteki szpitalnej lek A czy B w celu uzyskania efektu Z Płatnik/system opieki zdrowotnej Które leki refundować chorym na chorobę X?

Dlaczego EBM? Zalew informacji

Dlaczego EBM? EBM pozwala na: odróżnianie informacji bardziej od mniej wiarygodnych wyłowienie informacji przydatnych klinicznie, czyli istotnych dla pacjentów zrozumienie języka badań klinicznych i publikacji medycznych zrozumiałe i proste przekazanie informacji pacjentom uniezależnienie lekarzy

Dlaczego EBM? Część lekarzy nie potrafi krytycznie ocenić oryginalnej publikacji i zrozumieć wyników Efekt? Ograniczenie niezależności lekarzy Poleganie na opinii ekspertów, postępowaniu kolegów, informacjach dostarczanych przez przemysł farmaceutyczny

Evidence based medicine

Evidence based medicine sytuacja kliniczna umiejętności i doświadczenie lekarza wartości i preferencje pacjenta dane z badań naukowych

Dwie fundamentalne zasady EBM Zasada 1 Dane z badań naukowych nie wystarczają do podejmowania decyzji klinicznych Zasada 2 Hierarchizacja (wartościowanie) dowodów naukowych

Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania Opis przypadków Badanie na zwierzętach Badanie in vitro Badanie kohortowe Opinia ekspertów Badanie z grupą kontrolną

Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania Ś Ć R Y Z K O B Ł Ę D U Przegląd syst /metaanaliza Badanie z randomizacją (RCT) Badania obserwacyjne (kliniczno-kontrolne, kohortowe) Badania obserwacyjne (opis przypadku, seria przypadków) Badania doświadczalne

Badanie z randomizacją Randomised controlled trial RCT

Jak można wykorzystać wiedzę o badaniach z randomizacją? Przy planowaniu własnego badania Do oceny badania przeprowadzonego przez innych

Pytanie 1 Badanie z randomizacją oznacza, że: Do badania włącza się kolejnych, przypadkowych pacjentów, a lekarz na podstawie ich indywidualnej charakterystyki decyduje o włączeniu do grupy eksperymentalnej albo do grupy kontrolnej Uczestników badania przydziela się losowo do grupy eksperymentalnej i grupy kontrolnej Badacz nie wie, do której grupy należy pacjent

Pytanie 2 Celem randomizacji jest: Uzyskanie grup eksperymentalnej i kontrolnej o zbliżonej liczebności Uzyskanie grup podobnych pod względem znanych i nieznanych czynników rokowniczych Uniknięcie różnego traktowania grup w czasie badania

Otrzymuje badaną interwencję Nie otrzymuje interwencji Badana populacja Randomizacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe

Czy istotne jest jak zostało zaplanowane i przeprowadzone badanie z randomizacją?

Błąd systematyczny Bias (systematic error) Błąd systematyczny, czyli nielosowy to błąd w ocenie uzyskanych wyników, którego źródłem mogą być nieprawidłowości w planowaniu badania, jego przeprowadzeniu lub błędy powstałe przy analizowaniu danych.

Otrzymuje badaną interwencję Nie otrzymuje interwencji Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe

Otrzymuje badaną interwencję Nie otrzymuje interwencji Badana populacja Alokacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe

Otrzymuje badaną interwencję Nie otrzymuje interwencji Badana populacja Alokacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe

Błąd systematyczny związany z kwalifikacją badanych Selection bias Jak uniknąć? Prawidłowa randomizacja Utajnienie randomizacji (alokacji)

Czy randomizacja była przeprowadzona prawidłowo? Rzut monetą Rzut kostką Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Numer historii choroby Data urodzenia Dni parzyste / nieparzyste Dzień / noc Oddział Juni, Altman, Egger 2001

Czy randomizacja była przeprowadzona prawidłowo? Rzut monetą Tak Rzut kostką Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Numer historii choroby Nie Data urodzenia Dni parzyste / nieparzyste Dzień / noc Oddział Juni, Altman, Egger 2001

Utajnienie randomizacji Allocation concealment Procedury stosowane w celu uniknięcia świadomego lub nieświadomego wpływu na alokację uczestników do grup Procedury zapewniające, że wiedza badacza o rodzaju następnej interwencji nie wpłynie na sposób podejmowania przez niego decyzji o wprowadzeniu pacjenta do badania Zawsze jest możliwe!

Utajnienie randomizacji Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Juni, Altman, Egger 2001

Utajnienie randomizacji Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Tak Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć Procedury wynikające z pseudorandomizacji Nie Otwarta alokacja Otwarte, przezroczyste koperty Juni, Altman, Egger 2001

Otrzymuje badaną interwencję Nie otrzymuje interwencji Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe

Błąd systematyczny związany ze znajomością interwencji Performance bias Jak uniknąć? Maskowanie (ślepa próba)

Maskowanie Blinding, masking Procedury zapobiegające identyfikacji rodzaju interwencji (leczenia), której została poddana osoba otrzymująca interwencję (pacjent) przez wszystkich uczestników badania eksperymentalnego na wszystkich jego etapach Maskowanie nie zawsze jest możliwe!

Maskowanie – kto może być zaślepiony? Pacjent Randomizujący Lekarz leczący pacjentów Oceniający punkty końcowe Autor analizy Autor artykułu Badanie Metodą otwartą Pojedynczo ślepej próby Podwójnie ślepej próby Potrójnie ślepej próby Poczwórnie ślepej próby

Metodologia RCT Schulz i wsp. JAMA, 1995; 273: 408 Przegląd 250 badań z randomizacją Badania z prawidłowym utajnieniem randomizacji Efekt interwencji o 30-40% mniejszy niż badania bez niego lub z nieprawidłowym utajnieniem! Badania z podwójną ślepą próbą Mniejszy efekt leczenia o ok. 4-29% niż badania bez metody podwójnie ślepej próby

Otrzymuje badaną interwencję Nie otrzymuje interwencji Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Punkty końcowe Punkty końcowe

Błąd systematyczny związany z dyskwalifikacją (wykluczeniem) Attrition (exclusion) bias Jak uniknąć? Analizą objęto wszystkich pacjentów poddanych randomizacji (completeness of follow up) Analiza wykonana zgodnie z zaplanowanym leczeniem (intention to treat analysis)

Analiza w badaniu z randomizacją Leczenie A 100 pacjentów 15 nie toleruje A 85 otrzymuje A Analiza zgodnie z zaplanowanym leczeniem Analiza zgodnie z protokołem R Kontrola B 100 pacjentów Dzięki uprzejmości J Mrukowicza

Czy wszyscy pacjenci, którzy rozpoczęli badanie, zostali zanalizowani w swojej pierwotnej grupie? Analiza wyników W grupach wyodrębnionych zgodnie z zaplanowanym leczeniem (Intention to treat, ITT) W grupach wyodrębnionych zgodnie z protokołem (Analysis per protocol)

Analiza zgodnie z zaplanowanym leczeniem Analiza wystąpienia punktów końcowych w grupach, do których badane osoby zostały wyjściowo przydzielone przez randomizację, niezależnie od tego czy ostatecznie zostały poddane zaplanowanej interwencji, czy nie Pozwala zachować istotę randomizacji!

Analiza zgodnie z protokołem Grupy tworzą tylko osoby, które faktycznie zostały poddane i niepoddane badanej interwencji Nie ma pewności co do wyjściowego podobieństwa porównywanych grup Wiarygodność wyników jest podważalna!

Otrzymuje badaną interwencję Nie otrzymuje interwencji Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe

Błąd systematyczny związany z oceną punktów końcowych Detection bias Jak uniknąć? Maskowanie (ślepa próba) oceniający punkty końcowe autor analizy autor artykułu

Otrzymuje badaną interwencję Nie otrzymuje interwencji Badana populacja Alokacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe

Pytanie 3: Badanie z randomizacją oznacza, że: Badacz nie wie, do której grupy należy pacjent Badany jest związek pomiędzy występowaniem określonej choroby a ekspozycją na dany czynnik w określonej populacji i jednym punkcie czasowym Wszystkie osoby są poddane zarówno interwencji eksperymentalnej, jak i kontrolnej, a kolejność interwencji u każdej osoby może być losowa lub nie. Uczestników badania przydziela się losowo do grupy eksperymentalnej i grupy kontrolnej

Jak czytać publikacje naukowe dotyczące leczenia?

Podstawowe kryteria oceny badania Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?

Podstawowe kryteria oceny badania Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?

Czy wyniki badania są wiarygodne? Czy sposób leczenia był zdeterminowany przez proces randomizacji? Czy randomizacja była przeprowadzona prawidłowa? Czy było utajnienie randomizacji? Czy wszyscy pacjenci, którzy rozpoczęli badanie, zostali opisani po jego zakończeniu? Czy wszyscy pacjenci zostali zanalizowani w swojej pierwotnej grupie?

Podstawowe kryteria oceny każdego badania Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?

Jakie są wyniki badania? Oszacowanie wielkości efektów jakich można się spodziewać po zastosowaniu określonej interwencji Istotność statystyczna Trudna do interpretacji, wnosi niewiele informacji Istotność kliniczna Ryzyko względne Względne zmniejszenie ryzyka Bezwzględne zmniejszenie ryzyka Number needed to treat Przedział ufności

N Engl J Med 2004; 351: 1197-205

Ablacja RF w bezobjawowym z. WPW N Engl J Med. 2004; 351: 1197-205 Pytanie kliniczne Jaka jest skuteczność profilaktycznej ablacji o częstotliwości radiowej (RF) w zapobieganiu zaburzeniom rytmu u dzieci z bezobjawowym zespołem Wolff-Parkinson-White? Metodyka badanie z randomizacją Badani N=47, w tym grupa badana n=20; grupa kontrolna n=27 Punkt końcowy Zaburzenia rytmu

Ablacja RF w bezobjawowym z. WPW N Engl J Med. 2004; 351: 1197-205 Bez leczenia RR RRR ARR NNT 1/20 (5%) 12/27 (44%) 0.11 (11%) 0.89 (89%) 39% 3 P<0.05

Ablacja RF w bezobjawowym z. WPW N Engl J Med. 2004; 351: 1197-205 Bez leczenia RR (95% CI) RRR ARR NNT 1/20 (5%) 12/27 (44%) 11% (2-16%) 89% (42-98%) 39% (15-59) 3 (2-7) P<0.05

Słownik EBM RR relative risk; ryzyko względne określa część ryzyka, która „pozostała” po interwencji RRR relative risk reduction; względne zmniejszenie ryzyka część ryzyka „usunięta” w wyniku leczenia

Słownik EBM ARR absolute risk reduction, bezwzględne zmniejszenie ryzyka Określa bezwzględną wielkość „usuniętego” ryzyka

Słownik EBM NNT number needed to treat Liczba pacjentów, których należy poddać leczeniu, aby zapobiec jednemu niekorzystnemu punktowi końcowemu

Słownik EBM CI confidence interval; przedział ufności określa stopień precyzji danego oznaczenia zwykle 95% CI

Podstawowe kryteria oceny każdego badania Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?

Czy wyniki badania będą pomocne w mojej praktyce klinicznej? Czy pacjenci w badaniu są podobni do mojego pacjenta? Czy rozważono wszystkie znaczące klinicznie skutki leczenia? Czy spodziewane korzyści leczenia przewyższają potencjalne skutki niepożądane?

Kryteria wiarygodności Czy wyniki badania są wiarygodne? Czy była randomizacja? Prawidłowa? Utajniona? Czy wszyscy pacjenci, którzy rozpoczęli badanie, zostali opisani po jego zakończeniu? Czy wszyscy pacjenci zostali zanalizowani w swojej pierwotnej grupie? Jakie są wyniki badania? RR, RRR, ARR, NNT, 95% CI Czy wyniki badania będą pomocne w mojej praktyce klinicznej? Czy pacjenci w badaniu są podobni do mojego pacjenta? Czy rozważono wszystkie znaczące klinicznie skutki leczenia? Czy spodziewane korzyści leczenia przewyższają potencjalne skutki niepożądane?

O czym mówiliśmy? Dlaczego EBM? Co to jest EBM? Badanie z randomizacją Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia

Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania Ś Ć R Y Z K O B Ł Ę D U Przegląd syst /metaanaliza Badanie z randomizacją (RCT) Badania obserwacyjne (kliniczno-kontrolne, kohortowe) Badania obserwacyjne (opis przypadku, seria przypadków) Badania doświadczalne

Tradycyjny przegląd piśmiennictwa Metodyka wyszukiwania, selekcji i oceny danych ? Proces identyfikacji badań Ryzyko pominięcia ważnych danych Duże Ryzyko tendencyjności Wszystkim dobrze znane są tradycyjne, narracyjne przeglądy piśmiennictwa

Systematyczny przegląd piśmiennictwa Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny Kontrpropozycją jest systematyczny przegląd piśmiennictwa. Co to jest? Zgodnie z jedną z definicji jest to jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny.

Przegląd systematyczny  metaanaliza Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego Metaanaliza Ilościowa synteza wyników wszystkich wiarygodnych badań dotyczących tego samego pytania klinicznego za pomocą odpowiednich metod statystycznych

Przegląd systematyczny RCT N0 4 RCT N0 3 RCT N0 1 RCT N0 2 RCT N0 5 RCT N0 6 Opis

Metaanaliza Metody statystyczne RCT N0 3 RCT N0 1 RCT N0 2 RCT N0 5 Podsumowany wynik 6 badań z randomizacją

Przegląd systematyczny 5 etapów Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.

Etap 1 Zdefiniowanie pytania klinicznego Sprecyzowane kryteria włączenia i wyłączenia Populacja Interwencja Porównanie Punkt końcowy Metodyka (typ) badania, które odpowiada na zadane pytanie kliniczne Tak jak w każdym badaniu naukowym, a zgodziliśmy się, że SR jest badaniem naukowym, najważniejsze jest określenie celu badania. Najlepiej zrobić to poprzez zadanie pytania klinicznego, które sprecyzuje kryteria włączenia i wyłączenia. Najważniejsze elementy pytania to: populacja, interwencja, porównanie, punkt końcowy. Precyzyjny zadanie pytani klinicznego pozwoli na określenie jaka metodyka (typ) badania najlepiej odpowie na zadane pytania kliniczne.

Metodyka badania Pytanie Optymalny typ badania Leczenie Badanie z randomizacją Diagnostyka Badanie przekrojowe Etiologia, ryzyko Badanie kohortowe Rokowanie Wszystkie badania są dobre, ale niektóre są lepsze niż inne. Na pytanie dotyczące leczenia – badanie z randomizacją; diagnostyka – badanie przekrojowe; etiologia, ryzyko – badanie kliniczno-kontrolne lub kohortowe; rokowanie – badanie kohortowe.

Etap 2 Wyszukiwanie publikacji Opracowanie strategii wyszukiwania publikacji oraz wybór słów kluczowych Elektroniczne bazy danych (min. 2) Rejestr badań klinicznych Biblioteki Cochrane’a Piśmiennictwo do wyszukanych publikacji Kontakt z ekspertami Decyzja odnośnie ograniczeń Czas, dane nieopublikowane, język Podstawową różnicą między tradycyjnym a systematycznym przeglądem piśmiennictwa jest metodyka wyszukiwania danych. Dlatego niezwykle ważnym etapem opracowywania systematycznego przeglądu piśmiennictwa jest opracowanie strategii wyszukiwania danych oraz wybór słów kluczowych.

Jedna baza danych to za mało! MEDLINE Tylko 30-80% badań z randomizacją MEDLINE & EMBASE Tylko ok. 34% czasopism jest indeksowanych w obu bazach danych Zależy od dziedziny (10-75%) MEDLINE and EMBASE Index Medicus and Excerpta Medica are indexes of healthcare journals that are available in electronic form as MEDLINE and EMBASE, respectively.   One major limitation of subject indexes is that they are incomplete. Not all journals are covered by either index and articles from a portion of the included journals are included on a selective basis. The overlap in journals covered by MEDLINE and EMBASE is approximately 34%. The actual degree of reference overlap depends on the topic with reported overlap values in particular areas ranging from 10% to 75% .

Badania nieopublikowane Dowody związku pomiędzy znamiennym wynikiem a publikacją! Identyfikacja badań trudna Kontakt z badaczami, listy z zapytaniem itp. Identifying unpublished studies Whiles it is difficults to identify published studies, identifying ongoing and/or unpublished studies presents even more of a challenge. Some completed studies are never published. If it could be assumed that unpublished studies of a given intervention were comparable to published studies on the same intervention, the failure to identify unpublished results would not be an important threat to the validity of a systematic review. However, an association between significant results and publication has been documented across a number of studies. Finding out about unpublished studies, and including them in a systematic review, when eligible, may be an important to minimizing bias. Unfortunately, there is no easy way to obtain information about studies that have been completed but never published. Colleagues, formal letter of request for information can be used.

Przykład D’Souza AL. et al. BMJ 2002; 324: 361-4

Przykład Dretzke J. et al. The Cochrane Library, Issue 3, 2004. Search Strategy The Cochrane Controlled Trials Register (The Cochrane Library Issue 3, 2002), MEDLINE (1966 to 2002), EMBASE (1980 to 2002) and the Science Citation Index (1980 to 2002) were searched on 19th August 2002. Citation lists and web sites were checked and researchers in the field contacted.

Etap 3 Wybór publikacji zgodnie z kryteriami kwalifikacji i wyłączenia Tytuły i streszczenia publikacji Pełna wersja publikacji Selekcja odpowiednich artykułów Ocena stopnia zgodności pomiędzy osobami dokonującymi wyboru prac Decisions regarding the inclusion or exclusion of individual studies often involve some degree of subjectivity. It is therefore useful to have two observers checking eligibility of candidate studies, with disagreements being resolved by discussion or a third reviewer.  

Etap 4 Ekstrakcja danych Ekstrakcja danych w ujednoliconej tabeli Wiarygodność metodologiczna – dwie osoby! Ocena stopnia zgodności pomiędzy osobami dokonującymi oceny wiarygodności badań Once studies have been selected, critically appraised and data extracted the characteristics of included studies should be presented in tabular form. Once all possible study reports have been identified, each study needs to be assessed for eligibility for inclusion, study quality and reported findings. Ideally, such assessment should involve two independent reviewers.  

Ocena wiarygodności Nie ma „złotego standardu” wiarygodności badania Najważniejsze Utajenie alokacji Maskowanie (ślepa próba) Analiza wszystkich pacjentów poddanych randomizacji Assessment of study quality What are approaches to summarizing the validity of studies? 25 scales and 9 checklists [formularzy] have been identified that have been used to assess the validity and ‘quality’ of RCTs. These scales and checklists include anywhere from 3 to 57 items and take from 10 to 45 minutes to complete. Almost all of the items in the instruments are based on suggested or ‘generally accepted’ criteria that are mentioned in clinical trials textbooks. Many of the instruments are liable to confuse the quality of reporting with the validity of the design and conduct of a trial. Because there is no ‘gold standard’ for the ‘true’ validity of a trial, the possibility of validating any proposed scoring system is limited. None of the currently available scales for measuring the validity or ‘quality’ of trials can be recommended without reservation (descriptive assessment is preferred) The use of summary scores from quality scales is problematic. Results depend on the choice of the scale, and the interpretation of findings is difficult. It is therefore preferable to examine the influence of individual components of methodological quality. Based on empirical evidence and theoretical considerations, concealment of treatment allocation, blinding of outcome assessment, and completness of data in the analysis should generally be assessed.   Ideally, assessment of study quality should involve two independent reviewers.  

Etap 5 Analiza danych Decyzja odnośnie sumowania wyników Po co metaanaliza?  moc (siła statystyczna)  precyzja Kiedy przeprowadzenie metaanalizy jest uzasadnione? Badania jednorodne pod względem pytania klinicznego i metodyki Po co robimy metaanalizę? Aby zwiększyć moc badania (siłę statystyczną) prawdopodobieństwo otrzymania statystycznie istotnego wyniku, jeżeli on istnieje Aby zwiększyć precyzję (precyzja oznacza prawdopodobieństwo błędu losowego w wyniku badania czy metaanalizy). Miarą precyzji jest przedział ufności wokół oszacowania wielkości efektu. Oszacowanie wielkości efektu może być bardziej precyzyjne, jeżeli opiera się na większej liczbie danych

Interpretacja D’Souza AL. et al. BMJ 2002; 324: 361-4

Interpretacja LEFT RIGHT LESS EFFECT MORE EFFECT D’Souza AL. et al. BMJ 2002; 324: 361-4

Przegląd systematyczny 5 etapów Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.

Tradycyjny versus systematyczny przegląd piśmiennictwa Metodyka wyszukiwania, selekcji i oceny danych ? Ściśle zdefiniowana Proces identyfikacji badań Opisany, przejrzysty, sprawdzalny Ryzyko pominięcia ważnych danych Duże Minimalne Ryzyko tendencyjności

Źródło wiarygodnych przeglądów systematycznych Cochrane Library http://www.cochrane.org/

Pytanie 4 Celem randomizacji jest uzyskanie grup podobnych pod względem znanych i nieznanych czynników rokowniczych Tak Nie

Pytanie 5 Analiza ITT (intention to treat) oznacza, że uzyskane wyniki analizowano w grupach wyodrębnionych na podstawie faktycznie przyjmowanej dawki leku w trakcie badania (tzn. jeśli osoba włączona do badania została wyjściowo przydzielona do leczenia większą dawką, a faktycznie przyjmowała dawkę mniejszą, to została przeniesiona do grupy leczonej mniejszą dawką - i odwrotnie) Tak Nie

Pytanie 6 NNT równe 100 w okresie 2 lat oznacza, że stosowanie danego leku u 100 chorych przez 2 lata zapobiega wystąpieniu jednego niekorzystnego punktu końcowego Tak Nie

Pytanie 7 Próba otwarta oznacza badanie, w którym pacjenci i badacze znają przynależność do grupy eksperymentalnej albo kontrolnej Tak Nie

Pytanie 8 Metaanaliza badań jest uzasadniona jeżeli dotyczą tego samego pytania klinicznego (podobne: populacja, interwencja i punkty końcowe) Tak Nie

Alternatywy dla EBM

Alternatywy dla EBM Isaacs D, Fitzgerald D. BMJ 1999; 319: 1618 EBM – eminence based medicine EBM – eloquence based medicine VBM – vehemence based medicine PBM – providence based medicine DBM – diffidence based medicine NBM – nervousness based medicine CBM – confidence based medicine

EBM, czyli eminence based medicine Praktyka medyczna oparta na zasługach i własnym doświadczeniu im lekarz bardziej zasłużony i wyżej stojący w hierarchii, tym mniejszą wagę przypisuje czemuś tak banalnemu, jak dowody naukowe

EBM, czyli eloquence based medicine Praktyka medyczna oparta na elokwencji opalone przez cały rok ciało, goździk w butonierce, elegancja w ubiorze jako substytuy dowodów naukowych

Vehemence based medicine Praktyka medyczna oparta na głośności i porywczości wypowiedzi zastąpienie dowodów głośnym i porywczym wyrażaniem swych opinii

Providence based medicine Praktyka medyczna oparta na zrządzeniu opatrzności kiedy troskliwy doktor nie ma pojęcia co zrobić, decyzję chętnie składa w ręce Wszechmogącego

Nervousness based medicine Praktyka medyczna oparta na strachu strach przed pozwaniem do sądu silnie pobudza do wykonywania zbędnych badań diagnostycznych i stosowania niepotrzebnego leczenia

Confidence based medicine Praktyka medyczna oparta na niezachwianej pewności siebie dotyczy jedynie chirurgów!

Wybór należy do Państwa!

O czym mówiliśmy? Dlaczego EBM? Co to jest EBM? Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia Tradycyjny vs systematyczny przegląd piśmiennictwa Alternatywy dla EBM

Fakultety Jak czytać publikacje naukowe Fakultety Jak czytać publikacje naukowe? Podstawy EBM Centrum EBM przy II Katedrze Pediatrii Sprawy organizacyjne: Dr med. A. Horvath 452 33 09

Pierwsze zajęcia Czwartek, 25 października godz. 14. 00 ul Pierwsze zajęcia Czwartek, 25 października godz. 14.00 ul. Działdowska 1

Dziękuję! hanna.szajewska@am.edu.pl

Jak sobie poradzić z zalewem informacji, czyli tradycyjny vs. systematyczny przegląd piśmiennictwa

Tradycyjny przegląd piśmiennictwa Metodyka wyszukiwania, selekcji i oceny danych ? Proces identyfikacji badań Ryzyko pominięcia ważnych danych Duże Ryzyko tendencyjności Wszystkim dobrze znane są tradycyjne, narracyjne przeglądy piśmiennictwa

Systematyczny przegląd piśmiennictwa Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny Kontrpropozycją jest systematyczny przegląd piśmiennictwa. Co to jest? Zgodnie z jedną z definicji jest to jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny.

Przegląd systematyczny  metaanaliza Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego Metaanaliza Ilościowa synteza wyników wszystkich wiarygodnych badań dotyczących tego samego pytania klinicznego za pomocą odpowiednich metod statystycznych

Przegląd systematyczny 5 etapów Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.

Etap 1 Zdefiniowanie pytania klinicznego Sprecyzowane kryteria włączenia i wyłączenia Populacja Interwencja Porównanie Punkt końcowy Metodyka (typ) badania, które odpowiada na zadane pytanie kliniczne Tak jak w każdym badaniu naukowym, a zgodziliśmy się, że SR jest badaniem naukowym, najważniejsze jest określenie celu badania. Najlepiej zrobić to poprzez zadanie pytania klinicznego, które sprecyzuje kryteria włączenia i wyłączenia. Najważniejsze elementy pytania to: populacja, interwencja, porównanie, punkt końcowy. Precyzyjny zadanie pytani klinicznego pozwoli na określenie jaka metodyka (typ) badania najlepiej odpowie na zadane pytania kliniczne.

Metodyka badania Pytanie Optymalny typ badania Leczenie Badanie z randomizacją Diagnostyka Badanie przekrojowe Etiologia, ryzyko Badanie kohortowe Rokowanie Wszystkie badania są dobre, ale niektóre są lepsze niż inne. Na pytanie dotyczące leczenia – badanie z randomizacją; diagnostyka – badanie przekrojowe; etiologia, ryzyko – badanie kliniczno-kontrolne lub kohortowe; rokowanie – badanie kohortowe.

Przykład Osborn DA, Sinn J. The Cochrane Library, Issue 3, 2004. Objective To determine whether use of hydrolysed formulas for infant feeding prevents allergy and food intolerance. If hydrolysed formulas are effective, to determine what type of hydrolysed formula is most effective including extensively and partially hydrolysed formulas. Selection Criteria Randomised and quasi-randomised trials that compare the use of a hydrolysed infant formula to human milk or cow's milk formula. Trials with >80% follow up of participants were eligible for inclusion.

Etap 2 Wyszukiwanie publikacji Opracowanie strategii wyszukiwania publikacji oraz wybór słów kluczowych Elektroniczne bazy danych (min. 2) Rejestr badań klinicznych Biblioteki Cochrane’a Piśmiennictwo do wyszukanych publikacji Kontakt z ekspertami Decyzja odnośnie ograniczeń Czas, dane nieopublikowane, język Podstawową różnicą między tradycyjnym a systematycznym przeglądem piśmiennictwa jest metodyka wyszukiwania danych. Dlatego niezwykle ważnym etapem opracowywania systematycznego przeglądu piśmiennictwa jest opracowanie strategii wyszukiwania danych oraz wybór słów kluczowych.

Jedna baza danych to za mało! MEDLINE Tylko 30-80% badań z randomizacją MEDLINE & EMBASE Tylko ok. 34% czasopism jest indeksowanych w obu bazach danych Zależy od dziedziny (10-75%) MEDLINE and EMBASE Index Medicus and Excerpta Medica are indexes of healthcare journals that are available in electronic form as MEDLINE and EMBASE, respectively.   One major limitation of subject indexes is that they are incomplete. Not all journals are covered by either index and articles from a portion of the included journals are included on a selective basis. The overlap in journals covered by MEDLINE and EMBASE is approximately 34%. The actual degree of reference overlap depends on the topic with reported overlap values in particular areas ranging from 10% to 75% .

Badania nieopublikowane Dowody związku pomiędzy znamiennym wynikiem a publikacją! Identyfikacja badań trudna Kontakt z badaczami, listy z zapytaniem itp. Identifying unpublished studies Whiles it is difficults to identify published studies, identifying ongoing and/or unpublished studies presents even more of a challenge. Some completed studies are never published. If it could be assumed that unpublished studies of a given intervention were comparable to published studies on the same intervention, the failure to identify unpublished results would not be an important threat to the validity of a systematic review. However, an association between significant results and publication has been documented across a number of studies. Finding out about unpublished studies, and including them in a systematic review, when eligible, may be an important to minimizing bias. Unfortunately, there is no easy way to obtain information about studies that have been completed but never published. Colleagues, formal letter of request for information can be used.

Przykład D’Souza AL. et al. BMJ 2002; 324: 361-4

Przykład Osborn DA, Sinn J. The Cochrane Library, Issue 3, 2004. Search Strategy The standard search strategy of the Cochrane Neonatal Review Group was used including searches of the Cochrane Controlled Trials Register (2003, Issue 1), MEDLINE (1966 - January 2003), EMBASE (1980 - January 2003) and CINAHL (1982 - January 2003) and previous reviews including cross references.

Etap 3 Wybór publikacji zgodnie z kryteriami kwalifikacji i wyłączenia Tytuły i streszczenia publikacji Pełna wersja publikacji Selekcja odpowiednich artykułów Ocena stopnia zgodności pomiędzy osobami dokonującymi wyboru prac Decisions regarding the inclusion or exclusion of individual studies often involve some degree of subjectivity. It is therefore useful to have two observers checking eligibility of candidate studies, with disagreements being resolved by discussion or a third reviewer.  

Etap 4 Ekstrakcja danych Ekstrakcja danych w ujednoliconej tabeli Wiarygodność metodologiczna – dwie osoby! Ocena stopnia zgodności pomiędzy osobami dokonującymi oceny wiarygodności badań Once studies have been selected, critically appraised and data extracted the characteristics of included studies should be presented in tabular form. Once all possible study reports have been identified, each study needs to be assessed for eligibility for inclusion, study quality and reported findings. Ideally, such assessment should involve two independent reviewers.  

Ocena wiarygodności Nie ma „złotego standardu” wiarygodności badania Najważniejsze Prawidłowość randomizacji, utajnienie Maskowanie (ślepa próba) Analiza wszystkich pacjentów poddanych randomizacji Analiza zgodnie z zaplanowanym leczeniem Assessment of study quality What are approaches to summarizing the validity of studies? 25 scales and 9 checklists [formularzy] have been identified that have been used to assess the validity and ‘quality’ of RCTs. These scales and checklists include anywhere from 3 to 57 items and take from 10 to 45 minutes to complete. Almost all of the items in the instruments are based on suggested or ‘generally accepted’ criteria that are mentioned in clinical trials textbooks. Many of the instruments are liable to confuse the quality of reporting with the validity of the design and conduct of a trial. Because there is no ‘gold standard’ for the ‘true’ validity of a trial, the possibility of validating any proposed scoring system is limited. None of the currently available scales for measuring the validity or ‘quality’ of trials can be recommended without reservation (descriptive assessment is preferred) The use of summary scores from quality scales is problematic. Results depend on the choice of the scale, and the interpretation of findings is difficult. It is therefore preferable to examine the influence of individual components of methodological quality. Based on empirical evidence and theoretical considerations, concealment of treatment allocation, blinding of outcome assessment, and completness of data in the analysis should generally be assessed.   Ideally, assessment of study quality should involve two independent reviewers.  

Etap 5 Analiza danych Decyzja odnośnie sumowania wyników Po co metaanaliza?  moc (siła statystyczna)  precyzja Kiedy przeprowadzenie metaanalizy jest uzasadnione? Badania jednorodne pod względem pytania klinicznego i metodyki Po co robimy metaanalizę? Aby zwiększyć moc badania (siłę statystyczną) prawdopodobieństwo otrzymania statystycznie istotnego wyniku, jeżeli on istnieje Aby zwiększyć precyzję (precyzja oznacza prawdopodobieństwo błędu losowego w wyniku badania czy metaanalizy). Miarą precyzji jest przedział ufności wokół oszacowania wielkości efektu. Oszacowanie wielkości efektu może być bardziej precyzyjne, jeżeli opiera się na większej liczbie danych

Interpretacja D’Souza AL. et al. BMJ 2002; 324: 361-4

Interpretacja LEFT RIGHT LESS EFFECT MORE EFFECT D’Souza AL. et al. BMJ 2002; 324: 361-4

Przegląd systematyczny 5 etapów Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.

Tradycyjny versus systematyczny przegląd piśmiennictwa Metodyka wyszukiwania, selekcji i oceny danych ? Ściśle zdefiniowana Proces identyfikacji badań Opisany, przejrzysty, sprawdzalny Ryzyko pominięcia ważnych danych Duże Minimalne Ryzyko tendencyjności

Źródło wiarygodnych przeglądów systematycznych Cochrane Library http://www.update-software.com

Alternatywy dla EBM

Alternatywy dla EBM Isaacs D, Fitzgerald D. BMJ 1999; 319: 1618 EBM – eminence based medicine EBM – eloquence based medicine VBM – vehemence based medicine PBM – providence based medicine DBM – diffidence based medicine NBM – nervousness based medicine CBM – confidence based medicine

EBM, czyli eminence based medicine Praktyka medyczna oparta na zasługach i własnym doświadczeniu im lekarz bardziej zasłużony i wyżej stojący w hierarchii, tym mniejszą wagę przypisuje czemuś tak banalnemu, jak dowody naukowe

EBM, czyli eloquence based medicine Praktyka medyczna oparta na elokwencji opalone przez cały rok ciało, goździk w butonierce, elegancja w ubiorze jako substytuy dowodów naukowych

Vehemence based medicine Praktyka medyczna oparta na głośności i porywczości wypowiedzi zastąpienie dowodów głośnym i porywczym wyrażaniem swych opinii

Providence based medicine Praktyka medyczna oparta na zrządzeniu opatrzności kiedy troskliwy doktor nie ma pojęcia co zrobić, decyzję chętnie składa w ręce Wszechmogącego

Nervousness based medicine Praktyka medyczna oparta na strachu strach przed pozwaniem do sądu silnie pobudza do wykonywania zbędnych badań diagnostycznych i stosowania niepotrzebnego leczenia

Confidence based medicine Praktyka medyczna oparta na niezachwianej pewności siebie dotyczy jedynie chirurgów!

Wybór należy do Państwa!

O czym mówiliśmy? Dlaczego EBM? Co to jest EBM? Badanie z randomizacją Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia Tradycyjny vs systematyczny przegląd piśmiennictwa Alternatywy dla EBM

Fakultety Jak czytać publikacje naukowe Fakultety Jak czytać publikacje naukowe? Podstawy EBM Centrum EBM przy Klinice Gastroenterologii i Żywienia Dzieci Sprawy organizacyjne: Dr med. A. Horvath 452 32 81

Zajęcia Trzeci czwartek miesiąca godz. 14.00 ul. Działdowska 1

Częstość występowania punktu końcowego w grupie eksperymentalnej Experimental event rate (EER) Częstość występowania punktu końcowego w grupie kontrolnej Control event rate (CER) CER EER

Relative risk (RR) = EER/CER Ryzyko względne Relative risk (RR) = EER/CER ARR CER EER

Bezwzględne zmniejszenie ryzyka Absolute risk reduction (ARR) CER EER

Co to jest? Evidence Based Medicine MEDLINE Cochrane Collaboration Badanie z randomizacją Przegląd piśmiennictwa Systematyczny przegląd piśmiennictwa Ryzyko względne 0.5 NNT 15 95% przedział ufności = 7-25 P<0.05

Dlaczego EBM? Zalew informacji 30 kg wytycznych praktyki klinicznej w ciągu roku 25 000 czasopism biomedycznych 8 000 publikacji naukowych dziennie!