Evidence Based Medicine

Prezentacja na temat: "Evidence Based Medicine"— Zapis prezentacji:

1 Evidence Based Medicine
Prof. Hanna SZAJEWSKA II Katedra Pediatrii AM w Warszawie

2 Kim jestem? Lekarzem pediatrą
Od ok. 14 lat zajmuję się badaniami klinicznymi Od ok. 8 lat zajmuję się EBM Szkolenia w Oxford Centre for EBM 2002 – How to practice EBM 2004 – Systematic reviews 2004 – Randomised controlled trials 2006 – Diagnostic tests 2007 – How to teach EBM Współpraca z Medycyną Praktyczną i PIEBM Pracownia EBM

3 O czym będziemy mówić? Cel zajęć
Dlaczego EBM? Co to jest EBM? Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia Tradycyjny vs systematyczny przegląd piśmiennictwa Alternatywy dla EBM

4 Dlaczego EBM? Podejmowanie decyzji
Lekarz Czy u chorej zastosować lek A czy B, aby uzyskać efekt Z? Czy u pacjentki zlecić badanie laboratoryjne A czy B w celu rozpoznania choroby Z? Menadżer Czy dla określonych chorych zakupić do apteki szpitalnej lek A czy B w celu uzyskania efektu Z Płatnik/system opieki zdrowotnej Które leki refundować chorym na chorobę X?

5 Dlaczego EBM? Zalew informacji

6 Dlaczego EBM? EBM pozwala na:
odróżnianie informacji bardziej od mniej wiarygodnych wyłowienie informacji przydatnych klinicznie, czyli istotnych dla pacjentów zrozumienie języka badań klinicznych i publikacji medycznych zrozumiałe i proste przekazanie informacji pacjentom uniezależnienie lekarzy

7 Dlaczego EBM? Część lekarzy nie potrafi krytycznie ocenić oryginalnej publikacji i zrozumieć wyników Efekt? Ograniczenie niezależności lekarzy Poleganie na opinii ekspertów, postępowaniu kolegów, informacjach dostarczanych przez przemysł farmaceutyczny

8 Evidence based medicine

9 Evidence based medicine
sytuacja kliniczna umiejętności i doświadczenie lekarza wartości i preferencje pacjenta dane z badań naukowych

10 Dwie fundamentalne zasady EBM
Zasada 1 Dane z badań naukowych nie wystarczają do podejmowania decyzji klinicznych Zasada 2 Hierarchizacja (wartościowanie) dowodów naukowych

11 Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania
Opis przypadków Badanie na zwierzętach Badanie in vitro Badanie kohortowe Opinia ekspertów Badanie z grupą kontrolną

12 Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania
Ś Ć R Y Z K O B Ł Ę D U Przegląd syst /metaanaliza Badanie z randomizacją (RCT) Badania obserwacyjne (kliniczno-kontrolne, kohortowe) Badania obserwacyjne (opis przypadku, seria przypadków) Badania doświadczalne

13 Badanie z randomizacją Randomised controlled trial RCT

14 Jak można wykorzystać wiedzę o badaniach z randomizacją?
Przy planowaniu własnego badania Do oceny badania przeprowadzonego przez innych

15 Pytanie 1 Badanie z randomizacją oznacza, że:
Do badania włącza się kolejnych, przypadkowych pacjentów, a lekarz na podstawie ich indywidualnej charakterystyki decyduje o włączeniu do grupy eksperymentalnej albo do grupy kontrolnej Uczestników badania przydziela się losowo do grupy eksperymentalnej i grupy kontrolnej Badacz nie wie, do której grupy należy pacjent

16 Pytanie 2 Celem randomizacji jest:
Uzyskanie grup eksperymentalnej i kontrolnej o zbliżonej liczebności Uzyskanie grup podobnych pod względem znanych i nieznanych czynników rokowniczych Uniknięcie różnego traktowania grup w czasie badania

17 Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Randomizacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe

18 Czy istotne jest jak zostało zaplanowane i przeprowadzone badanie z randomizacją?

19 Błąd systematyczny Bias (systematic error)
Błąd systematyczny, czyli nielosowy to błąd w ocenie uzyskanych wyników, którego źródłem mogą być nieprawidłowości w planowaniu badania, jego przeprowadzeniu lub błędy powstałe przy analizowaniu danych.

20 Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe

21 Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe

22 Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe

23 Błąd systematyczny związany z kwalifikacją badanych Selection bias
Jak uniknąć? Prawidłowa randomizacja Utajnienie randomizacji (alokacji)

24 Czy randomizacja była przeprowadzona prawidłowo?
Rzut monetą Rzut kostką Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Numer historii choroby Data urodzenia Dni parzyste / nieparzyste Dzień / noc Oddział Juni, Altman, Egger 2001

25 Czy randomizacja była przeprowadzona prawidłowo?
Rzut monetą Tak Rzut kostką Tabela liczb losowych Lista kodów randomizacyjnych generowana komputerowo Numer historii choroby Nie Data urodzenia Dni parzyste / nieparzyste Dzień / noc Oddział Juni, Altman, Egger 2001

26 Utajnienie randomizacji Allocation concealment
Procedury stosowane w celu uniknięcia świadomego lub nieświadomego wpływu na alokację uczestników do grup Procedury zapewniające, że wiedza badacza o rodzaju następnej interwencji nie wpłynie na sposób podejmowania przez niego decyzji o wprowadzeniu pacjenta do badania Zawsze jest możliwe!

27 Utajnienie randomizacji
Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć. Procedury wynikające z pseudorandomizacji Otwarta alokacja Otwarte, przezroczyste koperty Juni, Altman, Egger 2001

28 Utajnienie randomizacji
Ponumerowane pojemniki wcześniej przygotowane przez niezależną aptekę Tak Centralna randomizacja Informacja w kodowanych, nieprzezroczystych kopertach, których badacz nie może otworzyć Procedury wynikające z pseudorandomizacji Nie Otwarta alokacja Otwarte, przezroczyste koperty Juni, Altman, Egger 2001

29 Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Punkty końcowe Punkty końcowe

30 Błąd systematyczny związany ze znajomością interwencji Performance bias
Jak uniknąć? Maskowanie (ślepa próba)

31 Maskowanie Blinding, masking
Procedury zapobiegające identyfikacji rodzaju interwencji (leczenia), której została poddana osoba otrzymująca interwencję (pacjent) przez wszystkich uczestników badania eksperymentalnego na wszystkich jego etapach Maskowanie nie zawsze jest możliwe!

32 Maskowanie – kto może być zaślepiony?
Pacjent Randomizujący Lekarz leczący pacjentów Oceniający punkty końcowe Autor analizy Autor artykułu Badanie Metodą otwartą Pojedynczo ślepej próby Podwójnie ślepej próby Potrójnie ślepej próby Poczwórnie ślepej próby

33 Metodologia RCT Schulz i wsp. JAMA, 1995; 273: 408
Przegląd 250 badań z randomizacją Badania z prawidłowym utajnieniem randomizacji Efekt interwencji o 30-40% mniejszy niż badania bez niego lub z nieprawidłowym utajnieniem! Badania z podwójną ślepą próbą Mniejszy efekt leczenia o ok. 4-29% niż badania bez metody podwójnie ślepej próby

34 Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Punkty końcowe Punkty końcowe

35 Błąd systematyczny związany z dyskwalifikacją (wykluczeniem) Attrition (exclusion) bias
Jak uniknąć? Analizą objęto wszystkich pacjentów poddanych randomizacji (completeness of follow up) Analiza wykonana zgodnie z zaplanowanym leczeniem (intention to treat analysis)

36 Analiza w badaniu z randomizacją
Leczenie A 100 pacjentów 15 nie toleruje A 85 otrzymuje A Analiza zgodnie z zaplanowanym leczeniem Analiza zgodnie z protokołem R Kontrola B 100 pacjentów Dzięki uprzejmości J Mrukowicza

37 Czy wszyscy pacjenci, którzy rozpoczęli badanie, zostali zanalizowani w swojej pierwotnej grupie?
Analiza wyników W grupach wyodrębnionych zgodnie z zaplanowanym leczeniem (Intention to treat, ITT) W grupach wyodrębnionych zgodnie z protokołem (Analysis per protocol)

38 Analiza zgodnie z zaplanowanym leczeniem
Analiza wystąpienia punktów końcowych w grupach, do których badane osoby zostały wyjściowo przydzielone przez randomizację, niezależnie od tego czy ostatecznie zostały poddane zaplanowanej interwencji, czy nie Pozwala zachować istotę randomizacji!

39 Analiza zgodnie z protokołem
Grupy tworzą tylko osoby, które faktycznie zostały poddane i niepoddane badanej interwencji Nie ma pewności co do wyjściowego podobieństwa porównywanych grup Wiarygodność wyników jest podważalna!

40 Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Gr. eksperymentalna Gr. kontrolna Otrzymuje badaną interwencję Nie otrzymuje interwencji Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe

41 Błąd systematyczny związany z oceną punktów końcowych Detection bias
Jak uniknąć? Maskowanie (ślepa próba) oceniający punkty końcowe autor analizy autor artykułu

42 Otrzymuje badaną interwencję Nie otrzymuje interwencji
Badana populacja Alokacja Błąd związany z kwalifikacją Gr. eksperymentalna Gr. kontrolna Błąd związany ze znajomośca interw. Otrzymuje badaną interwencję Nie otrzymuje interwencji Błąd związany z dyskwalifikacją Obserwacja Obserwacja Błąd związany z oceną punkt. końc. Punkty końcowe Punkty końcowe

43 Pytanie 3: Badanie z randomizacją oznacza, że:
Badacz nie wie, do której grupy należy pacjent Badany jest związek pomiędzy występowaniem określonej choroby a ekspozycją na dany czynnik w określonej populacji i jednym punkcie czasowym Wszystkie osoby są poddane zarówno interwencji eksperymentalnej, jak i kontrolnej, a kolejność interwencji u każdej osoby może być losowa lub nie. Uczestników badania przydziela się losowo do grupy eksperymentalnej i grupy kontrolnej

44 Jak czytać publikacje naukowe dotyczące leczenia?

45 Podstawowe kryteria oceny badania
Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?

46 Podstawowe kryteria oceny badania
Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?

47 Czy wyniki badania są wiarygodne?
Czy sposób leczenia był zdeterminowany przez proces randomizacji? Czy randomizacja była przeprowadzona prawidłowa? Czy było utajnienie randomizacji? Czy wszyscy pacjenci, którzy rozpoczęli badanie, zostali opisani po jego zakończeniu? Czy wszyscy pacjenci zostali zanalizowani w swojej pierwotnej grupie?

48 Podstawowe kryteria oceny każdego badania
Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?

49 Jakie są wyniki badania?
Oszacowanie wielkości efektów jakich można się spodziewać po zastosowaniu określonej interwencji Istotność statystyczna Trudna do interpretacji, wnosi niewiele informacji Istotność kliniczna Ryzyko względne Względne zmniejszenie ryzyka Bezwzględne zmniejszenie ryzyka Number needed to treat Przedział ufności

50 N Engl J Med 2004; 351:

51 Ablacja RF w bezobjawowym z. WPW N Engl J Med. 2004; 351: 1197-205
Pytanie kliniczne Jaka jest skuteczność profilaktycznej ablacji o częstotliwości radiowej (RF) w zapobieganiu zaburzeniom rytmu u dzieci z bezobjawowym zespołem Wolff-Parkinson-White? Metodyka badanie z randomizacją Badani N=47, w tym grupa badana n=20; grupa kontrolna n=27 Punkt końcowy Zaburzenia rytmu

52 Ablacja RF w bezobjawowym z. WPW N Engl J Med. 2004; 351: 1197-205
Bez leczenia RR RRR ARR NNT 1/20 (5%) 12/27 (44%) 0.11 (11%) 0.89 (89%) 39% 3 P<0.05

53 Ablacja RF w bezobjawowym z. WPW N Engl J Med. 2004; 351: 1197-205
Bez leczenia RR (95% CI) RRR ARR NNT 1/20 (5%) 12/27 (44%) 11% (2-16%) 89% (42-98%) 39% (15-59) 3 (2-7) P<0.05

54 Słownik EBM RR relative risk; ryzyko względne
określa część ryzyka, która „pozostała” po interwencji RRR relative risk reduction; względne zmniejszenie ryzyka część ryzyka „usunięta” w wyniku leczenia

55 Słownik EBM ARR absolute risk reduction, bezwzględne zmniejszenie ryzyka Określa bezwzględną wielkość „usuniętego” ryzyka

56 Słownik EBM NNT number needed to treat
Liczba pacjentów, których należy poddać leczeniu, aby zapobiec jednemu niekorzystnemu punktowi końcowemu

57 Słownik EBM CI confidence interval; przedział ufności
określa stopień precyzji danego oznaczenia zwykle 95% CI

58 Podstawowe kryteria oceny każdego badania
Czy wyniki badania są wiarygodne? Jakie są wyniki badania? Czy wyniki badania będą pomocne w mojej praktyce klinicznej?

59 Czy wyniki badania będą pomocne w mojej praktyce klinicznej?
Czy pacjenci w badaniu są podobni do mojego pacjenta? Czy rozważono wszystkie znaczące klinicznie skutki leczenia? Czy spodziewane korzyści leczenia przewyższają potencjalne skutki niepożądane?

60 Kryteria wiarygodności
Czy wyniki badania są wiarygodne? Czy była randomizacja? Prawidłowa? Utajniona? Czy wszyscy pacjenci, którzy rozpoczęli badanie, zostali opisani po jego zakończeniu? Czy wszyscy pacjenci zostali zanalizowani w swojej pierwotnej grupie? Jakie są wyniki badania? RR, RRR, ARR, NNT, 95% CI Czy wyniki badania będą pomocne w mojej praktyce klinicznej? Czy pacjenci w badaniu są podobni do mojego pacjenta? Czy rozważono wszystkie znaczące klinicznie skutki leczenia? Czy spodziewane korzyści leczenia przewyższają potencjalne skutki niepożądane?

61 O czym mówiliśmy? Dlaczego EBM? Co to jest EBM? Badanie z randomizacją
Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia

62 Hierarchia badań naukowych Ocena skuteczności leczenia/zapobiegania
Ś Ć R Y Z K O B Ł Ę D U Przegląd syst /metaanaliza Badanie z randomizacją (RCT) Badania obserwacyjne (kliniczno-kontrolne, kohortowe) Badania obserwacyjne (opis przypadku, seria przypadków) Badania doświadczalne

63 Tradycyjny przegląd piśmiennictwa
Metodyka wyszukiwania, selekcji i oceny danych ? Proces identyfikacji badań Ryzyko pominięcia ważnych danych Duże Ryzyko tendencyjności Wszystkim dobrze znane są tradycyjne, narracyjne przeglądy piśmiennictwa

64 Systematyczny przegląd piśmiennictwa
Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny Kontrpropozycją jest systematyczny przegląd piśmiennictwa. Co to jest? Zgodnie z jedną z definicji jest to jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny.

65 Przegląd systematyczny  metaanaliza
Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego Metaanaliza Ilościowa synteza wyników wszystkich wiarygodnych badań dotyczących tego samego pytania klinicznego za pomocą odpowiednich metod statystycznych

66 Przegląd systematyczny
RCT N0 4 RCT N0 3 RCT N0 1 RCT N0 2 RCT N0 5 RCT N0 6 Opis

67 Metaanaliza Metody statystyczne RCT N0 3 RCT N0 1 RCT N0 2 RCT N0 5
Podsumowany wynik 6 badań z randomizacją

68 Przegląd systematyczny 5 etapów
Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.

69 Etap 1 Zdefiniowanie pytania klinicznego
Sprecyzowane kryteria włączenia i wyłączenia Populacja Interwencja Porównanie Punkt końcowy Metodyka (typ) badania, które odpowiada na zadane pytanie kliniczne Tak jak w każdym badaniu naukowym, a zgodziliśmy się, że SR jest badaniem naukowym, najważniejsze jest określenie celu badania. Najlepiej zrobić to poprzez zadanie pytania klinicznego, które sprecyzuje kryteria włączenia i wyłączenia. Najważniejsze elementy pytania to: populacja, interwencja, porównanie, punkt końcowy. Precyzyjny zadanie pytani klinicznego pozwoli na określenie jaka metodyka (typ) badania najlepiej odpowie na zadane pytania kliniczne.

70 Metodyka badania Pytanie Optymalny typ badania Leczenie
Badanie z randomizacją Diagnostyka Badanie przekrojowe Etiologia, ryzyko Badanie kohortowe Rokowanie Wszystkie badania są dobre, ale niektóre są lepsze niż inne. Na pytanie dotyczące leczenia – badanie z randomizacją; diagnostyka – badanie przekrojowe; etiologia, ryzyko – badanie kliniczno-kontrolne lub kohortowe; rokowanie – badanie kohortowe.

71 Etap 2 Wyszukiwanie publikacji
Opracowanie strategii wyszukiwania publikacji oraz wybór słów kluczowych Elektroniczne bazy danych (min. 2) Rejestr badań klinicznych Biblioteki Cochrane’a Piśmiennictwo do wyszukanych publikacji Kontakt z ekspertami Decyzja odnośnie ograniczeń Czas, dane nieopublikowane, język Podstawową różnicą między tradycyjnym a systematycznym przeglądem piśmiennictwa jest metodyka wyszukiwania danych. Dlatego niezwykle ważnym etapem opracowywania systematycznego przeglądu piśmiennictwa jest opracowanie strategii wyszukiwania danych oraz wybór słów kluczowych.

72 Jedna baza danych to za mało!
MEDLINE Tylko 30-80% badań z randomizacją MEDLINE & EMBASE Tylko ok. 34% czasopism jest indeksowanych w obu bazach danych Zależy od dziedziny (10-75%) MEDLINE and EMBASE Index Medicus and Excerpta Medica are indexes of healthcare journals that are available in electronic form as MEDLINE and EMBASE, respectively. One major limitation of subject indexes is that they are incomplete. Not all journals are covered by either index and articles from a portion of the included journals are included on a selective basis. The overlap in journals covered by MEDLINE and EMBASE is approximately 34%. The actual degree of reference overlap depends on the topic with reported overlap values in particular areas ranging from 10% to 75% .

73 Badania nieopublikowane
Dowody związku pomiędzy znamiennym wynikiem a publikacją! Identyfikacja badań trudna Kontakt z badaczami, listy z zapytaniem itp. Identifying unpublished studies Whiles it is difficults to identify published studies, identifying ongoing and/or unpublished studies presents even more of a challenge. Some completed studies are never published. If it could be assumed that unpublished studies of a given intervention were comparable to published studies on the same intervention, the failure to identify unpublished results would not be an important threat to the validity of a systematic review. However, an association between significant results and publication has been documented across a number of studies. Finding out about unpublished studies, and including them in a systematic review, when eligible, may be an important to minimizing bias. Unfortunately, there is no easy way to obtain information about studies that have been completed but never published. Colleagues, formal letter of request for information can be used.

74 Przykład D’Souza AL. et al. BMJ 2002; 324: 361-4

75 Przykład Dretzke J. et al. The Cochrane Library, Issue 3, 2004.
Search Strategy The Cochrane Controlled Trials Register (The Cochrane Library Issue 3, 2002), MEDLINE (1966 to 2002), EMBASE (1980 to 2002) and the Science Citation Index (1980 to 2002) were searched on 19th August Citation lists and web sites were checked and researchers in the field contacted.

76 Etap 3 Wybór publikacji zgodnie z kryteriami kwalifikacji i wyłączenia
Tytuły i streszczenia publikacji Pełna wersja publikacji Selekcja odpowiednich artykułów Ocena stopnia zgodności pomiędzy osobami dokonującymi wyboru prac Decisions regarding the inclusion or exclusion of individual studies often involve some degree of subjectivity. It is therefore useful to have two observers checking eligibility of candidate studies, with disagreements being resolved by discussion or a third reviewer.

77 Etap 4 Ekstrakcja danych
Ekstrakcja danych w ujednoliconej tabeli Wiarygodność metodologiczna – dwie osoby! Ocena stopnia zgodności pomiędzy osobami dokonującymi oceny wiarygodności badań Once studies have been selected, critically appraised and data extracted the characteristics of included studies should be presented in tabular form. Once all possible study reports have been identified, each study needs to be assessed for eligibility for inclusion, study quality and reported findings. Ideally, such assessment should involve two independent reviewers.

78 Ocena wiarygodności Nie ma „złotego standardu” wiarygodności badania
Najważniejsze Utajenie alokacji Maskowanie (ślepa próba) Analiza wszystkich pacjentów poddanych randomizacji Assessment of study quality What are approaches to summarizing the validity of studies? 25 scales and 9 checklists [formularzy] have been identified that have been used to assess the validity and ‘quality’ of RCTs. These scales and checklists include anywhere from 3 to 57 items and take from 10 to 45 minutes to complete. Almost all of the items in the instruments are based on suggested or ‘generally accepted’ criteria that are mentioned in clinical trials textbooks. Many of the instruments are liable to confuse the quality of reporting with the validity of the design and conduct of a trial. Because there is no ‘gold standard’ for the ‘true’ validity of a trial, the possibility of validating any proposed scoring system is limited. None of the currently available scales for measuring the validity or ‘quality’ of trials can be recommended without reservation (descriptive assessment is preferred) The use of summary scores from quality scales is problematic. Results depend on the choice of the scale, and the interpretation of findings is difficult. It is therefore preferable to examine the influence of individual components of methodological quality. Based on empirical evidence and theoretical considerations, concealment of treatment allocation, blinding of outcome assessment, and completness of data in the analysis should generally be assessed. Ideally, assessment of study quality should involve two independent reviewers.  

79 Etap 5 Analiza danych Decyzja odnośnie sumowania wyników
Po co metaanaliza?  moc (siła statystyczna)  precyzja Kiedy przeprowadzenie metaanalizy jest uzasadnione? Badania jednorodne pod względem pytania klinicznego i metodyki Po co robimy metaanalizę? Aby zwiększyć moc badania (siłę statystyczną) prawdopodobieństwo otrzymania statystycznie istotnego wyniku, jeżeli on istnieje Aby zwiększyć precyzję (precyzja oznacza prawdopodobieństwo błędu losowego w wyniku badania czy metaanalizy). Miarą precyzji jest przedział ufności wokół oszacowania wielkości efektu. Oszacowanie wielkości efektu może być bardziej precyzyjne, jeżeli opiera się na większej liczbie danych

80 Interpretacja D’Souza AL. et al. BMJ 2002; 324: 361-4

81 Interpretacja LEFT RIGHT LESS EFFECT MORE EFFECT
D’Souza AL. et al. BMJ 2002; 324: 361-4

82 Przegląd systematyczny 5 etapów
Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.

83 Tradycyjny versus systematyczny przegląd piśmiennictwa
Metodyka wyszukiwania, selekcji i oceny danych ? Ściśle zdefiniowana Proces identyfikacji badań Opisany, przejrzysty, sprawdzalny Ryzyko pominięcia ważnych danych Duże Minimalne Ryzyko tendencyjności

84 Źródło wiarygodnych przeglądów systematycznych
Cochrane Library

85 Pytanie 4 Celem randomizacji jest uzyskanie grup podobnych pod względem znanych i nieznanych czynników rokowniczych Tak Nie

86 Pytanie 5 Analiza ITT (intention to treat) oznacza, że uzyskane wyniki analizowano w grupach wyodrębnionych na podstawie faktycznie przyjmowanej dawki leku w trakcie badania (tzn. jeśli osoba włączona do badania została wyjściowo przydzielona do leczenia większą dawką, a faktycznie przyjmowała dawkę mniejszą, to została przeniesiona do grupy leczonej mniejszą dawką - i odwrotnie) Tak Nie

87 Pytanie 6 NNT równe 100 w okresie 2 lat oznacza, że stosowanie danego leku u 100 chorych przez 2 lata zapobiega wystąpieniu jednego niekorzystnego punktu końcowego Tak Nie

88 Pytanie 7 Próba otwarta oznacza badanie, w którym pacjenci i badacze znają przynależność do grupy eksperymentalnej albo kontrolnej Tak Nie

89 Pytanie 8 Metaanaliza badań jest uzasadniona jeżeli dotyczą tego samego pytania klinicznego (podobne: populacja, interwencja i punkty końcowe) Tak Nie

90 Alternatywy dla EBM

91 Alternatywy dla EBM Isaacs D, Fitzgerald D. BMJ 1999; 319: 1618
EBM – eminence based medicine EBM – eloquence based medicine VBM – vehemence based medicine PBM – providence based medicine DBM – diffidence based medicine NBM – nervousness based medicine CBM – confidence based medicine

92 EBM, czyli eminence based medicine
Praktyka medyczna oparta na zasługach i własnym doświadczeniu im lekarz bardziej zasłużony i wyżej stojący w hierarchii, tym mniejszą wagę przypisuje czemuś tak banalnemu, jak dowody naukowe

93 EBM, czyli eloquence based medicine
Praktyka medyczna oparta na elokwencji opalone przez cały rok ciało, goździk w butonierce, elegancja w ubiorze jako substytuy dowodów naukowych

94 Vehemence based medicine
Praktyka medyczna oparta na głośności i porywczości wypowiedzi zastąpienie dowodów głośnym i porywczym wyrażaniem swych opinii

95 Providence based medicine
Praktyka medyczna oparta na zrządzeniu opatrzności kiedy troskliwy doktor nie ma pojęcia co zrobić, decyzję chętnie składa w ręce Wszechmogącego

96 Nervousness based medicine
Praktyka medyczna oparta na strachu strach przed pozwaniem do sądu silnie pobudza do wykonywania zbędnych badań diagnostycznych i stosowania niepotrzebnego leczenia

97 Confidence based medicine
Praktyka medyczna oparta na niezachwianej pewności siebie dotyczy jedynie chirurgów!

98 Wybór należy do Państwa!

99 O czym mówiliśmy? Dlaczego EBM? Co to jest EBM?
Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia Tradycyjny vs systematyczny przegląd piśmiennictwa Alternatywy dla EBM

100 Fakultety Jak czytać publikacje naukowe
Fakultety Jak czytać publikacje naukowe? Podstawy EBM Centrum EBM przy II Katedrze Pediatrii Sprawy organizacyjne: Dr med. A. Horvath

101 Pierwsze zajęcia Czwartek, 25 października godz. 14. 00 ul
Pierwsze zajęcia Czwartek, 25 października godz ul. Działdowska 1

102 Dziękuję! hanna.szajewska@am.edu.pl

103 Jak sobie poradzić z zalewem informacji,
czyli tradycyjny vs. systematyczny przegląd piśmiennictwa

104 Tradycyjny przegląd piśmiennictwa
Metodyka wyszukiwania, selekcji i oceny danych ? Proces identyfikacji badań Ryzyko pominięcia ważnych danych Duże Ryzyko tendencyjności Wszystkim dobrze znane są tradycyjne, narracyjne przeglądy piśmiennictwa

105 Systematyczny przegląd piśmiennictwa
Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny Kontrpropozycją jest systematyczny przegląd piśmiennictwa. Co to jest? Zgodnie z jedną z definicji jest to jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego z użyciem odpowiednich metod zmniejszających błąd systematyczny.

106 Przegląd systematyczny  metaanaliza
Jakościowy przegląd wszystkich badań dotyczących tego samego pytania klinicznego Metaanaliza Ilościowa synteza wyników wszystkich wiarygodnych badań dotyczących tego samego pytania klinicznego za pomocą odpowiednich metod statystycznych

107 Przegląd systematyczny 5 etapów
Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.

108 Etap 1 Zdefiniowanie pytania klinicznego
Sprecyzowane kryteria włączenia i wyłączenia Populacja Interwencja Porównanie Punkt końcowy Metodyka (typ) badania, które odpowiada na zadane pytanie kliniczne Tak jak w każdym badaniu naukowym, a zgodziliśmy się, że SR jest badaniem naukowym, najważniejsze jest określenie celu badania. Najlepiej zrobić to poprzez zadanie pytania klinicznego, które sprecyzuje kryteria włączenia i wyłączenia. Najważniejsze elementy pytania to: populacja, interwencja, porównanie, punkt końcowy. Precyzyjny zadanie pytani klinicznego pozwoli na określenie jaka metodyka (typ) badania najlepiej odpowie na zadane pytania kliniczne.

109 Metodyka badania Pytanie Optymalny typ badania Leczenie
Badanie z randomizacją Diagnostyka Badanie przekrojowe Etiologia, ryzyko Badanie kohortowe Rokowanie Wszystkie badania są dobre, ale niektóre są lepsze niż inne. Na pytanie dotyczące leczenia – badanie z randomizacją; diagnostyka – badanie przekrojowe; etiologia, ryzyko – badanie kliniczno-kontrolne lub kohortowe; rokowanie – badanie kohortowe.

110 Przykład Osborn DA, Sinn J. The Cochrane Library, Issue 3, 2004.
Objective To determine whether use of hydrolysed formulas for infant feeding prevents allergy and food intolerance. If hydrolysed formulas are effective, to determine what type of hydrolysed formula is most effective including extensively and partially hydrolysed formulas. Selection Criteria Randomised and quasi-randomised trials that compare the use of a hydrolysed infant formula to human milk or cow's milk formula. Trials with >80% follow up of participants were eligible for inclusion.

111 Etap 2 Wyszukiwanie publikacji
Opracowanie strategii wyszukiwania publikacji oraz wybór słów kluczowych Elektroniczne bazy danych (min. 2) Rejestr badań klinicznych Biblioteki Cochrane’a Piśmiennictwo do wyszukanych publikacji Kontakt z ekspertami Decyzja odnośnie ograniczeń Czas, dane nieopublikowane, język Podstawową różnicą między tradycyjnym a systematycznym przeglądem piśmiennictwa jest metodyka wyszukiwania danych. Dlatego niezwykle ważnym etapem opracowywania systematycznego przeglądu piśmiennictwa jest opracowanie strategii wyszukiwania danych oraz wybór słów kluczowych.

112 Jedna baza danych to za mało!
MEDLINE Tylko 30-80% badań z randomizacją MEDLINE & EMBASE Tylko ok. 34% czasopism jest indeksowanych w obu bazach danych Zależy od dziedziny (10-75%) MEDLINE and EMBASE Index Medicus and Excerpta Medica are indexes of healthcare journals that are available in electronic form as MEDLINE and EMBASE, respectively. One major limitation of subject indexes is that they are incomplete. Not all journals are covered by either index and articles from a portion of the included journals are included on a selective basis. The overlap in journals covered by MEDLINE and EMBASE is approximately 34%. The actual degree of reference overlap depends on the topic with reported overlap values in particular areas ranging from 10% to 75% .

113 Badania nieopublikowane
Dowody związku pomiędzy znamiennym wynikiem a publikacją! Identyfikacja badań trudna Kontakt z badaczami, listy z zapytaniem itp. Identifying unpublished studies Whiles it is difficults to identify published studies, identifying ongoing and/or unpublished studies presents even more of a challenge. Some completed studies are never published. If it could be assumed that unpublished studies of a given intervention were comparable to published studies on the same intervention, the failure to identify unpublished results would not be an important threat to the validity of a systematic review. However, an association between significant results and publication has been documented across a number of studies. Finding out about unpublished studies, and including them in a systematic review, when eligible, may be an important to minimizing bias. Unfortunately, there is no easy way to obtain information about studies that have been completed but never published. Colleagues, formal letter of request for information can be used.

114 Przykład D’Souza AL. et al. BMJ 2002; 324: 361-4

115 Przykład Osborn DA, Sinn J. The Cochrane Library, Issue 3, 2004.
Search Strategy The standard search strategy of the Cochrane Neonatal Review Group was used including searches of the Cochrane Controlled Trials Register (2003, Issue 1), MEDLINE ( January 2003), EMBASE ( January 2003) and CINAHL ( January 2003) and previous reviews including cross references.

116 Etap 3 Wybór publikacji zgodnie z kryteriami kwalifikacji i wyłączenia
Tytuły i streszczenia publikacji Pełna wersja publikacji Selekcja odpowiednich artykułów Ocena stopnia zgodności pomiędzy osobami dokonującymi wyboru prac Decisions regarding the inclusion or exclusion of individual studies often involve some degree of subjectivity. It is therefore useful to have two observers checking eligibility of candidate studies, with disagreements being resolved by discussion or a third reviewer.

117 Etap 4 Ekstrakcja danych
Ekstrakcja danych w ujednoliconej tabeli Wiarygodność metodologiczna – dwie osoby! Ocena stopnia zgodności pomiędzy osobami dokonującymi oceny wiarygodności badań Once studies have been selected, critically appraised and data extracted the characteristics of included studies should be presented in tabular form. Once all possible study reports have been identified, each study needs to be assessed for eligibility for inclusion, study quality and reported findings. Ideally, such assessment should involve two independent reviewers.

118 Ocena wiarygodności Nie ma „złotego standardu” wiarygodności badania
Najważniejsze Prawidłowość randomizacji, utajnienie Maskowanie (ślepa próba) Analiza wszystkich pacjentów poddanych randomizacji Analiza zgodnie z zaplanowanym leczeniem Assessment of study quality What are approaches to summarizing the validity of studies? 25 scales and 9 checklists [formularzy] have been identified that have been used to assess the validity and ‘quality’ of RCTs. These scales and checklists include anywhere from 3 to 57 items and take from 10 to 45 minutes to complete. Almost all of the items in the instruments are based on suggested or ‘generally accepted’ criteria that are mentioned in clinical trials textbooks. Many of the instruments are liable to confuse the quality of reporting with the validity of the design and conduct of a trial. Because there is no ‘gold standard’ for the ‘true’ validity of a trial, the possibility of validating any proposed scoring system is limited. None of the currently available scales for measuring the validity or ‘quality’ of trials can be recommended without reservation (descriptive assessment is preferred) The use of summary scores from quality scales is problematic. Results depend on the choice of the scale, and the interpretation of findings is difficult. It is therefore preferable to examine the influence of individual components of methodological quality. Based on empirical evidence and theoretical considerations, concealment of treatment allocation, blinding of outcome assessment, and completness of data in the analysis should generally be assessed. Ideally, assessment of study quality should involve two independent reviewers.  

119 Etap 5 Analiza danych Decyzja odnośnie sumowania wyników
Po co metaanaliza?  moc (siła statystyczna)  precyzja Kiedy przeprowadzenie metaanalizy jest uzasadnione? Badania jednorodne pod względem pytania klinicznego i metodyki Po co robimy metaanalizę? Aby zwiększyć moc badania (siłę statystyczną) prawdopodobieństwo otrzymania statystycznie istotnego wyniku, jeżeli on istnieje Aby zwiększyć precyzję (precyzja oznacza prawdopodobieństwo błędu losowego w wyniku badania czy metaanalizy). Miarą precyzji jest przedział ufności wokół oszacowania wielkości efektu. Oszacowanie wielkości efektu może być bardziej precyzyjne, jeżeli opiera się na większej liczbie danych

120 Interpretacja D’Souza AL. et al. BMJ 2002; 324: 361-4

121 Interpretacja LEFT RIGHT LESS EFFECT MORE EFFECT
D’Souza AL. et al. BMJ 2002; 324: 361-4

122 Przegląd systematyczny 5 etapów
Zdefiniowanie pytania klinicznego Wyszukiwanie publikacji Wybór publikacji do dalszej analizy zgodnie z kryteriami włączenia i wykluczenia Ekstrakcja danych Analiza danych Wypracowane zostały formalne zasady wykonywania systematycznego przeglądu piśmiennictwa. Ich znajomość jest ważna zarówno przy samodzielnym opracowywaniu systematycznego przeglądu piśmiennictwa, jak i ułatwia ocenę przeglądów piśmiennictwa opracowanych przez innych. Głównie będę mówiła o przeglądach systematycznych badań dotyczących leczenia lub zapobiegania, chociaż należy podkreślić, że ogólne zasady są takie same dla każdego rodzaju SR. W skrócie praca nad systematycznym obejmuje kilka etapów: (1) zdefiniowanie pytanie klinicznego; (2) wyszukiwanie publikacji; 3) wybór publikacji dl dalszej analizy zgodnie z przyjętymi wcześniej kryteriami włączenia i wykluczenia (czyli punktem 1); (4) ekstrakcja danych w ujednoliconej tabeli; (5) analiza danych.

123 Tradycyjny versus systematyczny przegląd piśmiennictwa
Metodyka wyszukiwania, selekcji i oceny danych ? Ściśle zdefiniowana Proces identyfikacji badań Opisany, przejrzysty, sprawdzalny Ryzyko pominięcia ważnych danych Duże Minimalne Ryzyko tendencyjności

124 Źródło wiarygodnych przeglądów systematycznych
Cochrane Library

125 Alternatywy dla EBM

126 Alternatywy dla EBM Isaacs D, Fitzgerald D. BMJ 1999; 319: 1618
EBM – eminence based medicine EBM – eloquence based medicine VBM – vehemence based medicine PBM – providence based medicine DBM – diffidence based medicine NBM – nervousness based medicine CBM – confidence based medicine

127 EBM, czyli eminence based medicine
Praktyka medyczna oparta na zasługach i własnym doświadczeniu im lekarz bardziej zasłużony i wyżej stojący w hierarchii, tym mniejszą wagę przypisuje czemuś tak banalnemu, jak dowody naukowe

128 EBM, czyli eloquence based medicine
Praktyka medyczna oparta na elokwencji opalone przez cały rok ciało, goździk w butonierce, elegancja w ubiorze jako substytuy dowodów naukowych

129 Vehemence based medicine
Praktyka medyczna oparta na głośności i porywczości wypowiedzi zastąpienie dowodów głośnym i porywczym wyrażaniem swych opinii

130 Providence based medicine
Praktyka medyczna oparta na zrządzeniu opatrzności kiedy troskliwy doktor nie ma pojęcia co zrobić, decyzję chętnie składa w ręce Wszechmogącego

131 Nervousness based medicine
Praktyka medyczna oparta na strachu strach przed pozwaniem do sądu silnie pobudza do wykonywania zbędnych badań diagnostycznych i stosowania niepotrzebnego leczenia

132 Confidence based medicine
Praktyka medyczna oparta na niezachwianej pewności siebie dotyczy jedynie chirurgów!

133 Wybór należy do Państwa!

134 O czym mówiliśmy? Dlaczego EBM? Co to jest EBM? Badanie z randomizacją
Czy wszystkie publikacje naukowe są wiarygodne? Kryteria oceny publikacji dotyczącej leczenia Tradycyjny vs systematyczny przegląd piśmiennictwa Alternatywy dla EBM

135 Fakultety Jak czytać publikacje naukowe
Fakultety Jak czytać publikacje naukowe? Podstawy EBM Centrum EBM przy Klinice Gastroenterologii i Żywienia Dzieci Sprawy organizacyjne: Dr med. A. Horvath

136 Zajęcia Trzeci czwartek miesiąca godz. 14.00 ul. Działdowska 1

137 Częstość występowania punktu końcowego w grupie eksperymentalnej
Experimental event rate (EER) Częstość występowania punktu końcowego w grupie kontrolnej Control event rate (CER) CER EER

138 Relative risk (RR) = EER/CER
Ryzyko względne Relative risk (RR) = EER/CER ARR CER EER

139 Bezwzględne zmniejszenie ryzyka Absolute risk reduction (ARR)
CER EER

140 Co to jest? Evidence Based Medicine MEDLINE Cochrane Collaboration
Badanie z randomizacją Przegląd piśmiennictwa Systematyczny przegląd piśmiennictwa Ryzyko względne 0.5 NNT 15 95% przedział ufności = 7-25 P<0.05

141 Dlaczego EBM? Zalew informacji
30 kg wytycznych praktyki klinicznej w ciągu roku czasopism biomedycznych 8 000 publikacji naukowych dziennie!