Lecture critique d'un article scientifique

Cancer/Radiother 0 Elsevier, Paris

1991;1:391-406

Mise au point

Lecture critique

d’un article scientifique F Bonichon

Service de m’decine

nvcEaire

et service de biostatistique,

institut

RESUME La litterature medicale est trop abondante et des guides sont necessaires pour en extraire des informations utiles pour traiter nos patients de faGon optimale. Le but de cet article est d’aider les medecins a trouver les articles pertinents et a les lire de facon critique. Nous avons fait une synthese de ce qui a et6 Ccrit sur le sujet essentiellement par I’equipe de Mac Master et les membres de la Cochrane Collaboration dans le JAMA, le BM] et sur Internet, 021 un site est consacre 2 la lecture critique d’articles. Des regles permettant de rejeter rapidement les articles a ne pas lire, puis de lire efficacement les articles retenus, ont et6 don&es. Elles ont ettc appliquees a des exemples en candrologie, en particulier pour des articles jugeant de I’efficacite d’une therapeutique. II est, en effet, vital pour tout medecin d’utiliser des regles simples et d’apprendre a selectionner et a evaluer les publications lui permettant de traiter ses patients en accord avec les donnees actuelles de la science. revue de la litt6rature / journaux / reproductibilitC essais cliniques / m&a-analyse / recommandations de I’informatique medicale

des rbultats / applications

/

SUMMARY How to read a scientific paper. Medical literature is too prolific and user’s guides are necessary to extract useful information for optimal treatment of our patients. The goal of this paper is to help doctors find relevant articles and to read them efficiently for applying the results to their patients. An excerpt has been written concerning the subject by the Mac Master team and the members of the Cochrane

BergoniC

180, rue de Saint-Gem%,

33000 Bordeaux,

France

Collaboration in the JAMA, the BMJ and on the Internet: a web site is now devoted to user’s guides to medical literature. Simple rules facilitating access to relevant papers and interpretation of the results have been given. They have been applied to oncology, especially to papers concerning effectiveness of therapeutic interventions. It is essential that doctors use simple rules and learn how to select relevant articles and understand and use them to treat their patients according to Evidence-Based Medicine Group. review literature / reproducibility of results / medical information applications / periodicals / guidelines / clinical trials / meta analysis

Que vous soyez etudiant, enseignant, chercheur, m&k&r generaliste ou cancerologue,vous Ctessouvent confront6 a des problbmes de recherche de documentspertinents et face a un dilemme: comment trouver les documents reellement utiles pour repondre a une question donneealors qu’il existe une explosion documentaireet qu’on disposed’un temps tres limit6 pour extraire les informations utiles et les appliquer? La revolution informatique et les outils de plus en plus conviviaux facilitent la recherche bibliographique mais, pour repondre a une question clinique clairement poste, comment peut-on : - trouver les articles pertinents a lire? - les lire de facon critique ? - les appliquer de facon utile a nospatients? C’est pour aider les cliniciens surcharges,disposant d’un temps limit6 pour lire, que l’equipe de l’universitt de Mac Master au Canada, pilier de l’Evidence-Based Medicine Group, a depuis long-

398

F Bonichon

temps d&eloppC une technique efficace pour traduire les rtsultats de la recherche medicale en pratique clinique. Sa prernigre version a CtC traduite en franFais en 1991 et 1992 [5, 6, 47-501. Elle est actualide et disponible soit dans le Journal of American Medical Association (JAMA) [22, 401, soit sur Internet (http ://hiru.mcmaster.ca/ebm/usergui). Une nouvelle sCrie de publications sur le sujet a debut6 en juillet 1997 dans le British Medical Journal (BMJ) [15-19, 21). Elle comporte des extraits du livre Hc#w to Read a Paper: The Basis of Evidence BasedMedicine, rtcemment publit par le BMJ Publishing group [20]. L’int&Ct que portent ces grands groupes Cditoriaux ZIce thbme montre qu’il s’agit d’un sujet d’actualitC, mais l’accbs de plus en plus rapide g de trks nombreusessourcesd’informations nous pose plus de problkmes qu’elle n’en r&out. 11devient crucial d’apprendre B trouver soi-mCmeles informations, les synth&sesd’informations et de pouvoir en apprtcier la qualitk et en tirer les informations utiles pour nos malades. L’objectif final est en effet de traiter les malades en accord avec les donnkesactuelles de la scienceet done de pratiquer une mkdecine fondCe sur des faits (ce qui, en langage anglo-saxon, est appelCevidence basedmedicine). Le but de cet article est de montrer : - les r&gles gCnCralesh appliquer pour trouver les articles pertinents Blire ; - comment analyser les rksultats trouvCs, en expliquant pour chaquetype d’article quels sont les termes importants Bcomprendre; - comment s’assurer que les rksultats sont applicables&nos malades. Nous donnerons des rhgles gCnCralespour tliminer rapidement les articles non pertinents et nous axerons l’expost essentiellement sur les articles concernant l’efficacitk thtrapeutique, qu’il s’agisse d’un article sur l’analyse d’un essai, d’une mCtaanalyse ou sur des recommandations de pratique clinique. Nous indiquerons Cgalement brikvement les autres pistes permettant d’analyser les articles d’autres types. SCtiNARIO CLINIQUE : PRIkISER LA QUESTION QUE L’ON SE POSE Dans la pratique clinique, nous nous posonssouvent des questionsqui doivent &tre dtcomposkesen questions plus simplessi on veut pouvoir y rkpondre de faGonClaire. Par exemple, la question ((place de la radiothkrapie dans le cancer diffkrencik de la thyrdide >>peut &tre dtcomposte en questions ClCmentaires plus prtcises :

- plus precise quant au type de cancer (diffkrencit, mkdullaire, anaplasique); - plus prkcise quant au sibge de la radiothkrapie: region cervicale, mktastaseosseuse... ; - plus prkcise quant aux circonstances de la radiothkrapie : adjuvante en postopkratoire, en situation palliative. .. ; - plus precise quant au type de la radiothkrapie : mktabolique, exteme.. . 11faut souvent avoir en tete le scCnari0clinique & partir duquel cette question nous est venue B l’esprit pour savoir de quel type d’article on a bseoin et quelle serala technique h lui appliquer pour en faire une lecture utile. ConsidCrops par exemple la situation clinique suivante; nous avons en face de nous une jeune femme de 24 ans m&e d’un bCbt de 12 mois que nous avons traitke 3 ans auparavant pour un cancer papillaire de la thyro’ide r&G par une adtnopathie cervicale. Le traitement initial a ttt une thyrdidectomie totale associke?i un curage ganglionnaire cervical conservateur suivi de plusieurs cures d’iode radioactif jusqu’a obtention d’une <> scintigraphique. Actuellement, elle a une rkidive ganglionnaire cervicale et de nombreusesquestions peuvent se poser qui correspondront & des types d’articles diffkrents : - quelles techniques diagnostiques utiliser pour juger de 1’Ctenduede la rtkidive locale? En quoi l’kchographie cervicale ou l’examen par rksonance peuvent-ils nous aider? (problkme de test diagnostique) ; - quel traitement optimal pouvons-nous lui donner pour t%iter une nouvelle rechute locale ou mktastatique ? (probltme d’eflcacite’ the’rapeutique); - quelle &endue du geste chirurgicall ? Quelles sont les recommandationsdes experts concemant la technique chirurgicale ? (probk?me de necommandation depratique clinique) ; - quelsrisquespour cette kintervention ? - doit-on administrer de nouveau de l’iode radioactif? - doit-on dClivrer une radiothtrapie. exteme, si oui sur quelsvolumes, avec quelle technique? - quels sont les dangersde l’iode radioactif pour une Cventuelle nouvelle grossesse?@roblSme d’kvaluation des risques); - quelles sont les chancesde survie, les facteurs prkdictifs d’une nouvelle rkcidive ? (probldme de pronostic) ; - quel est le co& respectif des traitements que l’on peut proposer? (probltme de coiWeffkacitt?I ; - quel est le traitement qui va le mains pknaliser sa vie familiale, professionnelle, ?I rksultats attendus constants? (probl2me de qualite’ de vie).

Lecture

RECHERCHE ET StiLECTION ARTICLES PERTINENTS

critique

d’un article scientifique

DES

Les sources d’informations Une fois qu’on a delimit6 la question prkcise A laquelle on veut rkpondre, le premier travail est de chercher quels sont les moyens pour y rtpondre. Le plus simple est bien sik de tklkphoner A un collbgue expert. De nombreuses autres sources d’informations sont disponibles mais, si on veut une rkponse optimale, il faut chercher dans la littkrature actuelle et le premier travail est de chercher les rkfkrences bibliographiques utiles. Le meilleur moyen de les trouver est d’interroger les banques de donntes bibliographiques, dont les plus utiles en canctrologie sont : Medline, Cancerlit, Embase, Current Contents. Des informations complkmentaires sur ces bases peuvent Ctre trouvkes dam le ctdkrom no 1 sur les Standards, Options, Recommandations en canc6rologie ttablis par la Fklkration nationale des centres de lutte contre le cancer [3]. Ces informations et leur mise A jour seront bientbt disponibles sur Internet. Des informations dttailltes sur les bases de la National Library of Medicine (NLM) peuvent &tre trouvkes sur le site Internet http://www.nlm.nih.gov. 11 sufft d’avoti un micro-ordinateur, un modem et un acds ?t Internet pour interroger Medline ou les profils Cancerlit [I& 531. Nous recommandons d’utiliser les adresses suivantes, assez conviviales et d’accts gratuit : - http://www.ncbi.nlm.nih.gov/PubMed : permet un accbs gratuit et complet B Medline mais aussi 2 PreMedline qui contient les rkfkrences des articles qui viennent de paraitre mais ne sont pas encore indexes dans Medline ; - gopher://gopher.nih.gov:70/1 llclintcancernetl topics: permet un accbs gratuit A des listes de rCf& rences avec r&urn& extraites de Cancerlit sur un thtme prkcis (par exemple : radiothkrapie des cancers du sein) et publikes tous les mois ; - ces rbfkences peuvent, de plus, Ctre facilement d&chargCes sur un logiciel de gestion de rkfkrences bibliographiques tel que Reference Manage? pour rktilisation ulttrieure. Comment sblectionner rapidement les articles qu’il faut lire intbgralement

?

Une fois obtenues des listes de rkfkrences, plus ou moins nombreuses selon les cas, le probl&me est d’en extraire une information utile pour rtsoudre le probl&me posC. Quelle que soit la man&e de sClectionner les articles potentiellement inttressants, il va falloir faire un premier tri pour concentrer son attention sur les articles les plus informatifs. On ne

399

peut en effet en aucun cas se limiter & la lecture des r&urn& pour se faire une idle fiable sur une question. 11 faut toujours avoir un ceil critique sur les donn&es qui ont permis de tirer des conclusions. L’Cquipe de Mac Master a dtcrit une mtthode simple qui permet d’kliminer t&s rapidement les documents dont il est inutile d’obtenir et de lire l’article in extenso, car ils ne nous apporteront pas d’information utile. Lire le titre. La lecture du titre, s’il est suffisamment informatif, permet dkjh d’Climiner les articles qui sont hors sujet par rapport h la question poke. L.es auteurs. Ont-ils une bonne kputation ? Non pas dans le sens de la convivialit mais dans le sens d’habitudes de travail pens6 et soignC. Ce critkre de sClection a 6t6 rejetk des demikres recommandations pour la lecture critique, car m&me des auteurs qui jouissent habituellement d’une bonne rkputation peuvent parfois &-ire des articles de peu de valeur. En revanche, des auteurs qui Ccrivent rkgulierement des articles saris fondement mkthodologique ont peu de chances de s’amkliorer. A l’inverse, certains auteurs sont inconnus parce qu’ils publient peu ou qu’ils dkbutent dans la carribre: il faut leur laisser une chance de franchir les &apes ultkieures. Le r&urn&. Des recommandations ont &tC faites pour que les r&urn& soient bien structur& et permettent de se faire une idCe prkcise sur la population &udi& et la m&hodologie utilisCe [ 1, 271. Un r&urn6 bien fait doit contenir les critkres de sklection des patients, la m6thodologie et les principaux rksultats de l’btude. 11 faut alors se poser la question suivante: si la lecture complkte de l’article confirme que les rkultats sont valides, ces rksultats vous seront-ils utiles ? Pour vos malades ? Pour vos recherches en tours ? Si oui, on passe Zi l’ktape suivante, sinon on rejette l’article saris le lire. Le site de l’e’tude. Les rksultats, s’ils sont valides, sont-ils applicables dans votre pratique ? En effet, si certains traitements nkcessitent une infrastructure lourde qui n’est pas accessible dans votre rtgion, dans votre centre, elle vous sera probablement de peu d’utilitk. I1 est done inutile de perdre du temps B lire la description technique ou les rksultats. Cela s’applique, bien sQr, dans un contexte clinique et non dans un contexte de recherche oti l’on aura B comparer diffkrentes techniques en termes de rtsultats potentiels. Si l’on cherche des rksultats applicables en pratique, il faut rejeter les articles dkcrivant des techniques inapplicables dans votre pratique. Si l’on a franchi avec succbs ces quatre &apes, en g&&al un nombre limit6 de rtfkrences pertinentes reste en course; les articles correspondants doivent etre lus de faGon intkgrale et critique pour s’assurer

F Bonichon

400

de la validitt des rksultats &on& dans le r&urn6 et pouvoir les appliquer en connaissant leurs avantages et leurs limites. LECTURE CRITIQUE DES ART!CLES EN FONCTION DE LEUR THEME La lecture critique sera fonction du type de question posbe. L’analyse critique de diffkents types d’artitles a ttt publike dans le JAMA et sur le site Internet de Mac Master. Les questions suivantes ont &tt dtveloppkes : - comment analyser de faGon critique un article sur les risques [35] ? - comment analyser de faGon critique un article sur l’utilitt d’un test diagnostique [32,33] ? - comment analyser de fagon critique un article sur l’efficacitt thkrapeutique [23] ? - comment analyser de faGon critique un article sur les rtsultats d’une revue de la litttrature [38,41] ? - comment analyser de faGon critique un article sur des recommandations de pratique clinique [24,28,.55] ? - comment analyser de faGon critique un article sur le pronostic [34] ? - comment analyser de faGon critique un article sur la qualitt de vie [25] ? - comment analyser de fagon critique un article sur une analyse Cconomique [ 11] ? - comment analyser de faGon critique un article sur l’aide ?I la dtcision [45,46] ? - comment analyser de faGon critique un article sur un audit clinique [37] ? - comment analyser de faGon critique un article sur les variations des rtsultats entre les diffkrents ttablissements de soins [36] ? Nous avons indiquC pour chaque question les articles auxquels on peut se rapporter pour chaque cas de figure et nous concentrerons notre attention sur tout ce qui toume autour de l’tvaluation de l’efficacitC thtrapeutique. Des exemples canckologiques seront don&. Juger de I’intCr&t d’une nouvelle thkrapeutique ScCnario clinique: nous sommes en prksence d’une femme de 45 ans atteinte d’un cancer du sein avec retraction cutanke mais sans signes inflammatoires. Une mastectomie a CtC faite et la question qu’on se pose est : une irradiation postopkatoire est-elle utile ? Une recherche Medline nous a permis de trouver un article r¢ sur un essai de 1’Eastem Cooperative Oncology Group (ECOG) tvaluant 1’intCrZt de l’irradiation postopkratoire dans des cas analogues [39]. Que peut-on en penser ? Nous devons nous poser diverses questions.

L’bvaluation de la thkrapeutique est-elle faite dans de bonnes conditions [44]? Y a-t-i1 eu randomisation ? Seuls les essais randomis& permettent de dkmontrer de faGon scientifique qu’un traitement est meilleur qu’un autre [52]. S’il n’y a pas eu randomisation, il faudra &tre t&s prudent dans les conclusions tirkes. Les critkres importants ont-ils Ctk mesurh de faGon correcte et de m&me faeon dans les diffkrents groupes s’il n’ y a pas d’ttude & double insu ? La surveillance est-elle correcte ? Le nombre de patients perdus de vue est-il admissible? Dans le cas des traitements anticanckreux, s’il y a plus de perdus de vue dans un groupe que dans l’autre, il faudra se poser la question d’une plus grande toxicitk ou d’une compliance moins grande de l’un des traitements. Dans de tels cas, il faudra se demander si le traitement en cause sera facilement acceptable en pratique m&me s’il est potentiellement plus efficace. Tous les malades randomis& sont-ils in&s dans l’analyse ? L’analyse a-t-elle &t& faite en intention de traitement ? M&me si les patients n’ont pas suivi de fafon optimale le traitement qui leur Ctait prescrit, il faut les conserver pour l’analyse. Supposons, par exemple, qu’on s’inttkesse aux intensifications de chimiothkrapie avec greffe de moelle osseuse; les malades sont randomis& en deux groupes, l’un (A) correspond B une chimiothkrapie classique, l’autre (B) B une chimiothkrapie intensive avec greffe de moelle. Si un malade du groupe B n’a pas eu, pour des raisons diverses, la greffe de moelle ou s’il meurt pendant la pkriode d’aplasie, il doit &tre pris en compte dans l’analyse finale, sinon on compare deux groupes de malades qui ne sont plus cornparables et, m&me si l’on observe une diffkrence, elle ne pourra pas Ctre attribuke au nouveau traitement. Lu technique statistique et le test utilisks sont-ils adapt& ? En canckrologie, selon le critbe de jugement de l’essai, on aura a comparer : - des pourcentages : taux de rtponse, par exemple ; le test utilisC sera un test de x2 ; - des mesures d’un paramktre continu: le test utilist sera un test de Student si la distribution est gaussienne ou si l’kchantillon est de grande taille et un test non paramktrique de Wilcoxon, par exemple, si la distribution est asymetrique et l’khantillon de petite taille (par exemple : duke de neutropknie dans les essais sur les facteurs de croissance) ; - des probabilitks de survie ou d’apparition de divers Cdnements dans le temps (rechute quelle qu’en soit la nature, rechute locale, mktastase, cancer du sein controlatkral.. .). Les mtthodes adaptkes sont les courbes de survie globale (overall w-viva& de survie indemne de maladie (disease-free survival), de survie indemne de metastase (metastasis-free survival), de temps jusqu’g 1’Cchec au traitement (time to treatment

Lecture Tableau

critique

I. Mise en tableau des r&ultats. Rhltats Dkt!d& a c

Vivants b d

failure). Elles sont calculkes par la mkthode du produit-limite (Kaplan-Meier) ou par la mkthode des tables de vie, encore appelke m&ode actuarielle (life table) [3 11. Ces courbes diffikent par la d&i&ion des Cv&ements pris en compte et des donntes consid&& comme <x.Par exemple, lorsqu’on fait une courbe de survie globale, l’Cv6nement pris en compte est le decks quelle que soit sa cause et un patient vivant aux demikes nouvelles, qu’il soit avec ou sans cancer, est considtrk comme <
est d&fini par :

RR = (a/a + b)/(c/c + d)

d’un article scientifique

401

Si a est petit par rapport a b et si c est petit par rapport a d, RR et OR ont des valeurs voisines. En g&kral, il est plus facile de determiner l’intervalle de confiance de OR que celui de RR et, le plus souvent, c’est OR qui est don& dans les articles. Leur interprktation est similaire. Si l’intervalle de confiance de RR ou de OR est entikrement compris entre 0 et 1, cela signifie que le nouveau traitement apporte un bCnCfice significatif en termes de survie. Si, au contraire, l’intervalle de confiance de RR ou de OR est entibrement & la droite de 1, cela signifie que le traitement test6 est significativement moins bon que le traitement de ref&ence. Si l’intervalle de confiance de RR ou OR encadre 1, on ne peut pas conclure g l’efficacitt plus grande de l’un des deux traitements. Les rksultats sont souvent exprimks en termes de rkduction de risque relutif (RRR = [ 1-RR]) et cela ne doit pas &tre confondu avec la rkduction de risque absolu (ARR = ([c/c + d] - [a/a f b]). Exemple: si l’on a 1000 patients dans chaque groupe d’un essai, 100 d&&s dans le groupe tCmoin et 50 dCcbs dans le groupe traitk: RR = (50/l 000) (100/l 000) = 0,5 et la diminution du risque relatif est de 50 % alors que le gain absolu de taux de survie est de 5 % (95 % de taux de survie dans le groupe trait6 s’il n’y a pas de donnkes censurkes contre 90 % dans le groupe ttmoin). Le nombre de malades ci traiter (NNT: number needed to treat) est aussi une faGon diffkrente de pr& senter les rksultats qui a le mkrite d’intkgrer signification statistique et clinique [7]. 11 s’agit du nombre de patients qu’il faut traiter pour observer un b&Cfice (NNT = l/ARR). Par exemple, dans l’exemple ci-dessus, NNT = l/O,05 = 20.11 faudra done traiter 20 malades pour qu’un seul en tire btnkfice, 19 seront done trait& inutilement. Si le traitement test6 est, par exemple, un traitement adjuvant peu contraignant et peu toxique, on le donnera 2 tous les patients saris trop de craintes. S’il s’agit au contraire d’une chimiothtrapie nkessitant des hospitalisations itCratives et ayant des effets toxiques, mCme si l’essai est statistiquement significatif, on hksitera davantage a traiter tous les patients. N’y a-t-i1 pas eu trop d’analyses par sous-groupes qui augmentent le risque d’observer par hasard une diffkrence significative [30]? 11faut avoir un esprit critique vis-8-vis de la signification stutistique mais aussi vis&vis de la signification clinique de la difference obserke. La valeur de p doit toujours Ctre indiquke, de mCme que l’intervalle de confiance des paramktres estimks [14, 541. L’intervalle de confiance est l’intervalle dans lequel le paramktre qu’on estime a

402

F Bonichon

95 % de chances de se trouver. Plus cet intervalle est ttroit, plus la precision du rtsultat donne est grande. Cela est tres lie a la taille de l’echantillon; plus l’echantillon est grand, plus l’intervalle de confiance sera Ctroit. Une probabilitt de survie donnee a 60 % avec un intervalle de confiance de 5 % nous sera plus utile pour estimer les chances de gutrison de notre patient qu’une probabilitt de survie de 60 % avec un intervalle de confiance de 20 %. Dans ce dernier cas, on pourra seulement dire que, pour un malade analogue a l’echantillon CtudiC, la probabilitt de survie a 95 % de chances d’&tre comprise entre 40 et 80 %. Un resultat indiqut simplement NS (non significatif) n’a pas la meme valeur selon que la valeur de p est a 0,06 ou a 0,90. Dans le premier cas, la taille de l’echantillon Ctait peut-&tre trop faible pour mettre en evidence un effet qui est reel. Dans le second cas, il y a trbs peu de chances que le benefice soit reel. 11faut se rappeler en effet comment fonctionne un test statistique. On part d’une hypothbse H, qui, en general, quand on compare des traitements est Ha: il n’y a pas de difference entre les traitements A et B. Sous cette hypothbse, on calcule une statistique S en fonction des don&es observees. On calcule ensuite la probabilite p que le seul hasard ait donne une valeur telle que S si A = B. Si cette probabilite est faible (0,05 est en general le seuil choisi), on rejettera I’hypothese H, et on conclura qu’il y a une difference significative entre les traitements A et B. Dans le cas contraire, on dira que la difference est non significative et qu’on n’a pas pu mettre en evidence de difference entre A et B. Plus p est petit, moins on a de chances de se tromper en disant que A est different de B. Plus p est grand (> 0,5, par exemple), moins on a de chances de se tromper en disant que A n’est pas different de B. En revanche, si p est proche de la signification (p = O,l, par exemple), le risque de deuxibme espece peut etre grand, c’est-a-dire que les chances sont non negligeables de conclure a tort que le nouveau traitement n’apporte pas de benefice au malade. Par ailleurs, un essai de trbs grande taille avec un resultat significatif avec p = 0,04 peut correspondre a un benefice absolu en termes de taux de survie de 1 a 2 % et on doit se poser la question de l’utilite rtelle pour les malades: combien ont Ctt traitts pour rien ? Combien ont tire benefice du traitement ? Si l’essai est ntgatif, quelle est la puissance du test utilise ? En candrologie, les chances de mettre en evidence des effets de grande amplitude sont actuellement assez faibles et, si l’on ne veut pas tliminer de faGon erronte des traitements actifs, il faut en general inclure un grand nombre de malades pour avoir un test de puissance suftisante.

Tableau

II. Exemple

de tableau de kultats. Rekdtats

Traitement RadiothCrapie Observation

d 2 ans

D&de’s

Vivants

43 35

121 113

Exemple d’analyse d’essai Considerons, par exemple, l’essai randomise de 1’Ecog sur la radiotherapie du cancer du sein localement CvoluC indique plus haut [39:1. L’objectif de l’essai est clair ; il y a eu randomisation ; les criteres d’tvaluation sont bien codifies et sont les mCmes dans les deux groupes. Trois cent treize patients sont randomises dont un a tort, car la tumeur Ctait en rechute avant la randomisation. Trois cent douze patients sont randomists et analyses. L’analyse est bien faite en intention de traiter puisque 164 patients ont &C randomids dans le groupe radiothtrapie et, bien que 30 malades aient refuse cette radiotherapie, il y a bien 164 patients analysts en termes de rechute et de decks dans le groupe radiotherapie. Si l’on regarde les resultats indiques a la figure 1 de l’article, on peut construire le tableau II. S’il n’y a pas de perdus de vue et que tous les patients sont suivis pendant au moins 2 ans, on peut estimer les probabilitts de de&s ou risques absolus dedkccbsa2anspar: - X = 34/148 = 0,236 pour le groupe observation ; - Y = 43/164 = 0,262 pour le groupe radiotherapie. La difference de risque absolu au tours des 2 premieres anntes est : ARR = X - Y = 0,236 - 0,262 = -0,026 Elle est ici negative puisque les malades trait& sont ptnalises par rapport aux malades observes. La perte absolue de chances est de 2,6 % a 2 ans. La difference de risque absolu se calcule habituellement en faisant la difference des pourcentages de survie a n annees don&s dans les articles. Le rapport des totes est : OR = (43/121)/(35/113) Le risque relatif mieres annees est :

= 1,147

de decks au tours

RR = (43/164)/(35/148)

= 1,109

La reduction de risque relatif est : RRR=l-RR=l-1,109=-0,109

des 2 pre-

Lecture critique d’un article scientifique

11est negatif, car en fait ici on n’a pas une reduction de risque mais une augmentationde risque relatif de 11 % pour les patients trait& par rapport aux patients qui ne sont pas trait&. Si I’on regarde les courbesglobales, elles se coupent plusieursfois. Dans de tels cas, la difference est generalement non significative. Ici la valeur de p pour la comparaisondes survies est 0,94.11 y a tres peu de chancesque, mcme en augmentantla taille de l’essai, on ait pu observer une difference de survie entre les deux groupes. 11 n’y a aucun benefice observe du nouveau traitement (ici la radiotherapie) par rapport au traitement standard (ici l’absence de radiotherapiecomplementaire). La thbrapeutique peut-elle i&e utile d vospatients ? Les patients de l’etude sont-ils suffisamment semblables aux v&es ? La prise en charge tbtrapeutique est-elle rkalisable dans votre pratique ? Exemple: m8me si l’interleukine-2 montrait son efticacite dansle traitement descancersdu rein metastatiques,disposez-vousd’une unite d’hospitalisation et d’un service de reanimation medicale permettant d’utiliser l’interleukine-2 intraveineuse chez vos patients ? Dans le cas contraire, il faut envisager de transf&er le patient vers un service equip6 Comment comprendre et utiliser une revue de la littkrature [38,41,42] ? Lorsqu’en pratique clinique on cherche a rtsoudre un probleme, il est en gCnCralplus simple de selectionner en premier les articles de synthbsetels que revues qualitatives de la litterature ou revues quantitatives encore appeleesm&-analyses. Ces revues ont pour but d’utiliser un lot d’essaistherapeutiquespour estimer l’effet global d’un traitement avec une erreur minimale. Des guides permettant de stlectionner les revues utiles sont donds dansl’article de Oxman et al [41]. Sont indiquees Cgalementles definitions qui permettent de comprendre l’importance des resultats decrits. Les revues peuvent permettre de resoudredes problbmes de causalite, de diagnostic, de traitement ou de pronostic. Nous Ctudierons ici les revues concernant l’efficacite tberapeutique.Pour &valuer la qualite de la revue, on seposeraun certain nombrede questions. Quelle est la question ktudike ? Est-elle clairement poste ? Par exemple, dans la m&a-analyse de Peto [12, 131sur le traitement adjuvant du cancer du sein, une des questionsclairement postes est: << Est-il utile d’administrer une chimiotherapie adjuvante dans les cancers du sein operables sansenvabissementganglionnaire ? >>

403

Quels critgres a-t-on utilise pour se’lectionnerles articles pertinents ? Quelle strategic d’interrogation et quelles basesde donnees a-t-on utilise [lo] ? Si une equation de recherche Medline est indiquee, on pourra juger de sa sensibilite. Quelles autres sources ont CtC utilisees pour tviter le biais de publication et trouver tous les essaissur le sujet, en particulier les essaisntgatifs qui sont moins facilement publies [2, 4, 8, 9, 29]? De plus, comme l’ont montre Salmi et Collet [51], un faible pourcentage de resultats allechants publies dans des resumesde congres aboutit a une publication complete dans un article. Quel type de m&a-analyse a-t-on fait : metaanalyse sur donntes publiees ou m&a-analyse sur donneesindividuelles [43] ? Ces demieressont certes plus precises,mais beaucoupplus lourdes a mettre en ceuvre puisqu’il faut obtenir des investigateurs qu’ils envoient des donneesa jour concernant les patients inclus dansleur essai. Quelle est la validite’ dese’tudesincluses? Les etudes similaires peuvent-elles Ctre combinees? Des tests d’homogk4ite’ sont utilises pour ce faire. Quels sont les r&uZtats globaux de la revue? 11s sont exprimts et analyses comme les etudes individuelles en termes de rapport des totes (oddsratios), de risque relatif (RR), de diminution du risque relatif et de survie. Le lecteur doit comprendre la presentation des r&hats qui se fait sous forme de tables et de graphiques. Chaque essaidoit &tre identifie avec le nom de l’auteur, l’annte de publication, les critbres d’inclusion, le nombre de malades inclus. Le graphique utilise montre en general une estimation de l’effet thtrapeutique pour chaque essai ainsi que l’effet global. L’effet therapeutique est, en general, exprime en termes de risque relatif et la ligne verticale correspondant a RR = 1 montre le point d’absence d’effet thtrapeutique. Chaque essaiest represent6 sur une ligne par son identifiant, un point representant le risque relatif de l’effet et une ligne horizontale representant l’intervalle de confiance a 95 ou 99 %. L’effet global est Cgalementrepresent6 avec son intervalle de confiance. Lorsque celui-ci coupe la ligne RR = 1, la difference est non significative. La m&a-analyse conclut alors a l’absence de mise en evidence de benefice therapeutique avec le nouveau traitement. Si le resultat global et son intervalle de confiance sont entierement a gauche de la ligne RR = 1, le traitement test6 apporte un benefice par rapport au traitement standard. Quand l’intervalle de confiance du rtsultat global est a droite de la ligne RR = 1, le traitement standard est meilleur que le traitement test&

404

F Bonichon

Comment comprendre des recommandations de pratique clinique ? Lorsqu’on essaie de resoudre un probleme clinique ponctuel, la recherche documentaire et la lecture critique d’articles sur les essais ou les mtta-analyses peuvent sembler inadaptees, car trop consommatrices de temps [26]. C’est ainsi qu’ont CtC developpees des recommandations de pratique clinique: ce sont des aides developpees de faGon systematique pour aider le clinicien et le patient B prendre des decisions ad& quates dans des circonstances cliniques precises. Elles s’appuient sur des revues de la litterature mais integrent tgalement des notions plus qualitatives, prenant en compte les particularitts du systbme de soins, les ressources disponibles. La Federation nationale des centres de lutte contre le cancer (FNCLCC) a ainsi debut& l’operation Standards, Options et Recommandations en cancerologie. Cette operation, a laquelle participent plus de 300 medetins de centres anticanctreux mais aussi des medetins appartenant a d’autres structures, a pour but de fournir aux praticiens des recommandations applicables B des situations cliniques concretes en candrologie. Elle fournit des algorithmes decisionnels, mais la question qu’on doit se poser est : quelle confiance peut-on accorder aux recommandations qui sont faites? De quand date le travail et quel est le rythme d’actualisation prevu? Y a-t-i1 ou non concordance avec les recommandations faites sur le m&me sujet dans d’autres pays? Par exemple, avec celles faites sur le cancer du sein en Australie (http ://www.nbcc.org.au/pages/clinprof/ contents.htm) ou en Grande-Bretagne (http :// www.york.ac.uWinst/crd/list.htm). Quelles sont les raisons des divergences ? On doit s’assurer que : - une question ciblee a ttt posee ; - les critbres d’inclusion et d’exclusion des etudes sont clairement indiquts, comme pour les mttaanalyses, sur lesquelles elles doivent s’appuyer lorsqu’il en existe ; - la methodologie, les critbres de choix des options, les preuves selectionntes sont prCcists ainsi que les Cchelles utilisees pour mesurer le niveau des preuves ; - toutes les options importantes ont ete envisagees ainsi que les consequences de leur choix en termes de morbidite, de mortalite, de qualite de vie et enfin de coiits. Dans de nombreux cas, il n’y a pas d’essai randomis& rtpondant a la question et des avis d’experts ou des observations de cas peuvent etre utilises, mais avec prudence. S’il est fait appel a des groupes d’experts ou a des conferences de consensus, il faut conndtre leur composition pour s’assu-

rer que des conflits d’interet n’ont pas interfere dans les choix des options recommandees. De m&me, il est important de voir qui a finance le developpement des recommandations. Le groupe qui dtveloppe des recommandations en cancerologie doit comprendre des methodollogistes et des medecins de differentes disciplines : chirurgiens, oncologues radiotherapeutes, onclologues medicaux, mais aussi biologistes et specialistes de l’imagerie medicale, selon les themes trait&s. Idtalement, les recommandations doivent tenir compte des preferences des patients. I1 faut s’assurer aussi que les recommandations tiennent compte des resultats r¢s de la recherche. Comment a ttt faite la relecture critique ? Y a-t-i1 eu des relecteurs externes et ont-ils juge les conclusions raisonnables, applicables en pratique ? La mise en pratique des recommandations et leurs consequences en termes de resultats pour le patient et de couts doivent aussi &tre Cvaluees. CONCLUSION Les techniques de lecture critique ont aussi leurs limites et nous avons pose plus de questions que donnt de reponses simples. Elles facilitent le travail de lecture mais ne dispensent pas de la lecture, bien au contraire, des articles complets. Elles nous permettent simplement de mieux decoder ce qui est &it. Elles nous montrent qu’on ne petit en aucun cas se contenter de la lecture rapide d’un resume dans lequel on a extrait un <>nous encourageant a appliquer le dernier tmitement 5 la mode ou un > qui nous fait condamner trop rapideme.nt un traitement potentiellement efficace. On se doit d’etre plus critique et le temps a consacrer a la lecture reste toujours t&s important. Les revues qualitatives, quantitatives et les guides de bonne pratique, lorsqu’ils existent, ne doivent pas echapper a la lecture critique mais ont le mCrite de faire gagner du temps aux praticiens. RtiFhRENCES 1 Ad hoc working group for critical appraisal of the medical literature. A proposal for more informative abstracts of clinical articles. Ann Intern Med 1987;106:59%604 2 Bernstein F. The retrieval or randomized clinical trials in liver diseases from the medical literature: manual versus Medlars searches. Controled Clin Trials 1988;9:23-31 3 Bonichon F, Co&al F. Revue de la litteraI:ure, recherche d’informations et lecture critique d’articles en cancerologie. In: FNCLCC, ed. Standards, Options et Reconwnandations en cancerorologie. Ckde’rom n ’ 1. Paris : Amette BLackwell, 1995: l-40 4 Chalmers TC, Franck CS, Reitman D. Minimizing the three stages of publication bias. JAMA 1990;263:1392-5 5 Collet JP, Salmi LR. Lecture critique des articles medicaux. V.

Lecture

6

10 11

12

13

14 15 16 11

18 19 20 21 22 23

24

25

26 21

28

critique

Juger de l’inttrst d’une nouvelle thirapeutique. Rev Prar 1992; 42:335-g Collet JP, Salmi LR. Lecture critique des articles mCdicaux. III. Comprendre l’histoire naturelle et le pronostic d’une maladie. Rev Prar 1992;42:1&9 Cook RI, Sackett DL. The number needed to treat: a clinically useful measure of treatment effect. BMJ 1995;310:452-4 Dickersin K. The existence of publication bias and risk factors for its occurrence. JAMA 1990;263: 1385-9 Dickersin K, Min YI. Meinert CL. Factors influencing publication of research results. Follow-up of applications submitted to two institutional review boards. JAMA 1992;267:374-8 Dickersin K, Scherer RW, Lefebvre C. Identifying relevant studies for systematic reviews. Br Med J 1994;309: 12869 1 Drummond MF, Richardson WS, O’Brien BJ, Levine M, Heyland D, for the Evidence-Based Medicine Working Group. User’s guides to the medical literature. XIII. How to use an article on economic analysis of practice? A. Are the results of the study valid? JAMA 1997;2?7:1552-7 EBCTCG. Systemic treatment of early breast cancer by hormonal, cytotoxic, or immune therapy. 133 randomised trials involving 3 1,000 recurrences and 24,000 deaths among 15,ooO women. Early Breast Cancer Trialists’ Collaborative Group. Lancer 1992;339:1-15 EBCTCG. Systemic treatment of early breast cancer by hormonal, cytotoxic, or immune therapy. 133 randomised trials involving 3 1,000 recurrences and 24,000 deaths among 15,ooO women. Early Breast cancer Trialists’ Collaborative Group. Lmcer 1992;339:71-85 Gardner UT, Altman D. Sfafisfics wirh Confidence. Confidence Intervals and Stafisfical Guidelines. London: BMJ. 1989 Greenhalgh T. How to read a paper. Getting your bearings (deciding what the paper is about). EMJ 1991;315:2436 Greenhalgh T. How to read a paper. Statistics for the nonstatistician. I. Different types of data need different statistical tests. BMJ 1997;315:364-6 Greenhalgh T. How to read a paper. Statistics for the nonstatistician. II. Significant relations and their pitfalls. BMJ 1997;315:422-5 Greenhalgh T. How to read a paper. Assessing the methodological quality of published papers. BMJ 1997;315:305-8 Greenhalgh T. How to read a paper. Papers that report drug trials. BMJ 1997;3 15:48&3 Greenhalgh T. How to Read a Paper: The Basics of Evidence Based Medicine. London: BMJ publishing group, 1991 Greenhalgh T. How to read a paper? The Medline database. BMJ 1997;315:18&3 Guyatt GH, Rennie D. User’s guides to the medical literature. JAMA 1993;270:209&1 Guyatt GH, Sackett DL, Cook DJ. User’s guide to the medical literature. II. How to use an article about therapy or prevention. A. Are the results of the study valid? JAMA 1993;270: 2598-601 Guyatt GH, Sackett DL, Sinclair JC, Hayward R, Cook DJ, Cook RJ. User’s guides to the medical literature. IX. A method for grading health care recommendations. Evidence-Based Medicine Working Group. JAMA 1995;274: 1SO&4 Guyatt GH, Naylor CD, Juniper E, Heyland DK, Jaeschke R, Cook DJ et al. User’s guides to the medical literature. XII. How to use articles about health-related quality of life. JAMA 1997;277:1232-1 Haynes RB. Loose connections between peer-reviewed clinical journals and clinical practice. Ann Infem Med 1990;113:724-8 Haynes RB, Mulrow C, Huth EJ, Altman D, Gardner MJ. More informative abstracts revisited. Ann Intern Med 1990; 113:69-76 Hayward RS, Wilson MC, Tunis SR, Bass EB, Guyatt G. User’s

d’un article scientifique

29

30 31

32

33

34

35

36

37

38 39

40

41

42

43

44 45

46

405

guides to the medical literature. VlII. How to use clinical practice guidelines. A. Are the recommendations valid? The IZvidence-Based medicine Working Group. JAMA 1995;214:57M Hetherington J, Dickersin K, Chalmers I, Meinert CL. Retrospective and prospective identification of unpublished controlled trials: lessons from a survey of obstetricians and pediatricians. Pediafrics 1989;84:31480 Hill C. L’analyse par sous-groupe : attention danger ! Le Quoridien du MLdecin 1988;4030: 18 Hill C, Corn-NouguC C, Kramar A, Moreau T, O’Quigley J, Senoussi R et al. Analyze des donnPes de survie. Paris : Inserm Mkdecine-Sciences Flammarion. 1996 Jae.schke R, Guyatt G, Sackett DL. User’s guides to the medical literature. III. How to use an article about a diagnostic test. A. Are the results of the study valid’? Evidence-Based Medicine Working Group. JAMA 1994;211:389-91 Jaeschke R, Guyatt GH, Sackett DL. User’s guides to the medical literature. IlI. How to use an article about a diagnostic test. B. What are the results and will they help me in caring for my patients? Evidence-Based Medicine Working Group. JAMA 1994;27 11703-7 Laupacis A, Wells G, Richardson WS, Tugwell P. User’s guides to the medical literature. V. How to use an article about prognosis. Evidence-Based Medicine Working Group. JAMA 1994;212:234-1 Levine M, Walter S, Lee H, Haines T, Holbrook A, Moyer V. User’s guides to the medical literature. IV. How to use an article about harm. Evidence-Based Medicine Working Group. JAMA 1994;271:1615-9 Naylor CD, Guyatt GH. User’s guides to the medical literature. X. How to use an article reporting variations in the outcomes of health services. Evidence-Based Medicine Working Group. JAMA 1996;275:55&8 Naylor CD, Guyatt GH. User’s guides to the medical literature. XI How to use an article about a clinical utilization review. Evidence-Based Medicine Working Group. JAMA 1996;215: 1435-9 Nony P, Cucherat M, Haugh MC, Boissel JP. Critical reading of the meta-analysis of clinical trials. Thkrapie 1995;50: 33!J-5 1 Olson JE, Neuberg D, Pandya KJ, Richter MP, Solin IJ, GilChrist KW et al. The role of radiotherapy in the management of operable locally advanced breast carcinoma: results of a randomized trial by the Eastern Cooperative Oncology Group. Cancer 1997;19: 1138-49 Oxman AD, Sackett DL, Guyatt GH. User’s guides to the medical literature. I. How to get started. JAMA 1993;270: 2093-5 Oxman AD, Cook DJ, Guyatt GH. User’s guides to the medical literature. VI. How to use an overview. Evidence-Based Medicine Working Group. JAMA 1994;212: 1361-71 Piedbois P, Buyse M. Lecture critique et interprttation des rCsultats des essais de phase III et des m&a-analyses. Bull Cartcer Radiother 1995;82:13-8 Pignon JP, Bourhis J. Meta-analysis of chemotherapy in head and neck cancer: individual patient data vs literature data [Letter; comment]. Br J Cancer 1995;72:1062-3 Pocock SJ, Hughes MD, Lee RJ. Statistical problems in the reporting of clinical trials. N En@ J Med 1987;3 17:42&32 Richardson WS, Detsky AS. User’s guides to the medical literature. VII. How to use a clinical decision analysis. B. What are the results and will they help me in caring for my patients? Ihidence-Based hledicine Working Group. JAMA 1995;273: 161 l&3 Richardson WS, Detsky AS. User’s guides to the medical literature. VII. How to use a clinical decision analysis. A. Are the results of the study valid? Evidence-Based Medicine Working Group. JAMA 1995;213:1292-5

406

F Bonic :hon

47 Salmi LR, Collet JP. Lecture critique des articles mtdicaux. II. Juaer de l’interet d’un test diagnosticme. I _ Rev Prat 1991;41: 2714-43 48 Salmi LR, Collet JP. Lecture critique des articles medicaux. I. Introduction. Rev Prat 1991;41:2598605 49 Salmi LR, Collet JP. Lecture critique des articles medicaux. VI. Champ d’application et limites. Rev Prar 1992;42: 477-9 50 Salmi LR, Collet JP. Lecture critique des articles medicaux. IV. Determiner la causalite. Rev Prat 1992;42:213-8 51 Scherer RW, Dickersin K, Langenberg P. Full publication of results initially presented in abstracts. A meta-analysis. JAMA 1994;272:158-62

52 Schwartz D. Le jeu de la science et du hasord. LA statistique et le vivant Paris : Flammarion, 1994 53 Sikorski R, Peters R. JAMA Netsight: a guide to interactive medicine. Medical literature made easy. Querying databases on the Internet. JAMA 1997;277:95960 54 Simon R. Confidence intervals for reporting results of clinical trials. Ann Intern Med 1986;105:429-35 55 Wilson MC, Hayward RS. Tunis SR, Bass EB, Guyatt G. User’s guides to the medical literature. VIII. How to use clinical practice guidelines. B. What are the recommendations and will they help you in caring for your patients? EvidenceBased Medicine Working Group. JAMA 1995;274: 1630-2