- Email: [email protected]
Estudios observacionales en atención primaria
2003/2 Supl. 1
30/9/03
N OTA
09:37
Página 579
METODOLÓGICA
Estudios observacionales en atención primaria Luis Lizán Tudelaa y Xavier Badia Llachb aUnidad
Docente de Medicina de Familia y Comunitaria. Castellón. España. bUnidad de IRS. Departament d'Epidemiologia i Salut Pública. Hospital de la Santa Creu i Sant Pau. Health Outcomes Research Europe. Barcelona. España.
Tradicionalmente, el uso de estudios observacionales se ha limitado a los casos en los que la experimentación tenía limitaciones de factibilidad, ya fuera por innecesaria, inapropiada o imposible1: 1. La experimentación es innecesaria cuando se quiere evaluar el efecto de una intervención y dicho efecto es muy grande. La posibilidad de que exista algún factor de confusión que justifique las diferencias es tan pequeña que se puede ignorar. 2. La experimentación puede ser inapropiada en estudios para evaluar la presencia de efectos adversos poco frecuentes, cuando las intervenciones que se valoran van destinadas a prevenir casos que se presentan con muy baja frecuencia, cuando el efecto de la intervención no se puede evaluar a corto o medio plazo o cuando la aleatorización de la intervención reduce su efectividad. 3. La experimentación es imposible de realizar cuando existe una alta renuncia por parte de los médicos o de los pacientes a participar en el estudio por el hecho de que la intervención que se vaya a recibir sea asignada de forma aleatoria, o cuando existen limitaciones éticas, políticas o legales. Los estudios observacionales pueden ser analíticos (evalúan una presunta relación causa-efecto) o descriptivos (sus datos se utilizan con finalidad puramente descriptiva). Entre los primeros tenemos los estudios de cohortes y los de casos y controles, y de los descriptivos cabe señalar los estudios de prevalencia y los de evaluación de pruebas diagnósticas, entre otros. El estudio de cohortes es el estudio observacional más parecido al ensayo clínico. Consiste en definir grupos de pacientes según el nivel de exposición a un determinado factor o intervención y realizar el seguimiento de los pacientes de cada uno durante un determinado período para evaluar y comparar los resultados obtenidos. Las diferencias observadas permitirán evaluar el impacto de la intervención en los resultados. Es necesario evaluar la comparabilidad de los grupos en términos de edad, sexo o gravedad clínica para controlar el posible sesgo de selección. El estudio de cohortes es habitualmente prospectivo dado que éste se inicia en el momento en que los pacientes reciben las intervenciones del estudio y están en seguimiento hasta que se puedan evaluar los resultados. Así, lo que se analiza en un estudio de cohortes es si la variable de resultado es distinta entre los pacientes que han recibido la intervención de estudio y los pacientes que pertenecían al grupo control. En algunas ocasiones pueden diseñarse estudios de cohortes retrospectivos. Éstos tienen la ventaja de que son más económicos y requieren menos tiempo y la desventaja de que poseen poco conocimiento acerca de la calidad y la naturaleza de los datos recogidos. El estudio de casos y controles es un estudio retrospectivo en el que el resultado de interés se presenta o evalúa antes de que se inicie el estudio. El diseño más simple utiliza dos muestras independientes de pacientes. Una primera muestra se obtiene de los pacientes que presentan el resultado de interés (grupo de casos), y el otro grupo lo constituyen los que no han presentado este resultado (grupo de controles). Casos y controles son comparados respecto a los
89
tratamientos o intervenciones recibidas anteriormente con el objetivo de determinar qué tratamientos están relacionados con la clasificación de los pacientes entre casos y controles. En los estudios observacionales no existe asignación aleatoria de los sujetos ni control del factor de estudio por parte de los investigadores, lo que determina que carezcan de valor alguno para muchos expertos, de ahí la clásica afirmación de la medicina basada en la evidencia (MBE): if you find that a study was not randomized, we’d suggest that you stop reading it and go on the next article2. Este argumento se basa en que las denominadas escalas de la evidencia únicamente tienen en cuenta la validez interna de los estudios. Se define como validez interna de un estudio la fiabilidad de los resultados del estudio obtenidos en la muestra respecto a la población de estudio; es decir, la seguridad de que el efecto obtenido en la muestra no difiere del efecto real en la población de estudio. Por otro lado, la validez externa se define como la validez de la extrapolación de los resultados obtenidos en nuestra muestra a la población diana; es decir, la representatividad y la relevancia de los resultados obtenidos sobre el grupo de sujetos que son de interés para el estudio. De acuerdo con estas definiciones, la validez interna de un estudio es un requisito para su validez externa3. La diferencia entre la estimación del efecto obtenido en la muestra de estudio y el efecto real de la población de estudio define un primer error que limita su validez interna. Dicho error se deriva principalmente de cómo se ha realizado el diseño del estudio. La diferencia entre el efecto real en la población de estudio y el que se produce en la población diana (o efecto real de interés) define una segunda fuente de error, que limita la validez externa del estudio. Dicho error deriva del nivel de representatividad de la población diana por parte de la población de estudio. Cuando se habla de validez de un estudio, en general, se hace referencia a la suma de la validez interna y de la externa (fig. 1). La validez externa se valora en las guías de lectura crítica de la bibliografía, pero carece de valor en la graduación de la evidencia; en este sentido, estamos viviendo una saludable obsesión en fundamentar la práctica médica en la mejor evidencia científica4. Pero la pregunta fundamental es: ¿hay vida científica más allá de la MBE?, y si la hay, ¿es aplicable en atención primaria (AP)? No se trata de decidir entre estudios experimentales y no experimentales. El ensayo clínico controlado (ECC) es fundamental en la evaluación de la eficacia y la seguridad de las intervenciones sanitarias en sus fases iniciales de investigación. No obstante, la medida en que una intervención alcanza sus objetivos en la práctica clínica habitual o efectividad suele ser diferente, dado que las condiciones de la práctica clínica habitual acostumbran a ser muy diferentes de aquellas en que se han obtenido los resultados de eficacia de los ECC. Y puesto que nuestro entorno de trabajo es la AP, parece más lógico centrarnos en una investigación dirigida a conocer la efectividad, es decir, la realidad de los resultados de nuestras intervenciones con estudios que no traten de simular unas condiciones que no son reales en la AP y que sí parecen más lógicas en otros entornos sanitarios superespecializados.
FMC 2003;10(8):577-600
579
2003/2 Supl. 1
30/9/03
N OTA
09:37
Página 580
METODOLÓGICA
Población diana
Efecto real de interés
Población de estudio
Error
Efecto real en el estudio
Muestra de estudio
Error
Estimación del efecto
– Reducido tiempo de seguimiento: el ECC tiene un tiempo de seguimiento reducido, por lo que la valoración de los resultados obtenidos debe basarse en muchos casos en variables intermedias y no en variables finales.
Tradicionalmente, se ha mantenido que los estudios observacionales sobreestimaban los resultados de los tratamientos en comparación con los ECC5,6. Sin embargo, dos estudios relativamente Validez externa Validez interna recientes7,8 han comparado el efecto de distintas intervenciones evaluado mediante ECC y estudios observacionales. Al comparar el efecto de las intervenciones sanitarias obtenido por ambos tipos de estudios no se observaron diferencias sisValidez del estudio temáticas, por lo que los dos artículos concluyeron que los estudios observacionales proporcioFigura 1. Validez interna y externa de los estudios. (Adaptado de Badia et al3.) nan información válida en la evaluación de intervenciones sanitarias, siempre y cuando estén correctamente diseñados. Una limitación de estos estudios fue el reducido número de estudios observacionales y exAsegurar la validez externa de los estudios observacionales no es perimentales comparables, lo que puede explicarse por la escasa suficiente, por lo que todos los aspectos que puedan mejorar la publicación de este tipo de estudios y las diferencias en la definivalidez interna deben ser tenidos en consideración: ción de los criterios de selección entre un estudio observacional y un ensayo clínico. – Control de los factores de confusión: cuando se presentan factoEs necesario mencionar los resultados del Women’s Health Initiatires de confusión, el efecto de la intervención de estudio se mezcla ve Study9, un ECC de los beneficios preventivos sobre la enfermecon el efecto de uno o más factores de confusión, lo que puede conducir a conclusiones erróneas. En los estudios observacionales, dad coronaria de la terapia hormonal en mujeres posmenopáusicas los factores de confusión pueden ser controlados en la fase de disesanas. Hasta la fecha, la evidencia disponible sobre los beneficios ño, definiendo patrones de selección de sujetos o realizando un potenciales de la terapia estaba fundamentada en estudios observaapareamiento de los sujetos, o en la fase de análisis de datos, mecionales que recomendaban esta iniciativa; sin embargo, dichos bediante el apareamiento, la estratificación o el ajuste por covarianneficios se basaban en variables de resultado intermedias, como la tes, entre otros métodos. mejora del perfil lipídico. No ha sido hasta la elaboración de este – Control de los posibles sesgos: se trata de variables que pueden ECC, que emplea variables de resultado finales (enfermedad corodistorsionar la relación entre el factor de estudio y la variable de naria, seguimiento medio de 5 años), cuando se ha demostrado su respuesta. Los sesgos no pueden eliminarse en el análisis, por lo nulo beneficio al emplearla para este fin. que resulta fundamental prevenir su aparición en el diseño del estuEn definitiva, los estudios observacionales pueden ser tan válidos dio. Por ejemplo, en el caso de la evaluación de la calidad de vida como los ECC cuando están bien planteados y diseñados, y parecen relacionada con la salud como medida de resultado, siempre que ser el tipo de estudio ideal para ser utilizado en AP10, donde nuessea posible es preferible la autoadministración de los cuestionarios tro primer objetivo, dada la complejidad de nuestros pacientes, depara evitar el posible sesgo del profesional sanitario en la valorabe consistir en valorar la efectividad de nuestras intervenciones. ción de las respuestas. Las características de los ensayos clínicos que limitan su validez externa y que se presuponen superadas en los estudios observacionales son: – Baja representatividad de los médicos participantes en el estudio. – Baja representatividad de los pacientes participantes en los ECC: la definición de criterios de selección muy estrictos hace que los pacientes participantes en el estudio representen únicamente a un subgrupo de los tratados en condiciones de práctica clínica habitual. – Atención sanitaria atípica: los pacientes incluidos en un ensayo pueden recibir mejor atención que los pacientes no incluidos en el ensayo. – Tamaño de muestra reducido: el limitado número de pacientes incluidos habitualmente en los ECC limita la representatividad de la población diana.
580
FMC 2003;10(8):577-600
Bibliografía 1. Raftery J. Economic evaluation: an introduction. BMJ 1998;316:10134. 2. Ortún V, Pinto JL, Puig J. La economía de la salud y su aplicación a la evaluación. Aten Primaria 2001;27:62-4. 3. Pinto JL, Ortún V, Puig J. El análisis coste-efectividad en sanidad. Aten Primaria 2001;27:275-8. 4. Bouza A. Reflexiones acerca del uso de los conceptos de eficiencia, eficacia y efectividad en el sector salud. Rev Cubana Salud Pública 2000;26:50-6. 5. Puig J, Ortún V, Pinto JL. Los costes en la evaluación económica de tecnologías sanitarias. Aten Primaria 2001;27:186-9. 6. González B. Acerca de la medición y valoración de los costes de las intervenciones sanitarias. Rev Administración Sanitaria 2000;4:475-81. 7. Torgerson D, Raftery J. Measuring outcomes in economic evaluations. BMJ 1999;318:1413. 8. Palmer S, Byford S, Raftery J. Types of economic evaluation. BMJ 1999;318:1349. 9. Palmer S, Raftery J. Opportunity cost. BMJ 1999;318;1551-2. 10. Byford S, Raftery J. Perspectives in economic evaluation. BMJ 1998;316:1529.
90
30/9/03
N OTA
09:37
Página 579
METODOLÓGICA
Estudios observacionales en atención primaria Luis Lizán Tudelaa y Xavier Badia Llachb aUnidad
Docente de Medicina de Familia y Comunitaria. Castellón. España. bUnidad de IRS. Departament d'Epidemiologia i Salut Pública. Hospital de la Santa Creu i Sant Pau. Health Outcomes Research Europe. Barcelona. España.
Tradicionalmente, el uso de estudios observacionales se ha limitado a los casos en los que la experimentación tenía limitaciones de factibilidad, ya fuera por innecesaria, inapropiada o imposible1: 1. La experimentación es innecesaria cuando se quiere evaluar el efecto de una intervención y dicho efecto es muy grande. La posibilidad de que exista algún factor de confusión que justifique las diferencias es tan pequeña que se puede ignorar. 2. La experimentación puede ser inapropiada en estudios para evaluar la presencia de efectos adversos poco frecuentes, cuando las intervenciones que se valoran van destinadas a prevenir casos que se presentan con muy baja frecuencia, cuando el efecto de la intervención no se puede evaluar a corto o medio plazo o cuando la aleatorización de la intervención reduce su efectividad. 3. La experimentación es imposible de realizar cuando existe una alta renuncia por parte de los médicos o de los pacientes a participar en el estudio por el hecho de que la intervención que se vaya a recibir sea asignada de forma aleatoria, o cuando existen limitaciones éticas, políticas o legales. Los estudios observacionales pueden ser analíticos (evalúan una presunta relación causa-efecto) o descriptivos (sus datos se utilizan con finalidad puramente descriptiva). Entre los primeros tenemos los estudios de cohortes y los de casos y controles, y de los descriptivos cabe señalar los estudios de prevalencia y los de evaluación de pruebas diagnósticas, entre otros. El estudio de cohortes es el estudio observacional más parecido al ensayo clínico. Consiste en definir grupos de pacientes según el nivel de exposición a un determinado factor o intervención y realizar el seguimiento de los pacientes de cada uno durante un determinado período para evaluar y comparar los resultados obtenidos. Las diferencias observadas permitirán evaluar el impacto de la intervención en los resultados. Es necesario evaluar la comparabilidad de los grupos en términos de edad, sexo o gravedad clínica para controlar el posible sesgo de selección. El estudio de cohortes es habitualmente prospectivo dado que éste se inicia en el momento en que los pacientes reciben las intervenciones del estudio y están en seguimiento hasta que se puedan evaluar los resultados. Así, lo que se analiza en un estudio de cohortes es si la variable de resultado es distinta entre los pacientes que han recibido la intervención de estudio y los pacientes que pertenecían al grupo control. En algunas ocasiones pueden diseñarse estudios de cohortes retrospectivos. Éstos tienen la ventaja de que son más económicos y requieren menos tiempo y la desventaja de que poseen poco conocimiento acerca de la calidad y la naturaleza de los datos recogidos. El estudio de casos y controles es un estudio retrospectivo en el que el resultado de interés se presenta o evalúa antes de que se inicie el estudio. El diseño más simple utiliza dos muestras independientes de pacientes. Una primera muestra se obtiene de los pacientes que presentan el resultado de interés (grupo de casos), y el otro grupo lo constituyen los que no han presentado este resultado (grupo de controles). Casos y controles son comparados respecto a los
89
tratamientos o intervenciones recibidas anteriormente con el objetivo de determinar qué tratamientos están relacionados con la clasificación de los pacientes entre casos y controles. En los estudios observacionales no existe asignación aleatoria de los sujetos ni control del factor de estudio por parte de los investigadores, lo que determina que carezcan de valor alguno para muchos expertos, de ahí la clásica afirmación de la medicina basada en la evidencia (MBE): if you find that a study was not randomized, we’d suggest that you stop reading it and go on the next article2. Este argumento se basa en que las denominadas escalas de la evidencia únicamente tienen en cuenta la validez interna de los estudios. Se define como validez interna de un estudio la fiabilidad de los resultados del estudio obtenidos en la muestra respecto a la población de estudio; es decir, la seguridad de que el efecto obtenido en la muestra no difiere del efecto real en la población de estudio. Por otro lado, la validez externa se define como la validez de la extrapolación de los resultados obtenidos en nuestra muestra a la población diana; es decir, la representatividad y la relevancia de los resultados obtenidos sobre el grupo de sujetos que son de interés para el estudio. De acuerdo con estas definiciones, la validez interna de un estudio es un requisito para su validez externa3. La diferencia entre la estimación del efecto obtenido en la muestra de estudio y el efecto real de la población de estudio define un primer error que limita su validez interna. Dicho error se deriva principalmente de cómo se ha realizado el diseño del estudio. La diferencia entre el efecto real en la población de estudio y el que se produce en la población diana (o efecto real de interés) define una segunda fuente de error, que limita la validez externa del estudio. Dicho error deriva del nivel de representatividad de la población diana por parte de la población de estudio. Cuando se habla de validez de un estudio, en general, se hace referencia a la suma de la validez interna y de la externa (fig. 1). La validez externa se valora en las guías de lectura crítica de la bibliografía, pero carece de valor en la graduación de la evidencia; en este sentido, estamos viviendo una saludable obsesión en fundamentar la práctica médica en la mejor evidencia científica4. Pero la pregunta fundamental es: ¿hay vida científica más allá de la MBE?, y si la hay, ¿es aplicable en atención primaria (AP)? No se trata de decidir entre estudios experimentales y no experimentales. El ensayo clínico controlado (ECC) es fundamental en la evaluación de la eficacia y la seguridad de las intervenciones sanitarias en sus fases iniciales de investigación. No obstante, la medida en que una intervención alcanza sus objetivos en la práctica clínica habitual o efectividad suele ser diferente, dado que las condiciones de la práctica clínica habitual acostumbran a ser muy diferentes de aquellas en que se han obtenido los resultados de eficacia de los ECC. Y puesto que nuestro entorno de trabajo es la AP, parece más lógico centrarnos en una investigación dirigida a conocer la efectividad, es decir, la realidad de los resultados de nuestras intervenciones con estudios que no traten de simular unas condiciones que no son reales en la AP y que sí parecen más lógicas en otros entornos sanitarios superespecializados.
FMC 2003;10(8):577-600
579
2003/2 Supl. 1
30/9/03
N OTA
09:37
Página 580
METODOLÓGICA
Población diana
Efecto real de interés
Población de estudio
Error
Efecto real en el estudio
Muestra de estudio
Error
Estimación del efecto
– Reducido tiempo de seguimiento: el ECC tiene un tiempo de seguimiento reducido, por lo que la valoración de los resultados obtenidos debe basarse en muchos casos en variables intermedias y no en variables finales.
Tradicionalmente, se ha mantenido que los estudios observacionales sobreestimaban los resultados de los tratamientos en comparación con los ECC5,6. Sin embargo, dos estudios relativamente Validez externa Validez interna recientes7,8 han comparado el efecto de distintas intervenciones evaluado mediante ECC y estudios observacionales. Al comparar el efecto de las intervenciones sanitarias obtenido por ambos tipos de estudios no se observaron diferencias sisValidez del estudio temáticas, por lo que los dos artículos concluyeron que los estudios observacionales proporcioFigura 1. Validez interna y externa de los estudios. (Adaptado de Badia et al3.) nan información válida en la evaluación de intervenciones sanitarias, siempre y cuando estén correctamente diseñados. Una limitación de estos estudios fue el reducido número de estudios observacionales y exAsegurar la validez externa de los estudios observacionales no es perimentales comparables, lo que puede explicarse por la escasa suficiente, por lo que todos los aspectos que puedan mejorar la publicación de este tipo de estudios y las diferencias en la definivalidez interna deben ser tenidos en consideración: ción de los criterios de selección entre un estudio observacional y un ensayo clínico. – Control de los factores de confusión: cuando se presentan factoEs necesario mencionar los resultados del Women’s Health Initiatires de confusión, el efecto de la intervención de estudio se mezcla ve Study9, un ECC de los beneficios preventivos sobre la enfermecon el efecto de uno o más factores de confusión, lo que puede conducir a conclusiones erróneas. En los estudios observacionales, dad coronaria de la terapia hormonal en mujeres posmenopáusicas los factores de confusión pueden ser controlados en la fase de disesanas. Hasta la fecha, la evidencia disponible sobre los beneficios ño, definiendo patrones de selección de sujetos o realizando un potenciales de la terapia estaba fundamentada en estudios observaapareamiento de los sujetos, o en la fase de análisis de datos, mecionales que recomendaban esta iniciativa; sin embargo, dichos bediante el apareamiento, la estratificación o el ajuste por covarianneficios se basaban en variables de resultado intermedias, como la tes, entre otros métodos. mejora del perfil lipídico. No ha sido hasta la elaboración de este – Control de los posibles sesgos: se trata de variables que pueden ECC, que emplea variables de resultado finales (enfermedad corodistorsionar la relación entre el factor de estudio y la variable de naria, seguimiento medio de 5 años), cuando se ha demostrado su respuesta. Los sesgos no pueden eliminarse en el análisis, por lo nulo beneficio al emplearla para este fin. que resulta fundamental prevenir su aparición en el diseño del estuEn definitiva, los estudios observacionales pueden ser tan válidos dio. Por ejemplo, en el caso de la evaluación de la calidad de vida como los ECC cuando están bien planteados y diseñados, y parecen relacionada con la salud como medida de resultado, siempre que ser el tipo de estudio ideal para ser utilizado en AP10, donde nuessea posible es preferible la autoadministración de los cuestionarios tro primer objetivo, dada la complejidad de nuestros pacientes, depara evitar el posible sesgo del profesional sanitario en la valorabe consistir en valorar la efectividad de nuestras intervenciones. ción de las respuestas. Las características de los ensayos clínicos que limitan su validez externa y que se presuponen superadas en los estudios observacionales son: – Baja representatividad de los médicos participantes en el estudio. – Baja representatividad de los pacientes participantes en los ECC: la definición de criterios de selección muy estrictos hace que los pacientes participantes en el estudio representen únicamente a un subgrupo de los tratados en condiciones de práctica clínica habitual. – Atención sanitaria atípica: los pacientes incluidos en un ensayo pueden recibir mejor atención que los pacientes no incluidos en el ensayo. – Tamaño de muestra reducido: el limitado número de pacientes incluidos habitualmente en los ECC limita la representatividad de la población diana.
580
FMC 2003;10(8):577-600
Bibliografía 1. Raftery J. Economic evaluation: an introduction. BMJ 1998;316:10134. 2. Ortún V, Pinto JL, Puig J. La economía de la salud y su aplicación a la evaluación. Aten Primaria 2001;27:62-4. 3. Pinto JL, Ortún V, Puig J. El análisis coste-efectividad en sanidad. Aten Primaria 2001;27:275-8. 4. Bouza A. Reflexiones acerca del uso de los conceptos de eficiencia, eficacia y efectividad en el sector salud. Rev Cubana Salud Pública 2000;26:50-6. 5. Puig J, Ortún V, Pinto JL. Los costes en la evaluación económica de tecnologías sanitarias. Aten Primaria 2001;27:186-9. 6. González B. Acerca de la medición y valoración de los costes de las intervenciones sanitarias. Rev Administración Sanitaria 2000;4:475-81. 7. Torgerson D, Raftery J. Measuring outcomes in economic evaluations. BMJ 1999;318:1413. 8. Palmer S, Byford S, Raftery J. Types of economic evaluation. BMJ 1999;318:1349. 9. Palmer S, Raftery J. Opportunity cost. BMJ 1999;318;1551-2. 10. Byford S, Raftery J. Perspectives in economic evaluation. BMJ 1998;316:1529.
90