- Email: [email protected]
UCLA»
ORIGINAL
Métodos de consenso. Uso adecuado de la evidencia en la toma de decisiones. «Método RAND/UCLA» M.ª E. MARTÍNEZ-SAHUQUILLO AMUEDO* y M.ª C. ECHEVARRÍA RUIZ DE VARGAS** *Servicio de Rehabilitación Hospital Juan Ramón Jiménez. Huelva. **Servicio de Rehabilitación Hospital Virgen del Rocío. Sevilla.
Resumen.—La creciente complejidad y multiplicidad de dimensiones de los problemas sanitarios y la incertidumbre que estos generan, así como su posible aplicación en aspectos de la gestión y de la práctica clínica, han motivado el interés y desarrollo por las Conferencias de Consenso o Consenso de Expertos. Realizamos un pequeño recorrido por el origen, elaboración, difusión y puesta en práctica de las distintas metodologías existentes. A continuación describimos el método que en la actualidad goza de mayor predicamento y rigor, el «Método RAND/UCLA o Método de Uso Apropiado» desarrollado por un grupo de investigadores de la RAND Corporation y la Universidad de California en los Ángeles (UCLA) y que se basa en la evidencia científica y en el juicio colectivo de un panel de expertos. Es una combinación de la Técnica Delphi con la de Grupos Nominales. Palabras clave: Medicina Basada en la Evidencia. Métodos de Consenso. Método RAND/UCLA. Método de Uso Adecuado.Técnica Delphi modificada. CONSENSUS METHODS. ADEQUATE USE OF EVIDENCE IN DECISION MAKING. RAND/UCLA METHOD Summary.—The growing complexity and multiplicity of the dimensions of the health care problems and the uncertainty that these generate as well as their possible application in aspects related to management and clinical practice have motivated an interest in and the development of the Consensus Meetings or Experts Consensus. We take a short journey through the origin, elaboration, communication and initiation of the different existing methodologies. In the following, we describe the method that presently has the greatest prestige and accuracy, the «RAND/UCLA Method or the Appropriate Use Method» developed by a group of investigators from the RAND Corporation and the University of California in Los Angeles (UCLA) which is based on the scientific evidence and on the collective opinion of an expert’s panel. It is a combination of the Delphi Technique with that of the Nominal Groups. Key words: Evidence based medicine. Consensus methods. RAND/UCLA Method. Adequate Use Method. Modified Delphi Technique.
Rehabilitación (Madr) 2001;35(6):388-392
INTRODUCCIÓN Según la Real Academia Española, consensuar significa: «Adoptar una decisión de común acuerdo entre dos o más partes». Desde la antigüedad, conocemos diversas manifestaciones de cómo el ser humano ha intentado, sobre todo ante situaciones de incertidumbre, llegar a un «consenso»: consejos de ancianos, comisiones de notables, comités de las sociedades científicas, funcionamiento de los jurados en los tribunales de justicia, etc. Dentro del campo de las ciencias de la salud, donde existen situaciones que exigen tomar decisiones sin tiempo a que se elaboren teorías científicas definitivas, han sido frecuentes las discusiones de criterios entre colegas en foros como las sesiones clínicas, reuniones científicas, etc. A partir de la última mitad del siglo XX, la forma de ejercer la medicina ha cambiado sustancialmente debido al aumento y rapidez en la introducción de nuevas tecnologías, a la gran especialización, al desarrollo de la investigación clínica, así como a la socialización del contexto de prestación de los servicios, tanto a nivel de la relación médico-paciente como administrativo (1). Esto ha provocado que se produzca una gran variabilidad de criterios a la hora de la toma de decisiones en la práctica clínica diaria, y es por lo que comenzaron a desarrollarse técnicas, para contrastar las opiniones de los expertos de la forma más sistemática posible que, junto a «la utilización consciente, explícita y juiciosa de la mejor evidencia científica disponible», como la definieron Sackett et al (2), constituyen la base objetiva de la Medicina Basada en la Evidencia (MBE).
MÉTODOS DE CONSENSO El intento de elaborar de modo sistemático metodologías para obtener consenso (conferencias de consenso o consenso de expertos) surge ante la crecien74
M.ª E. MARTÍNEZ-SAHUQUILLO AMUEDO, ET AL.—MÉTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. «MÉTODO RAND/UCLA»
te complejidad y multiplicidad de dimensiones de los problemas sanitarios y la incertidumbre que estos generan (3, 4). El interés por las conferencias de consenso ha aumentado en los últimos años dadas sus posibles aplicaciones en aspectos de la gestión y de la práctica clínica. Basan sus objetivos en su capacidad para favorecer el uso adecuado de procedimientos y, en general, para mejorar la eficiencia en la prestación de servicios sanitarios (5, 6). Sin embargo ha aumentado la preocupación y el debate sobre la metodología utilizada en su elaboración, difusión y puesta en práctica, teniendo en cuenta la gran variabilidad que encontramos en sus procesos y en los resultados finales (7). Las conferencias de consenso utilizan distintos enfoques metodológicos dirigidos a sistematizar y reducir la subjetividad de los expertos y a que los procesos de síntesis mejoren su validez y fiabilidad. Lógicamente y teniendo en cuenta el objetivo y la finalidad de uso posterior que se busque del resultado del consenso, dependerá la elección de la metodología y la calidad del producto final. Podemos distinguir tres grandes grupos de aplicaciones: a) Apoyo a la planificación sanitaria. Encaminadas al ámbito de la gestión sanitaria. Los métodos empleados más comúnmente, son las técnicas de grupo nominal y el método Delphi. b) Elaboración de recomendaciones o guías de práctica clínica. Siguiendo a Woolf (8), podemos distinguir diferentes aproximaciones metodológicas: – Consenso informal. Opinión de expertos que llegan a un acuerdo tras una discusión no sistematizada; aporta recomendaciones y muy poca información sobre las bases que sustentan el consenso. Presentan importantes deficiencias, además de no explicar los métodos utilizados. Se les critica la facilidad con que pueden verse influidas por las dinámicas de grupo, personalidades dominantes e intereses ajenos a los objetivos del consenso. – Consenso formal. A partir de una revisión bibliográfica, un panel de expertos debate acerca de una determinada práctica médica y realiza unas recomendaciones que luego se difunden (9, 10). Se les ha criticado la ausencia de criterios explícitos sobre acuerdo/desacuerdo y la urgencia de producir las recomendaciones en una sola sesión. – Guías basadas en la evidencia. Evalúan la evidencia científica publicada mediante consultores expertos. A este enfoque se le ha criticado que existen pocos procedimientos de la práctica médica que hayan sido validados suficientemente y que, por tanto, no aporta recomendaciones en los casos de situaciones dudosas o de alta incertidumbre. Rehabilitación (Madr) 2001;35(6):388-392
389
– Guías explícitas. Especifican los beneficios, riesgos y costes de cada intervención y se derivan estimaciones explícitas de la probabilidad de que ocurra cada uno de los resultados. Sus críticos argumentan que es demasiado complejo para ser práctico, dada la limitación de tiempo y recursos para el desarrollo de guías prácticas (11). c) Evaluación de la idoneidad de la atención sanitaria. Si se quiere evaluar la adecuación o la calidad de la práctica clínica en un determinado hospital o para un grupo determinado de indicaciones, tendrá que utilizarse un método para resumir la opinión de los expertos y aplicarlo a las situaciones prácticas en evaluación. Estos métodos han sido planificados principalmente por la RAND Corporation mediante la Técnica Delphi modificada. En el ámbito de la MBE se utiliza el Consenso Formal (12), es decir, a partir de una revisión bibliográfica, un panel de expertos debate sobre un cuestionario acerca de una determinada práctica médica y realiza una serie de recomendaciones. Existen unos elementos estructurales determinantes para garantizar la validez de un consenso: – El problema a estudiar y los objetivos han de ser concretos y específicos. – La revisión bibliográfica o evidencia científica disponible debe cumplir un nivel de calidad estructurado (13). – Los miniescenarios deben ser elaborados metódicamente. Por último la selección del grupo de expertos y del moderador debe cumplir una serie de características personales y profesionales que garanticen la validez del consenso como: experiencia clínica, reconocido prestigio en la comunidad científica, interés por el tema, disponibilidad de tiempo y ausencia de conflictos de interés entre otros. A continuación vamos a describir la metodología que en la actualidad goza de mayor predicamento y rigor, que es el Método RAND o Método de uso apropiado (tabla 1).
Método RAND/UCLA o Método de «uso apropiado» A comienzo de la década de los ochenta se iniciaron en Estados Unidos una serie de estudios para medir la calidad de la asistencia médica. Al no disponer siempre de una referencia científica que apoye la decisión clínica, hay que utilizar otro tipo de criterio para decidir en situación de incertidumbre (14, 15). El grupo de investigadores que trabajaban en el Centro Rand y la Universidad de California en los Ángeles (UCLA) abordaron dicho problema, desarrollando un 75
390
M.ª E. MARTÍNEZ-SAHUQUILLO AMUEDO, ET AL.—MÉTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. «MÉTODO RAND/UCLA»
método que utiliza las evidencias científicas, junto con el juicio u opinión que los especialistas tienen sobre la utilización de un procedimiento en condiciones reales. Para tratar las opiniones de estos expertos se recurrió a la utilización de técnicas de grupo, en concreto a un método desarrollado en dicho centro: la técnica Delphi (16), modificándola para adaptarla mejor al objetivo perseguido. El método Delphi asume que hay numerosas áreas de la actividad humana en las que hay una información científica insuficiente para apoyar la toma de decisiones. Para rellenar esas lagunas se debe recurrir a otras fuentes de evidencias, las que provienen de la experiencia práctica, confrontando para ello las opiniones de un grupo de personas, de una forma sistemática y susceptible de ser sometida a evaluación científica. Para ello hay que usar elementos que permitan cuantificar de alguna manera la expresión de cada opinión. Las características propias del método según Dalkey (16) son: – Confidencialidad de las opiniones de cada uno de los miembros del grupo. – Iteración y retroalimentación controlada. – Capacidad para resumir estadísticamente las distintas opiniones o juicios. El Método RAND/UCLA o Método de «uso apropiado» está basado en la evidencia científica y en el juicio colectivo de un panel de expertos. Es una combinación de la técnica Delphi con la de Grupos Nominales. En esta útima también se persigue la convergencia de los juicios, pero son los expertos los que en una primera fase proponen las preguntas sobre un tema para en una segunda fase reunirse y discutir entre todos, de una forma estructurada, las propuestas que ellos mismos han hecho. Por último cada experto, de forma confidencial, valora por escrito las propuestas más interesantes (17). En primer lugar, varios médicos especialistas en el procedimiento de estudio desarrollan una lista de todas las posibles indicaciones en las que pueda plantearse la aplicación o no del procedimiento. Las indicaciones se clasifican teniendo en cuenta los factores clínicos críticos que condicionan la toma de decisiones (factores de riesgo, síntomas y signos del paciente, resultados de pruebas diagnósticas, terapias y otras variables relevantes de su historia clínica previa). El objetivo de esta lista es clasificar a los pacientes en grupos clínicos homogéneos. A la vez que se diseña la lista de indicaciones, el equipo de investigadores realiza una revisión sistemática de la literatura y elabora una síntesis de la evidencia científica disponible en el momento del estudio. Los artículos se obtienen a través de búsquedas sistemáticas en MEDLINE para un determinado período y búsquedas Rehabilitación (Madr) 2001;35(6):388-392
manuales de citas bibliográficas. Los artículos identificados se clasifican según la calidad de la evidencia, dando prioridad a los resultados obtenidos de ensayos clínicos de diseño aleatorio grandes y bien realizados. Una vez elaboradas la lista de indicaciones y la síntesis de la evidencia, ambos documentos son enviados a un panel de expertos. Los paneles de expertos están formados, generalmente, por nueve miembros especialistas médicos, incluyendo a veces a generalistas. Los panelistas son seleccionados con los criterios de experiencia clínica, reconocido prestigio en la comunidad científica, y ausencia de conflictos de interés. Dependiendo del país, puede ser deseable que los panelistas representen también diferentes regiones geográficas, tipos de hospitales, u otras características (4). Usando un proceso Delphi modificado, las indicaciones son puntuadas por los panelistas en dos rondas. En la primera ronda, el informe de la síntesis de la evidencia y la lista de indicaciones son enviados a los miembros del panel, junto con instrucciones sobre la metodología para puntuar las indicaciones. La cumplimentación del cuestionario se hace individualmente, sin que los expertos mantengan ningún tipo de comunicación o intercambio de opiniones. Cada panelista recibe una definición escrita del concepto de «apropiado». Apropiado en el contexto de este método significa que «el esperado beneficio excede las esperadas consecuencias negativas por un margen suficientemente amplio como para que merezca la pena realizar el procedimiento». Cada panelista puntúa cada indicación en una escala de uno a nueve dependiendo de como de apropiado considere la realización del procedimiento para esa indicación concreta. Una puntuación de 1 significa que el procedimiento es extremadamente inapropiado para esa indicación, un nueve significa que el procedimiento es extremadamente apropiado, y una puntuación de cinco indica que los riesgos y beneficios son aproximadamente iguales. Los panelistas envían las puntuaciones al equipo investigador, y una vez analizadas estadísticamente se convoca la segunda ronda. En la segunda ronda del Delphi, los panelistas se reúnen durante un día o dos para discutir y repuntuar las indicaciones. Cada panelista recibe un documento que muestra sus propias puntuaciones identificadas y el resultado de las puntuaciones de los demás panelistas sin identificar, pudiendo así comparar su opinión frente a la del resto de los componentes del panel, sin verse por ello forzado a modificarla por la posible presión del grupo. El moderador de la reunión señala las áreas de desacuerdo o confusión para discusión. Si los panelistas lo desean, se puede modificar la estructura de la lista de indicaciones ampliándola, simplificándola, añadiendo nuevas categorías o eliminando categorías de la primera ronda. Al final de la sesión, los panelistas puntúan de nuevo cada indicación de la lista definitiva de indicaciones. Este método está diseñado para identificar el grado de acuerdo pero, 76
M.ª E. MARTÍNEZ-SAHUQUILLO AMUEDO, ET AL.—MÉTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. «MÉTODO RAND/UCLA»
391
TABLA 1. «Método RAND» de uso apropiado. 3. Panel de expertos (Delphi modificado) 1. Lista de indicaciones (especialistas+investigadores)
1.ª ronda: no interactúan
2. Síntesis de la evidencia (investigadores)
2.ª ronda: interactúan
ESTÁNDARES % de uso: Apropiado, Dudoso, Inapropiado.
Retrospectivo: Comparación con las historias clínicas
– Apropiado
– Dudoso Aumentar uso apropiado
Prospectivo: Guías de uso
– Inapropiado
Fuente (4).
a diferencia de otros métodos, no fuerza a los miembros del panel a que lleguen a un consenso. Después de la segunda ronda del Delphi, cada indicación es clasificada como «apropiada», «inapropiada» o «dudosa» dependiendo de la mediana de las puntuaciones y del nivel de acuerdo. En cada indicación existe «acuerdo» (para un panel de nueve miembros) cuando no más de dos panelistas la han puntuado fuera de la región de tres puntos (1-3, 4-6, 7-9) que contiene a la mediana. Existe «desacuerdo» cuando las puntuaciones de tres o más panelistas están en la región de 1-3, y tres o más en la región de 7-9. Las indicaciones en las que no existe ni acuerdo ni desacuerdo se consideran como puntuadas con un nivel de acuerdo «indeterminado». Todas las indicaciones puntuadas sin desacuerdo (incluye acuerdo e indeterminado) son clasificadas como «apropiadas» si la mediana de las puntuaciones está en el rango 7-9, y como «inapropiadas» si la mediana está en el rango 1-3. Las indicaciones cuya mediana está en el rango 4-6, y todas aquellas puntuadas con desacuerdo, independientemente de su mediana, son clasificadas como «dudosas» (tabla 2). Los resultados obtenidos pueden aplicarse no sólo a estudios enfocados a la evaluación de la práctica médica sino también usarlos en la elaboración de guías clínicas que apoyen la toma de decisiones en la práctica diaria (18, 19). El método RAND/UCLA posee algunas ventajas frente a otros métodos para elaborar consenso: – Adecuado nivel de confidencialidad: el experto no se ve presionado por las opiniones de otros miembros del panel; el anonimato se mantiene en las dos rondas. Rehabilitación (Madr) 2001;35(6):388-392
– La metodología es reproducible. – Los resultados pueden aplicarse no sólo en la evaluación de la práctica médica sino también para elaborar GPC. – Sirve para poner en evidencia la existencia de áreas de discrepancia o incertidumbre por lo que promueve la investigación. A pesar de las ventajas comentadas, otros autores (20) han señalado diversos inconvenientes: – Posiblemente la crítica más seria que se le ha hecho es que a pesar de su carácter aparentemente objetivo, es subjetivo, puesto que fundamentalmente lo que mide son opiniones. – Críticas con respecto a la aplicación del método, como dificultad a la hora de la definición de experto, diseño del cuestionario... – Además, el método requiere la colaboración de un grupo de personas a las que no se les puede exigir una dedicación larga en tiempo y la coordinación de grupos es compleja y costosa.
TABLA 2. Análisis de datos y calificación de los escenarios. 1) Distribución de frecuencias: intervalos. 2) Medida de centralización y de dispersión. 3) Clasificación de la adecuación de uso del procedimiento: – Apropiado: mediana en intervalo 7-9 y sin desacuerdo. – Inapropiado: mediana en intervalo 1-3 y sin desacuerdo. – Dudoso: mediana en intervalo 4-6 ó desacuerdo. 77
392
M.ª E. MARTÍNEZ-SAHUQUILLO AMUEDO, ET AL.—MÉTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. «MÉTODO RAND/UCLA»
Esta metodología ha sufrido diversas modificaciones desde su creación, en un intento de mejorar su aplicación y conseguir una mejor utilización de los procedimientos médicos, así como una mayor eficiencia en la prestación de los servicios sanitarios. Una nueva aplicación del método es su utilización en la determinación de la necesidad de un procedimiento para la evaluación de la actividad asistencial (21, 22). Aunque existe una amplia experiencia en el uso del método RAND en el ámbito sanitario y a nivel internacional (23-26), no hemos encontrado en la búsqueda sistemática realizada ninguna publicación que utilice el Método de Uso Apropiado como base para la evaluación de la calidad asistencial en Rehabilitación a nivel nacional.
15.
BIBLIOGRAFÍA
18.
1. Berra de Unamuno A, Marín León I, Álvarez Gil R. Consenso en Medicina. Metodología de expertos. Escuela Andaluza de Salud Pública; 1996. Serie Monografías n.º14. 2. Sackett DL, Rosemberg W, Muir Gray JA, Haynes RB, Richarson WS. Evidence based medicine: what it is and what it isn’t. BMJ 1996;312:71-2. 3. Pozo F, Gómez de la Cámara A. Como ejercer y enseñar la MBE. En: Sakett DL, Richarson WS, Rosemberg W, Haynes RB, eds. Medicina basada en la evidencia. Madrid: Churchill Livingstone;1997. 4. Lázaro P, Fitch K. Calidad asistencial y uso apropiado de procedimientos médicos. Seminario el Hospital actual y del futuro. Escuela Andaluza de Salud Pública; 1998. Documento de Apoyo Bibliográfico n.º 8:1-6. 5. Briones Pérez de la Blanca E, Marín León I, Álvarez Gil R, Reyes Domínguez A. Fundamentos de Consenso en el Ámbito de las Ciencias de la Salud. En: Consenso en Medicina. Metodología de Expertos. EASP; 1996. 6. Oishi SM, Morton SC, Moore AA, Beck JC, Hays RD, Spritzer KL, et al. Using data to enhance the expert panel process. Rating indications of alcohol-related problems in older adults. Int J Technol Assess Health Care 2001;17:125-36. 7. Murillo Capitán E, Albero Tamarit A, Duque Amusco A, Reche Molina P. El Trabajoso Camino hasta la Evidencia. Med Clin (Barc) 1998;14:539-41. 8. Woolf SH. Pratice guidelines. A new reality in Medicine. II Methods of developing guidelines. Arch Intern Med 1992;152:946-52. 9. Peiró S, Portella E. No todo es acuerdo en el consenso: limitaciones de los métodos de consenso en los servicios de salud. Gac Sanit 1993;7:294-300. 10. Granados A. Las Conferencias de Consenso. ¿Un método para la evaluación de las tecnologías médicas? Gac Sanit 1991;26:201-2. 11. Eddy DM. Comparing benefits and harms: the balance sheet. JAMA 1990;263:2239. 12. Del Llano Señaris JE, Meneu de Guillena R. Asistencia Rehabilitación (Madr) 2001;35(6):388-392
13. 14.
16. 17.
19.
20.
21. 22. 23.
24.
25. 26.
sanitaria basada en la evidencia. Med Clin (Barc) 1999; 112,1:90-6. Arteaga Domínguez A. Evaluación crítica de la Evidencia Científica. Ponencia «Atención Sanitaria Basada en la Evidencia». Congreso de la SERMEF. Barcelona; 2000. Fink A, Kosecoff J, Chassin M, Brook RH. Consensus methods: caracteristics and guidelines for use. Am J Public Health 1984;74:979-83. Eddy DM, Billings J. The quality of medical evidence: implications for quality of care. Health Aff (Millwood) 1988;7:19-32. DalKey NC. The Delphi method: And experimental study of group opinion. Rm 5888-Pr. Sta Mónica, CA : Rand Corp; 1969. Lacalle Remigio JR, Pastor Torres L, Reyes Domínguez A, Pérez Lozano MJ, Álvarez Gil R. Metodología Delphi aplicada a la evaluación de procedimientos diagnósticos y terapéuticos. En: Consenso en Medicina. Metodología de expertos. EASP; 1996. p. 53-69. Wietlisbach V, Vader JP, Porchet F, Costanza MC, Burnand B. Statistical approaches in the development of clinical practice guidelines from expert panels: the case oflaminectomy in sciatica patients. Med Care 1999;37:785-97. Sachs GS, Printz DJ, Kahn DA, Carpenter D, Docherty JP. The expert consensus guideline series: Medication treatment of bipolar disorder 2000. Postgrad Med 2000;Spec No:1-104. Campbell SM, Hann M, Roland MO, Quayle JA, Shekelle PG. The effect of panel membership and feedback on ratings in a two-round Delphi survey: results on randomized controlled trial. Med Care 1999;37:964-8. Kahan JP, Bernstein SJ, Leape LL, Hilborne LH, Park RE, Parker L, et al. Measuring the necessity of medical procedures. Med Care 1994;32:357-65. Broder MS, Kanouse DE, Mittman BS, Bernstein SJ. The appropriateness of recommendations for hysterectomy. Obstet Gynecol 2000;95:199-205. Cambell SM, Roland MO, Shekelle PG, Cantrill JA, Buetow SA, Cragg DG. Development of review criteria for assessing the quality of management of stable angina, adult asthma, and non-insulin dependent diabetes mellitus in general practice. Qual Health Care 1999;8:6-15. Fitch K, Lázaro P, Aguilar MD, Kahan JP, van Het Loo M, Bernstein SJ, European criteria for the appropriateness and necessity of coronary revascularization procedures. Eur. J Cardiothorac Surg 2000;18:380-7. Asch SM, Kerr EA, Lapuerta P, Law A, McGlynn EA. A new approach for measuring quality of care for women with hypertension. Arch Intern Med 2001;161:1329-35. Buetow SA, Coster GD. New Zealand an United Kingdom experiences with the RAND modified Delphi approach to producing angina and heart failure criteria for qualyti assessment in general practice. Qual Health Correspondencia: M.ª Encarnación Martínez-Sahuquillo Amuedo Servicio de Rehabilitación Hospital Juan Ramón Jiménez Ronda Norte s/n 21005 Huelva
78
Métodos de consenso. Uso adecuado de la evidencia en la toma de decisiones. «Método RAND/UCLA» M.ª E. MARTÍNEZ-SAHUQUILLO AMUEDO* y M.ª C. ECHEVARRÍA RUIZ DE VARGAS** *Servicio de Rehabilitación Hospital Juan Ramón Jiménez. Huelva. **Servicio de Rehabilitación Hospital Virgen del Rocío. Sevilla.
Resumen.—La creciente complejidad y multiplicidad de dimensiones de los problemas sanitarios y la incertidumbre que estos generan, así como su posible aplicación en aspectos de la gestión y de la práctica clínica, han motivado el interés y desarrollo por las Conferencias de Consenso o Consenso de Expertos. Realizamos un pequeño recorrido por el origen, elaboración, difusión y puesta en práctica de las distintas metodologías existentes. A continuación describimos el método que en la actualidad goza de mayor predicamento y rigor, el «Método RAND/UCLA o Método de Uso Apropiado» desarrollado por un grupo de investigadores de la RAND Corporation y la Universidad de California en los Ángeles (UCLA) y que se basa en la evidencia científica y en el juicio colectivo de un panel de expertos. Es una combinación de la Técnica Delphi con la de Grupos Nominales. Palabras clave: Medicina Basada en la Evidencia. Métodos de Consenso. Método RAND/UCLA. Método de Uso Adecuado.Técnica Delphi modificada. CONSENSUS METHODS. ADEQUATE USE OF EVIDENCE IN DECISION MAKING. RAND/UCLA METHOD Summary.—The growing complexity and multiplicity of the dimensions of the health care problems and the uncertainty that these generate as well as their possible application in aspects related to management and clinical practice have motivated an interest in and the development of the Consensus Meetings or Experts Consensus. We take a short journey through the origin, elaboration, communication and initiation of the different existing methodologies. In the following, we describe the method that presently has the greatest prestige and accuracy, the «RAND/UCLA Method or the Appropriate Use Method» developed by a group of investigators from the RAND Corporation and the University of California in Los Angeles (UCLA) which is based on the scientific evidence and on the collective opinion of an expert’s panel. It is a combination of the Delphi Technique with that of the Nominal Groups. Key words: Evidence based medicine. Consensus methods. RAND/UCLA Method. Adequate Use Method. Modified Delphi Technique.
Rehabilitación (Madr) 2001;35(6):388-392
INTRODUCCIÓN Según la Real Academia Española, consensuar significa: «Adoptar una decisión de común acuerdo entre dos o más partes». Desde la antigüedad, conocemos diversas manifestaciones de cómo el ser humano ha intentado, sobre todo ante situaciones de incertidumbre, llegar a un «consenso»: consejos de ancianos, comisiones de notables, comités de las sociedades científicas, funcionamiento de los jurados en los tribunales de justicia, etc. Dentro del campo de las ciencias de la salud, donde existen situaciones que exigen tomar decisiones sin tiempo a que se elaboren teorías científicas definitivas, han sido frecuentes las discusiones de criterios entre colegas en foros como las sesiones clínicas, reuniones científicas, etc. A partir de la última mitad del siglo XX, la forma de ejercer la medicina ha cambiado sustancialmente debido al aumento y rapidez en la introducción de nuevas tecnologías, a la gran especialización, al desarrollo de la investigación clínica, así como a la socialización del contexto de prestación de los servicios, tanto a nivel de la relación médico-paciente como administrativo (1). Esto ha provocado que se produzca una gran variabilidad de criterios a la hora de la toma de decisiones en la práctica clínica diaria, y es por lo que comenzaron a desarrollarse técnicas, para contrastar las opiniones de los expertos de la forma más sistemática posible que, junto a «la utilización consciente, explícita y juiciosa de la mejor evidencia científica disponible», como la definieron Sackett et al (2), constituyen la base objetiva de la Medicina Basada en la Evidencia (MBE).
MÉTODOS DE CONSENSO El intento de elaborar de modo sistemático metodologías para obtener consenso (conferencias de consenso o consenso de expertos) surge ante la crecien74
M.ª E. MARTÍNEZ-SAHUQUILLO AMUEDO, ET AL.—MÉTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. «MÉTODO RAND/UCLA»
te complejidad y multiplicidad de dimensiones de los problemas sanitarios y la incertidumbre que estos generan (3, 4). El interés por las conferencias de consenso ha aumentado en los últimos años dadas sus posibles aplicaciones en aspectos de la gestión y de la práctica clínica. Basan sus objetivos en su capacidad para favorecer el uso adecuado de procedimientos y, en general, para mejorar la eficiencia en la prestación de servicios sanitarios (5, 6). Sin embargo ha aumentado la preocupación y el debate sobre la metodología utilizada en su elaboración, difusión y puesta en práctica, teniendo en cuenta la gran variabilidad que encontramos en sus procesos y en los resultados finales (7). Las conferencias de consenso utilizan distintos enfoques metodológicos dirigidos a sistematizar y reducir la subjetividad de los expertos y a que los procesos de síntesis mejoren su validez y fiabilidad. Lógicamente y teniendo en cuenta el objetivo y la finalidad de uso posterior que se busque del resultado del consenso, dependerá la elección de la metodología y la calidad del producto final. Podemos distinguir tres grandes grupos de aplicaciones: a) Apoyo a la planificación sanitaria. Encaminadas al ámbito de la gestión sanitaria. Los métodos empleados más comúnmente, son las técnicas de grupo nominal y el método Delphi. b) Elaboración de recomendaciones o guías de práctica clínica. Siguiendo a Woolf (8), podemos distinguir diferentes aproximaciones metodológicas: – Consenso informal. Opinión de expertos que llegan a un acuerdo tras una discusión no sistematizada; aporta recomendaciones y muy poca información sobre las bases que sustentan el consenso. Presentan importantes deficiencias, además de no explicar los métodos utilizados. Se les critica la facilidad con que pueden verse influidas por las dinámicas de grupo, personalidades dominantes e intereses ajenos a los objetivos del consenso. – Consenso formal. A partir de una revisión bibliográfica, un panel de expertos debate acerca de una determinada práctica médica y realiza unas recomendaciones que luego se difunden (9, 10). Se les ha criticado la ausencia de criterios explícitos sobre acuerdo/desacuerdo y la urgencia de producir las recomendaciones en una sola sesión. – Guías basadas en la evidencia. Evalúan la evidencia científica publicada mediante consultores expertos. A este enfoque se le ha criticado que existen pocos procedimientos de la práctica médica que hayan sido validados suficientemente y que, por tanto, no aporta recomendaciones en los casos de situaciones dudosas o de alta incertidumbre. Rehabilitación (Madr) 2001;35(6):388-392
389
– Guías explícitas. Especifican los beneficios, riesgos y costes de cada intervención y se derivan estimaciones explícitas de la probabilidad de que ocurra cada uno de los resultados. Sus críticos argumentan que es demasiado complejo para ser práctico, dada la limitación de tiempo y recursos para el desarrollo de guías prácticas (11). c) Evaluación de la idoneidad de la atención sanitaria. Si se quiere evaluar la adecuación o la calidad de la práctica clínica en un determinado hospital o para un grupo determinado de indicaciones, tendrá que utilizarse un método para resumir la opinión de los expertos y aplicarlo a las situaciones prácticas en evaluación. Estos métodos han sido planificados principalmente por la RAND Corporation mediante la Técnica Delphi modificada. En el ámbito de la MBE se utiliza el Consenso Formal (12), es decir, a partir de una revisión bibliográfica, un panel de expertos debate sobre un cuestionario acerca de una determinada práctica médica y realiza una serie de recomendaciones. Existen unos elementos estructurales determinantes para garantizar la validez de un consenso: – El problema a estudiar y los objetivos han de ser concretos y específicos. – La revisión bibliográfica o evidencia científica disponible debe cumplir un nivel de calidad estructurado (13). – Los miniescenarios deben ser elaborados metódicamente. Por último la selección del grupo de expertos y del moderador debe cumplir una serie de características personales y profesionales que garanticen la validez del consenso como: experiencia clínica, reconocido prestigio en la comunidad científica, interés por el tema, disponibilidad de tiempo y ausencia de conflictos de interés entre otros. A continuación vamos a describir la metodología que en la actualidad goza de mayor predicamento y rigor, que es el Método RAND o Método de uso apropiado (tabla 1).
Método RAND/UCLA o Método de «uso apropiado» A comienzo de la década de los ochenta se iniciaron en Estados Unidos una serie de estudios para medir la calidad de la asistencia médica. Al no disponer siempre de una referencia científica que apoye la decisión clínica, hay que utilizar otro tipo de criterio para decidir en situación de incertidumbre (14, 15). El grupo de investigadores que trabajaban en el Centro Rand y la Universidad de California en los Ángeles (UCLA) abordaron dicho problema, desarrollando un 75
390
M.ª E. MARTÍNEZ-SAHUQUILLO AMUEDO, ET AL.—MÉTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. «MÉTODO RAND/UCLA»
método que utiliza las evidencias científicas, junto con el juicio u opinión que los especialistas tienen sobre la utilización de un procedimiento en condiciones reales. Para tratar las opiniones de estos expertos se recurrió a la utilización de técnicas de grupo, en concreto a un método desarrollado en dicho centro: la técnica Delphi (16), modificándola para adaptarla mejor al objetivo perseguido. El método Delphi asume que hay numerosas áreas de la actividad humana en las que hay una información científica insuficiente para apoyar la toma de decisiones. Para rellenar esas lagunas se debe recurrir a otras fuentes de evidencias, las que provienen de la experiencia práctica, confrontando para ello las opiniones de un grupo de personas, de una forma sistemática y susceptible de ser sometida a evaluación científica. Para ello hay que usar elementos que permitan cuantificar de alguna manera la expresión de cada opinión. Las características propias del método según Dalkey (16) son: – Confidencialidad de las opiniones de cada uno de los miembros del grupo. – Iteración y retroalimentación controlada. – Capacidad para resumir estadísticamente las distintas opiniones o juicios. El Método RAND/UCLA o Método de «uso apropiado» está basado en la evidencia científica y en el juicio colectivo de un panel de expertos. Es una combinación de la técnica Delphi con la de Grupos Nominales. En esta útima también se persigue la convergencia de los juicios, pero son los expertos los que en una primera fase proponen las preguntas sobre un tema para en una segunda fase reunirse y discutir entre todos, de una forma estructurada, las propuestas que ellos mismos han hecho. Por último cada experto, de forma confidencial, valora por escrito las propuestas más interesantes (17). En primer lugar, varios médicos especialistas en el procedimiento de estudio desarrollan una lista de todas las posibles indicaciones en las que pueda plantearse la aplicación o no del procedimiento. Las indicaciones se clasifican teniendo en cuenta los factores clínicos críticos que condicionan la toma de decisiones (factores de riesgo, síntomas y signos del paciente, resultados de pruebas diagnósticas, terapias y otras variables relevantes de su historia clínica previa). El objetivo de esta lista es clasificar a los pacientes en grupos clínicos homogéneos. A la vez que se diseña la lista de indicaciones, el equipo de investigadores realiza una revisión sistemática de la literatura y elabora una síntesis de la evidencia científica disponible en el momento del estudio. Los artículos se obtienen a través de búsquedas sistemáticas en MEDLINE para un determinado período y búsquedas Rehabilitación (Madr) 2001;35(6):388-392
manuales de citas bibliográficas. Los artículos identificados se clasifican según la calidad de la evidencia, dando prioridad a los resultados obtenidos de ensayos clínicos de diseño aleatorio grandes y bien realizados. Una vez elaboradas la lista de indicaciones y la síntesis de la evidencia, ambos documentos son enviados a un panel de expertos. Los paneles de expertos están formados, generalmente, por nueve miembros especialistas médicos, incluyendo a veces a generalistas. Los panelistas son seleccionados con los criterios de experiencia clínica, reconocido prestigio en la comunidad científica, y ausencia de conflictos de interés. Dependiendo del país, puede ser deseable que los panelistas representen también diferentes regiones geográficas, tipos de hospitales, u otras características (4). Usando un proceso Delphi modificado, las indicaciones son puntuadas por los panelistas en dos rondas. En la primera ronda, el informe de la síntesis de la evidencia y la lista de indicaciones son enviados a los miembros del panel, junto con instrucciones sobre la metodología para puntuar las indicaciones. La cumplimentación del cuestionario se hace individualmente, sin que los expertos mantengan ningún tipo de comunicación o intercambio de opiniones. Cada panelista recibe una definición escrita del concepto de «apropiado». Apropiado en el contexto de este método significa que «el esperado beneficio excede las esperadas consecuencias negativas por un margen suficientemente amplio como para que merezca la pena realizar el procedimiento». Cada panelista puntúa cada indicación en una escala de uno a nueve dependiendo de como de apropiado considere la realización del procedimiento para esa indicación concreta. Una puntuación de 1 significa que el procedimiento es extremadamente inapropiado para esa indicación, un nueve significa que el procedimiento es extremadamente apropiado, y una puntuación de cinco indica que los riesgos y beneficios son aproximadamente iguales. Los panelistas envían las puntuaciones al equipo investigador, y una vez analizadas estadísticamente se convoca la segunda ronda. En la segunda ronda del Delphi, los panelistas se reúnen durante un día o dos para discutir y repuntuar las indicaciones. Cada panelista recibe un documento que muestra sus propias puntuaciones identificadas y el resultado de las puntuaciones de los demás panelistas sin identificar, pudiendo así comparar su opinión frente a la del resto de los componentes del panel, sin verse por ello forzado a modificarla por la posible presión del grupo. El moderador de la reunión señala las áreas de desacuerdo o confusión para discusión. Si los panelistas lo desean, se puede modificar la estructura de la lista de indicaciones ampliándola, simplificándola, añadiendo nuevas categorías o eliminando categorías de la primera ronda. Al final de la sesión, los panelistas puntúan de nuevo cada indicación de la lista definitiva de indicaciones. Este método está diseñado para identificar el grado de acuerdo pero, 76
M.ª E. MARTÍNEZ-SAHUQUILLO AMUEDO, ET AL.—MÉTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. «MÉTODO RAND/UCLA»
391
TABLA 1. «Método RAND» de uso apropiado. 3. Panel de expertos (Delphi modificado) 1. Lista de indicaciones (especialistas+investigadores)
1.ª ronda: no interactúan
2. Síntesis de la evidencia (investigadores)
2.ª ronda: interactúan
ESTÁNDARES % de uso: Apropiado, Dudoso, Inapropiado.
Retrospectivo: Comparación con las historias clínicas
– Apropiado
– Dudoso Aumentar uso apropiado
Prospectivo: Guías de uso
– Inapropiado
Fuente (4).
a diferencia de otros métodos, no fuerza a los miembros del panel a que lleguen a un consenso. Después de la segunda ronda del Delphi, cada indicación es clasificada como «apropiada», «inapropiada» o «dudosa» dependiendo de la mediana de las puntuaciones y del nivel de acuerdo. En cada indicación existe «acuerdo» (para un panel de nueve miembros) cuando no más de dos panelistas la han puntuado fuera de la región de tres puntos (1-3, 4-6, 7-9) que contiene a la mediana. Existe «desacuerdo» cuando las puntuaciones de tres o más panelistas están en la región de 1-3, y tres o más en la región de 7-9. Las indicaciones en las que no existe ni acuerdo ni desacuerdo se consideran como puntuadas con un nivel de acuerdo «indeterminado». Todas las indicaciones puntuadas sin desacuerdo (incluye acuerdo e indeterminado) son clasificadas como «apropiadas» si la mediana de las puntuaciones está en el rango 7-9, y como «inapropiadas» si la mediana está en el rango 1-3. Las indicaciones cuya mediana está en el rango 4-6, y todas aquellas puntuadas con desacuerdo, independientemente de su mediana, son clasificadas como «dudosas» (tabla 2). Los resultados obtenidos pueden aplicarse no sólo a estudios enfocados a la evaluación de la práctica médica sino también usarlos en la elaboración de guías clínicas que apoyen la toma de decisiones en la práctica diaria (18, 19). El método RAND/UCLA posee algunas ventajas frente a otros métodos para elaborar consenso: – Adecuado nivel de confidencialidad: el experto no se ve presionado por las opiniones de otros miembros del panel; el anonimato se mantiene en las dos rondas. Rehabilitación (Madr) 2001;35(6):388-392
– La metodología es reproducible. – Los resultados pueden aplicarse no sólo en la evaluación de la práctica médica sino también para elaborar GPC. – Sirve para poner en evidencia la existencia de áreas de discrepancia o incertidumbre por lo que promueve la investigación. A pesar de las ventajas comentadas, otros autores (20) han señalado diversos inconvenientes: – Posiblemente la crítica más seria que se le ha hecho es que a pesar de su carácter aparentemente objetivo, es subjetivo, puesto que fundamentalmente lo que mide son opiniones. – Críticas con respecto a la aplicación del método, como dificultad a la hora de la definición de experto, diseño del cuestionario... – Además, el método requiere la colaboración de un grupo de personas a las que no se les puede exigir una dedicación larga en tiempo y la coordinación de grupos es compleja y costosa.
TABLA 2. Análisis de datos y calificación de los escenarios. 1) Distribución de frecuencias: intervalos. 2) Medida de centralización y de dispersión. 3) Clasificación de la adecuación de uso del procedimiento: – Apropiado: mediana en intervalo 7-9 y sin desacuerdo. – Inapropiado: mediana en intervalo 1-3 y sin desacuerdo. – Dudoso: mediana en intervalo 4-6 ó desacuerdo. 77
392
M.ª E. MARTÍNEZ-SAHUQUILLO AMUEDO, ET AL.—MÉTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. «MÉTODO RAND/UCLA»
Esta metodología ha sufrido diversas modificaciones desde su creación, en un intento de mejorar su aplicación y conseguir una mejor utilización de los procedimientos médicos, así como una mayor eficiencia en la prestación de los servicios sanitarios. Una nueva aplicación del método es su utilización en la determinación de la necesidad de un procedimiento para la evaluación de la actividad asistencial (21, 22). Aunque existe una amplia experiencia en el uso del método RAND en el ámbito sanitario y a nivel internacional (23-26), no hemos encontrado en la búsqueda sistemática realizada ninguna publicación que utilice el Método de Uso Apropiado como base para la evaluación de la calidad asistencial en Rehabilitación a nivel nacional.
15.
BIBLIOGRAFÍA
18.
1. Berra de Unamuno A, Marín León I, Álvarez Gil R. Consenso en Medicina. Metodología de expertos. Escuela Andaluza de Salud Pública; 1996. Serie Monografías n.º14. 2. Sackett DL, Rosemberg W, Muir Gray JA, Haynes RB, Richarson WS. Evidence based medicine: what it is and what it isn’t. BMJ 1996;312:71-2. 3. Pozo F, Gómez de la Cámara A. Como ejercer y enseñar la MBE. En: Sakett DL, Richarson WS, Rosemberg W, Haynes RB, eds. Medicina basada en la evidencia. Madrid: Churchill Livingstone;1997. 4. Lázaro P, Fitch K. Calidad asistencial y uso apropiado de procedimientos médicos. Seminario el Hospital actual y del futuro. Escuela Andaluza de Salud Pública; 1998. Documento de Apoyo Bibliográfico n.º 8:1-6. 5. Briones Pérez de la Blanca E, Marín León I, Álvarez Gil R, Reyes Domínguez A. Fundamentos de Consenso en el Ámbito de las Ciencias de la Salud. En: Consenso en Medicina. Metodología de Expertos. EASP; 1996. 6. Oishi SM, Morton SC, Moore AA, Beck JC, Hays RD, Spritzer KL, et al. Using data to enhance the expert panel process. Rating indications of alcohol-related problems in older adults. Int J Technol Assess Health Care 2001;17:125-36. 7. Murillo Capitán E, Albero Tamarit A, Duque Amusco A, Reche Molina P. El Trabajoso Camino hasta la Evidencia. Med Clin (Barc) 1998;14:539-41. 8. Woolf SH. Pratice guidelines. A new reality in Medicine. II Methods of developing guidelines. Arch Intern Med 1992;152:946-52. 9. Peiró S, Portella E. No todo es acuerdo en el consenso: limitaciones de los métodos de consenso en los servicios de salud. Gac Sanit 1993;7:294-300. 10. Granados A. Las Conferencias de Consenso. ¿Un método para la evaluación de las tecnologías médicas? Gac Sanit 1991;26:201-2. 11. Eddy DM. Comparing benefits and harms: the balance sheet. JAMA 1990;263:2239. 12. Del Llano Señaris JE, Meneu de Guillena R. Asistencia Rehabilitación (Madr) 2001;35(6):388-392
13. 14.
16. 17.
19.
20.
21. 22. 23.
24.
25. 26.
sanitaria basada en la evidencia. Med Clin (Barc) 1999; 112,1:90-6. Arteaga Domínguez A. Evaluación crítica de la Evidencia Científica. Ponencia «Atención Sanitaria Basada en la Evidencia». Congreso de la SERMEF. Barcelona; 2000. Fink A, Kosecoff J, Chassin M, Brook RH. Consensus methods: caracteristics and guidelines for use. Am J Public Health 1984;74:979-83. Eddy DM, Billings J. The quality of medical evidence: implications for quality of care. Health Aff (Millwood) 1988;7:19-32. DalKey NC. The Delphi method: And experimental study of group opinion. Rm 5888-Pr. Sta Mónica, CA : Rand Corp; 1969. Lacalle Remigio JR, Pastor Torres L, Reyes Domínguez A, Pérez Lozano MJ, Álvarez Gil R. Metodología Delphi aplicada a la evaluación de procedimientos diagnósticos y terapéuticos. En: Consenso en Medicina. Metodología de expertos. EASP; 1996. p. 53-69. Wietlisbach V, Vader JP, Porchet F, Costanza MC, Burnand B. Statistical approaches in the development of clinical practice guidelines from expert panels: the case oflaminectomy in sciatica patients. Med Care 1999;37:785-97. Sachs GS, Printz DJ, Kahn DA, Carpenter D, Docherty JP. The expert consensus guideline series: Medication treatment of bipolar disorder 2000. Postgrad Med 2000;Spec No:1-104. Campbell SM, Hann M, Roland MO, Quayle JA, Shekelle PG. The effect of panel membership and feedback on ratings in a two-round Delphi survey: results on randomized controlled trial. Med Care 1999;37:964-8. Kahan JP, Bernstein SJ, Leape LL, Hilborne LH, Park RE, Parker L, et al. Measuring the necessity of medical procedures. Med Care 1994;32:357-65. Broder MS, Kanouse DE, Mittman BS, Bernstein SJ. The appropriateness of recommendations for hysterectomy. Obstet Gynecol 2000;95:199-205. Cambell SM, Roland MO, Shekelle PG, Cantrill JA, Buetow SA, Cragg DG. Development of review criteria for assessing the quality of management of stable angina, adult asthma, and non-insulin dependent diabetes mellitus in general practice. Qual Health Care 1999;8:6-15. Fitch K, Lázaro P, Aguilar MD, Kahan JP, van Het Loo M, Bernstein SJ, European criteria for the appropriateness and necessity of coronary revascularization procedures. Eur. J Cardiothorac Surg 2000;18:380-7. Asch SM, Kerr EA, Lapuerta P, Law A, McGlynn EA. A new approach for measuring quality of care for women with hypertension. Arch Intern Med 2001;161:1329-35. Buetow SA, Coster GD. New Zealand an United Kingdom experiences with the RAND modified Delphi approach to producing angina and heart failure criteria for qualyti assessment in general practice. Qual Health Correspondencia: M.ª Encarnación Martínez-Sahuquillo Amuedo Servicio de Rehabilitación Hospital Juan Ramón Jiménez Ronda Norte s/n 21005 Huelva
78