- Email: [email protected]
Visibilidad de los institutos de investigación sanitaria a través de la base de datos Web of Science
Rev Clin Esp. 2017;217(9):510---517
Revista Clínica Española www.elsevier.es/rce
ORIGINAL BREVE
Visibilidad de los institutos de investigación sanitaria a través de la base de datos Web of Science B. González-Albo a,∗ , L. Moreno-Solano b , J. Aparicio a y M. Bordons b a
Unidad Transversal de Apoyo a la Investigación (UTAI), Centro de Ciencias Humanas y Sociales (CCHS), Consejo Superior de Investigaciones Científicas (CSIC), Madrid, Espa˜ na b Departamento de Ciencia, Tecnología y Sociedad. IFS, Centro de Ciencias Humanas y Sociales (CCHS), Consejo Superior de Investigaciones Científicas (CSIC), Madrid, Espa˜ na Recibido el 24 de febrero de 2017; aceptado el 30 de abril de 2017 Disponible en Internet el 29 de julio de 2017
PALABRAS CLAVE Institutos de investigación sanitaria; Publicaciones científicas; Afiliación institucional; Bibliometría
∗
Resumen Objetivos: La importancia estratégica de los institutos de investigación sanitaria (IIS) en la investigación en ciencias de la salud en Espa˜ na motiva este análisis sobre la viabilidad de estudiar su contribución a la producción científica espa˜ nola a través de su presencia como institución firmante en las publicaciones. Material y métodos: Se identifica la producción de los IIS en la base de datos Web of Science comparando su producción observada (el instituto figura de forma explícita en el lugar de trabajo de los autores) y potencial (estimada en función de los hospitales vinculados). Resultados y conclusiones: Los estudios basados en publicaciones científicas no permiten identificar de forma fiable la contribución de los IIS, ya que su producción observada es muy inferior a la potencial, aunque su visibilidad tiende a aumentar a lo largo del tiempo. Se se˜ nala el interés de que los miembros de los IIS incluyan al instituto entre sus direcciones de trabajo para aumentar la visibilidad de estas estructuras y posibilitar estudios orientados a valorar su actividad en el contexto nacional e internacional. © 2017 Elsevier Espa˜ na, S.L.U. y Sociedad Espa˜ nola de Medicina Interna (SEMI). Todos los derechos reservados.
KEYWORDS
Visibility of healthcare research institutes through the Web of Science database
Healthcare research institutes; Scientific publications; Institutional
Abstract Objectives: The strategic importance of healthcare research institutes (HRIs) in health sciences research in Spain has motivated this analysis of the feasibility of studing their contribution to the Spanish scientific output through their presence as a signatory institution in the publications.
Autor para correspondencia. Correo electrónico: [email protected] (B. González-Albo).
http://dx.doi.org/10.1016/j.rce.2017.04.005 0014-2565/© 2017 Elsevier Espa˜ na, S.L.U. y Sociedad Espa˜ nola de Medicina Interna (SEMI). Todos los derechos reservados.
Visibilidad de los institutos de investigación sanitaria a través de Web of Science
affiliation; Bibliometrics
511
Material and methods: We identified the output of the HRIs in the Web of Science database, comparing their observed output (the institutes are explicitly listed in the authors’ workplace) and potential output (estimated based on the linked hospitals). Results and conclusions: The studies based on scientific publications do not help us reliably identify the contribution of the HRIs because their observed production is much lower than the potential output, although their visibility tends to increase over time. This article highlights the importance of HRI members including the institute among their work addresses to increase the visibility of these organisations and to facilitate studies aimed at assessing their activity in the national and international context. © 2017 Elsevier Espa˜ na, S.L.U. and Sociedad Espa˜ nola de Medicina Interna (SEMI). All rights reserved.
Introducción Los institutos de investigación sanitaria (IIS) son el resultado de la asociación entre los hospitales docentes del Sistema Nacional de Salud, grupos de investigación de universidades y otros centros públicos y privados. Su creación responde a la necesidad de fortalecer la investigación biomédica en Espa˜ na e integrar la investigación básica, clínica y de salud pública potenciando la investigación traslacional. Los requisitos estructurales y de acreditación de los institutos están regulados mediante distintas normativas (Real Decreto 339/20041 vigente hasta 2016, y Real Decreto 279/20162 que le sucede), siendo el Instituto de Salud Carlos III (ISCIII) el organismo responsable de realizar las acreditaciones. Mediante estas se reconoce la excelencia de los resultados científicos y de la capacidad de los institutos para gestionar la investigación traslacional y generar retornos sanitarios, sociales y económicos. Dada la finalidad estratégica que guía la creación de los IIS3 , es evidente el interés de analizar su actividad y evaluar el cumplimiento de su función a lo largo del tiempo. Los institutos emiten informes anuales de actividad y su acreditación tiene que ser renovada periódicamente valorándose, entre otros aspectos, su participación en ensayos clínicos, patentes y guías de práctica clínica; y obteniéndose algunos indicadores bibliométricos básicos, como son el número de publicaciones, el de citas recibidas y el porcentaje de las publicaciones que se difunde a través de revistas de alto impacto4 . La realización de estudios bibliométricos más elaborados sería interesante para un mejor conocimiento de la actividad de los IIS que se refleja en publicaciones, y su comparación con otras estructuras sanitarias dentro y fuera del país. Por otro lado, este conocimiento es esencial para el seguimiento que el propio IIS hace de su plan estratégico. No obstante, la identificación precisa y exhaustiva de la producción de los IIS es una premisa básica para poder realizar estos análisis. Dado que los IIS son estructuras en parte «virtuales», que comprenden centros y grupos diversos, la validez de identificar su producción a través del lugar de trabajo de sus autores dependerá en gran medida de si estos incluyen de forma sistemática el instituto entre sus afiliaciones.
Analizar este último aspecto es el objetivo de este estudio, con el fin de valorar la viabilidad de examinar la contribución de los IIS a la investigación espa˜ nola a través de su presencia como institución firmante en las publicaciones científicas.
Material y métodos La fuente de datos utilizada fue Web of Science Core Colletion (WoS) (seleccionando Science Citation Index-Expanded; Social Sciences Citation Index y Art & Humanities Citation Index), base de datos multidisciplinar que recoge una amplia selección de revistas de alta calidad científica, constituyendo un fiel reflejo de la mainstream science, y que cuenta con una buena cobertura del área biomédica5 . Este estudio, realizado a partir de una descarga de la producción científica de Espa˜ na recogida en dicha base de datos durante el periodo 2009-2015, se centra en el análisis del periodo 20092011, aunque muestra algunos datos del trienio 2013-2015 para poner de manifiesto algunas tendencias. La producción de los IIS se identificó a partir del campo «dirección» de los autores en los documentos, mediante 2 aproximaciones: a) por un lado, se identificó la denominada producción observada, que incluyó aquellas publicaciones en las que se menciona explícitamente algún IIS en la dirección de trabajo de los autores; b) por otro lado, asumiendo que los hospitales ligados a un IIS constituyen el núcleo del instituto, y que todo el personal hospitalario está vinculado al instituto, se identificó lo que se denomina producción potencial o estimada, que incluye tanto las publicaciones firmadas por un determinado IIS como aquellas firmadas por los hospitales vinculados al mismo. Aunque esta delimitación no capta la producción de miembros extra-hospitalarios (por ejemplo grupos universitarios o de otros centros de investigación) ni la correspondiente a estructuras sanitaras del área de influencia del hospital (por ejemplo centros de salud), se considera adecuada para conocer la tendencia de los grupos hospitalarios a incluir al IIS entre sus afiliaciones. Tampoco se asignaron a los IIS aquellos documentos en los que, en una misma línea de la dirección de trabajo, aparece un instituto junto con una superestructura de la que forma parte (por ejemplo una red de investigación o una corporación).
512 Datos propios indican que esta situación se produce en un porcentaje muy peque˜ no de la producción de un centro (en torno al 5%). Dado que los hospitales e institutos no están normalizados en las publicaciones y pueden aparecer bajo distintas denominaciones o variantes de nombre, se realizó una codificación semiautomática de los lugares de trabajo, seguida de una fase de verificación manual, que permitió unificar la producción de las instituciones e identificar de forma adecuada su producción6 . Se ha calculado la visibilidad de los IIS en 2009-2011, comparándola con la correspondiente al periodo 2013-2015. El estudio analiza ítems citables (artículos originales, notas y revisiones), que son las principales tipologías documentales utilizadas en la difusión de la investigación, y que se denominan «artículos» en este trabajo. Se ha utilizado el método de recuento total, que asigna cada documento a cada una de las instituciones firmantes. Como indicador del prestigio de las revistas se utilizó el porcentaje de artículos publicados en revistas del primer cuartil (Q1). Este dato se calcula considerando la relación de revistas en orden descendente de factor de impacto en cada disciplina recogida en el Journal Citation Reports del a˜ no de publicación de los artículos y, en el caso de revistas asignadas a más de una categoría temática, se consideró aquella en la que estaban mejor posicionadas. Se han analizado 34 IIS, que incluyen 29 institutos acreditados según la página web del ISCIII (junio 2016), junto a otros 5 no registrados en dicha página, pero que contienen la denominación «instituto de investigación sanitaria» y podrían ser susceptibles de acceder a dicha acreditación en el futuro. Se indica la fecha de creación de los diferentes institutos, obtenida a través de su página web o, en su defecto, mediante consulta al centro vía correo electrónico. Hay que se˜ nalar que la fecha de creación es, en algunos casos, muy anterior a la de acreditación.
Resultados Durante el periodo 2009-2011 la producción científica de Espa˜ na incluida en la base de datos WoS ascendió a 141.118 artículos, de los cuales 50.514 (35,8%) correspondían a ciencias de la salud; es decir, se publicaron en revistas asignadas por WoS a disciplinas de biomedicina y medicina clínica. La producción potencial de los IIS ascendió a 19.613 artículos (39% de la correspondiente a ciencias de la salud), mientras que solo en 5.525 artículos (28% de la producción potencial) aparecía algún IIS mencionado de forma explícita en el lugar de trabajo. En la tabla 1 se presenta la producción de los 34 IIS identificados. Para cada instituto se muestra, en el periodo 2009-2011, el número de artículos en los que aparece mencionado el instituto de forma expresa (A), su producción potencial (B) y el porcentaje que representa el número de artículos firmados por cada IIS respecto a su producción potencial (C), que es un indicador de la visibilidad del instituto. En conjunto, se pone de manifiesto que solo en el 28% de la producción potencial total de los IIS durante el periodo 2009-2011 se menciona explícitamente algún instituto, aunque existen variaciones entre centros. Algunos IIS, sobre
B. González-Albo et al. todo aquellos de reciente creación, no son visibles a través de las publicaciones (6 de los 10 IIS creados con posterioridad a 2009). La mayor visibilidad se detecta en 3 IIS en los que el instituto figura en 2/3 de su producción potencial (todos ellos creados antes de 2006). Los IIS con mayor visibilidad (> 50%) se sitúan en Catalu˜ na (IISPV, IRBLLEIDA, IMIM, IDIBELL, IDIBAPS, IDIBIGI), que es la comunidad que cuenta con los institutos de más larga trayectoria (8 de los 10 creados antes de 2006), lo que puede favorecer su mayor consolidación actual. No obstante, llama la atención la baja visibilidad de los 2 institutos valencianos creados antes de 2006, dato que sugiere la posible influencia de las políticas propias de los sistemas regionales de salud sobre la visibilidad de los institutos. Las 2 últimas columnas de la tabla 1 muestran la visibilidad de los IIS en el periodo 2013-2015 y el incremento de visibilidad con respecto al periodo anterior, que es positivo en prácticamente todos los casos, y es menor para los IIS que en el primer periodo tenían ya un porcentaje relativamente alto de presencia explícita en las publicaciones (> 50%) (IDIBGI, IDIBELL, IISPV, IDIBAPS). En conjunto, la visibilidad de los IIS en las publicaciones científicas se incrementa en 23 puntos porcentuales, ascendiendo desde el 28% en 2009-2011 hasta el 51% en 2013-2015. Los artículos Q1 constituyeron el 46% de la producción nola en ciencias de la salud en el periodo científica espa˜ 2009-2011, el 59% de la producción de los IIS y el 44% de la producción potencial de los IIS. El mayor uso de revistas Q1 en la producción firmada explícitamente por los IIS, que se evidencia en la mayor parte de los institutos (fig. 1), podría indicar diferencias en el tipo de investigación realizada, como, por ejemplo, en su carácter básico-clínico. Es posible que los investigadores sean más proclives a incluir el IIS en los artículos realizados en colaboración con otros miembros no hospitalarios del IIS, por ejemplo grupos universitarios, que realizan habitualmente una investigación más básica, para la que se ha descrito más impacto7 , y que podría tener una mayor orientación a revistas Q1.
Discusión En primer lugar es importante se˜ nalar que los resultados de este estudio deben interpretarse con cierta cautela y conociendo sus limitaciones, brevemente esbozadas en la metodología. Entre estas se puede mencionar que la producción estimada de los IIS está probablemente infravalorada, ya que no tiene en cuenta la correspondiente a sus miembros extrahospitalarios. A pesar de esta limitación, creemos que la metodología usada es útil y válida para los fines del estudio; es decir, explorar si los investigadores incluyen al instituto en su adscripción institucional. No obstante, hay que destacar que, si la producción real de los IIS es superior a la mostrada en este estudio, su visibilidad (porcentaje de la producción en la que aparece mencionado el instituto) será aún menor de lo que aquí hemos observado. Una vez se˜ nalada la anterior limitación, podemos concluir que no es viable analizar la contribución de los IIS a la investigación espa˜ nola a través de su presencia como institución firmante en las publicaciones científicas incluidas en la base de datos WoS.
Visibilidad de los IIS a través de las publicaciones científicas recogidas en WoS (institutos ordenados por a˜ no de creación)
IIS A˜ no creación
CCAA
Número de artículos IIS (2009-2011) Producción observada (A)
1947
1973 1994 1995
1996
2000 2004
2004 2005
2005
Institut Hospital del Mar d’Investigacions Mèdiques (IMIM) Instituto de Investigación Sanitaria La Fe Institut de Recerca. Vall d‘Hebron (IR-HUVH) Institut d’Investigació en Ciències de la Salut Germans Trias i Pujol (IGTP) Institut d’investigacions Biomèdiques August Pi i Sunyer (IDIBAPS) INCLIVA Instituto de Investigación Sanitaria Institut d’Investigació Biomèdica de Bellvitge (IDIBELL) Institut de Recerca Biomèdica de Lleida (IRBLLEIDA) Institut d’Investigació Biomèdica de Girona Dr. Josep Trueta (IDIBGI)a Institut d’Investigació Sanitària Pere Virgili (IISPV)a
% Producción observada/producción potencial (2009-2011) (C)
% Producción observada/producción potencial (2013-2015) (D)
Incremento visibilidad (D)-(C)
Producción potencial (B)
CA
906
1.424
63,62
64,91
1,29
VA
117
939
12,46
23,46
11,00
CA
263
1.592
16,52
24,11
7,59
CA
83
589
14,09
23,19
9,10
2.944
53,80
60,48
6,68
CA
1.584
VA
152
611
24,88
54,07
29,19
CA
821
1.411
58,19
70,39
12,20
CA
209
316
66,14
61,34
---4,80
CA
179
343
52,19
67,95
15,76
CA
322
470
68,51
75,00
6,49
Visibilidad de los institutos de investigación sanitaria a través de Web of Science
Tabla 1
513
514
Tabla 1
(continuación)
IIS A˜ no creación
CCAA
Número de artículos IIS (2009-2011) Producción observada (A)
2006 2008 2008 2008 2008 2008 2008
2009
2009 2009
2009
% Producción observada/producción potencial (2013-2015) (D)
Incremento visibilidad (D)-(C)
Producción potencial (B)
AN
211
933
22,62
16,93
-5,69
PV
40
257
15,56
58,26
42,70
GA
98
462
21,21
30,78
9,57
PV
1
368
0,27
30,08
29,81
GA
3
250
1,20
27,16
25,96
GA
129
684
18,86
35,87
17,01
AN
162
619
26,17
56,15
29,98
CA
171
1.040
16,44
37,90
21,46
MA
40
1.020
3,92
28,98
25,06
MA
79
527
14,99
48,11
33,12
MA
13
1.000
1,30
29,58
28,28
MA
203
1.476
13,75
39,46
25,71
B. González-Albo et al.
2009
Instituto de Biomedicina de Sevilla (IBIS) Biodonostia Instituto de Investigación Sanitaria Instituto de Investigación Biomédica de A Coru˜ na (INIBIC) Instituto de Investigación Sanitaria BioCruces Instituto de Investigación Sanitaria Galicia Sura Instituto de Investigación Sanitaria de Santiago (IDIS) Instituto Maimónides de Investigación Biomédica de Córdoba (IMIBIC) Institut d’Investigació Biomèdica Sant Pau (IIB Sant Pau) Instituto de Investigación del Hospital 12 de Octubre (i+12) Instituto de Investigación Sanitaria de la Fundación Jiménez Díaz (IISFJD) Instituto de Investigación Sanitaria Gregorio Mara˜ nón (IISGM) Instituto de Investigación Sanitaria del Hospital Universitario La Paz (IDIPAZ)
% Producción observada/producción potencial (2009-2011) (C)
(continuación)
IIS A˜ no creación
CCAA
Número de artículos IIS (2009-2011) Producción observada (A)
2009
2009 2010 2010 2011
2011 2011
2012
2012 2012
2013 2014
Instituto de Investigación Sanitaria del Hospital de La Princesa Instituto Ramón y Cajal de Investigación Sanitaria (IRYCIS) Instituto de Investigación Biomédica de Málaga (IBIMA) Instituto de Investigación Sanitaria de Aragón Instituto de Investigación Biomédica de Salamanca (IBSAL) Instituto de Investigación Sanitaria San Carlos (IDISSC) Instituto Murciano de Investigación Biosanitaria Virgen de la Arrixaca (IMIB) Instituto de Investigación Biosanitaria de Granada (ibs.Granada) Instituto de Investigación Sanitaria de Navarra (IdiSNA)a Instituto de Investigación Sanitaria Puerta de Hierro (IDIPHIM) Instituto de Investigación Sanitaria de Palma (IdISPa)a Instituto de Investigación Marqués de Valdecilla (IDIVAL) Total
% Producción observada/producción potencial (2009-2011) (C)
% Producción observada/producción potencial (2013-2015) (D)
Incremento visibilidad (D)-(C)
Producción potencial (B)
MA
100
855
11,70
40,49
28,79
MA
114
1.005
11,34
32,78
21,44
AN
1
646
0,15
29,61
29,46
AR
17
707
2,40
23,52
21,12
CL
–
451
0,00
54,98
54,98
MA
15
1.44
29,30
27,86
MU
–
547
0,00
27,85
27,85
AN
6
605
0,99
21,50
20,51
NA
–
1.047
0,00
8,42
8,42
MA
–
433
0,00
10,78
10,78
IB
–
330
0,00
24,42
24,42
CN
–
529
0,00
22,40
22,40
28,17
50,85
22,68
5.525
19.613
Visibilidad de los institutos de investigación sanitaria a través de Web of Science
Tabla 1
AN: Andalucía; AR: Aragón; CA: Catalu˜ na; CL: Castilla y León; CN: Cantabria; GA: Galicia; IB: Islas Baleares; MA: Madrid; MU: Murcia; NA: Navarra; PV: País Vasco; VA: Comunidad Valenciana. a Institutos que no figuran como acreditados en la página Web del ISCIII.
515
516
B. González-Albo et al. IDIBAPS IMIM IDIBELL IISPV IR-HUVH IRBLLEIDA IDIPAZ IDIBGI IIB Sant Pau IMIBIC INCLIVA IDIS La Fe IRYCIS La Princesa INIBIC IBIS IGTP IISFJD i+12 Biodonostia 0,00
10,00
20,00
30,00
40,00
Producción potencial
50,00
60,00
70,00
80,00
90,00
100,00
Producción observada
Figura 1 Porcentaje de artículos Q1 en la producción de los IIS (WoS 2009-2011) (solo institutos con al menos 40 artículos firmados por el IIS, en orden descendente según el número de artículos; nombres de los institutos desarrollados en la tabla 1).
La presencia de los IIS en las publicaciones es muy inferior a su producción potencial o estimada. Se observan variaciones en visibilidad según los centros que pueden relacionarse con la longitud de su trayectoria (menor visibilidad de institutos de muy reciente creación), la frecuencia de colaboración entre miembros del IIS de distintos centros (en las que puede ser más intuitivo mencionar el instituto como marco común de la investigación) y el grado de compromiso de los centros en la promoción de los institutos. La visibilidad de los IIS aumentó a lo largo del tiempo, desde el 28% en 2009-2011 hasta el 51% en el periodo 2013-2015. A este ascenso han podido contribuir las recomendaciones del ISCIII y los cambios en las políticas institucionales orientadas hacia una mayor promoción del instituto, lograr una mayor integración entre sus miembros y generar un sentimiento de pertenencia al IIS por parte de los investigadores. Sería recomendable que los investigadores incluyeran el IIS en sus publicaciones, lo que podría promoverse institucionalmente. El establecimiento de normas o pautas sobre la forma de firmar en las publicaciones (qué incluir y cómo) se está imponiendo en numerosas instituciones para guiar a sus investigadores y garantizar la visibilidad de los centros. La inclusión sistemática del IIS entre las afiliaciones institucionales de sus miembros facilitaría internamente la gestión del IIS, y externamente permitiría incrementar la visibilidad de los institutos, realizar un seguimiento de su actividad en el
contexto nacional e internacional y valorar el cumplimiento de los objetivos estratégicos que guiaron su creación, complementando la información proporcionada por otro tipo de indicadores.
Agradecimientos Agradecemos los valiosos comentarios recibidos por parte de Carlos Segovia (Instituto de Salud Carlos III) sobre una versión previa de este documento, así como los realizados por los revisores, que han permitido mejorar el original.
Bibliografía 1. Real Decreto 339/2004, de 27 de febrero, sobre acreditación de institutos de investigación sanitaria. Boletín Oficial del Estado, número 63, 13 marzo 2004 [consultado el 21 Dic 2016]. Disponible en: https://www.boe.es/diario boe/txt.php?id=BOE-A-2004-4673 2. Real Decreto 279/2016, de 24 de junio, sobre acreditación de institutos de investigación biomédica o sanitaria. Boletín Oficial del Estado, número 161, 5 julio 2016 [consultado el 21 Dic 2016]. Disponible en: http://www.boe.es/diario boe/txt.php?id=BOE-A-2016-6474 3. Miquel-Collell C. Institutos de investigación sanitaria. Enferm Clin. 2011;21:67---8. 4. ISCIII. Ranking de resultados de los institutos de investigación sanitaria en la primera fase de la convocatoria.
Visibilidad de los institutos de investigación sanitaria a través de Web of Science Madrid: ISCIII; 2012 [consultado 9 Ene 2017]. Disponible en: http://www.isciii.es/ISCIII/es/contenidos/fd-el-instituto/fdcomunicacion/fd-noticias/Evaluacion IIS WEB version final.pdf 5. Moed HF. Citation analysis in research evaluation. Amsterdam: Springer; 2005. 6. Morillo F, Aparicio J, González-Albo B, Moreno L. Towards the automation of addresses identification. Scientometrics. 2013;94:207---24.
517
7. Van Eck NJ, Waltman L, Van Raan AFJ, Klautz RJM, Peul WC. Citation analysis may severely underestimate the impact of clinical research as compared to basic research. PLoS One. 2013;8:e62395.
Revista Clínica Española www.elsevier.es/rce
ORIGINAL BREVE
Visibilidad de los institutos de investigación sanitaria a través de la base de datos Web of Science B. González-Albo a,∗ , L. Moreno-Solano b , J. Aparicio a y M. Bordons b a
Unidad Transversal de Apoyo a la Investigación (UTAI), Centro de Ciencias Humanas y Sociales (CCHS), Consejo Superior de Investigaciones Científicas (CSIC), Madrid, Espa˜ na b Departamento de Ciencia, Tecnología y Sociedad. IFS, Centro de Ciencias Humanas y Sociales (CCHS), Consejo Superior de Investigaciones Científicas (CSIC), Madrid, Espa˜ na Recibido el 24 de febrero de 2017; aceptado el 30 de abril de 2017 Disponible en Internet el 29 de julio de 2017
PALABRAS CLAVE Institutos de investigación sanitaria; Publicaciones científicas; Afiliación institucional; Bibliometría
∗
Resumen Objetivos: La importancia estratégica de los institutos de investigación sanitaria (IIS) en la investigación en ciencias de la salud en Espa˜ na motiva este análisis sobre la viabilidad de estudiar su contribución a la producción científica espa˜ nola a través de su presencia como institución firmante en las publicaciones. Material y métodos: Se identifica la producción de los IIS en la base de datos Web of Science comparando su producción observada (el instituto figura de forma explícita en el lugar de trabajo de los autores) y potencial (estimada en función de los hospitales vinculados). Resultados y conclusiones: Los estudios basados en publicaciones científicas no permiten identificar de forma fiable la contribución de los IIS, ya que su producción observada es muy inferior a la potencial, aunque su visibilidad tiende a aumentar a lo largo del tiempo. Se se˜ nala el interés de que los miembros de los IIS incluyan al instituto entre sus direcciones de trabajo para aumentar la visibilidad de estas estructuras y posibilitar estudios orientados a valorar su actividad en el contexto nacional e internacional. © 2017 Elsevier Espa˜ na, S.L.U. y Sociedad Espa˜ nola de Medicina Interna (SEMI). Todos los derechos reservados.
KEYWORDS
Visibility of healthcare research institutes through the Web of Science database
Healthcare research institutes; Scientific publications; Institutional
Abstract Objectives: The strategic importance of healthcare research institutes (HRIs) in health sciences research in Spain has motivated this analysis of the feasibility of studing their contribution to the Spanish scientific output through their presence as a signatory institution in the publications.
Autor para correspondencia. Correo electrónico: [email protected] (B. González-Albo).
http://dx.doi.org/10.1016/j.rce.2017.04.005 0014-2565/© 2017 Elsevier Espa˜ na, S.L.U. y Sociedad Espa˜ nola de Medicina Interna (SEMI). Todos los derechos reservados.
Visibilidad de los institutos de investigación sanitaria a través de Web of Science
affiliation; Bibliometrics
511
Material and methods: We identified the output of the HRIs in the Web of Science database, comparing their observed output (the institutes are explicitly listed in the authors’ workplace) and potential output (estimated based on the linked hospitals). Results and conclusions: The studies based on scientific publications do not help us reliably identify the contribution of the HRIs because their observed production is much lower than the potential output, although their visibility tends to increase over time. This article highlights the importance of HRI members including the institute among their work addresses to increase the visibility of these organisations and to facilitate studies aimed at assessing their activity in the national and international context. © 2017 Elsevier Espa˜ na, S.L.U. and Sociedad Espa˜ nola de Medicina Interna (SEMI). All rights reserved.
Introducción Los institutos de investigación sanitaria (IIS) son el resultado de la asociación entre los hospitales docentes del Sistema Nacional de Salud, grupos de investigación de universidades y otros centros públicos y privados. Su creación responde a la necesidad de fortalecer la investigación biomédica en Espa˜ na e integrar la investigación básica, clínica y de salud pública potenciando la investigación traslacional. Los requisitos estructurales y de acreditación de los institutos están regulados mediante distintas normativas (Real Decreto 339/20041 vigente hasta 2016, y Real Decreto 279/20162 que le sucede), siendo el Instituto de Salud Carlos III (ISCIII) el organismo responsable de realizar las acreditaciones. Mediante estas se reconoce la excelencia de los resultados científicos y de la capacidad de los institutos para gestionar la investigación traslacional y generar retornos sanitarios, sociales y económicos. Dada la finalidad estratégica que guía la creación de los IIS3 , es evidente el interés de analizar su actividad y evaluar el cumplimiento de su función a lo largo del tiempo. Los institutos emiten informes anuales de actividad y su acreditación tiene que ser renovada periódicamente valorándose, entre otros aspectos, su participación en ensayos clínicos, patentes y guías de práctica clínica; y obteniéndose algunos indicadores bibliométricos básicos, como son el número de publicaciones, el de citas recibidas y el porcentaje de las publicaciones que se difunde a través de revistas de alto impacto4 . La realización de estudios bibliométricos más elaborados sería interesante para un mejor conocimiento de la actividad de los IIS que se refleja en publicaciones, y su comparación con otras estructuras sanitarias dentro y fuera del país. Por otro lado, este conocimiento es esencial para el seguimiento que el propio IIS hace de su plan estratégico. No obstante, la identificación precisa y exhaustiva de la producción de los IIS es una premisa básica para poder realizar estos análisis. Dado que los IIS son estructuras en parte «virtuales», que comprenden centros y grupos diversos, la validez de identificar su producción a través del lugar de trabajo de sus autores dependerá en gran medida de si estos incluyen de forma sistemática el instituto entre sus afiliaciones.
Analizar este último aspecto es el objetivo de este estudio, con el fin de valorar la viabilidad de examinar la contribución de los IIS a la investigación espa˜ nola a través de su presencia como institución firmante en las publicaciones científicas.
Material y métodos La fuente de datos utilizada fue Web of Science Core Colletion (WoS) (seleccionando Science Citation Index-Expanded; Social Sciences Citation Index y Art & Humanities Citation Index), base de datos multidisciplinar que recoge una amplia selección de revistas de alta calidad científica, constituyendo un fiel reflejo de la mainstream science, y que cuenta con una buena cobertura del área biomédica5 . Este estudio, realizado a partir de una descarga de la producción científica de Espa˜ na recogida en dicha base de datos durante el periodo 2009-2015, se centra en el análisis del periodo 20092011, aunque muestra algunos datos del trienio 2013-2015 para poner de manifiesto algunas tendencias. La producción de los IIS se identificó a partir del campo «dirección» de los autores en los documentos, mediante 2 aproximaciones: a) por un lado, se identificó la denominada producción observada, que incluyó aquellas publicaciones en las que se menciona explícitamente algún IIS en la dirección de trabajo de los autores; b) por otro lado, asumiendo que los hospitales ligados a un IIS constituyen el núcleo del instituto, y que todo el personal hospitalario está vinculado al instituto, se identificó lo que se denomina producción potencial o estimada, que incluye tanto las publicaciones firmadas por un determinado IIS como aquellas firmadas por los hospitales vinculados al mismo. Aunque esta delimitación no capta la producción de miembros extra-hospitalarios (por ejemplo grupos universitarios o de otros centros de investigación) ni la correspondiente a estructuras sanitaras del área de influencia del hospital (por ejemplo centros de salud), se considera adecuada para conocer la tendencia de los grupos hospitalarios a incluir al IIS entre sus afiliaciones. Tampoco se asignaron a los IIS aquellos documentos en los que, en una misma línea de la dirección de trabajo, aparece un instituto junto con una superestructura de la que forma parte (por ejemplo una red de investigación o una corporación).
512 Datos propios indican que esta situación se produce en un porcentaje muy peque˜ no de la producción de un centro (en torno al 5%). Dado que los hospitales e institutos no están normalizados en las publicaciones y pueden aparecer bajo distintas denominaciones o variantes de nombre, se realizó una codificación semiautomática de los lugares de trabajo, seguida de una fase de verificación manual, que permitió unificar la producción de las instituciones e identificar de forma adecuada su producción6 . Se ha calculado la visibilidad de los IIS en 2009-2011, comparándola con la correspondiente al periodo 2013-2015. El estudio analiza ítems citables (artículos originales, notas y revisiones), que son las principales tipologías documentales utilizadas en la difusión de la investigación, y que se denominan «artículos» en este trabajo. Se ha utilizado el método de recuento total, que asigna cada documento a cada una de las instituciones firmantes. Como indicador del prestigio de las revistas se utilizó el porcentaje de artículos publicados en revistas del primer cuartil (Q1). Este dato se calcula considerando la relación de revistas en orden descendente de factor de impacto en cada disciplina recogida en el Journal Citation Reports del a˜ no de publicación de los artículos y, en el caso de revistas asignadas a más de una categoría temática, se consideró aquella en la que estaban mejor posicionadas. Se han analizado 34 IIS, que incluyen 29 institutos acreditados según la página web del ISCIII (junio 2016), junto a otros 5 no registrados en dicha página, pero que contienen la denominación «instituto de investigación sanitaria» y podrían ser susceptibles de acceder a dicha acreditación en el futuro. Se indica la fecha de creación de los diferentes institutos, obtenida a través de su página web o, en su defecto, mediante consulta al centro vía correo electrónico. Hay que se˜ nalar que la fecha de creación es, en algunos casos, muy anterior a la de acreditación.
Resultados Durante el periodo 2009-2011 la producción científica de Espa˜ na incluida en la base de datos WoS ascendió a 141.118 artículos, de los cuales 50.514 (35,8%) correspondían a ciencias de la salud; es decir, se publicaron en revistas asignadas por WoS a disciplinas de biomedicina y medicina clínica. La producción potencial de los IIS ascendió a 19.613 artículos (39% de la correspondiente a ciencias de la salud), mientras que solo en 5.525 artículos (28% de la producción potencial) aparecía algún IIS mencionado de forma explícita en el lugar de trabajo. En la tabla 1 se presenta la producción de los 34 IIS identificados. Para cada instituto se muestra, en el periodo 2009-2011, el número de artículos en los que aparece mencionado el instituto de forma expresa (A), su producción potencial (B) y el porcentaje que representa el número de artículos firmados por cada IIS respecto a su producción potencial (C), que es un indicador de la visibilidad del instituto. En conjunto, se pone de manifiesto que solo en el 28% de la producción potencial total de los IIS durante el periodo 2009-2011 se menciona explícitamente algún instituto, aunque existen variaciones entre centros. Algunos IIS, sobre
B. González-Albo et al. todo aquellos de reciente creación, no son visibles a través de las publicaciones (6 de los 10 IIS creados con posterioridad a 2009). La mayor visibilidad se detecta en 3 IIS en los que el instituto figura en 2/3 de su producción potencial (todos ellos creados antes de 2006). Los IIS con mayor visibilidad (> 50%) se sitúan en Catalu˜ na (IISPV, IRBLLEIDA, IMIM, IDIBELL, IDIBAPS, IDIBIGI), que es la comunidad que cuenta con los institutos de más larga trayectoria (8 de los 10 creados antes de 2006), lo que puede favorecer su mayor consolidación actual. No obstante, llama la atención la baja visibilidad de los 2 institutos valencianos creados antes de 2006, dato que sugiere la posible influencia de las políticas propias de los sistemas regionales de salud sobre la visibilidad de los institutos. Las 2 últimas columnas de la tabla 1 muestran la visibilidad de los IIS en el periodo 2013-2015 y el incremento de visibilidad con respecto al periodo anterior, que es positivo en prácticamente todos los casos, y es menor para los IIS que en el primer periodo tenían ya un porcentaje relativamente alto de presencia explícita en las publicaciones (> 50%) (IDIBGI, IDIBELL, IISPV, IDIBAPS). En conjunto, la visibilidad de los IIS en las publicaciones científicas se incrementa en 23 puntos porcentuales, ascendiendo desde el 28% en 2009-2011 hasta el 51% en 2013-2015. Los artículos Q1 constituyeron el 46% de la producción nola en ciencias de la salud en el periodo científica espa˜ 2009-2011, el 59% de la producción de los IIS y el 44% de la producción potencial de los IIS. El mayor uso de revistas Q1 en la producción firmada explícitamente por los IIS, que se evidencia en la mayor parte de los institutos (fig. 1), podría indicar diferencias en el tipo de investigación realizada, como, por ejemplo, en su carácter básico-clínico. Es posible que los investigadores sean más proclives a incluir el IIS en los artículos realizados en colaboración con otros miembros no hospitalarios del IIS, por ejemplo grupos universitarios, que realizan habitualmente una investigación más básica, para la que se ha descrito más impacto7 , y que podría tener una mayor orientación a revistas Q1.
Discusión En primer lugar es importante se˜ nalar que los resultados de este estudio deben interpretarse con cierta cautela y conociendo sus limitaciones, brevemente esbozadas en la metodología. Entre estas se puede mencionar que la producción estimada de los IIS está probablemente infravalorada, ya que no tiene en cuenta la correspondiente a sus miembros extrahospitalarios. A pesar de esta limitación, creemos que la metodología usada es útil y válida para los fines del estudio; es decir, explorar si los investigadores incluyen al instituto en su adscripción institucional. No obstante, hay que destacar que, si la producción real de los IIS es superior a la mostrada en este estudio, su visibilidad (porcentaje de la producción en la que aparece mencionado el instituto) será aún menor de lo que aquí hemos observado. Una vez se˜ nalada la anterior limitación, podemos concluir que no es viable analizar la contribución de los IIS a la investigación espa˜ nola a través de su presencia como institución firmante en las publicaciones científicas incluidas en la base de datos WoS.
Visibilidad de los IIS a través de las publicaciones científicas recogidas en WoS (institutos ordenados por a˜ no de creación)
IIS A˜ no creación
CCAA
Número de artículos IIS (2009-2011) Producción observada (A)
1947
1973 1994 1995
1996
2000 2004
2004 2005
2005
Institut Hospital del Mar d’Investigacions Mèdiques (IMIM) Instituto de Investigación Sanitaria La Fe Institut de Recerca. Vall d‘Hebron (IR-HUVH) Institut d’Investigació en Ciències de la Salut Germans Trias i Pujol (IGTP) Institut d’investigacions Biomèdiques August Pi i Sunyer (IDIBAPS) INCLIVA Instituto de Investigación Sanitaria Institut d’Investigació Biomèdica de Bellvitge (IDIBELL) Institut de Recerca Biomèdica de Lleida (IRBLLEIDA) Institut d’Investigació Biomèdica de Girona Dr. Josep Trueta (IDIBGI)a Institut d’Investigació Sanitària Pere Virgili (IISPV)a
% Producción observada/producción potencial (2009-2011) (C)
% Producción observada/producción potencial (2013-2015) (D)
Incremento visibilidad (D)-(C)
Producción potencial (B)
CA
906
1.424
63,62
64,91
1,29
VA
117
939
12,46
23,46
11,00
CA
263
1.592
16,52
24,11
7,59
CA
83
589
14,09
23,19
9,10
2.944
53,80
60,48
6,68
CA
1.584
VA
152
611
24,88
54,07
29,19
CA
821
1.411
58,19
70,39
12,20
CA
209
316
66,14
61,34
---4,80
CA
179
343
52,19
67,95
15,76
CA
322
470
68,51
75,00
6,49
Visibilidad de los institutos de investigación sanitaria a través de Web of Science
Tabla 1
513
514
Tabla 1
(continuación)
IIS A˜ no creación
CCAA
Número de artículos IIS (2009-2011) Producción observada (A)
2006 2008 2008 2008 2008 2008 2008
2009
2009 2009
2009
% Producción observada/producción potencial (2013-2015) (D)
Incremento visibilidad (D)-(C)
Producción potencial (B)
AN
211
933
22,62
16,93
-5,69
PV
40
257
15,56
58,26
42,70
GA
98
462
21,21
30,78
9,57
PV
1
368
0,27
30,08
29,81
GA
3
250
1,20
27,16
25,96
GA
129
684
18,86
35,87
17,01
AN
162
619
26,17
56,15
29,98
CA
171
1.040
16,44
37,90
21,46
MA
40
1.020
3,92
28,98
25,06
MA
79
527
14,99
48,11
33,12
MA
13
1.000
1,30
29,58
28,28
MA
203
1.476
13,75
39,46
25,71
B. González-Albo et al.
2009
Instituto de Biomedicina de Sevilla (IBIS) Biodonostia Instituto de Investigación Sanitaria Instituto de Investigación Biomédica de A Coru˜ na (INIBIC) Instituto de Investigación Sanitaria BioCruces Instituto de Investigación Sanitaria Galicia Sura Instituto de Investigación Sanitaria de Santiago (IDIS) Instituto Maimónides de Investigación Biomédica de Córdoba (IMIBIC) Institut d’Investigació Biomèdica Sant Pau (IIB Sant Pau) Instituto de Investigación del Hospital 12 de Octubre (i+12) Instituto de Investigación Sanitaria de la Fundación Jiménez Díaz (IISFJD) Instituto de Investigación Sanitaria Gregorio Mara˜ nón (IISGM) Instituto de Investigación Sanitaria del Hospital Universitario La Paz (IDIPAZ)
% Producción observada/producción potencial (2009-2011) (C)
(continuación)
IIS A˜ no creación
CCAA
Número de artículos IIS (2009-2011) Producción observada (A)
2009
2009 2010 2010 2011
2011 2011
2012
2012 2012
2013 2014
Instituto de Investigación Sanitaria del Hospital de La Princesa Instituto Ramón y Cajal de Investigación Sanitaria (IRYCIS) Instituto de Investigación Biomédica de Málaga (IBIMA) Instituto de Investigación Sanitaria de Aragón Instituto de Investigación Biomédica de Salamanca (IBSAL) Instituto de Investigación Sanitaria San Carlos (IDISSC) Instituto Murciano de Investigación Biosanitaria Virgen de la Arrixaca (IMIB) Instituto de Investigación Biosanitaria de Granada (ibs.Granada) Instituto de Investigación Sanitaria de Navarra (IdiSNA)a Instituto de Investigación Sanitaria Puerta de Hierro (IDIPHIM) Instituto de Investigación Sanitaria de Palma (IdISPa)a Instituto de Investigación Marqués de Valdecilla (IDIVAL) Total
% Producción observada/producción potencial (2009-2011) (C)
% Producción observada/producción potencial (2013-2015) (D)
Incremento visibilidad (D)-(C)
Producción potencial (B)
MA
100
855
11,70
40,49
28,79
MA
114
1.005
11,34
32,78
21,44
AN
1
646
0,15
29,61
29,46
AR
17
707
2,40
23,52
21,12
CL
–
451
0,00
54,98
54,98
MA
15
1.44
29,30
27,86
MU
–
547
0,00
27,85
27,85
AN
6
605
0,99
21,50
20,51
NA
–
1.047
0,00
8,42
8,42
MA
–
433
0,00
10,78
10,78
IB
–
330
0,00
24,42
24,42
CN
–
529
0,00
22,40
22,40
28,17
50,85
22,68
5.525
19.613
Visibilidad de los institutos de investigación sanitaria a través de Web of Science
Tabla 1
AN: Andalucía; AR: Aragón; CA: Catalu˜ na; CL: Castilla y León; CN: Cantabria; GA: Galicia; IB: Islas Baleares; MA: Madrid; MU: Murcia; NA: Navarra; PV: País Vasco; VA: Comunidad Valenciana. a Institutos que no figuran como acreditados en la página Web del ISCIII.
515
516
B. González-Albo et al. IDIBAPS IMIM IDIBELL IISPV IR-HUVH IRBLLEIDA IDIPAZ IDIBGI IIB Sant Pau IMIBIC INCLIVA IDIS La Fe IRYCIS La Princesa INIBIC IBIS IGTP IISFJD i+12 Biodonostia 0,00
10,00
20,00
30,00
40,00
Producción potencial
50,00
60,00
70,00
80,00
90,00
100,00
Producción observada
Figura 1 Porcentaje de artículos Q1 en la producción de los IIS (WoS 2009-2011) (solo institutos con al menos 40 artículos firmados por el IIS, en orden descendente según el número de artículos; nombres de los institutos desarrollados en la tabla 1).
La presencia de los IIS en las publicaciones es muy inferior a su producción potencial o estimada. Se observan variaciones en visibilidad según los centros que pueden relacionarse con la longitud de su trayectoria (menor visibilidad de institutos de muy reciente creación), la frecuencia de colaboración entre miembros del IIS de distintos centros (en las que puede ser más intuitivo mencionar el instituto como marco común de la investigación) y el grado de compromiso de los centros en la promoción de los institutos. La visibilidad de los IIS aumentó a lo largo del tiempo, desde el 28% en 2009-2011 hasta el 51% en el periodo 2013-2015. A este ascenso han podido contribuir las recomendaciones del ISCIII y los cambios en las políticas institucionales orientadas hacia una mayor promoción del instituto, lograr una mayor integración entre sus miembros y generar un sentimiento de pertenencia al IIS por parte de los investigadores. Sería recomendable que los investigadores incluyeran el IIS en sus publicaciones, lo que podría promoverse institucionalmente. El establecimiento de normas o pautas sobre la forma de firmar en las publicaciones (qué incluir y cómo) se está imponiendo en numerosas instituciones para guiar a sus investigadores y garantizar la visibilidad de los centros. La inclusión sistemática del IIS entre las afiliaciones institucionales de sus miembros facilitaría internamente la gestión del IIS, y externamente permitiría incrementar la visibilidad de los institutos, realizar un seguimiento de su actividad en el
contexto nacional e internacional y valorar el cumplimiento de los objetivos estratégicos que guiaron su creación, complementando la información proporcionada por otro tipo de indicadores.
Agradecimientos Agradecemos los valiosos comentarios recibidos por parte de Carlos Segovia (Instituto de Salud Carlos III) sobre una versión previa de este documento, así como los realizados por los revisores, que han permitido mejorar el original.
Bibliografía 1. Real Decreto 339/2004, de 27 de febrero, sobre acreditación de institutos de investigación sanitaria. Boletín Oficial del Estado, número 63, 13 marzo 2004 [consultado el 21 Dic 2016]. Disponible en: https://www.boe.es/diario boe/txt.php?id=BOE-A-2004-4673 2. Real Decreto 279/2016, de 24 de junio, sobre acreditación de institutos de investigación biomédica o sanitaria. Boletín Oficial del Estado, número 161, 5 julio 2016 [consultado el 21 Dic 2016]. Disponible en: http://www.boe.es/diario boe/txt.php?id=BOE-A-2016-6474 3. Miquel-Collell C. Institutos de investigación sanitaria. Enferm Clin. 2011;21:67---8. 4. ISCIII. Ranking de resultados de los institutos de investigación sanitaria en la primera fase de la convocatoria.
Visibilidad de los institutos de investigación sanitaria a través de Web of Science Madrid: ISCIII; 2012 [consultado 9 Ene 2017]. Disponible en: http://www.isciii.es/ISCIII/es/contenidos/fd-el-instituto/fdcomunicacion/fd-noticias/Evaluacion IIS WEB version final.pdf 5. Moed HF. Citation analysis in research evaluation. Amsterdam: Springer; 2005. 6. Morillo F, Aparicio J, González-Albo B, Moreno L. Towards the automation of addresses identification. Scientometrics. 2013;94:207---24.
517
7. Van Eck NJ, Waltman L, Van Raan AFJ, Klautz RJM, Peul WC. Citation analysis may severely underestimate the impact of clinical research as compared to basic research. PLoS One. 2013;8:e62395.