- Email: [email protected]
Fiabilidad y magnitud del efecto: una relación olvidada
+Model
ARTICLE IN PRESS
ENFCLI-696; No. of Pages 2 Enferm Clin. 2017;xxx(xx):xxx---xxx
www.elsevier.es/enfermeriaclinica
CARTA AL DIRECTOR Fiabilidad y magnitud del efecto: una relación olvidada Reliability and effect size: A forgotten relationship Sra. Editora: nos muestrales (n) Es frecuente que en estudios de tama˜ moderados o peque˜ nos, ya sea por características propias de la población de estudio o por limitaciones inherentes a la investigación, el uso de la prueba de significación estadística de la hipótesis nula (NHST, por sus siglas en inglés) conduzca a conclusiones sesgadas. Esto porque la NHST, normalmente basada en el p-valor, tiende a aceptar la hipótesis nula cuando n es peque˜ no, y rechazarla cuando n es grande, incluso si sus descriptivos (p. ej., media y desviación estándar) son similares en ambas condiciones1 . Es por ello que se recomienda calcular medidas de magnitud del efecto (ME)2 a fin de complementar lo brindado por la NHST. Es conocido que para el caso de comparación entre grupos una de las medidas de ME más usadas es la d de Cohen, la cual aporta información sobre la magnitud de la diferencia: diferencia insignificante (< 0,20), peque˜ na (entre 0,20 y 0,50), mediana (entre 0,50 y 0,80) o grande (> 0,80); y no solo informa de la existencia de dicha diferencia (como el NHST); pese a ello, en ocasiones no se considera que la ME observada depende de 2 factores: a) la ME verdadera, es decir, el indicador en ausencia de error de medición de las variables, y b) la fiabilidad de las puntuaciones3 . Esto es Tabla 1
importante porque es posible que la baja fiabilidad afecte las estimaciones estadísticas, y en consecuencia, concluir de forma errada con base en una ME atenuada3 . Ante tal situación, una alternativa es comparar las ME observada y verdadera. En un trabajo reciente de Carrillo-García et al.4 fueron comparados 2 grupos, enfermero/as (n = 66) y auxiliares de enfermería (n = 23), con relación al estrés laboral percibido indicando que existen diferencias estadísticamente significativas, pero sin indicar su magnitud ni discutir esos resultados y su relevancia en el área de estudio. Asimismo, el análisis se basó en la NHST, concluyendo que solo hubo diferencias estadísticamente significativas en las dimensiones demandas psicológicas y control (p < 0,05), pero no en apoyo (p > 0,05). Ante esa situación, un re-análisis de la ME podría brindar información adicional. Entonces, considerando los datos presentados en el citado manuscrito (diferencias de medias) se calculó la dobservada , y la dverdadera 3 fue estimada mediante la siguiente √ expresión: dverdadera = dobservada ; donde rxx corresponde a la rxx fiabilidad de las puntuaciones (p. ej., coeficiente ␣ de las dimensiones). Adicionalmente, esposible calcular un índice de atenuación:
(dverdadera −dobservada ) dverdadera
∗ 100 a fin de conocer el
porcentaje de la dverdadera no se cuantifica en presencia del error de medición. Cabe precisar que si bien no existen puntos de referencia que permitan valorar la magnitud de la atenuación, un porcentaje moderado (p. ej., > 30%) podría ser de interés para el investigador porque implicaría que alrededor de un tercio de la dverdadera no se considera en la dobservada .
Comparación del estrés laboral entre enfermeros y auxiliares Estadísticos descriptivos
Magnitud del efecto
Dimensión (␣; IC 95%) Grupo
M
DE
dobservada
Categoría
dverdadera
Categoría
Porcentaje de atenuación
Apoyo (0,78; 0,683-0,850) Demandas (0,71; 0,589-0,800) Control (0,74; 0,629-0,822)
3,11 3,20 3,19 2,84 3,04 2,73
0,39 0,39 0,35 0,33 0,38 0,50
0,23
Peque˜ na
0,26
Peque˜ na
11,5
1,01
Grande
1,20
Grande
15,8
0,75
Mediana
0,87
Grande
13,8
Enfermero Auxiliar Enfermero Auxiliar Enfermero Auxiliar
DE: desviación estándar; M: media. http://dx.doi.org/10.1016/j.enfcli.2017.07.003 1130-8621/© 2017 Elsevier Espa˜ na, S.L.U. Todos los derechos reservados.
Cómo citar este artículo: Dominguez-Lara S. Fiabilidad y magnitud del efecto: una relación olvidada. Enferm Clin. 2017. http://dx.doi.org/10.1016/j.enfcli.2017.07.003
+Model ENFCLI-696; No. of Pages 2
ARTICLE IN PRESS
2
CARTA AL DIRECTOR
Los resultados (tabla 1) agregan al reporte de CarrilloGarcía et al.4 la diferencia peque˜ na entre enfermeros y auxiliares en la dimensión apoyo, aunque quedaría pendiente la discusión si esa magnitud (0,23) posee relevancia práctica en el contexto laboral estudiado dada la importancia que se le otorga al apoyo en la discusión del estudio4 . Sin embargo, las diferencias halladas en las 2 dimensiones restantes sí deben ser consideradas para un análisis ulterior dado que ambos grupos ocupacionales comparten labores, y una percepción diferencial de las demandas y el control podría afectar el desempe˜ no. Complementariamente, pese a que las magnitudes de fiabilidad solo son aceptables (0,70 < ␣ < 80) y el límite inferior de sus intervalos de confianza5 son bajos (< 0,70), estas no atenuaron significativamente la dverdadera ya que no difieren sustancialmente de las dobservadas (< 20%). En conclusión, el reporte de medidas de ME es crucial en toda investigación empírica, dado que estas brindan información relevante que podría ser analizada a fin de enriquecer el aporte del estudio. Asimismo, cuando existan indicadores de fiabilidad de baja magnitud, es necesario cuantificar la atenuación, ya que es posible que las estimaciones se vean afectadas.
Bibliografía 1. Dominguez-Lara S. Sobre el uso de la prueba de significación de la hipótesis nula en la investigación psicológica. Cultura. 2016;30:141---50. 2. Fritz CO, Morris PE, Richler JJ. Effect size estimates: Current use, calculations, and interpretation. J Exp Psychol Gen. 2012;141:2---18, http://dx.doi.org/10.1037/a0024338. 3. Furr RM. Scale construction and psychometrics for social and personality psychology. London: SAGE; 2011. 4. Carrillo-García C, Ríos-Rísquez MI, Martínez-Hurtado R, NogueraVillaescusa P. Nivel de estrés del personal de enfermería de la Unidad de Cuidados Intensivos de un hospital clínico universitario. Enferm Intensiva. 2016;27:89---95, http://dx.doi.org/10. 1016/j.enfi.2016.03.001. 5. Dominguez-Lara S. Intervalos de confianza en el reporte de la fiabilidad: un análisis necesario. Anales Sis San Navarra. 2016;39:169---70, http://dx.doi.org/10.4321/S11376627/2016000100024.
Sergio Dominguez-Lara Universidad de San Martín de Porres, Lima, Perú Correos electrónicos: [email protected], [email protected]
Cómo citar este artículo: Dominguez-Lara S. Fiabilidad y magnitud del efecto: una relación olvidada. Enferm Clin. 2017. http://dx.doi.org/10.1016/j.enfcli.2017.07.003
ARTICLE IN PRESS
ENFCLI-696; No. of Pages 2 Enferm Clin. 2017;xxx(xx):xxx---xxx
www.elsevier.es/enfermeriaclinica
CARTA AL DIRECTOR Fiabilidad y magnitud del efecto: una relación olvidada Reliability and effect size: A forgotten relationship Sra. Editora: nos muestrales (n) Es frecuente que en estudios de tama˜ moderados o peque˜ nos, ya sea por características propias de la población de estudio o por limitaciones inherentes a la investigación, el uso de la prueba de significación estadística de la hipótesis nula (NHST, por sus siglas en inglés) conduzca a conclusiones sesgadas. Esto porque la NHST, normalmente basada en el p-valor, tiende a aceptar la hipótesis nula cuando n es peque˜ no, y rechazarla cuando n es grande, incluso si sus descriptivos (p. ej., media y desviación estándar) son similares en ambas condiciones1 . Es por ello que se recomienda calcular medidas de magnitud del efecto (ME)2 a fin de complementar lo brindado por la NHST. Es conocido que para el caso de comparación entre grupos una de las medidas de ME más usadas es la d de Cohen, la cual aporta información sobre la magnitud de la diferencia: diferencia insignificante (< 0,20), peque˜ na (entre 0,20 y 0,50), mediana (entre 0,50 y 0,80) o grande (> 0,80); y no solo informa de la existencia de dicha diferencia (como el NHST); pese a ello, en ocasiones no se considera que la ME observada depende de 2 factores: a) la ME verdadera, es decir, el indicador en ausencia de error de medición de las variables, y b) la fiabilidad de las puntuaciones3 . Esto es Tabla 1
importante porque es posible que la baja fiabilidad afecte las estimaciones estadísticas, y en consecuencia, concluir de forma errada con base en una ME atenuada3 . Ante tal situación, una alternativa es comparar las ME observada y verdadera. En un trabajo reciente de Carrillo-García et al.4 fueron comparados 2 grupos, enfermero/as (n = 66) y auxiliares de enfermería (n = 23), con relación al estrés laboral percibido indicando que existen diferencias estadísticamente significativas, pero sin indicar su magnitud ni discutir esos resultados y su relevancia en el área de estudio. Asimismo, el análisis se basó en la NHST, concluyendo que solo hubo diferencias estadísticamente significativas en las dimensiones demandas psicológicas y control (p < 0,05), pero no en apoyo (p > 0,05). Ante esa situación, un re-análisis de la ME podría brindar información adicional. Entonces, considerando los datos presentados en el citado manuscrito (diferencias de medias) se calculó la dobservada , y la dverdadera 3 fue estimada mediante la siguiente √ expresión: dverdadera = dobservada ; donde rxx corresponde a la rxx fiabilidad de las puntuaciones (p. ej., coeficiente ␣ de las dimensiones). Adicionalmente, esposible calcular un índice de atenuación:
(dverdadera −dobservada ) dverdadera
∗ 100 a fin de conocer el
porcentaje de la dverdadera no se cuantifica en presencia del error de medición. Cabe precisar que si bien no existen puntos de referencia que permitan valorar la magnitud de la atenuación, un porcentaje moderado (p. ej., > 30%) podría ser de interés para el investigador porque implicaría que alrededor de un tercio de la dverdadera no se considera en la dobservada .
Comparación del estrés laboral entre enfermeros y auxiliares Estadísticos descriptivos
Magnitud del efecto
Dimensión (␣; IC 95%) Grupo
M
DE
dobservada
Categoría
dverdadera
Categoría
Porcentaje de atenuación
Apoyo (0,78; 0,683-0,850) Demandas (0,71; 0,589-0,800) Control (0,74; 0,629-0,822)
3,11 3,20 3,19 2,84 3,04 2,73
0,39 0,39 0,35 0,33 0,38 0,50
0,23
Peque˜ na
0,26
Peque˜ na
11,5
1,01
Grande
1,20
Grande
15,8
0,75
Mediana
0,87
Grande
13,8
Enfermero Auxiliar Enfermero Auxiliar Enfermero Auxiliar
DE: desviación estándar; M: media. http://dx.doi.org/10.1016/j.enfcli.2017.07.003 1130-8621/© 2017 Elsevier Espa˜ na, S.L.U. Todos los derechos reservados.
Cómo citar este artículo: Dominguez-Lara S. Fiabilidad y magnitud del efecto: una relación olvidada. Enferm Clin. 2017. http://dx.doi.org/10.1016/j.enfcli.2017.07.003
+Model ENFCLI-696; No. of Pages 2
ARTICLE IN PRESS
2
CARTA AL DIRECTOR
Los resultados (tabla 1) agregan al reporte de CarrilloGarcía et al.4 la diferencia peque˜ na entre enfermeros y auxiliares en la dimensión apoyo, aunque quedaría pendiente la discusión si esa magnitud (0,23) posee relevancia práctica en el contexto laboral estudiado dada la importancia que se le otorga al apoyo en la discusión del estudio4 . Sin embargo, las diferencias halladas en las 2 dimensiones restantes sí deben ser consideradas para un análisis ulterior dado que ambos grupos ocupacionales comparten labores, y una percepción diferencial de las demandas y el control podría afectar el desempe˜ no. Complementariamente, pese a que las magnitudes de fiabilidad solo son aceptables (0,70 < ␣ < 80) y el límite inferior de sus intervalos de confianza5 son bajos (< 0,70), estas no atenuaron significativamente la dverdadera ya que no difieren sustancialmente de las dobservadas (< 20%). En conclusión, el reporte de medidas de ME es crucial en toda investigación empírica, dado que estas brindan información relevante que podría ser analizada a fin de enriquecer el aporte del estudio. Asimismo, cuando existan indicadores de fiabilidad de baja magnitud, es necesario cuantificar la atenuación, ya que es posible que las estimaciones se vean afectadas.
Bibliografía 1. Dominguez-Lara S. Sobre el uso de la prueba de significación de la hipótesis nula en la investigación psicológica. Cultura. 2016;30:141---50. 2. Fritz CO, Morris PE, Richler JJ. Effect size estimates: Current use, calculations, and interpretation. J Exp Psychol Gen. 2012;141:2---18, http://dx.doi.org/10.1037/a0024338. 3. Furr RM. Scale construction and psychometrics for social and personality psychology. London: SAGE; 2011. 4. Carrillo-García C, Ríos-Rísquez MI, Martínez-Hurtado R, NogueraVillaescusa P. Nivel de estrés del personal de enfermería de la Unidad de Cuidados Intensivos de un hospital clínico universitario. Enferm Intensiva. 2016;27:89---95, http://dx.doi.org/10. 1016/j.enfi.2016.03.001. 5. Dominguez-Lara S. Intervalos de confianza en el reporte de la fiabilidad: un análisis necesario. Anales Sis San Navarra. 2016;39:169---70, http://dx.doi.org/10.4321/S11376627/2016000100024.
Sergio Dominguez-Lara Universidad de San Martín de Porres, Lima, Perú Correos electrónicos: [email protected], [email protected]
Cómo citar este artículo: Dominguez-Lara S. Fiabilidad y magnitud del efecto: una relación olvidada. Enferm Clin. 2017. http://dx.doi.org/10.1016/j.enfcli.2017.07.003