Sobre la evaluación de la investigación y los investigadores: Criticas a las métricas y recomendaciones

Universitas Psychologica, vol. 17, núm. 4, 2018

Pontificia Universidad Javeriana

En la actualidad existe un amplio debate sobre los sistemas de evaluación de la investigación: los investigadores, los proyectos, los grupos, e incluso las instituciones. Entre las críticas más frecuentes está el que los sistemas de evaluación y financiación le dan un valor muy alto a las medidas derivadas del factor de impacto (FI) de las revistas. Los juicios a este indicador de discriminación de citación de artículos de una revista, en un periodo determinado (Beltrán, 2017), se dan en varias direcciones:

  1. El factor de impacto no corrige los problemas derivados de la distribución de citación, que suelen estar sesgados en muchas formas. Las fuentes de las citas son muy diversas, en una revista no solo se publican artículos derivados de investigaciones o revisiones, sin embargo, este indicador solo tiene en cuenta este tipo de publicaciones, lo que suele distorsionarlo (Rossner, Van Epps, & Hill, 2008).

  2. El factor de impacto puede ser manipulado por la política editorial, por ejemplo, al disminuir considerablemente el número de artículos, o lo que hacen las casas editoriales que cuentan con cientos de revistas: recomiendan o sugieren artículos en sus plataformas (esto evidentemente puede ser evaluado como un servicio por parte de estos emporios editoriales a los investigadores, a pesar de que claramente sesga las citaciones). Una revista que publica pocos artículos al año y recibe un número medio de citas no puede ser equiparada a una que publica un numero alto de artículos al año, este aspecto las hace incomparables.

  3. Este indicador contrasta en forma ingenua revistas con infraestructuras editoriales robustas, con recursos económicos y tecnológicos altos y décadas de historia de su posicionamiento en comunidades, con revistas universitarias que apenas están tratando de consolidarse.

  4. Los datos del factor de impacto no son siempre transparentes, y por eso las simulaciones que hacen los editores, no pocas veces han arrojado resultados que resultan incomparables.

  5. El factor de impacto no recoge citas que se encuentran en distintos productos de conocimiento, que podrían dar cuanta de otro tipo de impactos.

Por algunas de estas razones se ha planteado, en diversas declaraciones, la necesidad —incluso— de abolir de la evaluación las medidas de impacto derivadas del uso del conocimiento asociado a la citación (Seglen, 1997a, 1997b). Sin embargo, hay autores que consideran que el FI podría ser mejorado a partir de las críticas señaladas, y ser tomado como parte de un sistema más amplio de medidas cienciométricas (Lee, Hah, & Kim, 2018), que deberían definirse, no por los indicadores globales de la revista en un periodo de tiempo que suele ser arbitrario y no normalizado de acuerdo a las dinámicas de comunicación y usos de cada comunidad, sino por la introducción de mediciones que den cuenta de cada línea de investigación, e incluso, cada artículo e investigador. El desarrollo de las plataformas virtuales de las revistas está permitiendo otros usos del conocimiento, que desbordan la citación y deberían incluirse, al igual que deben considerarse (como se ha insistido con frecuencia en los últimos años) las medidas Altmetrics. En cualquier caso, es necesario romper el supuesto de que las medidas de citación son equivalentes a las de calidad de la investigación o de la publicación.

Los sistemas de evaluación deberían asumir los costos de paneles de expertos internacionales que contribuyeran con este tipo de valoraciones, para que con una lectura cuidadosa de los productos, y con criterios de calidad de la investigación, impacto, rigor metodológico, alcance teórico, pertinencia y potencial de impacto social, según sea el caso; permitan generar información más ligada a la calidad, que a las historias de uso y a las características de los indicadores de impacto globales de las revistas. Estas evaluaciones deberían ser transparentes y estar relacionadas con transformaciones en las prácticas culturales de las comunidades académicas y en la gestión de las instituciones responsables de la evaluación y en la decisión sobre la financiación de la investigación. Lo que es evidente, es que las prácticas que tenemos hoy en día están generando, incluso, comportamientos corruptos en las comunidades de investigadores, como lo señalan Weingart (2005) y Wilhite y Fong (2012).

Indudablemente tenemos muchos retos para mejorar los procesos de evaluación de la investigación y la producción de los investigadores, debemos hacer análisis críticos y rigurosos de ellos y plantear propuestas para optimizarlo.

Referencias

Beltrán, J. E. (2017). Manual de edición académica. Bogotá, Colombia: Universidad de los Andes.

Lee, W., Hah, J., & Kim, N. (2018). Adjusted Impact Factor by using F min Search Algorithm. Industrial Engineering & Management Systems, 17(1), 113-119.

Rossner, M., Van Epps, H., & Hill, E. (2008). Irreproducible results: A response to Thomson Scientific. Journal of Experimental Medicine, 205(2), 260-261.

Seglen, P. O. (1997a). Citations and Journal impact factors: questionable indicators of research quality. Allergy, 52(11), 1050-1056.

Seglen, P. O. (1997b). Why the impact factor of Journals should not be used for evaluating research. British Medical Journal, 314(7079), 498-502.

Weingart, P. (2005). Impact of bibliometrics upon the science system: Inadvertent consequences? Scientometrics, 62(1), 117-131.

Wilhite, A. W., & Fong, E. A. (2012). Coercive Citation in Academic Publishing. Science, 335(6068), 542-543.

Información adicional

Para citar: López-López, W. (2018). Sobre la evaluación de la investigación y los investigadores: Criticas a las métricas y recomendaciones. Universitas Psychologica, 17(4). https://doi.org/10.11144/Javeriana.upsy17-4.seii

Contexto
Descargar
Todas