Introducción

La globalización ha dado lugar a una serie de cambios en la forma de comunicarnos y compartir información, y así ello ha permitido una mayor divulgación del contenido científico (1). En este contexto, las redes sociales ofrecen a los investigadores la posibilidad de difundir la información de una forma fácil y rápida (2). Una encuesta del 2015 reportaba que el 47% de los miembros de la Asociación Estadounidense para el Avance de la Ciencia utiliza las redes sociales como un mecanismo para estar al pendiente de nuevos hallazgos y debatir sobre el conocimiento científico (3). Adicionalmente, de acuerdo con los datos publicados por los portales electrónicos We Are Social y Hootsuite, para enero del 2020 el 69% de la población colombiana tenía acceso a internet, y más de 35 millones de los colombianos eran usuarios de redes sociales, con un promedio de tiempo de uso que ocupa el cuarto puesto en todo el mundo (4).

Tradicionalmente, el impacto científico de los artículos biomédicos se ha medido a través de métricas como el factor de impacto y el índice H, los cuales se basan en el número de citaciones en otros artículos científicos (5); sin embargo, dichas métricas tienen limitaciones, como el hecho de que solo evalúan el impacto de la investigación en otros investigadores o el amplio tiempo requerido para que dichas citaciones se acumulen. De ahí que se hayan desarrollado sistemas de obtención de métricas alternativas, como PlumX, Crossref Event Data y Altmetric. Los desarrolladores de estas herramientas se encargan de recolectar datos respecto a la difusión de artículos científicos en redes sociales y medios de comunicación, e incluyen también datos derivados de métricas tradicionales (número de citaciones en revistas científicas) (6-8). De este modo, las métricas alternativas ofrecen información complementaria y permiten establecer de forma global el impacto de los artículos científicos en diferentes áreas, así como medir la atención que reciben y la diseminación en canales alternativos, como las redes sociales (9,10).

Para el 2023, carecemos de un análisis consolidado de la atención que recibe la información científica publicada en las revistas biomédicas colombianas medida por estas nuevas herramientas. El objetivo de este trabajo fue evaluar dicho impacto, usando la herramienta Altmetric, que describe las fuentes de las menciones en la red y caracteriza la población que comparte la información. Con ello buscamos establecer un ranking de los artículos colombianos con más altos puntajes y las áreas del conocimiento que abordan.

Métodos

Se desarrolló un estudio observacional descriptivo. Se incluyeron artículos publicados entre enero de 2017 y septiembre de 2019 en las revistas colombianas indexadas registradas en Scopus (identificadas en la plataforma Scimago Journal and Country Rank) y en ISI web of Science (identificadas en la plataforma Journal Citation Reports).

En un principio, se registraron el nombre y el DOI de los artículos, tal como aparecían registrados en la página web de cada una de las revistas. Después se utilizó la herramienta gratuita de Bookmarklet académico, disponible en https://www.altmetric.com/, para cuantificar el impacto de cada uno de los artículos, dentro de un lapso de 10 semanas. Esta herramienta permite rastrear las fuentes de las menciones en documentos de política; medios de comunicación tradicionales; blogs; administradores de referencias como Mendeley; redes sociales como Twitter, Facebook, Google+, y fuentes adicionales, como citas en artículos científicos (11), información con la que se calcula el Altmetric Attention Score o puntaje altimétrico (PA). Dicho puntaje surge de un algoritmo automatizado que a cada fuente le asigna un valor ponderado, por ejemplo, un mayor valor a los medios de noticias, seguido por blogs y documentos de política, tal como se ilustra en el anexo 1. El aporte de las diferentes menciones al PA puede ser diferencial dentro de una misma fuente o entre fuentes. En Twitter, por ejemplo, diferentes puntajes se asignan si la interacción corresponde a un tuit original o a un retuit, la cantidad de seguidores de la cuenta, la frecuencia con la que cada persona tuitea los artículos y si la cuenta está tuiteando sobre muchos artículos del mismo dominio de la revista, lo que sugiere una intención promocional. En el caso de Mendeley, estas interacciones tienen un puntaje de cero, puesto que no es posible confirmar que los perfiles sean reales y, por tanto, es imposible auditar la información suministrada (12).

Adicionalmente, a partir de la herramienta Altmetric, se extrajo el número de menciones en las diferentes fuentes y las características demográficas de los usuarios de Twitter y Mendeley. Para Twitter se recolectó la información respecto a la ubicación geográfica de las personas que compartían la información y el tipo de usuario de acuerdo con la siguiente clasificación: miembro del público, investigador o científico, practicante o comunicador científico. Para clasificarlos, la herramienta utiliza un algoritmo que analiza los perfiles de los usuarios respecto a las palabras clave que usan, los tipos de revista o cuentas a la que se vinculan y la lista de seguidores (13). En el caso de Mendeley, la herramienta utiliza la información que proporciona cada usuario en el momento de la creación de la cuenta en cuanto a su ubicación, sus profesiones y su rol en el contexto de la investigación.

Se analizó la información para cada revista, incluyendo el porcentaje de artículos con al menos una mención identificada por la herramienta Altmetric, y la mediana del PA. Adicionalmente, se estableció un ranking de los mejores 32 artículos en base al PA, identificando el área de conocimiento que cubrían (véase anexo 2).

Para presentar los datos se utilizó estadística descriptiva, usando porcentajes para las variables categóricas, y medidas de tendencia central y dispersión para las variables continuas, bien sea media y desviación estándar para variables con distribución normal, o mediana y rango intercuartílico si no se cumplía dicho supuesto. Se utilizó la prueba de Shapiro-Wilk para evaluar la normalidad de la distribución de los datos, y el coeficiente de Pearson, para evaluar la correlación entre fuentes de información y el PA. El protocolo fue aprobado por el Comité de Ética y de Investigación del Hospital Universitario San Ignacio y la Pontificia Universidad Javeriana.

Resultados

Se analizaron las publicaciones en 18 revistas (tabla 1). Entre enero del 2017 y septiembre del 2019 se publicaron un total de 2934 artículos. De estos, 533 (18,2%) tenía, por lo menos, una mención en la herramienta Altmetric. La revista con mayor proporción de artículos con al menos una mención fue Biomédica (61,5%), seguida por la Revista Colombiana de Urología (57,4%) y la Revista Colombiana de Psiquiatría (30,9%). En lo referente al PA, la revista Biomédica fue nuevamente la mejor clasificada, con una mediana de 4 (RIQ 2-5); seguida por las Revistas Colombianas de Reumatología (mediana 3, RIQ 1-7), Urología (Mediana 2, RIQ 1-4) y Anestesiología (Mediana 2, RIQ 1-2) (tabla 1).

La fuente de menciones más representativa corresponde a Mendeley (73,8%), seguida por Twitter (18,4%) (figura 1). Las profesiones de las personas que compartían la información en Mendeley correspondieron, en su mayoría, a medicina y odontología, seguido por enfermería y psicología. Sin embargo, se encontró una representación considerable de áreas no afines al área biomédica, como ciencias agropecuarias, deporte y recreación, ciencia medioambiental, ingeniería, ciencias sociales, negocios, contabilidad, artes y humanidades (figura 2A). El nivel académico predominante fue grado universitario completo (bachelor), seguido por estudiantes de maestría e investigadores (figura 2B).

Respecto a Twitter, el 82% de las cuentas que compartían la información pertenecían a miembros del público general, seguido por profesionales de la salud (7,2%) y comunicadores científicos (7,1%) (figura 3A). El 46,2% de los usuarios residía en Colombia, seguido por Europa (8,2%) y países de Suramérica (6,6%) (figura 3B).

El ranking de los cinco artículos con los mejores puntajes en la herramienta Altmetric se presenta en la tabla 2, y el ranking completo (32 artículos) se puede revisar en el anexo 2. El 62,5% de los artículos los publicó la revista Biomédica, que es la cuenta con mayor representatividad. En segundo lugar, la Revista Colombiana de Urología (9,3%), seguida por las Revista Colombiana de Anestesiología (6,2%), Revista de Salud Pública (6,2%) y la Revista Colombiana de Psiquiatría (6,2%). El área del conocimiento más común entre los artículos del ranking fue la infectología (43,7%), seguido por salud pública (9,3%) y psiquiatría (9,3%).

Al evaluar la correlación entre el número de menciones en cada fuente con el PA se encontró que la mayor correlación fue con Twitter (coeficiente de correlación de Pearson de 0,9403) y se evidenció una ausencia de correlación entre Mendeley y Twitter (coeficiente de correlación de Pearson de 0,0887), según se evidencia en la tabla 3.

Discusión

El presente es el primer estudio que analiza la atención y la diseminación de los artículos publicados en las revistas indexadas biomédicas colombianas, por medio métricas alternativas. Se encontró que es baja la atención que reciben las publicaciones en las revistas colombianas, comparada con la de otros países. Las menciones de las revistas en la red están dadas principalmente por Twitter y Mendeley, y son compartidas por un amplio rango de profesionales, y no únicamente por aquellos adscritos al área de la salud y afines. Las menciones de Mendeley corresponden de manera predominante a personas con grado universitario y a estudiantes relacionados de manera activa con el proceso de investigación, como estudiantes de maestría y posgrados. Las menciones en Twitter correspondían principalmente a miembros del público general de procedencia colombiana. Adicionalmente, que los artículos que reciben mayor atención están concentrados en pocas revistas.

Llama la atención que el puntaje altimétrico (altmetric atention score) de las revistas colombianas fue bajo comparado con el de revistas de otros países. Por ejemplo, en un trabajo con revistas iraníes, el PA máximo alcanzado por el articulo número 1 de su ranking fue de 465 vs. 26 del mejor puntaje de nuestro estudio (10). De igual forma, el promedio de PA de los artículos publicados en Irán fue de 72,3 comparado con valores de mediana de PA por debajo de 4 para las revistas colombianas (10). Esto resulta llamativo teniendo en cuenta que para enero del 2020 el 69% de la población en Colombia tenía acceso a internet, y que el 69% tiene uso activo de redes sociales, con un tiempo promedio gastado en internet de 9 horas y 10 minutos (4). Tales datos sugieren que el uso de internet en Colombia está más ligado a actividades lúdicas.

En este estudio, la red social más usada para diseminar la información fue Twitter, y es también la que mayor correlación tiene con el PA. Ello representa el mayor peso en el puntaje. Esto es concordante con lo informado para áreas específicas del conocimiento, como neurología, odontología y endocrinología (14-16), y en lo reportado en las revistas de otros países (10).

Es de resaltar que la atención recibida y la diseminación de los artículos no fue exclusiva a la comunidad científica o profesionales de la salud, sino incluso de manera predominante en el público general, lo cual refuerza la importancia de las redes para difundir información a la comunidad no científica. Además, al evaluar la procedencia de las menciones, es importante destacar la visibilidad en otras partes del mundo, sobre todo el continente europeo, lo cual demuestra el interés que despierta la producción científica colombiana en otros países y la posibilidad de mejorar el impacto o visibilidad internacional de los artículos publicados en una revista nacional con el uso de redes sociales.

El mayor número de menciones a las publicaciones provino de Mendeley, que representa principalmente a las comunidades científicas, la mayoría de ellas compuestas por estudiantes y sus procesos de investigación (posgrados, maestrías o bachelor). Sin embargo, dada la imposibilidad de poder auditar los resultados suministrados por este gestor de referencias, el puntaje ponderado que recibe en el PA es de cero. Si bien las características de los usuarios de Mendeley demuestran que la mayoría corresponden a profesiones afines a las ciencias biomédicas, es llamativa la representación de otras áreas profesionales, como deporte y recreación, ciencias sociales, negocios y contabilidad, artes y humanidades, lo que demuestra el interés que despiertan estas publicaciones es áreas disciplinares diversas y refuerza la necesidad de mejorar las estrategias de divulgación en públicos más amplios, usando las herramientas disponibles.

Las diferencias demográficas de las personas que prestan atención y comparten la información en Twitter y Mendeley explicarían la escasa correlación entre ambas, y sugiere que nuestra producción científica impacta distintos públicos, sugiriendo así que son complementarias a la hora de divulgar la información. Llamó la atención que una proporción representativa fuese de origen geográfico y tipo de usuario desconocido, lo que se explica porque en Mendeley dicha información es proporcionada por el usuario y no es de obligatorio diligenciamiento, situación contraria a lo que sucedió respecto al análisis de usuarios en Twitter.

Finalmente, en cuanto al ranking de los artículos con el mejor puntaje en Altmetric, la mayoría de ellos correspondía a Biomédica, que a su vez fue la revista con mayor mediana de puntaje Altmetric. Las áreas de conocimiento evaluadas correspondían principalmente a temas de infectología y salud pública, lo cual contrasta con el estudio iraní de Kolahi et al. (10), en el que la esclerosis múltiple, el cáncer y la ansiedad fueron los temas más abordados. Lo anterior podría corresponder a un reflejo de que el país se encuentra aún en vías de desarrollo, y tiene alta prevalencia de enfermedades trasmisibles.

La principal fortaleza del estudio es que se cubrió la totalidad de las revistas indexadas en Scopus y Web of Science, al evaluar casi 3000 artículos; sin embargo, este mismo volumen de información limitó la velocidad de recolección, en cuanto a las menciones en Altmetric, e hizo que los artículos valorados al principio estuviesen en desventaja respecto a los últimos. Pese a esto, las revistas evaluadas inicialmente (por ejemplo, Biomédica) tuvieron mayor número de menciones, lo que sugiere que si hubiera un sesgo sería en contra de los resultados de la revista, y no a su favor. Además, el bajo número de menciones sugiere que el tiempo de diez semanas trascurrido para la recolección de la información no cambiaría de forma significativa los estimativos. Una segunda limitación está dada por el hecho de que la bibliometría reportada por Altmetric, al igual que otras fuentes de medición de métricas alternativas, no tienen todavía validaciones externas, lo que se relaciona con lo novedoso del enfoque y el reciente conocimiento y uso por la comunidad científica. A futuro se requieren estudios de validación de estas herramientas para fortalecer las conclusiones del estudio. Como tercera limitación, vale la pena resaltar que existen múltiples herramientas para evaluar la influencia social, mediática, política y educativa de los artículos publicados, lo que podría generar resultados divergentes. Por ejemplo, la herramienta influscience (17), desarrollada por investigadores españoles, tiene en cuenta fuentes diferentes como Wikipedia, y no contempla otras fuentes incluidas en la herramienta de Altmetric, como las menciones en Mendeley o Facebook. Se requerirán estudios adicionales para determinar la intercambiabilidad y correlación de las diferentes formas de medición. Por último, en nuestro estudio incluimos solamente las revistas indexadas en Scopus e ISI Web of Science, en la búsqueda de evaluar las revistas con más alcance internacional; pero es probable que dichas revistas no sean totalmente representativas del total de las revistas biomédicas colombianas, muchas de las cuales pueden tener importante difusión regional a través de plataformas latinoamericanas como Latindex o SciELO, o de otras plataformas de mayor alcance como EBSCO, Redalyc o Proquest. Se precisarán nuevos estudios para evaluar el impacto de los artículos publicados por dichas revistas.

Con estos hallazgos, podemos concluir que existe una escasa utilización de las herramientas que permiten diseminar los resultados de la investigación por parte de las revistas biomédicas colombianas, lo que plantea la oportunidad de aprovechar mejor las redes sociales, y entre ellas especialmente Twitter a la hora de difundir la información científica en el país. Esta recomendación es importante tanto para los investigadores de forma individual como para las revistas, no solo en Colombia, sino en toda Latinoamérica. Nuestros datos también resaltan que la atención recibida por las publicaciones biomédicas colombianas no se limita únicamente a la comunidad médica, sino a diferentes áreas disciplinares, y que por tanto debe evaluarse el impacto de la investigación de una forma más global. Finalmente, vale la pena resaltar que las métricas alternativas (incluyendo la herramienta Altmetric) son complementarias a la bibliometría tradicional y que permiten evaluar la visibilidad de los resultados de investigación tanto en la comunidad científica como en la no científica.

Financiación

No fue requerida financiación para este estudio.

Conflicto de intereses

Ninguno de los autores del estudio tiene conflicto de intereses.

Referencias

Notas de autor

^a Autor de correspondencia: o.munoz@javeriana.edu.co

Información adicional

Cómo citar: Muñoz Velandia OM, Gómez Quesada Y, Patiño Hernández D, Fernández Ávila DG. Atención recibida por las publicaciones en revistas biomédicas colombianas indexadas, medida por métricas alternativas. Univ. Med. 2023;64(4). https://doi.org/10.11144/Javeriana.umed64-4.index

Descargar