825Vniversitas0041-90602011-1711Pontificia Universidad JaverianaColombiarevistascientificasjaveriana@gmail.com82556549002https://doi.org/10.11144/Javeriana.vj137.nceiEditorialNociones de calidad e impacto: el lugar de las
revistas indexadas de ciencias jurídicas en el nuevo sistema colombiano de competitividad,
ciencia, tecnología e innovación 1http://orcid.org/0000-0002-1433-6344Flórez CarranzaFavio AndrésPontificia Universidad Javeriana, ColombiaPontificia Universidad JaverianaColombiaJuly-December2018137https://creativecommons.org/licenses/by/4.0/Esta obra está bajo una Licencia Creative Commons Atribución 4.0 Internacional.Para citar este editorialFAVIO ANDRÉS FLÓREZ CARRANZA, Nociones de calidad e impacto: el lugar de
las revistas indexadas de ciencias jurídicas en el sistema colombiano de
competitividad, ciencia, tecnología e innovación, 137 Vniversitas (2018). https://doi.org/10.11144/Javeriana.vj137.nceiA manera de introducción
El cierre del
año 2017 representó la conclusión de una de las etapas más extenuantes y ciertamente
desconcertantes a las que se han visto sometidos los editores de revistas indexadas
de Colombia: la formulación y puesta en marcha de una nueva política para
mejorar la calidad de las publicaciones científicas nacionales a través del
Índice bibliográfico nacional Publindex2.
El proyecto, orientado a potenciar el impacto de la producción intelectual
colombiana, y de su prolífico escenario de revistas indexadas, se convirtió en
un panorama de exclusión y descenso masivos con efectos inmediatos en la
capacidad de convocatoria y la continuidad de los títulos dentro del sistema.
Si bien, esta depuración se percibía necesaria, a la luz de la insuficiente
inversión nacional en competitividad, ciencia, tecnología e innovación (CCTeI),
los deficientes indicadores de calidad y los problemas de sustentabilidad en el
régimen salarial de las instituciones públicas de educación superior3,4,
la identificación de falencias en la metodología —advertidas en forma reiterada
por los equipos editoriales5,6,7,8—,
las dificultades de carácter operativo y las inconsistencias en los resultados
desdibujaron este esfuerzo conjunto, indujeron al error y generaron injusticia,
a tal punto que pudieron afectar negativamente el patrimonio de las
instituciones editoras y desarticular a las comunidades académicas en torno a
ellas. Aunque se trata de una problemática con incidencias disímiles para los participantes
de este modelo de legitimación de la producción académica, las instituciones
editoras y sus comunidades están llamadas a analizar su papel en el sistema de
indexación nacional e internacional, y a refrendar la voz de otras publicaciones
y comunidades con proyecciones afines, en favor de la transparencia, la equidad
y la oportunidad.
El sistema colombiano de CCTeI
Cabe recordar
que las condiciones para que las revistas científicas obtengan un aval frente
al sistema colombiano de indexación son promulgadas por Colciencias, organismo oficial
encargado de orientar la investigación para el desarrollo y homólogo al Conacyt
(México), Conicet (Argentina) o Conicyt (Chile). Su iniciativa estatal de normalización,
evaluación y clasificación de publicaciones periódicas científicas, denominada
Publindex, viene operando en el país oficialmente desde el año 2000 —aunque la
primera convocatoria de revistas se realizó en 19969—,
a partir de nociones formales básicas de estandarización, con el propósito de garantizar
las buenas prácticas investigativas y académicas, y con incidencia directa en la
generación de estímulos a la investigación. Sería poco acertado desconocer el
rol fundamental de Colciencias y su índice de revistas en la alfabetización de los
actores del proceso editorial para alcanzar la visibilidad y la cooperación más
allá del impacto institucional y local, además de la construcción de una
infraestructura idónea (la plataforma SCIENTI) para dar cuenta de tan
significativos avances en materia del posicionamiento de la producción académica
colombiana. Durante los primeros diez años del servicio permanente de
indexación, la preocupación máxima fue alcanzar el mismo rigor formal y la
misma sensibilidad editorial para todos los títulos clasificados, mientras se
evidenciaba un incremento en la cantidad de publicaciones con fines de
indexación —resultado principalmente de criterios de acreditación mal
orientados10—,
un aumento que no fue correlativo a la calidad esperada y enunciada en los
términos de referencia de las convocatorias. La actualización de SCIENTI se
delegó a las revistas indexadas, investigadores, grupos de investigación e
instituciones, quienes debían cargar en forma autónoma los metadatos vinculados
a su producción para asegurar una correcta interpretación por parte del ente
evaluador. Esta labor de actualización representó un esfuerzo prolongado, y con
bastante frecuencia significó grandes dificultades operativas que terminaron
condicionando la clasificación o la permanencia de los títulos, reduciendo las
opciones de apelar a la pertinencia de sus contenidos o el alcance
internacional de su público objetivo.
La nueva política de Publindex
El cambio en la
política de indexación ya se advertía necesario en 2011, cuando la entonces
base bibliográfica nacional acumulaba un acervo de 466 revistas validadas. En
2013, se presentaron los primeros esbozos de la nueva estrategia de
clasificación11,12 enfocada en la presencia internacional a través de sistemas de indexación y
resumen (SIRES) aceptados —una reformulación del concepto de 2008 del
Observatorio Colombiano de Ciencia y Tecnología (OCyT)13—,
con una marcada prelación por los índices citacionales Web of Science y Scopus,
el impacto citacional, indicador presente en la academia mundial desde 1980.
Adicionalmente, se incorporó el índice H obtenido a partir de Google Académico
(Scholar) como medida de transición para ampliar la cobertura de la
clasificación, lo que le permitiría a las revistas aún no aceptadas por los
índices llegaran a las categorías B y C. Se convocó a los equipos editoriales
del país a construir colectivamente los nuevos criterios de medición, y solo
hasta el segundo semestre de 2016 se presentó la nueva política de indexación
de Publindex. En el intermedio de estos hitos, se publicaron fuertes críticas, provenientes
particularmente de las ciencias sociales y las humanidades14,15,16,17,18,19,
a este nuevo modelo de medición de revistas (2013), al de reconocimiento de
editoriales nacionales (2013-2014)20 y al de grupos de investigación (2015), señalados como reduccionistas, alejados
de la realidad de la ciencia nacional en todas sus áreas disciplinares, acomodados
a una lógica acumulativa que puede viciarse en la ponderación de productos
académicos como conocimiento útil, y supeditados al fundamentalismo de mercado desde
una posición poco privilegiada que se percibe como una integración subordinada.
Estas condiciones se acrecientan cuando las investigaciones se divulgan en la
lengua franca latinoamericana (barrera lingüística), y pretenden resolver
problemas locales o regionales más que universales (pertinencia del
conocimiento al contexto local)21.
Otras posiciones, de naturaleza metodológica y técnica, señalaron las
siguientes limitaciones e inconsistencias del nuevo modelo de medición y clasificación
de revistas:
Dificultades con el registro de
la información del aplicativo en línea y la captura de metadatos de los
investigadores asociados, en un nivel de microgestión que no se requiere ni se
aplica en los principales sistemas de CTeI del mundo. Como resultado, se
evidencia duplicidad de contenidos y esfuerzos para actualizar una plataforma
que no opera como un índice de consulta o una herramienta útil para usuarios
finales (lectores-investigadores), sino que atiende casi exclusivamente a los
propósitos de la medición.
Se nivelan esfuerzos
editoriales, alcances y logros en posicionamiento disímiles bajo una misma
categoría de clasificación. Las revistas indexadas en Scopus y Web of Science
cuestionan la validez del modelo cuando otros títulos en sus mismas áreas que
no cuentan con visibilidad o indicadores de cooperación internacional igualan o
superan su categoría debido al impacto H5 generado a partir de Google.
A su vez, el cálculo del
impacto H5 genera dudas acerca de la solidez y la transparencia de los datos,
inherentemente volátiles debido a la naturaleza de su registro y depuración (autónomos,
por parte de los investigadores) y a la cosecha de fuentes sin el rigor
académico y formal de los sistemas de indexación tradicionales. El sistema de
Google Académico podría omitir fuentes relevantes o, en el otro extremo,
incluir datos erróneos atribuidos por homonimia, registros duplicados, variaciones
de acuerdo al ISSN (impreso o electrónico) y a los caracteres especiales en el
título de las publicaciones, como las tildes. Incluso ignora el número de
autocitas en el recuento final, un indicador que debería enunciarse
explícitamente para evitar sesgos en la medición22,23.
Por otra parte, no es claro cómo se establecen las posiciones de las revistas y
los límites en los cuartiles cuando los valores de H son números enteros.
Además, la falta de control de un organismo central y la ausencia de fechas
límite para presentar las mediciones del índice H demandan tiempo significativo
en la limpieza de los datos e imposibilitan que los equipos realicen
estimaciones acertadas sobre los resultados de las próximas convocatorias de
Publindex.
La percepción de descenso en la
calidad de las revistas sigue siendo una preocupación latente. Los equipos
editoriales deberán dedicar tiempo y esfuerzos significativos para procurar que
las instancias directivas de sus publicaciones, sus lectores y autores comprendan
las implicaciones de la nueva categorización: una revista C, lejos de
representar un proyecto editorial sin experiencia o alcance, equivale a un
cuartil cuatro de los índices citacionales: uno de los estadios de
posicionamiento más representativos para una revista indexada latinoamericana.
La aplicación retroactiva de
los nuevos criterios de evaluación sobre hechos cumplidos (procesos editoriales
consolidados) limitó la capacidad de los equipos para proporcionar los datos
solicitados, particularmente en la actualización de los perfiles digitales
CVLAC de los investigadores nacionales asociados a la publicación. La
incorporación de documentos de identidad de contribuidores de afiliación
extranjera también supuso una gran dificultad que se terminó minimizando con la
generación de una sintaxis desde cada equipo editorial, una alternativa que no
resuelve los problemas de homonimia y los registros duplicados. Estas son
condiciones que ubican la convocatoria en el límite de la inexequibilidad.
Las vigencias establecidas para
el periodo de observación y la acumulación de impacto de las revistas sometidas
a evaluación son arbitrarias, y no dan cuenta de las variaciones en la vida
media de las contribuciones de un área disciplinar a otra, desconociendo de
esta forma principios ineludibles de la bibliometría como la Ley de Price, o
del envejecimiento de la literatura científica, y los postulados de Burton y
Kebler sobre el semiperiodo de circulación de la literatura científica en áreas
particulares, que en ciencias sociales y humanidades puede superar fácilmente
los doce años24. En esta misma línea, se desconocen iniciativas
más recientes como el impacto normalizado por área disciplinar (Snowball
Metrics) o las métricas alternativas (Altmetrics), y olvida que es necesario
emplear simultáneamente indicadores de múltiples fuentes, naturalezas y niveles
de complejidad, como el esfuerzo editorial, la cooperación internacional, la
cooperación academia-empresa, la incidencia en políticas públicas o patentes,
entre muchos otros, para evitar sesgos o intuiciones derivadas de medir por el
mismo rasero25.
La definición de grandes áreas del
conocimiento, provenientes de la clasificación de la OCDE, parte de un
reconocimiento necesario a las diferencias disciplinares, pero se vicia nuevamente
debido a la heterogeneidad de impactos y alcances en las disciplinas y subdisciplinas
dentro de la misma categoría. Es incorrecto equiparar el impacto de las
contribuciones de psicología, contabilidad, ciencias jurídicas y sociología,
con trayectorias, tipologías, dinámicas de producción y apropiación disímiles,
aunque estén cobijadas bajo el archilexema “Ciencias sociales”. Adicionalmente,
la categoría otorgada por Publindex al final del proceso, expresada por las
letras A1, A2, B y C, elide completamente esta precisión, lo que se presta para
interpretaciones erróneas y comparaciones a todas luces impracticables.
Resultados de la convocatoria 768 de 2016
A pesar de los
múltiples llamados de la comunidad de editores nacionales para ajustar la nueva
política26,
y salvo algunas concesiones acordadas, la Convocatoria 768 de 2016 para la
clasificación de revistas científicas siguió su curso y presentó los resultados
oficiales en septiembre de 2017. En resumen, solo el 39 % de las
revistas sometidas en todas las áreas disciplinares (246 de 627) logró obtener
el aval a partir de la medición, y tan solo el 6% de estas (15 de 246) alcanzó
las categorías A1 y A2, que ostentan el mayor nivel de madurez y alcance del
sistema (Tabla 1).
Revistas nacionales indexadas en Publindex, Convocatoria 768 de 2016, Etapa
oficial.
Tabla
1 Revistas nacionales indexadas en Publindex, Convocatoria 768 de 2016, Etapa
oficial.
Categoría
Equivalencia
Cantidad
A1
Q1
JCR o SJR
1
A2
Q2
JCR o SJR
12
B
Q3 JCR o SJR /
Q1 (Google Scholar)
110
C
Q4 JCR o SJR /
Q2 (Google Scholar)
123
Apelaciones
196
Apelaciones
exitosas
30
No
clasificadas
381
Total
de clasificaciones
246/627
(39%)
Fuente:
elaboración propia a partir de Colciencias, 201827
En comparación
con los resultados de la segunda convocatoria de 2014 (Tabla 2), última
evaluación bajo la política actualizada en 2013, se perciben descensos y se
elucidan pérdidas en la clasificación de los títulos con las calificaciones más
altas en Publindex (Tablas 3 y 4):
Revistas nacionales indexadas en Publindex, Actualización 2014-II
Tabla
2 Revistas nacionales indexadas en Publindex, Actualización 2014-II
Categoría
Cantidad
A1
29
A2
145
B
123
C
244
Total
de clasificaciones
541
Fuente:
elaboración propia a partir de los resultados de Colciencias
Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A1 (2014-2018)
Tabla
3 Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A1 (2014-2018)
Revista
Categoría 2014
Categoría 2018
ACTA COLOMBIANA DE PSICOLOGÍA
A1
B
AVANCES EN PSICOLOGÍA LATINOAMERICANA
A1
No clasificada
AQUICHAN
A1
C
BIOMÉDICA
A1
A2
CALDASIA
A1
B
COLOMBIA MÉDICA
A1
A2
CT&F CIENCIA, TECNOLOGÍA Y FUTURO
A1
B
CUADERNOS DE DESARROLLO RURAL
A1
B
DYNA
A1
A2
HISTORIA CRÍTICA
A1
C
INGENIERÍA E INVESTIGACIÓN
A1
B
INNOVAR
A1
C
PENSAMIENTO PSICOLÓGICO
A1
B
PROFILE
A1
B
PSICOLOGÍA DESDE EL CARIBE
A1
B
PSYCHOLOGIA: AVANCES DE LA DISCIPLINA
A1
B
ACTA COLOMBIANA DE PSICOLOGÍA
A1
B
REVISTA COLOMBIANA DE CIENCIAS PECUARIAS
A1
B
REVISTA COLOMBIANA DE ENTOMOLOGÍA
A1
C
REVISTA COLOMBIANA DE ESTADÍSTICA
A1
B
REVISTA COLOMBIANA DE PSICOLOGÍA
A1
C
REVISTA COLOMBIANA DE PSIQUIATRÍA
A1
C
REVISTA DE ESTUDIOS SOCIALES
A1
B
REVISTA DE SALUD PÚBLICA
A1
C
REVISTA FACULTAD DE INGENIERÍA UNIVERSIDAD
DE ANTIOQUIA
A1
B
REVISTA LATINOAMERICANA DE PSICOLOGÍA
A1
C
REVISTA MVZ CÓRDOBA
A1
B
UNIVERSITAS PSYCHOLOGICA
A1
B
VITAE
A1
B
Fuente:
elaboración propia a partir de los resultados de Colciencias
Nota:
Revistas no clasificadas (1), A1 (0), A2 (3), B (17), C (8). Total: 29
Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A2 (2014-2018)
Tabla
4 Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A2 (2014-2018)
Revista
Categoría
2014
Categoría
2018
ACTA AGRONOMICA
A2
C
ACTA BIOLÓGICA
COLOMBIANA
A2
B
ACTA MÉDICA
COLOMBIANA
A2
C
ACTA
NEUROLÓGICA COLOMBIANA
A2
No clasificada
ACTUALIDADES
BIOLÓGICAS
A2
No clasificada
ADMINISTER
A2
No clasificada
AGRONOMÍA
COLOMBIANA
A2
B
ANAGRAMAS :
RUMBOS Y SENTIDOS DE LA COMUNICACIÓN
A2
C
ANTÍPODA:
REVISTA DE ANTROPOLOGÍA Y ARQUEOLOGÍA
A2
B
ANUARIO
COLOMBIANO DE HISTORIA SOCIAL Y DE LA CULTURA
A2
B
ANUARIO DE
HISTORIA REGIONAL Y DE LAS FRONTERAS
A2
C
ANÁLISIS
POLÍTICO
A2
A1
APUNTES
A2
No clasificada
APUNTES DEL
CENES
A2
B
AVANCES EN
ENFERMERÍA
A2
C
BIOSALUD:
REVISTA DE CIENCIAS BÁSICAS
A2
No clasificada
BIOTA
COLOMBIANA
A2
No clasificada
BIOTECNOLOGÍA
EN EL SECTOR AGROPECUARIO Y AGROINDUSTRIAL
A2
No clasificada
BOLETÍN
CIENTÍFICO CENTRO DE MUSEOS MUSEO DE HISTORIA NATURAL
A2
A2
BOLETÍN DE
CIENCIAS DE LA TIERRA
A2
No clasificada
BOLETÍN DE
GEOLOGÍA
A2
C
BOLETÍN DE
INVESTIGACIONES MARINAS Y COSTERAS
A2
No clasificada
CES MEDICINA
A2
C
CIENCIA EN
DESARROLLO
A2
C
CIVILIZAR
A2
C
COHERENCIA
A2
A2
COLOMBIA
INTERNACIONAL
A2
B
COLOMBIAN
APPLIED LINGUISTICS JOURNAL
A2
B
CUADERNOS DE
ADMINISTRACIÓN (PUJ)
A2
B
CUADERNOS DE
ADMINISTRACIÓN (VALLE)
A2
B
CUADERNOS DE
CONTABILIDAD
A2
No clasificada
CUADERNOS DE
ECONOMÍA
A2
C
CUADERNOS DE
GEOGRAFÍA
A2
B
CUADERNOS DE
LINGÜÍSTICA HISPÁNICA
A2
C
CUADERNOS DE
LITERATURA DEL CARIBE E HISPANOAMÉRICA
A2
No clasificada
COLOMBIA
FORESTAL
A2
C
DESAFÍOS
A2
C
DISCUSIONES
FILOSÓFICAS
A2
C
DIVERSITAS :
PERSPECTIVAS EN PSICOLOGÍA
A2
B
ECOS DE
ECONOMÍA
A2
No clasificada
EL ÁGORA USB
A2
B
ENSAYOS SOBRE
POLÍTICA ECONÓMICA
A2
No clasificada
ESCRITOS
A2
C
ESTUDIOS DE
FILOSOFÍA
A2
C
ESTUDIOS
POLÍTICOS
A2
B
ESTUDIOS SOCIOJURÍDICOS
A2
B
EDUCACIÓN Y
EDUCADORES
A2
B
EIDOS
A2
C
FOLIOS
A2
B
FORMA Y FUNCIÓN
A2
No clasificada
FACULTAD DE
INGENIERÍA (UPTC)
A2
C
FINANZAS Y
POLÍTICA ECONÓMICA
A2
B
FRANCISCANUM.
A2
No clasificada
HACIA LA
PROMOCIÓN DE LA SALUD
A2
B
HISTORIA CARIBE
A2
C
HISTORELO.
REVISTA DE HISTORIA REGIONAL Y LOCAL.
A2
C
HISTORIA Y
MEMORIA
A2
No clasificada
IDEAS Y VALORES
A2
C
INGENIERÍA Y
CIENCIA
A2
B
INGENIERÍA Y COMPETITIVIDAD
A2
C
INGENIERÍA Y
UNIVERSIDAD
A2
C
INTERNATIONAL JOURNAL OF PSYCHOLOGICAL RESEARCH
A2
C
INTERNATIONAL
LAW : REVISTA COLOMBIANA DE DERECHO INTERNACIONAL
A2
No clasificada
INVESTIGACIONES
ANDINA
A2
B
INVESTIGACIÓN Y
EDUCACIÓN EN ENFERMERÍA
A2
B
Revista ION
A2
C
IATREIA
A2
C
INGENIERÍA Y
DESARROLLO
A2
C
INVESTIGACIÓN
& DESARROLLO
A2
No clasificada
LA PALABRA
A2
No clasificada
LECTURAS DE
ECONOMÍA
A2
B
LITERATURA:
TEORIA, HISTORIA, CRITICA
A2
No clasificada
MEMORIAS
A2
C
NOVA
A2
No clasificada
NÓMADAS
A2
B
OPINIÓN
JURÍDICA
A2
C
ORINOQUIA
A2
C
PAPEL POLÍTICO
A2
No clasificada
PERFIL DE
COYUNTURA ECONOMICA
A2
No clasificada
PERSPECTIVAS EN
NUTRICIÓN HUMANA
A2
No clasificada
PRAXIS
FILOSÓFICA
A2
No clasificada
PRODUCCION +
LIMPIA
A2
C
PALABRA CLAVE
A2
A2
PENSAMIENTO
& GESTIÓN
A2
No clasificada
PERSONA Y
BIOÉTICA
A2
C
PRAXIS &
SABER
A2
C
REVISTA CES
MEDICINA VETERINARIA Y ZOOTECNIA
A2
C
REVISTA CES
PSICOLOGÍA
A2
B
REVISTA
CIENCIAS DE LA SALUD
A2
No clasificada
REVISTA
COLOMBIANA DE ANTROPOLOGÍA
A2
B
REVISTA
COLOMBIANA DE BIOTECNOLOGIA
A2
B
REVISTA
COLOMBIANA DE CARDIOLOGÍA
A2
C
REVISTA
COLOMBIANA DE CIENCIAS HORTÍCOLAS
A2
B
REVISTA
COLOMBIANA DE CIENCIAS QUÍMICO FARMACÉUTICAS
A2
B
REVISTA COLOMBIANA
DE CIRUGÍA
A2
No clasificada
REVISTA
COLOMBIANA DE EDUCACIÓN
A2
B
REVISTA
COLOMBIANA DE MATEMÁTICAS
A2
No clasificada
REVISTA
COLOMBIANA DE OBSTETRICIA Y GINECOLOGÍA
A2
C
REVISTA
COLOMBIANA DE QUÍMICA
A2
No clasificada
REVISTA
COLOMBIANA DE REUMATOLOGÍA
A2
No clasificada
REVISTA
CORPOICA
A2
C
REVISTA DE
DERECHO
A2
B
REVISTA DE
ECONOMÍA DEL CARIBE
A2
No clasificada
REVISTA DE
ECONOMÍA INSTITUCIONAL
A2
B
REVISTA DE
INGENIERÍA
A2
No clasificada
REVISTA DE LA
ACADEMIA COLOMBIANA DE CIENCIAS EXACTAS, FÍSICAS Y NATURALES
A2
B
REVISTA DE LA
FACULTAD DE MEDICINA DE LA UNIVERSIDAD NACIONAL DE COLOMBIA
A2
B
REVISTA DE LA
FACULTAD DE MEDICINA VETERINARIA Y DE ZOOTECNIA
A2
No clasificada
REVISTA EIA
A2
B
REVISTA
FACULTAD DE ODONTOLOGÍA UNIVERSIDAD DE ANTIOQUIA
A2
B
REVISTA
FACULTAD NACIONAL DE AGRONOMÍA MEDELLÍN
A2
B
REVISTA
FACULTAD NACIONAL DE SALUD PÚBLICA
A2
C
REVISTA
GERENCIA Y POLÍTICAS DE SALUD
A2
C
REVISTA
HISTORIA DE LA EDUCACIÓN LATINOAMERICANA
A2
B
REVISTA
HISTORIA Y SOCIEDAD
A2
No clasificada
REVISTA
INGENIERÍAS UNIVERSIDAD DE MEDELLÍN
A2
B
REVISTA
INTEGRACIÓN
A2
No clasificada
REVISTA
INTERAMERICANA DE BIBLIOTECOLOGÍA
A2
B
REVISTA
LASALLISTA DE INVESTIGACIÓN
A2
C
REVISTA
LATINOAMERICANA DE BIOETICA / LATINAMERICAN JOURNAL OF BIOETHICS
A2
B
REVISTA
LATINOAMERICANA DE CIENCIAS SOCIALES, NIÑEZ Y JUVENTUD
A2
B
REVISTA LUNA
AZUL
A2
C
REVISTA MED
A2
No clasificada
REVISTA
REPUBLICANA
A2
C
REVISTA
U.D.C.A. ACTUALIDAD & DIVULGACIÓN CIENTÍFICA
A2
B
REVISTA ACTA
BIOLÓGICA COLOMBIANA
A2
B
REVISTA
COLOMBIANA DE ANESTESIOLOGÍA
A2
B
REVISTA DE
MEDICINA VETERINARIA
A2
No clasificada
REVISTA DE LA
UNIVERSIDAD INDUSTRIAL DE SANTANDER: SALUD
A2
C
SEMESTRE
ECONÓMICO
A2
B
SIGNO Y
PENSAMIENTO
A2
B
SOCIEDAD Y
ECONOMÍA
A2
B
SOPHIA:
EDUCACIÓN
A2
No clasificada
SUMA
PSICOLÓGICA
A2
B
SALUD UNINORTE
A2
C
TABULA RASA
A2
B
TECNO LÓGICAS
A2
B
TECNURA
A2
No clasificada
THEOLOGICA
XAVERIANA
A2
B
UNIVERSIDAD Y
SALUD
A2
C
UNIVERSITAS
HUMANISTICA
A2
B
UNIVERSITAS
PHILOSOPHICA
A2
No clasificada
UNIVERSITAS
SCIENTIARUM
A2
A2
VNIVERSITAS
A2
C
ÍKALA
A2
B
Fuente:
elaboración propia a partir de los resultados de Colciencias
Nota:
Revistas no clasificadas (41), A1 (1), A2 (4), B (53), C (46). Total: 145
Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A2 (2014-2018)
Tabla
4 (cont.) Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A2 (2014-2018)Fuente:
elaboración propia a partir de los resultados de Colciencias
Nota:
Revistas no clasificadas (41), A1 (1), A2 (4), B (53), C (46). Total: 145
Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A2 (2014-2018)
Tabla
4 (cont.) Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A2 (2014-2018)Fuente:
elaboración propia a partir de los resultados de Colciencias
Nota:
Revistas no clasificadas (41), A1 (1), A2 (4), B (53), C (46). Total: 145
En resumen, las revistas
mejor clasificadas de Colombia antes de 2017 (174 títulos en A1 y A2) presentaron
los siguientes movimientos en la nueva clasificación de Publindex: 1 (0.5%)
ascendió de categoría, 4 (2.2%) mantuvieron su categoría, 56 (32.1%) descendieron
una categoría, 63 (36.2%) (63) descendieron dos categorías, 8 (4.5%) descendieron
tres categorías y 42 (24.1%) perdieron la clasificación. Aunque las tipologías
implícitas en estas clasificaciones hayan cambiado sustancialmente, la
inevitable percepción en la comunidad académica nacional es que se presentó una
pérdida drástica en la calidad de las revistas indexadas. Se trata de un
argumento que vulnera el ejercicio editorial y pone en riesgo su continuidad,
pero que resulta debatible a la luz de una amplia batería de indicadores (métricas
responsables)28 a
disposición de los editores y sus equipos, y que se emplearán en la siguiente
sección de este análisis.
El caso de las revistas de ciencias jurídicas
Con el propósito
de llevar la discusión a un área disciplinar específica y delimitar el alcance
de esta pesquisa (sin el ánimo de establecer juicios de valor) se presenta a
continuación un conjunto de indicadores de las revistas colombianas de ciencias
jurídicas de mayor reconocimiento en la academia local, regional, e
internacional (Tabla 5). Esto, con el fin de comprender los efectos, alcances y
limitaciones de la nueva política de clasificación de Publindex.
Comparación de métricas – revistas indexadas de ciencias jurídicas
Tabla
5 Comparación de métricas – revistas indexadas de ciencias jurídicasFuente:
elaboración propia con base en los sistemas referenciados
La proyección se realiza con base en el impacto SJR actual (2017), y está
supeditada al cumplimiento de los parámetros formales de Publindex.
El
impacto H5 se registra sin modificaciones a partir de la información pública
disponible en el portal web de Google Académico.
Con base en la
información recopilada, y complementando con otros datos disponibles en las
mismas fuentes, se puede argüir lo siguiente:
A pesar de la amplia
trayectoria de las publicaciones de ciencias jurídicas en el país (la revista Vniversitas cumple 67 años de edición
ininterrumpida en 2018) su adhesión al modelo de indexación internacional a
través de “tipologías citables” es bastante reciente. Por lo tanto, sus
dinámicas de producción y citación en los índices son notablemente más bajas
que las de otras disciplinas dentro de la misma gran área disciplinar de las
ciencias sociales. Psicología, por ejemplo, cuenta con títulos que divulgan más
de cien contribuciones al año, acumulan más de cien citas en una vigencia, y
alcanzan índices H5 de 18 o 20 en Google.
La distancia entre el impacto citacional SJR de un título a otro (y entre los cuartiles) en esta área es mínima. La medición 2016 de Scimago Journal Rank (indicador que se tuvo presente en la convocatoria 768 de Colciencias) incluyó cinco revistas colombianas de derecho: la primera, la Revista Derecho del Estado, alcanzó el cuartil 2 (Q2) con cuatro citas, de las cuales dos fueron autocitas, sobre una producción de 24 artículos citables. Esto significó su ascenso a la categoría A2 de Publindex. La segunda revista, ACDI Anuario Colombiano de Derecho Internacional, se ubicó en cuartil 4 (Q4) con tres citas sobre una producción de 16 artículos. En consecuencia, la clasificación de esta revista en el sistema nacional fue C. La quinta revista, Vniversitas, también en Q4, obtuvo cuatro citas sobre una producción de 58 contribuciones. Vale la pena mencionar que la ponderación del cuartil de la fuente citante es una característica fundamental del impacto SJR.
Por su parte, la actualización SJR de 2017, que se tendrá presente en la convocatoria 830 de 2018, incorporó dos títulos nuevos en el grupo de revistas colombianas de derecho. En esta vigencia, la revista ACDI ascendió al primer puesto (y el cuartil 3) con una cita sobre 22 artículos publicados. La revista Vniversitas ascendió al segundo lugar (también Q3) con cuatro citas sobre 71 artículos publicados y la revista Derecho del Estado descendió al quinto lugar (Q4), con cuatro citas sobre 43 artículos publicados.
El panorama, lejos de evidenciar falta de calidad en las investigaciones publicadas o deficiencias en la productividad de las revistas, elucida alta volatilidad en la métrica, pues depende de la cantidad de títulos indexados y de la noción arbitraria de prestigio de una fuente citante que, por supuesto, debe ser legitimada por el mismo sistema de indexación. Aunque se considere la fuente más fiable de información científica en el mundo, esta noción de calidad desdibuja e incluso “castiga” el esfuerzo editorial adicional. Sucede lo mismo con el factor de impacto de Web of Science, un indicador objeto de bastantes controversias científico-técnicas29 que no se empleará en este análisis debido a la nula participación de las revistas colombianas de ciencias jurídicas como fuentes indexadas en sus productos principales (Core Collection).
El desconocimiento de la base
bibliográfica Redalyc en el sistema nacional de CTeI es un gran desacierto,
particularmente por la prescindencia de su visión de conjunto de la producción
latinoamericana, y de los indicadores alternativos que se adaptan a los
lineamientos de la ciencia abierta, el manifiesto de Leiden y la Declaración
DORA30, referentes que cada vez adquieren mayor relevancia en la región. Estas métricas podrían dar cuenta del por qué
el alcance de la Revista de Derecho
de Uninorte se estima equiparable a un cuartil 3 de los índices citacionales
(la categoría B de Publindex), entendiendo sus niveles de producción y
coautoría (los más altos del grupo de revistas reseñadas), internacionalización
(alto), esfuerzo editorial (el segundo más alto) y uso, expresado en el número de
descargas (el segundo más alto del grupo). También sugieren el potencial de
visibilidad y posicionamiento de revistas como Estudios Socio-jurídicos, Opinión
Jurídica, Díkaion o Prolegómenos.
La gran dificultad en torno a la aplicación de estos indicadores consiste en su
disponibilidad inconsistente para los títulos aceptados en la base
bibliográfica, y en la actual heterogeneidad de procesos producto de la compleja
transición al estándar XML JATS.
Con respecto a los datos de las
revistas restantes, se presentan dudas en cuanto a la idoneidad del índice H5 y
su correlación con otros indicadores, particularmente frente a la cifra que
despliega públicamente Google (y que definitivamente requiere un proceso de
limpieza a través de herramientas como Publish or Perish). La falta de
refrendación del ejercicio editorial por parte de entes evaluadores con
visibilidad internacional no solo resta competitividad, sino que reduce la
posibilidad de aplicar análisis bibliométricos para exaltar el papel de estas
publicaciones en sus comunidades académicas, destacar su valor único frente a otros
títulos ya indexados en las mismas áreas disciplinares, o replantear su
orientación temática en aras de lograr el alcance esperado. El mayor desacuerdo
entre los equipos editoriales consiste en la asignación de una categoría
idéntica a la otorgada a las publicaciones validadas por los índices
citacionales, o con alcances más allá de lo institucional o local.
Independiente del impacto citacional o los indicadores de producción acumulados
por una revista, la superación de un proceso de evaluación internacional
riguroso y altamente restrictivo, además de la disponibilidad de indicadores
con un alto grado de aceptación, genera indicios de calidad que se desconocen
deliberadamente en el nuevo modelo de Publindex. La apuesta de Colciencias está
orientada al ascenso a los cuartiles más altos, y es por esta razón que limita
la posibilidad de acceder a las categorías más altas a través del índice H5.
Sin embargo, ya se empiezan a percibir condiciones que limitan la capacidad de
convocatoria de contribuciones nacionales y los estímulos a la gestión de las
revistas, todo debido a una mala interpretación de las métricas, y al aún
presente vínculo de estas publicaciones indexadas con la acreditación de
programas académicos.
La pérdida en la indexación en
el índice Publindex tampoco puede considerarse un criterio absoluto de calidad.
Atendiendo al precepto de la exogeneidad, participando en las discusiones
regionales e internacionales de corriente principal y con indicadores de
impacto significativos, es posible hallar publicaciones que hicieron caso omiso
a la convocatoria, y que no perciben impacto alguno en esta iniciativa.
Inclusive, se reportaron casos de exclusiones debido al incumplimiento criterio
formal apenas relevante, como la superación en un 2 % de uno de los indicadores
de endogamia debido a que los miembros de los comités o los pares evaluadores
nacionales no contaban con un CVLAC actualizado. Esta falta, lejos del alcance
de las revistas, dificulta, en términos del ente evaluador, la ponderación de
la endogamia en los procesos. En su promulgación de los resultados oficiales,
Colciencias contempla la posibilidad de realizar aproximaciones en las próximas
convocatorias para aumentar las posibilidades de clasificación de los títulos
sometidos.
Conclusiones
La academia colombiana comprende y aprecia la difícil tarea de Colciencias de administrar un sistema de evaluación y promoción de la ciencia, la tecnología y la innovación, de cara al escenario heterogéneo e inherentemente cambiante de los actores que lo componen. Es una realidad que los equipos de las revistas indexadas nacionales presentan, en general, dificultades atribuibles a la falta de formación, pero el modelo de evaluación ha caído en un nivel de desconfianza que subestima el conocimiento y la experiencia, e incluso la buena fe de sus interlocutores. El mayor problema que aún no se atiende con suficiencia es la falta de infraestructura, equipo humano e inversión en soluciones tecnológicas que permitan reenfocar los esfuerzos hacia las tareas más importantes: la edición académica y la comunicación científica. La indexación, como insisten los pares de las principales editoriales del mundo, debe llegar por añadidura; como un valor agregado a la gestión regular de las publicaciones. A su vez, la generación de estímulos a la producción intelectual debe ser personalizada y contextualizada (justa), exhaustiva (no solo bibliométrica) e imparcial (a través de modelos cualitativos y cuantitativos).
La clasificación de las revistas indexadas puede mejorar ostensiblemente si se involucran más puntos de vista en los procesos de construcción de los sistemas de evaluación. La perspectiva unificadora y centralizadora está orientada a fortalecer los necesarios procesos de normalización y recuperación de la información, pero puede resultar en incoherencias e injusticias si se desconoce el comportamiento particular de cada revista, enfoque y disciplina. Es preciso definir un lugar para la producción con relevancia regional, definir umbrales de citación e indicadores de impacto social y económico acordes. En esa misma línea, se debe garantizar un espacio para las publicaciones interesadas en la construcción y el desarrollo de comunidades académicas, y que no necesariamente se alinean con los propósitos y las formas de la indexación internacional.
Colciencias es el organismo líder del sistema nacional de CTI, y su labor es indispensable para proyectar la investigación colombiana y regional hacia nuevos estadios de alcance e impacto. No obstante, en su ejercicio ha procurado analizar con exceso de detalle los indicadores de calidad de cada individuo, grupo, institución y publicación, a tal punto que la infraestructura de los sistemas que ha desarrollado para este fin resulta insuficiente e innecesariamente demandante. Publindex, así como otros modelos de CTI en el mundo, podría cosechar los metadatos disponibles en los sistemas de información internacionales, también los provenientes de la interacción de los usuarios finales con los artículos, para favorecer sus procesos evaluativos y evitar los reprocesos a los que se han venido sometiendo todos los actores en torno a sus funciones. La observación que queda en el tintero es: Si se apropian predominante y casi exclusivamente los resultados de los índices citacionales, ¿qué motiva la decisión de mantener una clasificación nacional de revistas, con todas las implicaciones que conlleva? Con certeza, la comunidad académica nacional seguirá señalando estos errores técnicos que deslegitiman el actual modelo de medición de la ciencia, y que no logran más que acrecentar el sentimiento de desconfianza en los actores y los procesos de ciencia y tecnología que tanto requiere la nación, la región y el mundo. Mientras eso sucede, habrá lugar a iniciativas como la construcción de redes y comités de editores que piensen y reformulen el horizonte y los parámetros de calidad desde cada una de sus áreas disciplinares.
Esperamos con anhelo la posible transición de la plataforma SCIENTI a una herramienta avanzada como Pure de Elsevier31, alcanzando el nivel de personalización suficiente para incluir fuentes representativas y diversas de datos y validaciones, tanto locales como regionales. Sin este ajuste, y sin una visión de conjunto, se seguirán generando indicadores para una capacidad operativa que no guarda relación con objeto primordial de las revistas: la visibilidad de la producción académica y científica coherente con una intención divulgativa, una política editorial y un alcance definido, en el marco de un contexto disciplinar y a la luz de múltiples fuentes y canales de validación y apropiación. Esta es la verdadera noción de calidad, un acervo de percepciones más que un criterio absoluto, que debería ocupar un lugar privilegiado en las agendas de nuestras instituciones a futuro.
Notas
Las opiniones expresadas en este documento son responsabilidad exclusiva del autor y no representan necesariamente la posición oficial de la revista Vniversitas o de la Pontificia Universidad Javeriana.
COLCIENCIAS, Política para mejorar la calidad de las publicaciones científicas nacionales. Documento N.° 1601. http://colciencias.gov.co/portafolio/unidad-politica/lineas-trabajo/diseno/politica-mejorar-impacto (Mayo de 2016).
Publindex, “la purga” de las revistas universitarias, Revista Semana. https://www.semana.com/educacion/articulo/forma-para-que-las-revistas-cientificas-sean-indexadas/557701 (26 de febrero de 2018).
MINISTERIO DE EDUCACIÓN NACIONAL DE COLOMBIA, Decreto 1279 del 19 de junio de 2002. https://www.mineducacion.gov.co/1621/article-86434.html
FRANCISCO LUIS OCHOA JARAMILLO, ¿Nos quedamos o ponemos nuestro objetivo en otros sistemas de clasificación de revistas?, 31-1 CES Medicina, 1-2 (2017). http://revistas.ces.edu.co/index.php/medicina/article/view/1
ALFREDO JÁCOME ROCA, Editorial: Publique o perezca: análisis crítico sobre los resultados de Publindex, 39-4 Revista Medicina, 281-285 (2017). http://revistamedicina.net/ojsanm/index.php/Medicina/article/view/119-1
Las revistas colombianas de antropología y ciencias sociales en tiempos de mediciones. A propósito de la Convocatoria 768 de Publindex (Colciencias): retos y desafíos de la comunidad académica. http://revistas.javeriana.edu.co/index.php/univhumanistica/article/view/20720/15924 (14 de diciembre de 2017).
JORGE ENRIQUE GÓMEZ MARÍN & MAURICIO PALACIOS, Una nueva etapa de Publindex: dolores de crecimiento, 22-1 Infectio, 7-8 (2018). http://www.scielo.org.co/pdf/inf/v22n1/0123-9392-inf-22-01-00007.pdf
JORGE ENRIQUE DELGADO TRONCOSO, Editorial: Los cambios en la política de evaluación de revistas en Colombia, 33-71 Universitas Odontologica, 15-16 (2014). http://revistas.javeriana.edu.co/index.php/revUnivOdontologica/article/view/14191/pdf
¿Qué tiene que ver la
acreditación universitaria con las revistas científicas?, Semana. https://www.semana.com/educacion/articulo/revistas-cientificas-en-colombia/480007 (1ro de Julio de 2016).
COLCIENCIAS, Indexación de revistas seriadas de ciencia, tecnología e innovación colombianas. https://www.unicatolica.edu.co/documentos/investigacion/Guia-Servicio-Indexacion-2013.pdf (Julio de 2013).
MARCELA VILLEGAS GALLEGO, Nuevo modelo de indexación y homologación - Publindex: apostándole cada vez más a la visibilidad internacional, 30-3 Psicología desde el Caribe, 7-8 (2013). http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0123-417X2013000300001
COLCIENCIAS, Documento de actualización de los sistemas de indexación y resumen - SIR. http://www.colciencias.gov.co/sites/default/files/upload/convocatoria/documento-sires-abril-2017.pdf (Abril de 2017).
ESTHER JULIANA VARGAS, Editorial: Los editores de revistas de La Salle respecto al modelo de medición de revistas de Publindex, 8 Traza, 6-9 (2013). https://revistas.lasalle.edu.co/index.php/ed/article/view/2630
STEVEN NAVARRETE CARDONA, Colciencias y los humanistas, en orillas diferentes, El Espectador. https://www.elespectador.com/noticias/nacional/colciencias-y-los-humanistas-orillas-diferentes-articulo-545541 (22 de febrero de 2015).
ALEJANDRA HURTADO, Publindex, o el muerto que ríe del degollado, Las 2 Orillas. https://www.las2orillas.co/publindex-el-muerto-rie-del-degollado/ (2 de diciembre de 2015).
YURI JACK GÓMEZ-MORALES, El baile de los que sobran: cambio cultural y evaluación académica, 53-2 Revista Colombiana de Antropología, 15-25 (2017). http://www.redalyc.org/pdf/1050/105052402002.pdf
NATHALY RODRÍGUEZ SÁNCHEZ, Medición desenfocada. las ciencias sociales y humanas bajo el modelo de medición de Colciencias (Serie Libros de Texto 9, Universidad Nacional de Colombia, Bogotá, 2017). http://www.uneditorial.com/pageflip/acceso-abierto/pdf/medicion-desenfocada.pdf
YURI JACK GÓMEZ-MORALES, Abuso de las medidas y medidas abusivas. Crítica al pensamiento bibliométrico hegemónico, 45-1 Anuario Colombiano de Historia Social y de la Cultura, 269-290 (2017). http://www.scielo.org.co/pdf/achsc/v45n1/0120-2456-achsc-45-01-00269.pdf
Colciencias responde crítica de ASEUC: IES no respondieron correctamente la convocatoria, El Observatorio de la Universidad Colombiana. http://www.universidad.edu.co/colciencias-responde-critica-de-aseuc-ies-no-respondieron-correctamente-la-convocatoria/
MAURICIO ROMERO-TORRES, MARÍA ALEJANDRA TEJADA & ALBERTO ACOSTA, A Proposal to Classify Latinamerican Scientific Journals using Citation Indicators: Case Study in Colombia, Computing Research Repository – CORR (2011). https://arxiv.org/ftp/arxiv/papers/1101/1101.2711.pdf
STACY KONKIEL, 4 reasons why Google Scholar isn’t as great as you think it is, Impactstory Blog (23 de julio de 2014). http://blog.impactstory.org/googe-scholar-profiles-fail/
EMILIO DELGADO LÓPEZ-CÓZAR, NICOLÁS ROBINSON-GARCÍA & DANIEL TORRES-SALINAS, The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators. https://arxiv.org/ftp/arxiv/papers/1309/1309.2413.pdf
JUAN ANTONIO MARTINEZ-COMECHE et al., Semiperiodo de la literatura científica en Biblioteconomía y Documentación y la influencia de los aspectos temáticos, 24-51 Investigación Bibliotecológica, 195-207 (2010). http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0187-358X2010000200009&lng=es&nrm=iso
DIANA HICKSA, PAUL WOUTERSB, LUDO WALTMANB, SARAH DE RIJCKEB & ISMAEL RAFOLS. El Manifiesto de Leiden sobre indicadores de investigación. Traducción de DIANA HICKS, PAUL WOUTERS, LUDO WALTMAN, SARAH DE RIJCKE & ISMAEL RAFOLS, The Leiden Manifesto for research metrics, 520 Nature, 429-431 (2015). http://www.leidenmanifesto.org/uploads/4/1/6/0/41603901/manifiesto_cast.pdf
FACULTAD DE CIENCIAS HUMANAS, UNIVERSIDAD NACIONAL DE COLOMBIA, Debate nacional de revistas académicas y científicas: contribución a la evaluación del modelo Publindex de Colciencias. Panel - Perspectiva sobre la comunicación científica en Colombia (23 de noviembre de 2016, publicado el 29 de marzo de 2017). https://www.youtube.com/watch?v=NDb40d0qPXI&index=4&list=PLg55wO1Zf2xGrnnBTQPvuatOGwpiI7LGI
COLCIENCIAS, Resolución 0058 del 25 de enero de 2018. Por medio de la cual se revoca parcialmente la Resolución 929 de 2017. http://www.colciencias.gov.co/sites/default/files/informe-resultados-publindex.pdf (15 de septiembre de 2017).
The Metrics Toolkit. http://www.metrics-toolkit.org/explore-metrics/
WILSON LÓPEZ LÓPEZ, Sobre la evaluación de la investigación y los investigadores: Criticas a las métricas y recomendaciones, 17-4 Universitas Psychologica (2018). https://doi.org/10.11144/Javeriana.upsy17-4.seii
BEATRIZ PARDAL-PELÁEZ (Trad.), Declaración de San Francisco sobre la evaluación de la investigación. https://sfdora.org/read/es/
Portal de capacidades en ciencia, tecnología e innovación de Colombia [Piloto Pure]. https://colciencias.pure.elsevier.com/es/persons/wilson-l%C3%B3pez-l%C3%B3pez/network/