Nociones de calidad e impacto: el lugar de las revistas indexadas de ciencias jurídicas en el nuevo sistema colombiano de competitividad, ciencia, tecnología e innovación 1

Notions of Quality and Impact: the Place of Law Journals in the New Colombian Competitiveness, Science, Technology and Innovation System

Vniversitas, núm. 137, 2018

Pontificia Universidad Javeriana

A manera de introducción

El cierre del año 2017 representó la conclusión de una de las etapas más extenuantes y ciertamente desconcertantes a las que se han visto sometidos los editores de revistas indexadas de Colombia: la formulación y puesta en marcha de una nueva política para mejorar la calidad de las publicaciones científicas nacionales a través del Índice bibliográfico nacional Publindex 2 . El proyecto, orientado a potenciar el impacto de la producción intelectual colombiana, y de su prolífico escenario de revistas indexadas, se convirtió en un panorama de exclusión y descenso masivos con efectos inmediatos en la capacidad de convocatoria y la continuidad de los títulos dentro del sistema. Si bien, esta depuración se percibía necesaria, a la luz de la insuficiente inversión nacional en competitividad, ciencia, tecnología e innovación (CCTeI), los deficientes indicadores de calidad y los problemas de sustentabilidad en el régimen salarial de las instituciones públicas de educación superior 3,4 , la identificación de falencias en la metodología —advertidas en forma reiterada por los equipos editoriales 5,6,7,8 —, las dificultades de carácter operativo y las inconsistencias en los resultados desdibujaron este esfuerzo conjunto, indujeron al error y generaron injusticia, a tal punto que pudieron afectar negativamente el patrimonio de las instituciones editoras y desarticular a las comunidades académicas en torno a ellas. Aunque se trata de una problemática con incidencias disímiles para los participantes de este modelo de legitimación de la producción académica, las instituciones editoras y sus comunidades están llamadas a analizar su papel en el sistema de indexación nacional e internacional, y a refrendar la voz de otras publicaciones y comunidades con proyecciones afines, en favor de la transparencia, la equidad y la oportunidad.

El sistema colombiano de CCTeI

Cabe recordar que las condiciones para que las revistas científicas obtengan un aval frente al sistema colombiano de indexación son promulgadas por Colciencias, organismo oficial encargado de orientar la investigación para el desarrollo y homólogo al Conacyt (México), Conicet (Argentina) o Conicyt (Chile). Su iniciativa estatal de normalización, evaluación y clasificación de publicaciones periódicas científicas, denominada Publindex, viene operando en el país oficialmente desde el año 2000 —aunque la primera convocatoria de revistas se realizó en 1996 9 —, a partir de nociones formales básicas de estandarización, con el propósito de garantizar las buenas prácticas investigativas y académicas, y con incidencia directa en la generación de estímulos a la investigación. Sería poco acertado desconocer el rol fundamental de Colciencias y su índice de revistas en la alfabetización de los actores del proceso editorial para alcanzar la visibilidad y la cooperación más allá del impacto institucional y local, además de la construcción de una infraestructura idónea (la plataforma SCIENTI) para dar cuenta de tan significativos avances en materia del posicionamiento de la producción académica colombiana. Durante los primeros diez años del servicio permanente de indexación, la preocupación máxima fue alcanzar el mismo rigor formal y la misma sensibilidad editorial para todos los títulos clasificados, mientras se evidenciaba un incremento en la cantidad de publicaciones con fines de indexación —resultado principalmente de criterios de acreditación mal orientados 10 —, un aumento que no fue correlativo a la calidad esperada y enunciada en los términos de referencia de las convocatorias. La actualización de SCIENTI se delegó a las revistas indexadas, investigadores, grupos de investigación e instituciones, quienes debían cargar en forma autónoma los metadatos vinculados a su producción para asegurar una correcta interpretación por parte del ente evaluador. Esta labor de actualización representó un esfuerzo prolongado, y con bastante frecuencia significó grandes dificultades operativas que terminaron condicionando la clasificación o la permanencia de los títulos, reduciendo las opciones de apelar a la pertinencia de sus contenidos o el alcance internacional de su público objetivo.

La nueva política de Publindex

El cambio en la política de indexación ya se advertía necesario en 2011, cuando la entonces base bibliográfica nacional acumulaba un acervo de 466 revistas validadas. En 2013, se presentaron los primeros esbozos de la nueva estrategia de clasificación 11,12 enfocada en la presencia internacional a través de sistemas de indexación y resumen (SIRES) aceptados —una reformulación del concepto de 2008 del Observatorio Colombiano de Ciencia y Tecnología (OCyT) 13 —, con una marcada prelación por los índices citacionales Web of Science y Scopus, el impacto citacional, indicador presente en la academia mundial desde 1980. Adicionalmente, se incorporó el índice H obtenido a partir de Google Académico (Scholar) como medida de transición para ampliar la cobertura de la clasificación, lo que le permitiría a las revistas aún no aceptadas por los índices llegaran a las categorías B y C. Se convocó a los equipos editoriales del país a construir colectivamente los nuevos criterios de medición, y solo hasta el segundo semestre de 2016 se presentó la nueva política de indexación de Publindex. En el intermedio de estos hitos, se publicaron fuertes críticas, provenientes particularmente de las ciencias sociales y las humanidades 14,15,16,17,18,19 , a este nuevo modelo de medición de revistas (2013), al de reconocimiento de editoriales nacionales (2013-2014) 20 y al de grupos de investigación (2015), señalados como reduccionistas, alejados de la realidad de la ciencia nacional en todas sus áreas disciplinares, acomodados a una lógica acumulativa que puede viciarse en la ponderación de productos académicos como conocimiento útil, y supeditados al fundamentalismo de mercado desde una posición poco privilegiada que se percibe como una integración subordinada. Estas condiciones se acrecientan cuando las investigaciones se divulgan en la lengua franca latinoamericana (barrera lingüística), y pretenden resolver problemas locales o regionales más que universales (pertinencia del conocimiento al contexto local) 21 . Otras posiciones, de naturaleza metodológica y técnica, señalaron las siguientes limitaciones e inconsistencias del nuevo modelo de medición y clasificación de revistas:

Resultados de la convocatoria 768 de 2016

A pesar de los múltiples llamados de la comunidad de editores nacionales para ajustar la nueva política 26 , y salvo algunas concesiones acordadas, la Convocatoria 768 de 2016 para la clasificación de revistas científicas siguió su curso y presentó los resultados oficiales en septiembre de 2017:

En resumen, solo el 39 % de las revistas sometidas en todas las áreas disciplinares (246 de 627) logró obtener el aval a partir de la medición, y tan solo el 6% de estas (15 de 246) alcanzó las categorías A1 y A2, que ostentan el mayor nivel de madurez y alcance del sistema (Tabla 1).

Tabla 1
Revistas nacionales indexadas en Publindex, Convocatoria 768 de 2016, Etapa oficial.
Revistas nacionales indexadas en Publindex, Convocatoria 768 de 2016, Etapa
oficial.


Fuente: elaboración propia a partir de Colciencias, 2018 27

En comparación con los resultados de la segunda convocatoria de 2014 (Tabla 2), última evaluación bajo la política actualizada en 2013, se perciben descensos y se elucidan pérdidas en la clasificación de los títulos con las calificaciones más altas en Publindex (Tablas 3 y 4):

Tabla 2
Revistas nacionales indexadas en Publindex, Actualización 2014-II
Revistas nacionales indexadas en Publindex, Actualización 2014-II


Fuente: elaboración propia a partir de los resultados de Colciencias

Tabla 3
Percepción de descensos y pérdidas en la clasificación de Publindex. Categoría A1 (2014-2018)
Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A1 (2014-2018)

Nota: Revistas no clasificadas (1), A1 (0), A2 (3), B (17), C (8). Total: 29


Fuente: elaboración propia a partir de los resultados de Colciencias

Tabla 4
Percepción de descensos y pérdidas en la clasificación de Publindex. Categoría A2 (2014-2018)
Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A2 (2014-2018)

Nota: Revistas no clasificadas (41), A1 (1), A2 (4), B (53), C (46). Total: 145


Fuente: elaboración propia a partir de los resultados de Colciencias

Tabla 4 (cont.)
Percepción de descensos y pérdidas en la clasificación de Publindex. Categoría A2 (2014-2018)
Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A2 (2014-2018)

Nota: Revistas no clasificadas (41), A1 (1), A2 (4), B (53), C (46). Total: 145


Fuente: elaboración propia a partir de los resultados de Colciencias

Tabla 4 (cont.)
Percepción de descensos y pérdidas en la clasificación de Publindex. Categoría A2 (2014-2018)
Percepción de descensos y pérdidas en la clasificación de Publindex.
Categoría A2 (2014-2018)

Nota: Revistas no clasificadas (41), A1 (1), A2 (4), B (53), C (46). Total: 145


Fuente: elaboración propia a partir de los resultados de Colciencias

En resumen, las revistas mejor clasificadas de Colombia antes de 2017 (174 títulos en A1 y A2) presentaron los siguientes movimientos en la nueva clasificación de Publindex: 1 (0.5%) ascendió de categoría, 4 (2.2%) mantuvieron su categoría, 56 (32.1%) descendieron una categoría, 63 (36.2%) (63) descendieron dos categorías, 8 (4.5%) descendieron tres categorías y 42 (24.1%) perdieron la clasificación. Aunque las tipologías implícitas en estas clasificaciones hayan cambiado sustancialmente, la inevitable percepción en la comunidad académica nacional es que se presentó una pérdida drástica en la calidad de las revistas indexadas. Se trata de un argumento que vulnera el ejercicio editorial y pone en riesgo su continuidad, pero que resulta debatible a la luz de una amplia batería de indicadores (métricas responsables) 28 a disposición de los editores y sus equipos, y que se emplearán en la siguiente sección de este análisis.

El caso de las revistas de ciencias jurídicas

Con el propósito de llevar la discusión a un área disciplinar específica y delimitar el alcance de esta pesquisa (sin el ánimo de establecer juicios de valor) se presenta a continuación un conjunto de indicadores de las revistas colombianas de ciencias jurídicas de mayor reconocimiento en la academia local, regional, e internacional (Tabla 5). Esto, con el fin de comprender los efectos, alcances y limitaciones de la nueva política de clasificación de Publindex.

Tabla 5
Comparación de métricas – revistas indexadas de ciencias jurídicas
Comparación de métricas – revistas indexadas de ciencias jurídicas

*La proyección se realiza con base en el impacto SJR actual (2017), y está supeditada al cumplimiento de los parámetros formales de Publindex.

**El impacto H5 se registra sin modificaciones a partir de la información pública disponible en el portal web de Google Académico.


Fuente: elaboración propia con base en los sistemas referenciados

Con base en la información recopilada, y complementando con otros datos disponibles en las mismas fuentes, se puede argüir lo siguiente:

  1. A pesar de la amplia trayectoria de las publicaciones de ciencias jurídicas en el país (la revista Vniversitas cumple 67 años de edición ininterrumpida en 2018) su adhesión al modelo de indexación internacional a través de “tipologías citables” es bastante reciente. Por lo tanto, sus dinámicas de producción y citación en los índices son notablemente más bajas que las de otras disciplinas dentro de la misma gran área disciplinar de las ciencias sociales. Psicología, por ejemplo, cuenta con títulos que divulgan más de cien contribuciones al año, acumulan más de cien citas en una vigencia, y alcanzan índices H5 de 18 o 20 en Google.

  2. La distancia entre el impacto citacional SJR de un título a otro (y entre los cuartiles) en esta área es mínima. La medición 2016 de Scimago Journal Rank (indicador que se tuvo presente en la convocatoria 768 de Colciencias) incluyó cinco revistas colombianas de derecho: la primera, la Revista Derecho del Estado, alcanzó el cuartil 2 (Q2) con cuatro citas, de las cuales dos fueron autocitas, sobre una producción de 24 artículos citables. Esto significó su ascenso a la categoría A2 de Publindex. La segunda revista, ACDI Anuario Colombiano de Derecho Internacional, se ubicó en cuartil 4 (Q4) con tres citas sobre una producción de 16 artículos. En consecuencia, la clasificación de esta revista en el sistema nacional fue C. La quinta revista, Vniversitas, también en Q4, obtuvo cuatro citas sobre una producción de 58 contribuciones. Vale la pena mencionar que la ponderación del cuartil de la fuente citante es una característica fundamental del impacto SJR.

    Por su parte, la actualización SJR de 2017, que se tendrá presente en la convocatoria 830 de 2018, incorporó dos títulos nuevos en el grupo de revistas colombianas de derecho. En esta vigencia, la revista ACDI ascendió al primer puesto (y el cuartil 3) con una cita sobre 22 artículos publicados. La revista Vniversitas ascendió al segundo lugar (también Q3) con cuatro citas sobre 71 artículos publicados y la revista Derecho del Estado descendió al quinto lugar (Q4), con cuatro citas sobre 43 artículos publicados.

    El panorama, lejos de evidenciar falta de calidad en las investigaciones publicadas o deficiencias en la productividad de las revistas, elucida alta volatilidad en la métrica, pues depende de la cantidad de títulos indexados y de la noción arbitraria de prestigio de una fuente citante que, por supuesto, debe ser legitimada por el mismo sistema de indexación. Aunque se considere la fuente más fiable de información científica en el mundo, esta noción de calidad desdibuja e incluso “castiga” el esfuerzo editorial adicional. Sucede lo mismo con el factor de impacto de Web of Science, un indicador objeto de bastantes controversias científico-técnicas 29 que no se empleará en este análisis debido a la nula participación de las revistas colombianas de ciencias jurídicas como fuentes indexadas en sus productos principales (Core Collection).

  3. El desconocimiento de la base bibliográfica Redalyc en el sistema nacional de CTeI es un gran desacierto, particularmente por la prescindencia de su visión de conjunto de la producción latinoamericana, y de los indicadores alternativos que se adaptan a los lineamientos de la ciencia abierta, el manifiesto de Leiden y la Declaración DORA 30 , referentes que cada vez adquieren mayor relevancia en la región. Estas métricas podrían dar cuenta del por qué el alcance de la Revista de Derecho de Uninorte se estima equiparable a un cuartil 3 de los índices citacionales (la categoría B de Publindex), entendiendo sus niveles de producción y coautoría (los más altos del grupo de revistas reseñadas), internacionalización (alto), esfuerzo editorial (el segundo más alto) y uso, expresado en el número de descargas (el segundo más alto del grupo). También sugieren el potencial de visibilidad y posicionamiento de revistas como Estudios Socio-jurídicos, Opinión Jurídica, Díkaion o Prolegómenos. La gran dificultad en torno a la aplicación de estos indicadores consiste en su disponibilidad inconsistente para los títulos aceptados en la base bibliográfica, y en la actual heterogeneidad de procesos producto de la compleja transición al estándar XML JATS.

  4. Con respecto a los datos de las revistas restantes, se presentan dudas en cuanto a la idoneidad del índice H5 y su correlación con otros indicadores, particularmente frente a la cifra que despliega públicamente Google (y que definitivamente requiere un proceso de limpieza a través de herramientas como Publish or Perish). La falta de refrendación del ejercicio editorial por parte de entes evaluadores con visibilidad internacional no solo resta competitividad, sino que reduce la posibilidad de aplicar análisis bibliométricos para exaltar el papel de estas publicaciones en sus comunidades académicas, destacar su valor único frente a otros títulos ya indexados en las mismas áreas disciplinares, o replantear su orientación temática en aras de lograr el alcance esperado. El mayor desacuerdo entre los equipos editoriales consiste en la asignación de una categoría idéntica a la otorgada a las publicaciones validadas por los índices citacionales, o con alcances más allá de lo institucional o local. Independiente del impacto citacional o los indicadores de producción acumulados por una revista, la superación de un proceso de evaluación internacional riguroso y altamente restrictivo, además de la disponibilidad de indicadores con un alto grado de aceptación, genera indicios de calidad que se desconocen deliberadamente en el nuevo modelo de Publindex. La apuesta de Colciencias está orientada al ascenso a los cuartiles más altos, y es por esta razón que limita la posibilidad de acceder a las categorías más altas a través del índice H5. Sin embargo, ya se empiezan a percibir condiciones que limitan la capacidad de convocatoria de contribuciones nacionales y los estímulos a la gestión de las revistas, todo debido a una mala interpretación de las métricas, y al aún presente vínculo de estas publicaciones indexadas con la acreditación de programas académicos.

  5. La pérdida en la indexación en el índice Publindex tampoco puede considerarse un criterio absoluto de calidad. Atendiendo al precepto de la exogeneidad, participando en las discusiones regionales e internacionales de corriente principal y con indicadores de impacto significativos, es posible hallar publicaciones que hicieron caso omiso a la convocatoria, y que no perciben impacto alguno en esta iniciativa. Inclusive, se reportaron casos de exclusiones debido al incumplimiento criterio formal apenas relevante, como la superación en un 2 % de uno de los indicadores de endogamia debido a que los miembros de los comités o los pares evaluadores nacionales no contaban con un CVLAC actualizado. Esta falta, lejos del alcance de las revistas, dificulta, en términos del ente evaluador, la ponderación de la endogamia en los procesos. En su promulgación de los resultados oficiales, Colciencias contempla la posibilidad de realizar aproximaciones en las próximas convocatorias para aumentar las posibilidades de clasificación de los títulos sometidos.

Conclusiones

La academia colombiana comprende y aprecia la difícil tarea de Colciencias de administrar un sistema de evaluación y promoción de la ciencia, la tecnología y la innovación, de cara al escenario heterogéneo e inherentemente cambiante de los actores que lo componen. Es una realidad que los equipos de las revistas indexadas nacionales presentan, en general, dificultades atribuibles a la falta de formación, pero el modelo de evaluación ha caído en un nivel de desconfianza que subestima el conocimiento y la experiencia, e incluso la buena fe de sus interlocutores. El mayor problema que aún no se atiende con suficiencia es la falta de infraestructura, equipo humano e inversión en soluciones tecnológicas que permitan reenfocar los esfuerzos hacia las tareas más importantes: la edición académica y la comunicación científica. La indexación, como insisten los pares de las principales editoriales del mundo, debe llegar por añadidura; como un valor agregado a la gestión regular de las publicaciones. A su vez, la generación de estímulos a la producción intelectual debe ser personalizada y contextualizada (justa), exhaustiva (no solo bibliométrica) e imparcial (a través de modelos cualitativos y cuantitativos).

La clasificación de las revistas indexadas puede mejorar ostensiblemente si se involucran más puntos de vista en los procesos de construcción de los sistemas de evaluación. La perspectiva unificadora y centralizadora está orientada a fortalecer los necesarios procesos de normalización y recuperación de la información, pero puede resultar en incoherencias e injusticias si se desconoce el comportamiento particular de cada revista, enfoque y disciplina. Es preciso definir un lugar para la producción con relevancia regional, definir umbrales de citación e indicadores de impacto social y económico acordes. En esa misma línea, se debe garantizar un espacio para las publicaciones interesadas en la construcción y el desarrollo de comunidades académicas, y que no necesariamente se alinean con los propósitos y las formas de la indexación internacional.

Colciencias es el organismo líder del sistema nacional de CTI, y su labor es indispensable para proyectar la investigación colombiana y regional hacia nuevos estadios de alcance e impacto. No obstante, en su ejercicio ha procurado analizar con exceso de detalle los indicadores de calidad de cada individuo, grupo, institución y publicación, a tal punto que la infraestructura de los sistemas que ha desarrollado para este fin resulta insuficiente e innecesariamente demandante. Publindex, así como otros modelos de CTI en el mundo, podría cosechar los metadatos disponibles en los sistemas de información internacionales, también los provenientes de la interacción de los usuarios finales con los artículos, para favorecer sus procesos evaluativos y evitar los reprocesos a los que se han venido sometiendo todos los actores en torno a sus funciones. La observación que queda en el tintero es: Si se apropian predominante y casi exclusivamente los resultados de los índices citacionales, ¿qué motiva la decisión de mantener una clasificación nacional de revistas, con todas las implicaciones que conlleva? Con certeza, la comunidad académica nacional seguirá señalando estos errores técnicos que deslegitiman el actual modelo de medición de la ciencia, y que no logran más que acrecentar el sentimiento de desconfianza en los actores y los procesos de ciencia y tecnología que tanto requiere la nación, la región y el mundo. Mientras eso sucede, habrá lugar a iniciativas como la construcción de redes y comités de editores que piensen y reformulen el horizonte y los parámetros de calidad desde cada una de sus áreas disciplinares.

Esperamos con anhelo la posible transición de la plataforma SCIENTI a una herramienta avanzada como Pure de Elsevier 31 , alcanzando el nivel de personalización suficiente para incluir fuentes representativas y diversas de datos y validaciones, tanto locales como regionales. Sin este ajuste, y sin una visión de conjunto, se seguirán generando indicadores para una capacidad operativa que no guarda relación con objeto primordial de las revistas: la visibilidad de la producción académica y científica coherente con una intención divulgativa, una política editorial y un alcance definido, en el marco de un contexto disciplinar y a la luz de múltiples fuentes y canales de validación y apropiación. Esta es la verdadera noción de calidad, un acervo de percepciones más que un criterio absoluto, que debería ocupar un lugar privilegiado en las agendas de nuestras instituciones a futuro.

Notas

1 Las opiniones expresadas en este documento son responsabilidad exclusiva del autor y no representan necesariamente la posición oficial de la revista Vniversitas o de la Pontificia Universidad Javeriana.

2 COLCIENCIAS, Política para mejorar la calidad de las publicaciones científicas nacionales. Documento N.° 1601. http://colciencias.gov.co/portafolio/unidad-politica/lineas-trabajo/diseno/politica-mejorar-impacto (Mayo de 2016).

3 Publindex, “la purga” de las revistas universitarias, Revista Semana. https://www.semana.com/educacion/articulo/forma-para-que-las-revistas-cientificas-sean-indexadas/557701 (26 de febrero de 2018).

4 MINISTERIO DE EDUCACIÓN NACIONAL DE COLOMBIA, Decreto 1279 del 19 de junio de 2002. https://www.mineducacion.gov.co/1621/article-86434.html

5 FRANCISCO LUIS OCHOA JARAMILLO, ¿Nos quedamos o ponemos nuestro objetivo en otros sistemas de clasificación de revistas?, 31-1 CES Medicina, 1-2 (2017). http://revistas.ces.edu.co/index.php/medicina/article/view/1

6 ALFREDO JÁCOME ROCA, Editorial: Publique o perezca: análisis crítico sobre los resultados de Publindex, 39-4 Revista Medicina, 281-285 (2017). http://revistamedicina.net/ojsanm/index.php/Medicina/article/view/119-1

7 Las revistas colombianas de antropología y ciencias sociales en tiempos de mediciones. A propósito de la Convocatoria 768 de Publindex (Colciencias): retos y desafíos de la comunidad académica. http://revistas.javeriana.edu.co/index.php/univhumanistica/article/view/20720/15924 (14 de diciembre de 2017).

8 JORGE ENRIQUE GÓMEZ MARÍN & MAURICIO PALACIOS, Una nueva etapa de Publindex: dolores de crecimiento, 22-1 Infectio, 7-8 (2018). http://www.scielo.org.co/pdf/inf/v22n1/0123-9392-inf-22-01-00007.pdf

9 JORGE ENRIQUE DELGADO TRONCOSO, Editorial: Los cambios en la política de evaluación de revistas en Colombia, 33-71 Universitas Odontologica, 15-16 (2014). http://revistas.javeriana.edu.co/index.php/revUnivOdontologica/article/view/14191/pdf

10 ¿Qué tiene que ver la acreditación universitaria con las revistas científicas?, Semana. https://www.semana.com/educacion/articulo/revistas-cientificas-en-colombia/480007 (1ro de Julio de 2016).

11 COLCIENCIAS, Indexación de revistas seriadas de ciencia, tecnología e innovación colombianas. https://www.unicatolica.edu.co/documentos/investigacion/Guia-Servicio-Indexacion-2013.pdf (Julio de 2013).

12 MARCELA VILLEGAS GALLEGO, Nuevo modelo de indexación y homologación - Publindex: apostándole cada vez más a la visibilidad internacional, 30-3 Psicología desde el Caribe, 7-8 (2013). http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0123-417X2013000300001

13 COLCIENCIAS, Documento de actualización de los sistemas de indexación y resumen - SIR. http://www.colciencias.gov.co/sites/default/files/upload/convocatoria/documento-sires-abril-2017.pdf (Abril de 2017).

14 ESTHER JULIANA VARGAS, Editorial: Los editores de revistas de La Salle respecto al modelo de medición de revistas de Publindex, 8 Traza, 6-9 (2013). https://revistas.lasalle.edu.co/index.php/ed/article/view/2630

15 STEVEN NAVARRETE CARDONA, Colciencias y los humanistas, en orillas diferentes, El Espectador. https://www.elespectador.com/noticias/nacional/colciencias-y-los-humanistas-orillas-diferentes-articulo-545541 (22 de febrero de 2015).

16 ALEJANDRA HURTADO, Publindex, o el muerto que ríe del degollado, Las 2 Orillas. https://www.las2orillas.co/publindex-el-muerto-rie-del-degollado/ (2 de diciembre de 2015).

17 YURI JACK GÓMEZ-MORALES, El baile de los que sobran: cambio cultural y evaluación académica, 53-2 Revista Colombiana de Antropología, 15-25 (2017). http://www.redalyc.org/pdf/1050/105052402002.pdf

18 NATHALY RODRÍGUEZ SÁNCHEZ, Medición desenfocada. las ciencias sociales y humanas bajo el modelo de medición de Colciencias (Serie Libros de Texto 9, Universidad Nacional de Colombia, Bogotá, 2017). http://www.uneditorial.com/pageflip/acceso-abierto/pdf/medicion-desenfocada.pdf

19 YURI JACK GÓMEZ-MORALES, Abuso de las medidas y medidas abusivas. Crítica al pensamiento bibliométrico hegemónico, 45-1 Anuario Colombiano de Historia Social y de la Cultura, 269-290 (2017). http://www.scielo.org.co/pdf/achsc/v45n1/0120-2456-achsc-45-01-00269.pdf

20 Colciencias responde crítica de ASEUC: IES no respondieron correctamente la convocatoria, El Observatorio de la Universidad Colombiana. http://www.universidad.edu.co/colciencias-responde-critica-de-aseuc-ies-no-respondieron-correctamente-la-convocatoria/

21 MAURICIO ROMERO-TORRES, MARÍA ALEJANDRA TEJADA & ALBERTO ACOSTA, A Proposal to Classify Latinamerican Scientific Journals using Citation Indicators: Case Study in Colombia, Computing Research Repository – CORR (2011). https://arxiv.org/ftp/arxiv/papers/1101/1101.2711.pdf

22 STACY KONKIEL, 4 reasons why Google Scholar isn’t as great as you think it is, Impactstory Blog (23 de julio de 2014). http://blog.impactstory.org/googe-scholar-profiles-fail/

23 EMILIO DELGADO LÓPEZ-CÓZAR, NICOLÁS ROBINSON-GARCÍA & DANIEL TORRES-SALINAS, The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators. https://arxiv.org/ftp/arxiv/papers/1309/1309.2413.pdf

24 JUAN ANTONIO MARTINEZ-COMECHE et al., Semiperiodo de la literatura científica en Biblioteconomía y Documentación y la influencia de los aspectos temáticos, 24-51 Investigación Bibliotecológica, 195-207 (2010). http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0187-358X2010000200009&lng=es&nrm=iso

25 DIANA HICKSA, PAUL WOUTERSB, LUDO WALTMANB, SARAH DE RIJCKEB & ISMAEL RAFOLS. El Manifiesto de Leiden sobre indicadores de investigación. Traducción de DIANA HICKS, PAUL WOUTERS, LUDO WALTMAN, SARAH DE RIJCKE & ISMAEL RAFOLS, The Leiden Manifesto for research metrics, 520 Nature, 429-431 (2015). http://www.leidenmanifesto.org/uploads/4/1/6/0/41603901/manifiesto_cast.pdf

26 FACULTAD DE CIENCIAS HUMANAS, UNIVERSIDAD NACIONAL DE COLOMBIA, Debate nacional de revistas académicas y científicas: contribución a la evaluación del modelo Publindex de Colciencias. Panel - Perspectiva sobre la comunicación científica en Colombia (23 de noviembre de 2016, publicado el 29 de marzo de 2017). https://www.youtube.com/watch?v=NDb40d0qPXI&index=4&list=PLg55wO1Zf2xGrnnBTQPvuatOGwpiI7LGI

27 COLCIENCIAS, Resolución 0058 del 25 de enero de 2018. Por medio de la cual se revoca parcialmente la Resolución 929 de 2017. http://www.colciencias.gov.co/sites/default/files/informe-resultados-publindex.pdf (15 de septiembre de 2017).

28 The Metrics Toolkit. http://www.metrics-toolkit.org/explore-metrics/

29 WILSON LÓPEZ LÓPEZ, Sobre la evaluación de la investigación y los investigadores: Criticas a las métricas y recomendaciones, 17-4 Universitas Psychologica (2018). https://doi.org/10.11144/Javeriana.upsy17-4.seii

30 BEATRIZ PARDAL-PELÁEZ (Trad.), Declaración de San Francisco sobre la evaluación de la investigación. https://sfdora.org/read/es/

31 Portal de capacidades en ciencia, tecnología e innovación de Colombia [Piloto Pure]. https://colciencias.pure.elsevier.com/es/persons/wilson-l%C3%B3pez-l%C3%B3pez/network/

Información adicional

Para citar este editorial: FAVIO ANDRÉS FLÓREZ CARRANZA, Nociones de calidad e impacto: el lugar de las revistas indexadas de ciencias jurídicas en el sistema colombiano de competitividad, ciencia, tecnología e innovación, 137 Vniversitas (2018). https://doi.org/10.11144/Javeriana.vj137.ncei

Contexto
Descargar
Todas