Introducción

La evaluación incide en las prácticas de investigación (PI) (Bianco, Gras et al., 2014; de Rijcke et al., 2016; Linkova, 2014; Rafols & Molas-Gallart, 2016; Rafols, Molas-Gallart et al., 2016). Cuando los modelos de medición (MM) se ajustan al contexto evaluado son una guía para fortalecer los procesos de investigación; cuando esto no es así (Gómez-Morales, 2018; Molas-Gallart & Rafols, 2018; Rodríguez, 2017), su aplicación puede generar efectos indeseados como baja pertinencia nacional, énfasis en problemáticas poco complejas, privilegiar cantidad sobre calidad, priorizar la investigación sobre la docencia, o competencia desleal entre investigadores (Bekerman, 2019; de Rijcke et al., 2016; Bianco, Gras et al., 2014; 2016). Esos efectos de los procesos de evaluación son de interés creciente en los estudios sociales de ciencia, tecnología e innovación (CTI) (Beigel & Bekerman, 2019; Good et al., 2015; Guzmán-Tovar, 2015; Kreimer, 2015). Además, la gestión ha aportado en la comprensión de las estrategias de investigadores y organizaciones de investigación ante contextos cambiantes e inciertos, con la necesidad de diversificación de fondos, presiones de las carreras científicas, competencia global y demandas por excelencia y pertinencia (Morris & Rip, 2006; Cunningham et al., 2015; O’Kane et al., 2015). Al estudiar instituciones financiadas con fondos públicos, no vinculadas a universidades, Luo et al. (2019) muestran que los mecanismos de evaluación permiten tratar tensiones de gobernanza en cuanto a estrategias, fondos y operación. La discusión sobre la performatividad de la evaluación de la investigación (Bianco, Goñi-Mazzitelli et al., 2014; Guzmán-Tovar, 2015; Kreimer, 2015), también se ha incorporado en algunos trabajos sobre las estrategias de grupos e investigadores (Orozco et al., 2013; Villaveces et al., 2007). En ese contexto, los grupos de investigación (GI) universitarios se constituyen en un escenario propicio para analizar los efectos performativos de la evaluación de la investigación, dado que dependen tanto de las condiciones de las instituciones de afiliación, donde la investigación es sólo una de las funciones misionales –junto con la docencia y la extensión–, como de los sistemas nacionales de evaluación.

La pregunta de investigación es ¿Cómo se endogenizan¹ los procesos de evaluación en las prácticas y estrategias de los GI universitarios? Esa indagación se aborda en el contexto colombiano, dado que en este país la forma organizacional GI se ha legitimado e incorporado en las universidades vía la política de CTI (Orozco et al., 2013). Se toma como eje de análisis la evaluación de GI que realiza Minciencias² desde 1991 a nivel nacional. Esos procesos de evaluación han promovido la identificación y la caracterización de los GI en el país, que se han formalizado en modelos para su medición y escalafonamiento (Orozco et al., 2013). Tales evaluaciones han impactado la legitimación de los GI, traduciéndose en obtención de recursos o reconocimiento, y en apoyo a los procesos de acreditación de alta calidad de los programas de formación que respaldan (Gómez-Morales, 2018; Orozco et al., 2013; Rocha-Gutiérrez & Roncallo-Dow, 2014). Dado su vínculo con el control de la investigación y la asignación de fondos, este tipo de procesos de evaluación tiene una fuerte incidencia en las prácticas de los investigadores (Good et al., 2015; Molas-Gallart, 2015). Por esto, son propicias para indagar sobre sus efectos en la organización de la investigación, y las estrategias que emergen en los evaluados.

Revisión de literatura

Brechas, tensiones y performatividad de los procesos de evaluación de la investigación

Las brechas y tensiones entre las PI y su evaluación, y la performatividad de esta última, han sido abordadas por varios estudios (Bianco, Goñi-Mazzitelli et al., 2014; Kreimer, 2011; Molas-Gallart & Rafols, 2018; Orozco et al., 2013; Rowlands & Wright, 2019) y declaraciones de comunidades de investigadores e instituciones (Asociación de Facultades de Humanidades y Ciencias Sociales, 2016; CLACSO, 2015; DORA, 2012; Gómez-Morales, 2017; Hicks et al., 2015; Universidad Nacional de Colombia, 2015). En dichos estudios resaltan dos ejes de análisis: 1) el nivel de coherencia entre enfoques de evaluación y las PI, y 2) la incidencia de los sistemas de evaluación sobre la actividad investigativa y su orientación.

En el primer eje se evidenció que los modelos de evaluación hegemónicos dejan por fuera varias áreas de conocimiento y sus prácticas. En ese sentido, Molas-Gallart & Rafols (2018) muestran que los indicadores bibliométricos son susceptibles de presentar problemas cuando los modelos son incorrectos o se toman propiedades irrelevantes para el contexto a evaluar. Para las ciencias sociales y humanidades, Rocha-Gutiérrez & Roncallo-Dow (2014) y Rodríguez (2017) plantean que el MM de GI de Colciencias no reconoce varios productos relevantes; asimismo, Bonaccorsi (2018) ilustra particularidades de los contextos de evaluación de estas áreas en Italia; por su parte, Thelwall & Delgado (2015) analizaron el marco de evaluación de excelencia de la investigación en el Reino Unido y señalaron las limitaciones de métricas sistemáticas para el campo de artes y humanidades, proponiendo el uso de información contextual complementaria.

Otros estudios muestran que los sistemas de evaluación pueden invisibilizar o dar poco reconocimiento a espacios periféricos en términos cognitivos, sociales, geográficos o interdisciplinarios. Orozco (2015) y Rafols et al. (2012) evidencian que, contrario a las políticas que promueven la interdisciplinariedad, los sistemas de evaluación de las revistas del área de gestión y escuelas de negocios se inclinan por aportes disciplinares. Algunos trabajos se relacionan con la evaluación de la calidad de la investigación, ligada con frecuencia a la publicación en revistas de la corriente principal (Aguado-López et al., 2014; Alperin & Rozemblum, 2017; Barnard et al., 2012), dejando de lado otros tipos de producción (Mcculloch, 2017) que pueden ser relevantes en contextos locales (Chavarro et al., 2017). En un estudio para Colombia, Chavarro et al. (2017) encuentran que la publicación en revistas que no son de la corriente principal cumplen un rol importante en los procesos de investigación al fortalecer capacidad (entrenamiento), ser un puente entre las publicaciones de revistas de la corriente principal y otros textos consultados por comunidades con acceso limitado a ellas, e incluir tópicos alternativos. Estos sesgos “anti” –interdisciplina, novedad, pertinencia, calidad (por privilegiar cantidad), relevancia académica– han mostrado efectos negativos en los procesos de producción de conocimiento (Bianco, Gras et al., 2014).

En el segundo eje se encuentra que los sistemas de evaluación han afectado las PI (Rowlands & Wright, 2019), así como las de registro por investigadores y GI. Bekerman (2019) señala el riesgo de priorizar esos procesos sobre la investigación misma. En Colombia, la evaluación se basa en un MM que se ha ido transformando en cuanto a productos reconocidos y conceptualización del GI. Esta evaluación requiere el registro de la información en la plataforma ScienTI³, por lo que conocer su manejo, el adecuado reporte de la producción y el MM subyacente ha tomado gran relevancia para los GI (Orozco et al., 2013), llevando a diferentes interpretaciones como: espejo (la información reportada en la plataforma es la realidad y corresponde a la identidad del GI), foto (hay que “acicalarse” y ajustar la información registrada para quedar bien ante terceros), fuente de información (análisis a partir de los datos de la plataforma), juez y guía (uso de la información de la plataforma para orientar políticas) y fuente de trabajo (expertos en la plataforma contratados para que los GI registren bien la información o integrantes del GI que desarrollan esa competencia) (Villaveces et al., 2007).

El MM de Colciencias se ha incorporado en decisiones sobre la orientación de productos y esquemas de trabajo del GI. Amézquita & Osma (2018) estudiaron los GI en el área de ingeniería en una universidad colombiana, y encontraron que la evaluación de Colciencias ha sido incluida en la gestión de los GI bajo aspectos como: desarrollo de investigaciones orientadas a productos, generación de acciones para subir de categoría, definición de revistas en las cuales publicar, y establecimiento de metas del GI según el MM. De igual forma, la evaluación de Colciencias también ha inducido una mayor internacionalización de las publicaciones de investigadores con afiliación a instituciones colombianas. Serna-Gómez et al. (2019) evidencian para el área de administración de 2006 a 2015, un incremento de la coautoría internacional y del número de artículos publicados en revistas indexadas en bases de datos internacionales, principalmente SCOPUS. Para el Reino Unido, Mcculloch (2017) muestra que los lineamientos de las políticas evaluativas limitan la selección de géneros de escritura coherentes con el campo de investigación, mientras que Linkova (2014) evidencia, para República Checa, que la evaluación influencia las decisiones de los investigadores sobre las actividades en las cuales concentrarse, especialmente cuando ello tiene implicaciones sobre su carrera. En síntesis, los estudios analizados destacan el carácter performativo de la evaluación de la investigación.

Estrategias de gestión en contextos de investigación

Las dinámicas recientes de la investigación, caracterizadas por entornos cambiantes, múltiples demandas (excelencia, pertinencia, calidad) (Vessuri et al., 2014) y fuentes de financiación dispersas y en ocasiones contradictorias o redundantes (Hallonsten & Hugander, 2014), derivan en altos requerimientos de gestión para investigadores e instituciones (Cunningham et al., 2015). En el estudio de O’Kane et al. (2015), los autores analizan el rol de los investigadores principales en ambientes de incertidumbre y señalan que el comportamiento estratégico de ellos ante los fondos de investigación depende de su postura (reactiva/proactiva) y el grado de conformidad con los lineamientos del financiador frente al mantenimiento de la libertad científica. Las posturas reactivas promueven adaptaciones continuas con posibles cambios en las agendas de investigación, mientras que las proactivas fomentan agendas a largo plazo y generan nuevos escenarios para cumplir sus propósitos (Crant, 2000), preservando autonomía. En ciencias de la vida, Morris & Rip (2006) identifican en los investigadores una adaptación proactiva que no requiere transformación de los marcos e intereses académicos, y permite diseñar espacios de negociación para tener márgenes de maniobra, desarrollando habilidades de gestión y colaboración.

Con la literatura revisada se comprenden las estrategias de los actores de la investigación ante la volatilidad del entorno. Esos estudios se han concentrado en el investigador individual y las demandas de los sistemas de financiación, en cambio, la indagación sobre las estrategias de colectivos de investigación frente a esquemas de evaluación ha sido menos abordada. En tal sentido, Cardona-Gómez & Calderón-Hernández (2010) encuentran que una alta categoría de los GI en la clasificación según el MM de Colciencias se usa en las estrategias de creación de nuevos vínculos como criterio para selección de los colaboradores. Igualmente, en un estudio sobre GI de élite en el campo de administración en Colombia se encuentra que la categorización según el MM de Colciencias se ha convertido en un referente para definir las actividades prioritarias, y ha tenido un efecto legitimador que motiva a GI e investigadores a cumplir con los lineamientos para alcanzar cada vez mayores categorías (Calderón et al., 2014). Ello sugiere una performatividad de la evaluación que se evidencia en la gestión de los GI.

Este artículo aporta en las modalidades de incorporación de los sistemas de evaluación en la gestión y estrategias de los GI, dadas las elecciones que implican la articulación de las distintas funciones misionales de investigación, docencia y extensión (Hazelkorn & OECD, 2005).

Metodología

Considerando el tipo de pregunta planteada (¿Cómo?), y el contexto contemporáneo de los fenómenos, el diseño de la investigación propuesto es un estudio de caso (Yin, 2014). El análisis se concentra en la evaluación de los GI que hace Colciencias⁴, a partir de la información registrada en ScienTI. En tal evaluación, cuyo propósito es “contar con la información histórica y actualizada de las capacidades de CTeI nacionales” y con indicadores que sean elementos sólidos de discusión y un “insumo para políticas de desarrollo económico” (Colciencias, 2015, p. 5), se utiliza un MM que clasifica a los GI en las categorías A1, A, B, C y reconocido (siendo A1 la más alta), y a los investigadores de cada GI⁵.

Se estudian GI de una universidad colombiana, utilizando un muestreo propositivo dirigido a la comprensión del fenómeno (Stake, 1995), seleccionando casos que interesan por sus características específicas, más que por la representatividad que puedan ofrecer de la población objeto de estudio.

El criterio de selección fue el de máxima variación (Hernández Sampieri et al., 2014), buscando heterogeneidad en los GI en dos aspectos: categorización, según resultados de la convocatoria 737 de 2015 de Colciencias, y áreas de conocimiento. También se consideró la posibilidad de acceso al terreno y la aceptación de los GI a participar en el estudio. De los 40 GI con los contaba la institución en el periodo de estudio se eligieron 11, buscando cubrir todas las categorías del MM y las áreas de conocimiento que se trabajan en la universidad. De los 11 GI, ocho aceptaron participar en el estudio, en las siguientes áreas: Humanidades (2), Ciencias Médicas y de la Salud (2), Ciencias Sociales (1) e Ingeniería y Tecnología (3), ver tabla 1. En estos grupos se invitó a participar tanto a sus líderes como a sus miembros. Solo en dos de estos grupos se pudo entrevistar a investigadores diferentes a los líderes, llegando a 15 entrevistas, número que estuvo supeditado a la voluntad de los entrevistados y la duración del proyecto.

Las 15 entrevistas se realizaron entre mayo de 2017 y julio de 2018, usando una guía con cinco secciones de preguntas: información del investigador, vinculación al GI, relaciones del GI con otros actores, relaciones del investigador con otros actores, prácticas de publicación y divulgación de resultados (ver tabla A1 del Anexo). Se anota que la Convocatoria 781 de 2017 estuvo abierta desde mayo de 2017, para llegar a la publicación de resultados definitivos el 6 de diciembre de 2017. Por tanto, durante las entrevistas se hacía referencia a esa convocatoria. También se adelantó un análisis documental sobre esos GI, en particular de lo registrado en ScienTI, identificando la actividad, áreas de actuación y antigüedad del GI, entre otros. Las entrevistas fueron grabadas y transcritas en su totalidad. Su análisis se realizó desde las primeras fases del trabajo de campo, con el fin de generar aportes a las preguntas e identificar aspectos a profundizar. El análisis inició por la revisión de cada entrevista para determinar temáticas recurrentes, y así definir categorías preliminares emergentes a partir de la pregunta de investigación (Coffey & Atkinson, 1996; Gibbs, 2007), partiendo de un marco de análisis de gestión de la investigación, con énfasis en las prácticas de los GI. Posteriormente, se codificó una de las entrevistas colectivamente entre los autores, utilizando las categorías definidas para verificar su conveniencia y hacer los ajustes necesarios. Luego se codificaron todas las entrevistas con las nuevas categorías, para hacer un análisis preliminar de estas y ajustarlas (ver tabla A2 del Anexo), nuevamente de manera colectiva, hasta lograr consensos, y, a partir de ellas, identificar patrones o prácticas significativas implementadas y estudiar transversalmente los casos (Blanchet & Gotman, 2007).

Resultados

El carácter performativo del sistema de medición de GI y el MM subyacente se evidencia para los casos estudiados en dos aspectos de la gestión: la estrategia general de los GI frente al MM, y las prácticas particulares relacionadas con aspectos puntuales de su quehacer.

Formas de endogenización del MM en la estrategia general de los GI

El análisis realizado permite caracterizar a los GI en cuatro tipos de estrategias frente al MM: Proactiva, Reactiva, Reactiva forzada y Neutral, ver figura 1.

Proactiva

En esta estrategia, los GI actúan para lograr cambios en el MM, para que incluya las actividades propias de su campo. Es el caso de un GI que hizo parte de las mesas de trabajo realizadas a partir de 2014⁶, orientadas por Colciencias y que buscaban que los MM fueran más incluyentes, en especial en el área de Artes, Arquitectura y Diseño. En palabras del líder de un GI en ese campo (grupo A):

... hace unos siete años comenzó la reflexión de que no nos veíamos reconocidos porque artes estaba dentro de la categoría de las ciencias sociales y como tal estábamos en desventaja... los criterios no eran los mismos, publicaciones en libros producto de investigación o artículos científicos y nosotros veíamos que nuestra labor allí no estaba reconocida. Entonces, hace cinco años se hizo manifiesta esa queja frente a Colciencias en un evento en el que ellos mostraron el modelo y los resultados a los que llegaban de la última medición y manifestamos nuestro descontento. A partir de allí se hizo una alianza entre las asociaciones de facultades de arquitectura que se llama ACFA⁷, la de artes que se llama ACOFARTES y la de diseño que se llama RAD⁸ y entonces las tres asociaciones de facultades se unieron. (Líder del grupo A)

El líder del grupo D destaca la relevancia de su participación en las discusiones de la RAD para lograr que el MM incluyera productos relevantes en el campo del diseño. Así, se observa que las relaciones de colaboración van más allá de los proyectos de investigación, buscando incidir en las políticas nacionales de CTI, concretamente para generar ajustes en los sistemas de evaluación⁹. El líder del grupo A, con relación a la creación de una mesa de ACOFARTES frente a Colciencias, manifestó:

Esa mesa propia, se hizo con el objetivo justamente de hacer reconocibles los productos propios de la creación como producción de nuevo conocimiento... las últimas dos mediciones logramos generar un método propio para la medición de los productos de artes, arquitectura y diseño, y eso es lo que ha posibilitado que los puntajes de nuestros grupos suban y queden mejor catalogados frente a otros grupos en el país... (Líder del grupo A)

Estas situaciones ilustran que los GI proactivos, ante las brechas identificadas entre los MM y sus prácticas, generan acciones para promover transformaciones en los enfoques subyacentes a los sistemas que los evalúan.

Reactiva

En esta estrategia, los GI adoptan las “señales” del MM para orientar su quehacer. Las directrices de la evaluación actúan como luces verdes y rojas que orientan las decisiones de los investigadores, “obstaculizando o facilitando el tránsito en algunas direcciones” (Bianco, Goñi-Mazzitelli et al., 2014, p. 161). Cuando el MM tiene alta coherencia con las PI se presenta una estrategia reactiva para el fortalecimiento que dirige al aprendizaje y consolidación de los GI, de otro modo, cuando la coherencia es baja, deriva en efectos no deseados como alineación y adopción de prácticas que no tienen sentido para el quehacer del GI.

Criterios como la relevancia de la producción colectiva, tanto entre sus miembros como con otros GI, pueden ser explícitamente incorporados. Así, se generan estrategias de producción en coautoría en el GI. También se reconoce el énfasis del MM en las revistas de la corriente principal, lo que puede derivar en un debilitamiento de las publicaciones locales o regionales (Alperin & Rozemblum, 2017), cuyos aportes contribuyen a la producción de conocimiento (Chavarro et al., 2017). En este sentido, un líder de grupo manifestó: “no me parece nada descabellado lo que se pide, coger simplemente producción... siempre revisando que las publicaciones estén en alguna revista, que al menos esté en Publindex, pero siempre apuntando hacia Scimago” (Líder del grupo E). Por su parte, el líder de M resalta que para cumplir con el MM han promovido la publicación en revistas en inglés y la alineación de los temas con tópicos de interés internacional.

Esta situación se ilustra en la experiencia manifestada por la líder de I:

... ya tenemos claro en dónde estamos qué nos hizo falta. Lo que hicimos fue un plan de trabajo que permita alcanzar esas metas o reducir esas brechas que existen, por ejemplo, en formación de talento humano. Entonces, en eso estamos trabajando; lo otro es trabajar en artículos que estén acuartilados [clasificación por cuartiles en los indicadores de impacto de revistas]. (Líder del grupo I)

En otra entrevista, uno de los investigadores del grupo I de ingeniería menciona:

Antes los investigadores producíamos solos, sin embargo, nos dimos cuenta que Colciencias evaluaba el trabajo colaborativo entre los miembros del grupo y con investigadores de otros grupos, a partir de allí, empezamos a trabajar entre los compañeros del mismo grupo y a buscar alianzas con investigadores de otros grupos, y así la productividad de artículos ha venido aumentando. (Investigador del grupo I)

Las situaciones descritas evidencian que los GI han seguido las señales del MM sobre el trabajo colaborativo y la producción en coautoría. Además, se observa un esfuerzo por registrar adecuadamente los productos para la evaluación, que a veces incluye la designación de un experto en el MM y el reporte correcto de la producción. Como se observa, en estos casos se definen planes de trabajo para ajustarse al MM, buscando mejorar su clasificación de forma progresiva.

Reactiva forzada

Para algunos GI la brecha entre el MM y su actividad investigativa es más alta y seguir las señales de este genera una distancia entre sus producciones y las que deben privilegiar para el MM. Aquí identificamos una estrategia reactiva forzada, como observamos en el grupo G: “El modelo de Colciencias es una trampa... es que es más importante el Q1 que el ejercicio mismo de la ciencia y el impacto social que esta puede tener” (Miembro del grupo G).

El grupo G destaca la relevancia que tiene en su agenda el trabajo con organizaciones, que no se traduce en publicaciones valoradas por el MM. Así, la estrategia de reorientar sus prácticas según el MM desestimula la realización de actividades centrales para su quehacer. Es el caso de los GI cuyas prácticas no resultan muy coherentes con el MM, pero que, por presiones como las políticas institucionales, optan por adaptarlas al MM. Se diferencia de la estrategia puramente reactiva, en donde se da una mayor coherencia con el MM, y el cambio en las prácticas se conecta mejor con las dinámicas de investigación.

Neutral

En la estrategia neutral los procesos de evaluación no generan cambios de prácticas. Se evidencia, en particular, en los GI más consolidados, cuyas actividades corresponden a lo que el MM promueve. GI de larga trayectoria, que por su avance tienen, por ejemplo, una importante actividad de publicación en revistas indexadas, no necesitan modificar su forma de actuar y obtienen buenos resultados en los procesos de medición. Su relación con el MM consiste en reportar los resultados de su quehacer, sin necesidad de modificarlo.

En este sentido, un investigador de B expresa:

Me gusta el modelo... está más hecho para grupos de investigación como nosotros... el modelo está bien, a ti te miden como investigador y te miden por lo que produzcas, produces artículos, diriges trabajos de grado, tesis, doctorados es la forma correcta de medir un investigador. (Investigador del grupo B)

Como se observa, el GI no tuvo que modificar su forma de gestión, sino registrar su actuación de acuerdo con el MM. Es el caso del grupo O, por ejemplo, donde su líder manifiesta:

Desde la primera convocatoria fuimos A...después logramos el A1, llevamos tres períodos sin perderlo... el que no conoce las normas no avanza... nosotros sabemos qué vale, qué no vale, eso lo tenemos fríamente calculado. (Líder del grupo O)

En los GI denominados neutrales, si bien se da importancia al conocimiento de parámetros de medición y al registro adecuado de la información, este sistema no genera transformaciones en las PI. Ello se explica en la trayectoria de los GI y la experiencia en la producción de resultados de naturaleza variada, además de la coherencia entre el MM y las actividades propias del campo de conocimiento.

Formas de endogenización del modelo en las prácticas de los grupos con estrategia reactiva

Los resultados evidencian que el MM se ha incorporado en las prácticas de los GI con estrategia reactiva y reactiva forzada, de diversas maneras, incidiendo particularmente en la vinculación de nuevos miembros, así como en la producción y visibilización de los resultados de investigación.

Vinculación de nuevos miembros

Los GI han generado prácticas de registro de la información en la plataforma ScienTI, orientadas por el MM. Este aplicativo se transforma en un objeto intermediador (Villaveces et al., 2007; Vinck, 1999), alrededor del cual se hacen acuerdos, y se convierte en un paso obligado (Callon, 1995) para formalizar las actividades del GI. Así, se generan acuerdos sobre protocolos para registrar un nuevo miembro en la plataforma. El MM tiene en cuenta el número de integrantes del GI y su producción. Por ello, algunos GI activan en la plataforma solo a los miembros que aportan productos reconocidos por el MM en el periodo de evaluación. Por tanto, los integrantes activos de un GI no corresponden necesariamente al GI visible en la plataforma. Tal como lo plantean dos líderes de GI consultados frente a la vinculación de un nuevo miembro:

Que tenga experiencia en investigación en sentido estricto... que tenga la disposición para trabajar y se vincula al grupo como miembro activo... la vinculación en [la plataforma de] Colciencias solamente se hace hasta cuando haya un resultado. (líder de I).

... si alguien quiere ingresar al grupo, lo hace como investigador en formación para que desarrolle o se una a uno de los proyectos para desarrollar productos. Una vez que tenga productos de investigación de cierto nivel tomamos sus productos del CvLAC y los agregamos al GrupLAC, y a partir de ese momento es investigador oficial del grupo (líder de M).

Se observa que alrededor del objeto intermediador plataforma ScienTI se establecen mecanismos de moderación del registro de la información y protocolos de oficialización de la vinculación de un miembro al GI.

Prácticas de producción y visibilización de los resultados de investigación

De acuerdo con Turpo & Medina, “la visibilidad científica está relacionada con la cantidad de materiales y publicaciones que produce una universidad y que pueden ser vistas por la comunidad científica” (Turpo & Medina, 2013, p. 11). Tal visibilidad se presenta en distintos ámbitos (investigadores, grupos, instituciones) y pueden incidir en aspectos como los rankings universitarios, donde las instituciones tratan de lograr mejor posicionamiento (Sanz-Casado et al., 2013). El MM de Colciencias hace especial énfasis en la visibilidad de los resultados (Colciencias, 2017).

Al explorar este aspecto, se encontró que los GI analizados han interiorizado en sus prácticas de publicación los criterios de cohesión (coautoría entre miembros de un mismo GI) y cooperación (colaboración entre miembros de diferentes GI) del MM (Colciencias, 2015). Ello ha derivado en la priorización de la producción colectiva sobre la individual. En palabras de un líder de un GI: “yo lo que hago es como dar unos lineamientos y unos parámetros para que todos vayamos hacia el mismo lado, establecemos unas metas de trabajo y hay cohesión y colaboración entre el grupo” (líder de I).

La decisión de las revistas donde publicar también se ha visto influenciada por el MM, privilegiando publicaciones las de la corriente principal. Algunos de los entrevistados expresan:

Antes de ver los resultados de Colciencias era como que publiquemos en cualquiera, no importa. Después de ver los resultados de Colciencias establecí unos criterios de selección que antes no los tenía (líder de I).

... tratar de ser más estrictos en ese proceso de investigación para poderle apuntar a revistas con mayor escalafón (investigador de I).

Para cada convocatoria se ha hecho el análisis juicioso de la producción [necesaria]...y del peso ponderado que tiene cada tipo de producto (investigador de I).

Antes las revistas institucionales nos pedían artículos para publicar y eso nos parecía bueno. Con este modelo, si la revista no está bien indexada es mejor publicar en otro lado ya que se debe publicar donde puntúe más el modelo (líder de M).

La discusión sobre los productos que considera el MM también ha generado un diálogo alrededor del tipo de resultado que puede aportar cada miembro. Contar con diversidad de miembros que aporten en los distintos tipos de productos es una de las estrategias de un grupo:

... concentrarnos en los productos de nuevo conocimiento que generan mayor puntaje... ver qué vocación tiene cada investigador para potencializarla y que ... genere la mayor cantidad de producción, dentro de su área de experticia y de vocación (investigador de I).

Como se observa, los GI definen criterios de producción y publicación que obedecen directamente al MM, teniendo en cuenta, además, las posibilidades de cada miembro de visibilizar la producción de resultados de investigación.

Discusión y conclusiones

Los resultados aportan a las reflexiones sobre las dinámicas de la investigación, tanto desde la gestión como desde los estudios sociales de la CTI. Se evidencia el carácter performativo de la evaluación en la gestión de la investigación. El análisis desde el proceso de endogenización ha permitido dar cuenta de la reconstrucción local de los lineamientos del MM por los actores evaluados, generando estrategias para adaptarse o influir en ellos. La incidencia en las PI de los GI es variada; en los casos estudiados, se identificaron cuatro tipos de estrategias como formas de endogenización: Proactiva, Reactiva, Reactiva forzada y Neutral.

Esas modalidades se relacionan con la estrategia general de los GI, y están vinculadas a factores como trayectoria y área de conocimiento. Las estrategias de los GI se corresponden con las brechas entre modelos de evaluación y contextos evaluados (Molas-Gallart & Rafols, 2018; Rodríguez, 2017), desde la incidencia en las PI. Cuando la brecha es alta, los GI generan estrategias para cambiar el MM (proactiva), o ajustan totalmente sus PI a ellos (reactiva). Esta última situación puede afectar las dinámicas de investigación a largo plazo si no se hace la reflexión sobre las implicaciones de esas acciones en la agenda de la misma (reactiva forzada).

Además, el MM impacta aspectos específicos de la actividad del GI. En particular, el momento de oficializar la vinculación de nuevos miembros y las estrategias de producción y visibilización de los resultados, responden a aspectos definidos por el MM y se despliegan en prácticas de registro. ScienTI se convierte en un objeto de legitimación de acuerdos entre los integrantes del GI, como la no vinculación antes de que un investigador pueda aportar a la clasificación del GI, diferenciando un miembro activo, que puede participar en las actividades del GI, y un miembro oficial, registrado en la plataforma, cuando su vinculación se materializa en productos concretos que son considerados por el MM de Colciencias.

Los procesos de evaluación de Colciencias han influido en las prácticas de colaboración de los GI, especialmente en los de menor trayectoria. Se identifica una endogenización de los criterios de cohesión y cooperación del MM para proyectar productos conjuntos y decidir sobre colaboraciones entre miembros del GI y con investigadores externos. Estudios previos han mostrado el uso de los resultados de la medición para evaluar posibles socios de acuerdo con la trayectoria reflejada en la categoría del GI (Cardona-Gómez & Calderón-Hernández, 2010). Así, esta investigación evidencia la utilización de métricas específicas del MM para tomar decisiones sobre las colaboraciones.

De otra parte, la producción y visibilización de los resultados se ven impactadas de forma directa por el MM, al orientar la priorización de productos, los sitios de visibilización, tales como las revistas en las cuales publicar o el tipo de productos. Las estrategias al respecto varían de acuerdo con la estrategia general del GI. Así, los GI reactivos generan criterios propios para responder al MM, mientras que los GI con estrategia neutral ligan sus PI a objetivos estratégicos o dinámicas del GI, independientes de los procesos de evaluación. Un elemento común a todos los GI es la generación de prácticas sistemáticas de registro de su producción, de acuerdo con los lineamientos del MM, llevando, en algunos casos, a acudir a un experto en ese MM o que un miembro del colectivo asuma ese rol. En ese sentido, los procesos de evaluación no solo tienen influencia en las prácticas de investigación sino también en las de gestión de la información.

Lo que se observa es que el nivel de coherencia de las prácticas de investigación del GI con aquellas promovidas por el MM genera impactos heterogéneos, con estrategias diferenciadas entre los GI estudiados.

Los resultados muestran que la endogenización se presenta no solamente en el nivel de GI e investigadores, sino también en el contexto institucional. Para la Universidad analizada, el MM de Colciencias se ha incorporado en los mecanismos de fomento a la investigación, para que respondan directamente al MM.

Los hallazgos pueden apoyar en la definición de políticas institucionales que reconozcan la heterogeneidad de los GI y el proceso de endogenización de los MM y su incidencia sobre el quehacer investigativo. Además, se identifica la necesidad de que las instituciones se reconozcan como actores propositivos dentro de las políticas de CTI, más allá de sus límites organizacionales.

Los casos estudiados ilustran que un proceso de medición propuesto para proveer información sobre las capacidades nacionales de CTI e insumos para la discusión y el diseño de políticas, se ha endogenizado de diferentes formas por parte de los actores evaluados. Así, el registro está mediado por estrategias y acuerdos en cada GI, que hacen que existan diferencias entre la información reportada y las dinámicas propias de los colectivos de investigación.

Este trabajo aporta a la comprensión de cómo, aspectos asociados a los lineamientos de políticas de CTI, tales como el MM de GI, se entrelazan con las estrategias de estos e influyen algunos aspectos particulares de sus prácticas de investigación.

Los resultados contribuyen, tanto a la discusión sobre la performatividad de la evaluación de la CTI, como a la gestión de la investigación universitaria. Las estrategias identificadas en los GI vinculan reflexiones que han planteado los estudios sociales de la ciencia sobre limitantes de los indicadores para dar cuenta de las dimensiones de las actividades de CTI (Molas-Gallart & Rafols, 2018), con las aportadas por las áreas de gestión sobre los retos de la función misional de la investigación en las universidades (Hazelkorn & OECD, 2005; Morris & Rip, 2006).

Los estudios previos están centrados, en su mayoría, en las estrategias de los investigadores individuales frente a los sistemas de financiación. El análisis desde los GI para los ámbitos de evaluación brinda nuevos elementos para comprender la reconstrucción local que hacen los colectivos de investigación de las demandas de su contexto, y la capacidad de generar transformaciones en él. En esa dirección, se identifica el rol de las asociaciones académicas y profesionales para posibilitar dichos cambios. Además, las estrategias sugieren diferencias en las áreas de conocimiento de los GI ligadas a la brecha con los modelos de evaluación, aunque la limitación del trabajo en cuanto al reducido número de casos en una sola universidad y de entrevistados por cada GI y de GI en cada categoría, imposibilita su constatación, dadas las trayectorias heterogéneas de los colectivos analizados. Este es un estudio exploratorio que busca identificar tipos de estrategias ante un MM. No obstante, futuras investigaciones podrán ampliar el análisis a un mayor número de grupos de investigación, considerando varios miembros de cada uno, y diversas instituciones.

Consideraciones éticas

El proyecto “Redes de prácticas de colaboración de grupos de investigación y procesos de producción de conocimiento asociados: Un estudio de casos en una Universidad Colombiana”, código PCI-2016-8977 contó con aval del Comité de Ética de la Universidad El Bosque.

Contribución de los autores

Las tres autoras C. Pérez-Martelo, N. Patarroyo-Durán y A. Jaime contribuyeron por igual en la conceptualización, recolección y curación de datos, análisis e interpretación de la información, redacción y revisiones del artículo.

Financiación

En la realización de la investigación y elaboración del artículo se contó con financiación a través de dos proyectos:

1) “Redes de prácticas de colaboración de grupos de investigación y procesos de producción de conocimiento asociados: Un estudio de casos en una Universidad Colombiana”, financiado por la Universidad El Bosque (código PCI-2016-8977).

2) “Redes de colaboración científica sobre (y en tiempos de) el COVID-19: Prácticas emergentes, promesas tecnocientíficas, y vínculos nacionales e internacionales de grupos de investigación colombianos”, financiado por la Universidad Central (Código 20306029), la Universidad El Bosque (Código PIS-2020-019) y la Corporación Universitaria Minuto de Dios.

Conflictos de interés

Las autoras declaran que no tienen ningún tipo de conflicto de interés asociado al desarrollo de la investigación o presentación del artículo.

Referencias

Notas

* Artículo de investigación.

¹ La noción de endogenización, referida a la reconstrucción local que hacen los GI de elementos de su contexto, fue propuesta por Dominique Vinck durante los seminarios del proyecto LODYSENANO - Logiques et Dynamiques Sociologiques et Economiques des Nanosciences et Nanotechnologies, realizados en el periodo 2008-2009 en Grenoble, Francia.

² El Ministerio de Ciencia, Tecnología e Innovación (MinCiencias), antes Colciencias, promueve las políticas públicas para fomentar la CTI en Colombia. En este artículo se hará referencia a Colciencias porque era el contexto institucional existente durante la investigación. Ver https://minciencias.gov.co/

³ Ver https://minciencias.gov.co/scienti. En esta plataforma la hoja de vida de los investigadores se registra en el aplicativo CvLAC y la información de los grupos de investigación en otro llamado GrupLAC.

⁴ Ver en Orozco et al. (2013) la descripción de la evolución del proceso de evaluación desde sus inicios.

⁵ Clasificados como: Eméritos, Sénior, Asociado, Junior, investigadores en formación e integrantes vinculados a GI. Ver https://minciencias.gov.co/node/2957, consultado en marzo 16 de 2020.

⁶ A partir de 2014, una vez cerrada la convocatoria de Colciencias, se realizan las mesas interinstitucionales que se concentran en analizar dos aspectos: el modelo de medición y los resultados obtenidos.

⁷ Agremiación Colombiana de Facultades de Arquitectura. Ver http://www.arquitecturaacfa.org/

⁸ Asociación Colombiana Red Académica de Diseño. Ver https://radcolombia.org/web/

⁹ En las mesas de trabajo participaron GI de otras universidades, que no estaban incluidos en la muestra definida

Notas de autor

^a Autora de correspondencia. E-mail: cperezm@ucentral.edu.co

Información adicional

Para citar este artículo: Pérez-Martelo, C., Patarroyo-Durán, N., & Jaime, A. (2022). Estrategias y prácticas de los grupos de investigación frente a los sistemas de evaluación. Un estudio de caso en Colombia. Cuadernos de Administración, 35. https://doi.org/10.11144/Javeriana.cao35.epgif

Descargar