El presente artículo está enmarcado dentro del área de investigación alrededor de las analíticas del aprendizaje, los cuales promueven el uso de los datos generados en los diferentes niveles del proceso educativo con el fin de implementar herramientas que soporten la toma de decisiones objetivas para los diferentes grupos de interés del proceso (Gasevic et al., 2014): estudiantes, gestores educativos, profesores, entidades gubernamentales, agencias de acreditación, entre otras. Consecuentemente, el objetivo del trabajo es analizar y predecir los resultados en la competencia de razonamiento cuantitativo del examen de Estado para la formación en ingeniería en el año 2020 en Colombia, sobre la base de los correspondientes resultados en el examen de Estado para la educación secundaria en el año 2016 (ver tabla 1). El ejercicio de alinear el resultado del examen nacional universitario (SABER PRO) con el examen de la escuela secundaria hace posible establecer relaciones compatibles de evolución y la determinación del valor agregado que una universidad genera en la formación de los profesionales. En ese sentido, contar con información objetiva sobre las condiciones que podrían impactar positiva o negativamente en la formación académica de un estudiante constituye una previsión estratégica para determinar la planeación y asignación de los recursos educativos en función de maximizar la evolución académica de los estudiantes y consecuentemente mejorar la percepción del servicio educativo ofrecido por parte de la universidad (Delahoz-Dominguez et al., 2020a).

La necesidad del estudio tiene dos fundamentos. En primer lugar, está la perspectiva del estudiante, el cual al terminar la escuela secundaria se ve abocado a una de las decisiones fundamentales para su vida: ¿qué estudiar en la universidad? Diferentes investigaciones han evidenciado la ausencia de herramientas objetivas para la toma de esta importante decisión. Por ejemplo, Kamal et al. (2024) muestran que los alumnos escogen la carrera a estudiar basados en factores subjetivos como la cercanía, el costo o la presión de su grupo familiar o de su círculo social. Además, otros autores (Columbu et al., 2021; Gwelo, 2019) han evidenciado que una discrepancia entre las expectativas de los estudiantes y su percepción del servicio educativo son factores críticos para determinar el abandono estudiantil universitario.

En segundo lugar, está la perspectiva de los gestores educativos a nivel universitario y gubernamental. Para los primeros, la creación de nuevas universidades y la educación en línea han generado un escenario altamente competitivo donde la innovación y la oferta de servicios diferenciadores resultan fundamentales para garantizar la estabilidad y el futuro de las instituciones (Hart & Rodgers, 2024). Para el sector gubernamental, es primordial estimar la evolución de los estudiantes para poder identificar instituciones de excelencia sobre las cuales se puedan replicar buenas prácticas y amplificar el impacto de los recursos invertidos en educación (Visbal-Cadavid et al., 2017). Paralelamente, diferentes autores han evidenciado cómo en los estudios universitarios de ingeniería las asignaturas con un alto componente cuantitativo se convierten en causantes de deserción estudiantil (Berens et al., 2019; Eichler & Gradwohl, 2021; Heidrich et al., 2018). Por lo tanto, es pertinente proyectar el desempeño futuro en esta área para generar planes de acción que permitan recomendar, intervenir y mejorar el proceso de relacionamiento de los estudiantes con la universidad.

Tradicionalmente, los resultados de las pruebas estatales de evaluación de la calidad de la educación han sido utilizados como herramienta para caracterizar los colegios, universidades y programas académicos, además de servir como un estimador de los conocimientos adquiridos por los estudiantes durante su paso por una institución (Aparicio et al., 2019). Otro aspecto de utilidad de las pruebas estandarizadas nacionales es que sirven como criterio para el otorgamiento de becas a los estudiantes (McLaughlin et al., 2023). Específicamente en el caso colombiano, en el periodo de 2015-2020 se han desarrollado dos grandes planes de becas para acceder a la educación universitaria, el programa Ser Pilo Paga y Generación E, los cuales han beneficiado a más de cuarenta mil estudiantes con una inversión por parte del Estado de dos billones de pesos colombianos por año (Londoño-Vélez et al., 2020). Sin embargo, los beneficios económicos otorgados por las becas mencionadas no son libres de contraprestación, de modo que el estudiante becado está obligado a culminar los estudios profesionales que ha escogido en una universidad pública o privada en un periodo de tiempo establecido, y en el caso de que la persona abandone los estudios, tendrá que afrontar una deuda proporcional a los desembolsos que se le han dado como parte del crédito-beca. En ese sentido, esta investigación intenta aprovechar las estructuras actuales de evaluación con las que cuenta el Estado colombiano para generar información objetiva que pueda servir como orientación y guía a los gestores educativos y a los estudiantes al momento de tomar decisiones basadas en datos. Así, la premisa fundamental del estudio está soportada por las preguntas de investigación: ¿Es posible predecir el resultado de la competencia de razonamiento cuantitativo de los exámenes universitarios basándose en los resultados de los exámenes nacionales estandarizados de la educación secundaria para estudiantes de ingeniería? ¿Cuáles de las competencias académicas evaluadas en el examen estatal de la educación secundaria tienen mayor impacto en el desempeño de dicha competencia del examen nacional universitario para estudiantes de ingeniería?

La hipótesis global del estudio es que a través de métodos de aprendizaje automático es posible determinar las relaciones de asociación entre las dimensiones académicas de un examen estandarizado con el desempeño en la competencia de razonamiento cuantitativo. Las hipótesis específicas son: 1) la competencia de matemáticas evaluada en el examen de la educación secundaria tiene un impacto positivo en el resultado de la competencia de razonamiento cuantitativo del examen universitario; 2) la competencia de biología tiene un impacto positivo en el desempeño de la competencia de razonamiento cuantitativo; y 3) el desempeño de la métrica R₂ del modelo predictivo es superior al 60 %.

Tabla 1 Tabla 1 Estructura de los módulos del examen SABER 11

Fuente: elaboración propia.

La presente investigación es de tipo explicativa, al buscar las relaciones intrínsecas que permiten estimar cómo las variables de entrada influyen en el desempeño de la competencia de razonamiento cuantitativo (Oates, 2005). Puesto que utiliza datos históricos, se considera retrospectiva y no experimental, dado que no existe alteración de las variables de entrada al modelo.

Los datos utilizados corresponden a recopilación de las bases de datos de las pruebas SABER PRO y SABER 11 realizada por Delahoz-Dominguez et al. (2020b). La población de estudio corresponde a 12 411 estudiantes de ingeniería que presentaron el examen SABER PRO para el año 2020.

Para los propósitos del estudio, se utilizó el modelo de aprendizaje automático random forest (Breiman, 2001), el cual representa un sistema de ensamblaje enfocado en la recurrencia y la construcción de múltiples árboles de decisión mediante el mecanismo de agregación (Wright & Ziegler, 2017). Este método crea un conjunto de árboles predictivos, con un subconjunto diferente de predictores utilizados por cada instancia. Cada árbol genera una clasificación autónoma, que luego se combina con interpolación numérica para formar la predicción final. Esta arquitectura de predicción individual, que posteriormente se combina para crear modelos robustos, optimiza la precisión predictiva y de clasificación al ser menos sensible a los valores atípicos que los árboles por sí solos. La implementación de randomforest incluye la selección automática de variables, lo que permite procesar conjuntos de datos de alta dimensión sin necesidad de realizar previamente pasos de reducción dimensional. Además, el algoritmo cuantifica la relevancia específica de cada atributo mediante permutaciones controladas, posibilitando evaluar variables individuales sin relación con sus interacciones con otros predictores del modelo.

Este apartado se divide en dos secciones: la primera muestra un análisis exploratorio de los datos, donde a través de estadísticas descriptivas se representan detalladamente las características de los estudiantes, universidades y programas académicos que componen la base de datos utilizada. En segundo lugar, se presenta el resultado de los modelos de aprendizaje automático.

Tabla 7 Tabla 7 Resultados de la fase de validación cruzada Fuente: elaboración propia.

Finalmente, se utilizaron 400 árboles, con una profundidad máxima de 5 niveles cada uno, debido a que esta combinación arrojó los mejores resultados: un error (RMSE) de 10,95 y un poder explicativo (R²) de 0,69, lo cual sugiere que el modelo tiene una capacidad predictiva aceptable.

Los hallazgos de la presente investigación se centran en la importancia del razonamiento cuantitativo como habilidad pilar para la formación en ingeniería. Como señalan Salazar-Fernández et al. (2019) en los resultados de un trabajo aplicado en la Universidad Austral de Chile, un bajo rendimiento matemático inicial es un predictor crítico de la deserción estudiantil, lo que respalda nuestra conclusión de que evaluar el rendimiento mediante esta competencia permite identificar a los estudiantes que podrían necesitar apoyo académico.

Lo anterior se refuerza al considerar que, como señalan Eichler y Gradwohl (2021), el desempeño preuniversitario influye significativamente en el éxito profesional posterior. Los resultados de la presente investigación concuerdan con esta posición, destacando que las proyecciones académicas no solo deben vincularse al rendimiento escolar, sino también emplearse como herramienta para mejorar trayectorias laborales.

Un contrapunto valioso surge de Bosch et al. (2021), cuyo trabajo revela que las actividades educativas aplicadas tardíamente en el ciclo formativo pueden impactar más el rendimiento final que los antecedentes académicos previos. Esto sugiere que las intervenciones oportunas mantienen su relevancia incluso con bases formativas sólidas.

Por otro lado, en el ámbito metodológico es importante resaltar la investigación realizada por Kongara y Sathyanarayana (2019), quienes lograron una precisión de predicción del 88,6 % en matemáticas utilizando la técnica de random forest. Si bien su enfoque clasifica el rendimiento en categorías discretas (a diferencia de nuestro modelo continuo), su éxito valida la utilidad de esta técnica. De igual manera, Soto-Acevedo et al. (2023) demostraron la viabilidad de integrar evaluaciones estandarizadas mediante la combinación de las pruebas SABER 11 y SABER PRO para predecir el rendimiento en ingeniería (AUC = 0,82).

Paralelamente, la transversalidad de esta competencia fue demostrada por Mayes et al. (2020), quienes confirmaron que el pensamiento cuantitativo mejora la formación universitaria en el área de biología (ciencias naturales), lo cual fortalece la idea de una conexión interdisciplinaria al encontrar correlaciones significativas entre el razonamiento cuantitativo (SABER PRO) y las habilidades en el área de la biología (SABER 11). Esto respalda los hallazgos de Tossavainen et al. (2021) sobre la manera en que las deficiencias matemáticas afectan el desempeño en ingeniería.

Sin embargo, en la investigación de Zakariya et al. (2023) no se evidencian correlaciones significativas entre la formación matemática previa, las estrategias de aprendizaje y el rendimiento en ingeniería, una discrepancia que representa la complejidad del fenómeno estudiado.

En este sentido, el modelo de la presente investigación de bosque aleatorio (R² = 0,69, RMSE = 10,95) demostró una alta tasa predictiva, coincidiendo con Nachouki et al. (2023) en cuanto a la utilidad de este algoritmo para discriminar variables que contribuyen al rendimiento. La fuerte correlación entre las habilidades matemáticas en la educación media (SABER 11) y el rendimiento posterior es pertinente, lo que resalta la necesidad de fortalecer estas habilidades en la secundaria. Ahora bien, aunque la influencia de las habilidades en biología fue menos significativa, sus refuerzos siguen siendo valiosos en las etapas iniciales.

Finalmente, estos resultados proporcionan bases para el diseño de intervenciones en la educación media. Asimismo, como estrategia de retención y mejora del rendimiento académico en la educación superior es necesario contemplar un plan para el fortalecimiento de estas competencias básicas, focalizando a los estudiantes que obtuvieron un rendimiento inferior en SABER 11, especialmente en matemáticas.

Por su parte, se reconoce como una limitación la necesidad de contemplar el análisis de las variables asociadas a los factores socioeconómicos para lograr una comprensión más completa del rendimiento universitario.

La presente investigación tuvo como objetivo la evaluación de un modelo de predicción que permitiera definir los elementos claves que influyen en el rendimiento académico. Teniendo en cuenta lo anterior, se construyó una base de información para el análisis de este problema identificado.

En este orden de ideas, el modelo se construyó a partir del algoritmo random forest. Los resultados indican que las habilidades en matemáticas y biología son los predictores más significativos del éxito en el razonamiento cuantitativo. Esta correlación sugiere que el fortalecimiento de estas habilidades durante la educación media tendrá un impacto directo en las habilidades cuantitativas universitarias.

Además, el modelo de la presente investigación demostró una alta eficiencia predictiva (R² = 0,69), lo que confirma su utilidad fiable para proyectos académicos. Esta capacidad es especialmente útil en entornos educativos complejos, donde el algoritmo random forest destaca por procesar grandes cantidades de datos y capturar interacciones no lineales entre variables.

Por último, la investigación genera su aporte en la frontera del conocimiento de modelos para el análisis de la calidad en la educación, en la medida en que el actual modelo diagnostica y logra predecir escenarios para la mejora continua.