Introducción

El presente artículo está enmarcado dentro del área de investigación alrededor de las analíticas del aprendizaje, los cuales promueven el uso de los datos generados en los diferentes niveles del proceso educativo con el fin de implementar herramientas que soporten la toma de decisiones objetivas para los diferentes grupos de interés del proceso (Gasevic et al., 2014): estudiantes, gestores educativos, profesores, entidades gubernamentales, agencias de acreditación, entre otras. Consecuentemente, el objetivo del trabajo es analizar y predecir los resultados en la competencia de razonamiento cuantitativo del examen de Estado para la formación en ingeniería en el año 2020 en Colombia, sobre la base de los correspondientes resultados en el examen de Estado para la educación secundaria en el año 2016 (ver tabla 1). El ejercicio de alinear el resultado del examen nacional universitario (SABER PRO) con el examen de la escuela secundaria hace posible establecer relaciones compatibles de evolución y la determinación del valor agregado que una universidad genera en la formación de los profesionales. En ese sentido, contar con información objetiva sobre las condiciones que podrían impactar positiva o negativamente en la formación académica de un estudiante constituye una previsión estratégica para determinar la planeación y asignación de los recursos educativos en función de maximizar la evolución académica de los estudiantes y consecuentemente mejorar la percepción del servicio educativo ofrecido por parte de la universidad (Delahoz-Dominguez et al., 2020a).

La necesidad del estudio tiene dos fundamentos. En primer lugar, está la perspectiva del estudiante, el cual al terminar la escuela secundaria se ve abocado a una de las decisiones fundamentales para su vida: ¿qué estudiar en la universidad? Diferentes investigaciones han evidenciado la ausencia de herramientas objetivas para la toma de esta importante decisión. Por ejemplo, Kamal et al. (2024) muestran que los alumnos escogen la carrera a estudiar basados en factores subjetivos como la cercanía, el costo o la presión de su grupo familiar o de su círculo social. Además, otros autores (Columbu et al., 2021; Gwelo, 2019) han evidenciado que una discrepancia entre las expectativas de los estudiantes y su percepción del servicio educativo son factores críticos para determinar el abandono estudiantil universitario.

En segundo lugar, está la perspectiva de los gestores educativos a nivel universitario y gubernamental. Para los primeros, la creación de nuevas universidades y la educación en línea han generado un escenario altamente competitivo donde la innovación y la oferta de servicios diferenciadores resultan fundamentales para garantizar la estabilidad y el futuro de las instituciones (Hart & Rodgers, 2024). Para el sector gubernamental, es primordial estimar la evolución de los estudiantes para poder identificar instituciones de excelencia sobre las cuales se puedan replicar buenas prácticas y amplificar el impacto de los recursos invertidos en educación (Visbal-Cadavid et al., 2017). Paralelamente, diferentes autores han evidenciado cómo en los estudios universitarios de ingeniería las asignaturas con un alto componente cuantitativo se convierten en causantes de deserción estudiantil (Berens et al., 2019; Eichler & Gradwohl, 2021; Heidrich et al., 2018). Por lo tanto, es pertinente proyectar el desempeño futuro en esta área para generar planes de acción que permitan recomendar, intervenir y mejorar el proceso de relacionamiento de los estudiantes con la universidad.

Tradicionalmente, los resultados de las pruebas estatales de evaluación de la calidad de la educación han sido utilizados como herramienta para caracterizar los colegios, universidades y programas académicos, además de servir como un estimador de los conocimientos adquiridos por los estudiantes durante su paso por una institución (Aparicio et al., 2019). Otro aspecto de utilidad de las pruebas estandarizadas nacionales es que sirven como criterio para el otorgamiento de becas a los estudiantes (McLaughlin et al., 2023). Específicamente en el caso colombiano, en el periodo de 2015-2020 se han desarrollado dos grandes planes de becas para acceder a la educación universitaria, el programa Ser Pilo Paga y Generación E, los cuales han beneficiado a más de cuarenta mil estudiantes con una inversión por parte del Estado de dos billones de pesos colombianos por año (Londoño-Vélez et al., 2020). Sin embargo, los beneficios económicos otorgados por las becas mencionadas no son libres de contraprestación, de modo que el estudiante becado está obligado a culminar los estudios profesionales que ha escogido en una universidad pública o privada en un periodo de tiempo establecido, y en el caso de que la persona abandone los estudios, tendrá que afrontar una deuda proporcional a los desembolsos que se le han dado como parte del crédito-beca. En ese sentido, esta investigación intenta aprovechar las estructuras actuales de evaluación con las que cuenta el Estado colombiano para generar información objetiva que pueda servir como orientación y guía a los gestores educativos y a los estudiantes al momento de tomar decisiones basadas en datos. Así, la premisa fundamental del estudio está soportada por las preguntas de investigación: ¿Es posible predecir el resultado de la competencia de razonamiento cuantitativo de los exámenes universitarios basándose en los resultados de los exámenes nacionales estandarizados de la educación secundaria para estudiantes de ingeniería? ¿Cuáles de las competencias académicas evaluadas en el examen estatal de la educación secundaria tienen mayor impacto en el desempeño de dicha competencia del examen nacional universitario para estudiantes de ingeniería?

La hipótesis global del estudio es que a través de métodos de aprendizaje automático es posible determinar las relaciones de asociación entre las dimensiones académicas de un examen estandarizado con el desempeño en la competencia de razonamiento cuantitativo. Las hipótesis específicas son: 1) la competencia de matemáticas evaluada en el examen de la educación secundaria tiene un impacto positivo en el resultado de la competencia de razonamiento cuantitativo del examen universitario; 2) la competencia de biología tiene un impacto positivo en el desempeño de la competencia de razonamiento cuantitativo; y 3) el desempeño de la métrica R₂ del modelo predictivo es superior al 60 %.

Metodología

La presente investigación es de tipo explicativa, al buscar las relaciones intrínsecas que permiten estimar cómo las variables de entrada influyen en el desempeño de la competencia de razonamiento cuantitativo (Oates, 2005). Puesto que utiliza datos históricos, se considera retrospectiva y no experimental, dado que no existe alteración de las variables de entrada al modelo.

Los datos utilizados corresponden a recopilación de las bases de datos de las pruebas SABER PRO y SABER 11 realizada por Delahoz-Dominguez et al. (2020b). La población de estudio corresponde a 12 411 estudiantes de ingeniería que presentaron el examen SABER PRO para el año 2020.

Para los propósitos del estudio, se utilizó el modelo de aprendizaje automático random forest (Breiman, 2001), el cual representa un sistema de ensamblaje enfocado en la recurrencia y la construcción de múltiples árboles de decisión mediante el mecanismo de agregación (Wright & Ziegler, 2017). Este método crea un conjunto de árboles predictivos, con un subconjunto diferente de predictores utilizados por cada instancia. Cada árbol genera una clasificación autónoma, que luego se combina con interpolación numérica para formar la predicción final. Esta arquitectura de predicción individual, que posteriormente se combina para crear modelos robustos, optimiza la precisión predictiva y de clasificación al ser menos sensible a los valores atípicos que los árboles por sí solos. La implementación de randomforest incluye la selección automática de variables, lo que permite procesar conjuntos de datos de alta dimensión sin necesidad de realizar previamente pasos de reducción dimensional. Además, el algoritmo cuantifica la relevancia específica de cada atributo mediante permutaciones controladas, posibilitando evaluar variables individuales sin relación con sus interacciones con otros predictores del modelo.

Medidas de desempeño

El coeficiente de determinación R² y el error cuadrático medio (RMSE) fueron seleccionados como métricas para evaluar el desempeño del modelo random forest.

El R² es una métrica que indica qué proporción de la variabilidad en la variable dependiente (real) puede ser explicada por el modelo de regresión. El R² puede tomar valores entre 0 y 1, siendo 1 la capacidad del modelo para el 100 % de la variabilidad de los datos, y 0 un indicador de que el modelo es tan bueno como el resultado que puede entregar el promedio de la variable de respuesta. Puede calcularse mediante la siguiente ecuación:

El RMSE indica qué tan lejos, en promedio, están las predicciones del modelo respecto a los valores reales. Al estar en las mismas unidades de la variable de interés, permite una interpretación directa: un RMSE de 5 significa que las predicciones fallan en promedio por 5 unidades.

Resultados

Este apartado se divide en dos secciones: la primera muestra un análisis exploratorio de los datos, donde a través de estadísticas descriptivas se representan detalladamente las características de los estudiantes, universidades y programas académicos que componen la base de datos utilizada. En segundo lugar, se presenta el resultado de los modelos de aprendizaje automático.

Análisis exploratorio de los datos

Como se evidencia en la tabla 2, en las carreras de ingeniería estudiadas el porcentaje de hombres es superior al de mujeres, excepto para las carreras de ingeniería industrial e ingeniería química, donde las mujeres representan mayoría. Es de resaltar el caso de ingeniería mecatrónica, donde el 91 % de los estudiantes son hombres.

En cuanto al régimen del colegio de donde provienen los alumnos, en la tabla 3 se encuentra una distribución heterogénea entre las carreras: se pasa de una proporción balanceada en ingeniería civil, a carreras donde la proporción de estudiantes procedentes de colegios privados es mayoritaria, como ingeniería química, siendo el caso de mayor proporción de estudiantes de colegios públicos el de ingeniería mecatrónica.

En la tabla 4 se aprecia cómo la mayoría de los estudiantes no trabaja al momento del tomar el examen; se identifica a ingeniería aeronáutica como la carrera con mayor proporción de estudiantes trabajando.

En la tabla 5, se muestra el resumen de promedios y desviaciones para cada una de las competencias evaluadas en el examen SABER 11 que sirven como variables de entrada a los modelos predictivos. Se resalta la carrera de ingeniería eléctrica, la cual presenta resultados promedio superiores al resto de las carreras estudiadas.

Modelo predictivo para la competencia de razonamiento cuantitativo

En la tabla 6 se presenta el resultado del modelo random forest y la clasificación de las variables según su importancia en la predicción de la competencia de razonamiento cuantitativo, de mayor a menor. Consecuentemente, las variables con la mayor importancia para predecir el resultado de la variable RC son matemáticas (MAT_S11) y biología (BIO_S11).

A continuación, se realiza un análisis particular del efecto que tienen estas variables, quitando el efecto conjunto de las otras variables predictoras sobre la predicción del desempeño en la competencia de razonamiento cuantitativo del examen SABER PRO. Para este propósito se presenta la figura 1, donde el eje X representa el puntaje en matemáticas en la prueba SABER 11 y el eje Y muestra el efecto parcial en el rendimiento de la competencia de razonamiento cuantitativo. Se observa que a medida que aumenta el puntaje en matemáticas (MAT_S11), el efecto sobre el rendimiento en razonamiento cuantitativo también aumenta de manera significativa, especialmente a partir de un puntaje de 50 en adelante, mostrando un crecimiento rápido hasta cerca de 90 puntos en el eje Y. Esto indica que las competencias en matemáticas tienen un impacto positivo y considerable en razonamiento cuantitativo.

Seguidamente, para la competencia de biología se observa un comportamiento similar al de matemáticas, aunque con un crecimiento algo más moderado. A partir de un resultado global de 40 puntos en biología, el efecto sobre razonamiento cuantitativo empieza a aumentar significativamente, alcanzando su valor más alto en 85 puntos en el eje Y. Esto muestra que las competencias en biología también contribuyen positivamente al rendimiento en razonamiento cuantitativo, aunque con un impacto ligeramente menor en comparación con matemáticas.

Aporte parcial de las competencias en matemáticas y biología

Fuente: elaboración propia.

Validación del modelo

Para validar el enfoque de predicción del presente trabajo se presentan los resultados de desempeño del modelo de random forest para predecir efectivamente el resultado de la competencia de razonamiento cuantitativo a nivel universitario para estudiantes de bachillerato. En primer lugar, la tabla 7 evidencia que la variabilidad en los valores de RMSE y R² entre los subconjuntos de datos es relativamente baja, sugiriendo que el modelo random forest es robusto y consistente en la mayoría de las particiones del conjunto de datos. Además, la consistencia en los valores de R² cercanos a 0,70 y los RMSE alrededor de 10,5 indican que el modelo mantiene un equilibrio entre precisión predictiva y capacidad explicativa.

Finalmente, se utilizaron 400 árboles, con una profundidad máxima de 5 niveles cada uno, debido a que esta combinación arrojó los mejores resultados: un error (RMSE) de 10,95 y un poder explicativo (R²) de 0,69, lo cual sugiere que el modelo tiene una capacidad predictiva aceptable.

Discusión

Los hallazgos de la presente investigación se centran en la importancia del razonamiento cuantitativo como habilidad pilar para la formación en ingeniería. Como señalan Salazar-Fernández et al. (2019) en los resultados de un trabajo aplicado en la Universidad Austral de Chile, un bajo rendimiento matemático inicial es un predictor crítico de la deserción estudiantil, lo que respalda nuestra conclusión de que evaluar el rendimiento mediante esta competencia permite identificar a los estudiantes que podrían necesitar apoyo académico.

Lo anterior se refuerza al considerar que, como señalan Eichler y Gradwohl (2021), el desempeño preuniversitario influye significativamente en el éxito profesional posterior. Los resultados de la presente investigación concuerdan con esta posición, destacando que las proyecciones académicas no solo deben vincularse al rendimiento escolar, sino también emplearse como herramienta para mejorar trayectorias laborales.

Un contrapunto valioso surge de Bosch et al. (2021), cuyo trabajo revela que las actividades educativas aplicadas tardíamente en el ciclo formativo pueden impactar más el rendimiento final que los antecedentes académicos previos. Esto sugiere que las intervenciones oportunas mantienen su relevancia incluso con bases formativas sólidas.

Por otro lado, en el ámbito metodológico es importante resaltar la investigación realizada por Kongara y Sathyanarayana (2019), quienes lograron una precisión de predicción del 88,6 % en matemáticas utilizando la técnica de random forest. Si bien su enfoque clasifica el rendimiento en categorías discretas (a diferencia de nuestro modelo continuo), su éxito valida la utilidad de esta técnica. De igual manera, Soto-Acevedo et al. (2023) demostraron la viabilidad de integrar evaluaciones estandarizadas mediante la combinación de las pruebas SABER 11 y SABER PRO para predecir el rendimiento en ingeniería (AUC = 0,82).

Paralelamente, la transversalidad de esta competencia fue demostrada por Mayes et al. (2020), quienes confirmaron que el pensamiento cuantitativo mejora la formación universitaria en el área de biología (ciencias naturales), lo cual fortalece la idea de una conexión interdisciplinaria al encontrar correlaciones significativas entre el razonamiento cuantitativo (SABER PRO) y las habilidades en el área de la biología (SABER 11). Esto respalda los hallazgos de Tossavainen et al. (2021) sobre la manera en que las deficiencias matemáticas afectan el desempeño en ingeniería.

Sin embargo, en la investigación de Zakariya et al. (2023) no se evidencian correlaciones significativas entre la formación matemática previa, las estrategias de aprendizaje y el rendimiento en ingeniería, una discrepancia que representa la complejidad del fenómeno estudiado.

En este sentido, el modelo de la presente investigación de bosque aleatorio (R² = 0,69, RMSE = 10,95) demostró una alta tasa predictiva, coincidiendo con Nachouki et al. (2023) en cuanto a la utilidad de este algoritmo para discriminar variables que contribuyen al rendimiento. La fuerte correlación entre las habilidades matemáticas en la educación media (SABER 11) y el rendimiento posterior es pertinente, lo que resalta la necesidad de fortalecer estas habilidades en la secundaria. Ahora bien, aunque la influencia de las habilidades en biología fue menos significativa, sus refuerzos siguen siendo valiosos en las etapas iniciales.

Finalmente, estos resultados proporcionan bases para el diseño de intervenciones en la educación media. Asimismo, como estrategia de retención y mejora del rendimiento académico en la educación superior es necesario contemplar un plan para el fortalecimiento de estas competencias básicas, focalizando a los estudiantes que obtuvieron un rendimiento inferior en SABER 11, especialmente en matemáticas.

Por su parte, se reconoce como una limitación la necesidad de contemplar el análisis de las variables asociadas a los factores socioeconómicos para lograr una comprensión más completa del rendimiento universitario.

Conclusiones

La presente investigación tuvo como objetivo la evaluación de un modelo de predicción que permitiera definir los elementos claves que influyen en el rendimiento académico. Teniendo en cuenta lo anterior, se construyó una base de información para el análisis de este problema identificado.

En este orden de ideas, el modelo se construyó a partir del algoritmo random forest. Los resultados indican que las habilidades en matemáticas y biología son los predictores más significativos del éxito en el razonamiento cuantitativo. Esta correlación sugiere que el fortalecimiento de estas habilidades durante la educación media tendrá un impacto directo en las habilidades cuantitativas universitarias.

Además, el modelo de la presente investigación demostró una alta eficiencia predictiva (R² = 0,69), lo que confirma su utilidad fiable para proyectos académicos. Esta capacidad es especialmente útil en entornos educativos complejos, donde el algoritmo random forest destaca por procesar grandes cantidades de datos y capturar interacciones no lineales entre variables.

Por último, la investigación genera su aporte en la frontera del conocimiento de modelos para el análisis de la calidad en la educación, en la medida en que el actual modelo diagnostica y logra predecir escenarios para la mejora continua.

Sobre los autores

Enrique Delahoz-Dominguez es docente de planta de la Universidad del Magdalena, Colombia, e investigador en temas de inteligencia artificial aplicada temas de educación.

Rohemi Zuluaga-Ortiz es ingeniero industrial, magister en ingeniería y doctorando en estadística, optimización y matemática aplicada. Docente en la Universidad del Sinú, Colombia. Investigador en áreas de analítica de datos, eficiencia y productividad.

Carlos García-Yerena es docente de educación física de la Universidad del Magdalena, Colombia, e investigador en el área de la educación, salud, entrenamiento y del deporte.

Referencias

Notas de autor

enriquedelahoz@unimagdalena.edu.co

Información adicional

Descripción del artículo | Article description | Descrição do artigo : Este artículo de investigación se enmarca dentro del área de las analíticas del aprendizaje y se centra en el desarrollo y validación de un modelo predictivo para estimar el rendimiento en la competencia de razonamiento cuantitativo en estudiantes de ingeniería en Colombia, utilizando datos de las pruebas estandarizadas SABER 11 y SABER PRO. La investigación emplea técnicas de aprendizaje automático, específicamente un modelo random forest, para analizar la relación entre diversas competencias académicas y el desempeño en razonamiento cuantitativo. El trabajo no reporta información específica sobre financiación, pero involucra la colaboración entre la Universidad del Magdalena y la Universidad del Sinú.

Para citar este artículo | To cite this article | Para citar este artigo: Delahoz-Dominguez, E., Zuluaga-Ortiz, R. & García-Yerena, C. (2025). Evaluación predictiva de las habilidades en razonamiento cuantitativo en ingeniería. magis, Revista Internacional de Investigación en Educación, 18, 1-16. https://doi.org/10.11144/Javeriana.m18.ehrc

Descargar