Alianzas público privadas en los servicios educativos en Colombia

Public-Private Partnering in the Educative Services in Colombia

Magis. Revista Internacional de Investigación en Educación, vol. 13, 2020

Pontificia Universidad Javeriana

Ximena Dueñas-Herrera 1

Instituto Colombiano para la Evaluación de la Educación, Colombia


Silvana Godoy-Mateus 2

Instituto Colombiano para la Evaluación de la Educación, Colombia


Jorge Leonardo Duarte-Rodríguez 3

Instituto Colombiano para la Evaluación de la Educación, Colombia


Diana Alexandra Oquendo-Victoria 4

Instituto Colombiano para la Evaluación de la Educación, Colombia


Johnny Ernesto Campiño-Castillo 5

Instituto Colombiano para la Evaluación de la Educación, Colombia


Recibido: 01 Agosto 2018

Aceptado: 27 Marzo 2019

Publicado: 01 Marzo 2020

Resumen: Las alianzas público privadas (APP) han sido reconocidas como una estrategia para aumentar la cobertura y calidad de la educación, sin embargo, su efectividad parece depender de la calidad de los contratos y del nivel de vigilancia del Estado. En este artículo se analiza la relación entre los resultados del examen Saber 11 aplicado en Colombia en 2015 y el sector o modalidad de los colegios. Con base en modelos multinivel, se concluye que, entre los estudiantes con alta probabilidad de pertenecer al sector oficial, aquellos que asisten a colegios oficiales evidencian un mejor desempeño promedio.

Palabras clave:Alianza público privada, calidad de la educación, educación, educación comparada, distribución del ingreso.

Abstract: The public-private partnering has been recognized as a strategy to increase both the coverage and quality of education. However, the effectiveness thereof apparently depends on the contract quality and the level of surveillance by the State. This article analyzes the relationship between results in the test Saber 11, which was applied in Colombia in 2014, and the sector or modality of the schools. Based on multi-level models, it is concluded that among the students with high probability to belong to a public school, those who do belong to a public school show a better average performance.

Keywords: Education, public private partnerships, educational quality, comparative education, income distribution.

Introducción

En Colombia, la oferta de educación escolar ha sido tradicionalmente ofrecida por los sectores público y privado. Los colegios públicos son gratuitos, dependen financiera y administrativamente de las secretarías de Educación y tienen personal vinculado laboralmente al sector oficial (Bautista, 2009). En contraste, los colegios privados cobran dependiendo del régimen en el que queden clasificados y no tienen la rigidez en materia de contratación y salarios del sector oficial (Decreto 1075 de 2017). Debido a la presión por ampliar la cobertura, en el primer lustro del siglo XXI surgieron las alianzas público privadas (APP) en el sector educativo colombiano. En este artículo se analizan dos modalidades de APP: matrícula contratada y colegios en concesión. En la primera, el Estado contrata a un colegio privado para que brinde el servicio educativo a estudiantes del sector oficial y paga por estudiante atendido. En la segunda modalidad, el Estado suele aportar la infraestructura y la dotación, y reconoce al concesionario una suma anual por estudiante atendido, después de descontar los costos efectivos asumidos por él.

En este contexto, el objetivo de este artículo es identificar la relación entre el tipo de colegio1 y los resultados del examen Saber 11 aplicado en 2015, y entre el tipo de colegio y las características socioeconómicas de los estudiantes. Para identificar estas relaciones, se emplean modelos multinivel con diferentes especificaciones y diferentes submuestras, entre las que se encuentra un grupo de estudiantes identificado mediante el propensity score de una regresión logística empleada para seleccionar aquellos alumnos con alta probabilidad de pertenecer al sector oficial. Aunque estas técnicas permiten reducir las amenazas a la validez estadística, no son apropiadas para combatir los problemas de endogeneidad asociados a la omisión de variables y errores de medición, que suelen ser comunes en datos observacionales (Rutkowski, 2016). Por estas razones, las relaciones presentadas en este artículo no permiten saber si existe una relación causal entre el tipo de colegio y los resultados académicos.

Los resultados muestran que la mayoría de estudiantes de bajo nivel socioeconómico pertenecen al sector oficial y a las dos modalidades de APP, y que los resultados del examen son, en promedio, más altos en los colegios privados. Sin embargo, al considerar las características contextuales y al comparar entre estudiantes que tienen una alta probabilidad de pertenecer al sector oficial, se encuentra que los colegios oficiales presentan, en promedio, resultados más altos. El último hallazgo invita a cuestionar la efectividad de las APP para mejorar la calidad de la educación y a investigar bajo qué condiciones deberían implementarse, pues, entre los estudiantes más desventajados socioeconómicamente, los que asisten a colegios oficiales alcanzan, en promedio, mejores resultados en el examen Saber 11 que aquellos que asisten a colegios con APP.

Sin contar esta introducción, este artículo se divide en cuatro secciones. La primera presenta una revisión de literatura sobre el desarrollo de las APP y su relación con el desempeño académico, la segunda describe los datos y las metodologías usadas, en la tercera se exponen los resultados y en la última se concluye y discuten los resultados.

Revisión de literatura

En el campo educativo, las APP se entienden como cualquier modalidad en la que exista colaboración entre los sectores público y privado para ofrecer servicios educativos (Verger & Moschetti, 2017). Diversos autores afirman que las APP minimizan los problemas de acceso y calidad, debido a que: a) permiten ampliar la oferta de forma rápida, pues se aprovecha la flexibilidad de contratación y los recursos económicos y humanos del sector privado; b) aumentan la libertad de elección de familias de bajo nivel socioeconómico al poner a su disposición colegios privados, lo que supone una mejora en términos de equidad, y c) ejercen presión para que los colegios compitan por atraer estudiantes, con lo que se pretende mejorar la calidad (Barrera-Osorio, Guáqueta & Patrinos, 2009; LaRocque, 2008; Tooley & Dixon, 2005, 2006).

Sin embargo, otros autores plantean que el éxito de las APP no depende de la libertad de elección ni de la competitividad, sino de la relación entre ambos sectores. Frente a este aspecto, Schaeffer & Loveridge (2002) argumentan que no es posible lograr la relación ideal de horizontalidad, pues el Estado siempre es visto como proveedor último del servicio, por lo que asume la mayor parte del riesgo. Como consecuencia, es más razonable pensar en una relación vertical, pero aun en este caso el Estado tiene dificultades, pues solo puede asegurar el cumplimiento de las condiciones contractuales, si tiene suficiente capacidad instalada para monitorear y sancionar. Por estas razones, en países con poca institucionalidad, las APP difícilmente logran los resultados esperados. Con respecto a la equidad, diversos autores argumentan que esta se ve afectada, dado que el sector privado tiene incentivos para atraer estudiantes de mayor nivel socioeconómico y mejor rendimiento, pues exigen menos gastos (Jabbar, 2016; Hsieh & Urquiola, 2003). Asimismo, Lubienski (2009) señala que mayor competencia no necesariamente mejora la calidad, pues la competencia del sector privado suele centrarse en estrategias simbólicas que orientan la elección de colegio en criterios de identificación social, como la religión y la política, y no en una mejor práctica pedagógica (Barrera-Osorio, Maldonado & Rodríguez, 2014).

Entre los pocos estudios cuantitativos internacionales, destaca el de Wößmann (2007), quien analiza la relación entre el desempeño académico y las APP, a partir de las bases de datos del Programa Internacional para la Evaluación de Estudiantes. Este autor encuentra que países con un alto nivel de participación privada en la administración de los colegios y altos porcentajes de financiación pública alcanzan un desempeño promedio en matemáticas que es 37,9 puntos mayor que el de países que cuentan con un sistema mayoritariamente financiado y administrado por el Estado. En contraste, una combinación de alta administración estatal y alta financiación privada se asocia a un menor desempeño. Además, se encuentra que el efecto negativo de la administración pública aumenta cuanto mayor es la financiación estatal. Las estimaciones hechas en el interior de los países indican que la relación entre la participación estatal y el desempeño no solo es negativa en el caso de la administración, sino también en el caso de la financiación. Sin embargo, por medio de estimaciones separadas para cada país, se encuentra que el sesgo de selección que afecta estas estimaciones solo incide sobre el coeficiente asociado a la financiación estatal, pues este solo resulta negativo en países con baja financiación pública.

Con respecto a evaluaciones aplicadas a programas específicos, se encuentran múltiples investigaciones enfocadas en el efecto de los bonos escolares, una de las formas más reconocidas de APP (Verger & Moschetti, 2017). Esta modalidad se diferencia de la matrícula contratada porque, en vez de entregar un valor monetario al colegio, este se entrega a la familia del estudiante. Las revisiones de Rouse & Barrow (2009) y Ladd (2002) muestran que, en la mayoría de los casos, la relación entre el desempeño y los bonos es positiva o no significativa. En Chile, Barrera-Osorio & Patrinos (2009) también encuentran resultados positivos o no significativos, con un alto nivel de consenso con respecto al aumento de la segregación socioeconómica entre alumnos de diferentes colegios, lo que puede explicarse por la posibilidad de seleccionar estudiantes y la alta autonomía pedagógica de los colegios. En Paquistán, también se encuentran estudios con resultados mixtos, que coinciden en la importancia de las variables asociadas con el nivel de involucramiento de la comunidad local y el carácter transitorio o de largo plazo de los programas (Farah & Rizvi, 2007).

Finalmente, la evidencia en Colombia se concentra en las modalidades de bonos y colegios en concesión. En la primera modalidad, destaca el Programa de Ampliación de la Educación Secundaria (Paces), que asignaba bonos para acceder a la educación privada a estudiantes de bajo nivel socioeconómico previamente aceptados por algún colegio participante. Angrist, Bettinger, Bloom, King & Michael (2002) y Angrist, Bettinger & Kremer (2006) muestran que, a partir de tres años de permanencia en el Paces, los beneficiarios tienen, en promedio, mayor probabilidad de aprobar los grados octavo y duodécimo, así como un mejor desempeño en el examen Saber 11. Estos autores advierten que el éxito del programa se debe a la mejor calidad de los colegios privados participantes con respecto a los colegios públicos, al proceso de selección de estudiantes y a las condiciones que deben cumplir alumnos y colegios para continuar en el programa. Estas características constituyen una marcada diferencia con respecto a la modalidad de matrícula contratada, pues, además de que esta no admite selección de estudiantes, los criterios de calidad que deben cumplir los colegios para contratar con el Estado no son exigentes.

En la segunda modalidad, destaca el programa Colegios en Concesión, desarrollado por la Secretaría de Educación de Bogotá en 1999. Aunque los efectos de este programa son heterogéneos entre los concesionarios, Barrera-Osorio (2006) y Bonilla (2011) concluyen que logró disminuir la deserción y aumentar el desempeño, pues se observa una mejora notoria en los resultados del examen Saber 11 aplicado en 2003. Según los autores, estos resultados se asocian a las condiciones del programa, entre las cuales destaca la posibilidad de terminar la concesión si los criterios de calidad se incumplen durante dos años consecutivos.

Uno de los pocos estudios que aborda de forma específica las modalidades de contratación del servicio educativo en Colombia es el de Castillo (2007). Mediante el análisis de las tasas de cobertura y matrícula presentadas entre 1996 y 2006, este autor concluye que, a pesar de que la estrategia de contratación generó efectos positivos en la ampliación de la cobertura, se ha focalizado de forma equívoca, pues se aprecia un efecto de sustitución entre la matrícula atendida por el sector privado y el sector público, y entre la matrícula oficial atendida por colegios públicos y aquella atendida por instituciones privadas. Además, la participación del servicio contratado ha sido considerablemente mayor en primaria que en los niveles de educación secundaria, lo que resulta incoherente si se tiene en cuenta que las tasas de cobertura de educación media y básica son cercanas al 80 %, mientras que el ciclo de primaria sobrepasa la cobertura universal.

Para evaluar la calidad del servicio contratado, Castillo (2007) analiza los resultados de la prueba Saber aplicada en 2005 a los grados quinto y noveno, y encuentra que los resultados alcanzados por los colegios privados que hacen parte del programa de contratación son considerablemente menores que los obtenidos por los colegios que no forman parte del programa, y que la superioridad de los primeros se mantiene en todos los grados y áreas evaluadas, siendo mayor en matemáticas y lenguaje. Con respecto a los colegios que tienen el reconocimiento del sector oficial, este autor encuentra que aquellos que no hacen parte de las modalidades de concesión alcanzan mejores resultados.

En síntesis, tanto los planteamientos teóricos como la evidencia empírica sugieren que las características contractuales entre los agentes públicos y privados son fundamentales para descifrar el tipo de relación entre las APP y el desempeño. Entre estas características destacan las condiciones para ser beneficiario del programa, el grado de autonomía del sector privado, la coexistencia con colegios puramente públicos y privados, la duración del programa y los criterios de calidad y experiencia exigidos para contratar con el Estado (Barrera-Osorio et al., 2014).

Por las razones expuestas anteriormente, resulta especialmente importante revisar algunas generalidades sobre la trayectoria de las APP en Colombia. Las APP entre el Estado y la Iglesia dieron paso a la contratación de servicios educativos con cualquier agente privado (Decreto 1286 de 2001; World Bank, 2006), posibilidad que se legalizó con el Decreto 1528 de 2002. Desde entonces, se reconocen tres modalidades de contratación: matrícula contratada, colegios en concesión y contratos con iglesias o confesiones religiosas. Estos contratos fueron regulados normativamente mediante diferentes decretos, en los que se establece que los contratistas deben tener “reconocida trayectoria” e “idoneidad”. Sin embargo, la normativa no fue clara con respecto al significado de estos términos ni a la forma de demostrar su cumplimiento.

Mediante el Decreto 4313 de 2004, se estableció que los agentes privados que quisieran contratar con el Estado debían hacer parte de un banco de oferentes definido por las administraciones regionales. Las barreras de entrada para los colegios privados no fueron exigentes en términos de calidad, debido a que, entre otros aspectos, los resultados académicos en las evaluaciones externas no tenían un papel importante, lo que podría explicar por qué la matrícula contratada aumentó en 555 % entre 2002 y 2013 (Ministerio de Educación Nacional, 2013). En una revisión sobre las APP en Colombia, el Banco Mundial (World Bank, 2006) concluye que es necesario establecer tiempos y tareas específicas para la evaluación y el control de calidad de los contratos. Con el objetivo de mejorar la calidad de las modalidades de APP analizadas, mediante el Decreto 1851 de 2015 se hicieron mucho más exigentes los requisitos para entrar al banco de oferentes, destacándose como factor determinante los resultados en las evaluaciones externas aplicadas por el Instituto Colombiano para la Evaluación de la Educación (Icfes).

Datos y metodología

Datos

Las bases de datos empleadas son de corte transversal. La primera proviene del Sistema Integrado de Matrícula (Simat) del Ministerio de Educación Nacional (MEN), y contiene información sobre el sector y la modalidad de APP con la que cuenta cada establecimiento. El nivel de agregación de esta base impone una limitación para analizar el desempeño de los estudiantes en la modalidad de matrícula contratada, pues estos asisten a colegios en los que también se enseña a estudiantes del sector privado. Como consecuencia, en este tipo de establecimientos no es posible discriminar entre los estudiantes subsidiados por el sector oficial y aquellos que no lo son. En los demás tipos de establecimiento no se presenta esta limitación, debido a que todos son iguales en términos del sector o la modalidad a la que pertenecen.

La segunda base de datos fue suministrada por el Icfes, y reúne información sobre los resultados académicos de los estudiantes en el examen Saber 11 del año 2015. Sobre este aspecto es necesario aclarar que, si bien los resultados de esta evaluación son publicados en 2015, la aplicación de la prueba fue en 2014. Además de los resultados cognitivos, esta base contiene información contextual obtenida a partir de los cuestionarios sociodemográficos aplicados durante la inscripción al examen (Instituto Colombiano para la Evaluación de la Educación, 2016). En relación con los resultados cognitivos, en este trabajo solo se utiliza el puntaje global, que es expresado en una escala de 0 a 500, y es comparable con los resultados publicados en 2014, momento en el que la media y la desviación estándar fueron fijadas en 250 y 50, respectivamente. El puntaje global se obtiene multiplicando por cinco el promedio ponderado de los puntajes alcanzados en las pruebas del examen:2 inglés, matemáticas, lectura crítica, sociales y ciudadanas, y ciencias naturales.

Con respecto a la información contextual, solo se utilizan dos variables institucionales: la zona de ubicación del establecimiento y el número de estudiantes con resultados publicados. Las demás variables contextuales son dicotómicas, y están medidas a nivel de estudiante: se cuenta con variables que indican si la madre del estudiante tiene secundaria completa, y si tienen internet, computador y automóvil en el hogar. Además, se tiene información sobre el índice de nivel socioeconómico (NSE) de cada estudiante, definido en una escala con una media de 50 y una desviación estándar de 10, el cual es construido a partir de un conjunto de covariables, entre las que se incluyen las ya mencionadas. En este trabajo, el NSE se utiliza únicamente para crear una nueva variable, la cual toma el valor de 1 en el caso de que el estudiante tenga un índice por debajo de la media, lo que permite clasificar a los estudiantes en dos grupos con base en su NSE y facilitar la interpretación de los resultados.

Con el fin de presentar un indicio sobre el nivel de representatividad que tienen los resultados expuestos en este artículo, es necesario considerar el número de estudiantes del país matriculados en grado duodécimo según el registro del Simat, así como el número de estudiantes con resultados publicados en el examen Saber 11; es decir, el número de observaciones empleadas en este trabajo. Para el 2014, 722 159 estudiantes se registraron en grado undécimo en el Simat, y, de estos, 547 133 presentaron el examen Saber 11 en calendario A; por lo tanto, se cuenta con información para el 76 % del total de estudiantes matriculados en grado undécimo a nivel nacional. Es de resaltar que la presentación del examen no es obligatoria para graduarse de bachillerato, lo cual es la principal explicación de esta diferencia.

La tabla 1 resume algunas características de la base de datos resultante e indica que más de tres cuartos de los estudiantes son financiados por el Estado: el 70 % de la matrícula asiste a colegios oficiales, el 2 % a colegios en concesión y el 5 % está en la modalidad de matrícula contratada; el 14% de los estudiantes asiste a colegios en zonas rurales y el 27 % está en colegios que tienen menos de 50 estudiantes evaluados. Por último, la información socioeconómica evidencia una alta heterogeneidad: el 62% de los estudiantes cuenta con computador en su vivienda, el 22% cuenta con automóvil en el hogar y casi la mitad tiene conexión a internet y madres con educación secundaria completa.

Tabla 1
Características generales

Características generales


Fuente: elaboración propia, con base en Icfes y MEN

Metodología

Todas las estrategias son completamente descriptivas y no pretenden evidenciar efectos causales, pues existen factores no considerados que podrían mediar las estimaciones encontradas. Sin embargo, las relaciones condicionadas a las variables disponibles son un buen descriptor de las diferencias de desempeño que existen entre las diferentes modalidades del sector educativo. El primer nivel de análisis corresponde al cálculo de promedios condicionados según el sector y la modalidad del establecimiento al que asiste el estudiante, el tamaño del colegio en términos del número de estudiantes atendidos, el número de estudiantes que presentan un NSE por debajo de la media y la zona (rural o urbana) en la que opera el establecimiento educativo. El segundo nivel de análisis corresponde a la estimación de regresiones lineales, a partir de las cuales se estiman correlaciones parciales entre el puntaje global y diferentes características de los estudiantes y los establecimientos. En el tercer nivel de análisis se repiten las regresiones lineales estimadas previamente, pero con la inclusión de efectos fijos al nivel del colegio, lo que permite analizar los resultados educativos mediante un modelo multinivel, que tiene en cuenta la agrupación de estudiantes en establecimientos educativos. Finalmente, y como un ejercicio adicional de robustez, se repiten las estimaciones descritas anteriormente, pero solo para la submuestra de estudiantes que tienen una probabilidad mayor al 80% de pertenecer al sector oficial, lo que explota la idea de la técnica de propensity score matching, pues permite seleccionar estudiantes relativamente similares en términos socioeconómicos.

Primer nivel de análisis: promedios condicionados

Este ejercicio permite calcular el promedio del puntaje global para subgrupos de estudiantes con características específicas. De esta forma es posible apreciar diferencias de desempeño entre diferentes tipos de colegio cuando se consideran submuestras de estudiantes con características comunes entre sí, lo que permite adoptar un enfoque de análisis más equitativo, debido a que no se compara el desempeño promedio alcanzado por la totalidad de estudiantes que asisten a colegios oficiales frente a aquellos que asisten a colegios privados, sino el desempeño promedio de estudiantes que tienen una característica común pero asisten a diferentes tipos de colegio. Por ejemplo, entre los estudiantes de bajo nivel socioeconómico, se calcula el promedio de aquellos que asisten a colegios oficiales, privados, en concesión y en la modalidad de matrícula contratada.

Segundo nivel de análisis: correlaciones parciales

Se usan regresiones lineales en las que la variable dependiente es el puntaje global estandarizado:

(1)

En la ecuación 1, j identifica el colegio e i identifica al estudiante. La matriz Xij contiene las características contextuales de los estudiantes y los colegios que fueron descritas arriba. Los coeficientes β hacen referencia a la correlación entre cada variable y el puntaje, cuando las demás variables se mantienen constantes. Dado que en este modelo se omite la variable que indica si el colegio es oficial, los coeficientes de interés muestran la diferencia condicionada en el puntaje con respecto a los oficiales. Los coeficientes no pueden ser interpretados como efectos causales, porque el error de la regresión εij puede estar correlacionado con las variables independientes incluidas. En otras palabras, dado que εij no cumple los supuestos de independencia lineal, los β son sesgados e ineficientes (Amemiya, 1985). A partir de la ecuación 1, se hacen diferentes especificaciones para saber si hay relaciones fuertes entre el puntaje y el tipo de colegio, y entre el tipo del colegio y las características socioeconómicas de los estudiantes.

Tercer nivel de análisis: descomposición de la varianza

Dada la naturaleza anidada de los datos (estudiantes agrupados en colegios), se usan modelos de efectos aleatorios, estimados por máxima verosimilitud para descomponer la variación del puntaje entre aquella que se observa entre los colegios y en el interior de estos:

(2)

La diferencia entre la ecuación 1 y la ecuación 2 es que en esta última se divide εij entre una parte constante en el interior de los colegios, μj , y una que no lo es, υij. La estimación de las desviaciones estándar de μj y υij, y el peso relativo entre ellas, permite saber el porcentaje de variación que se observa entre los colegios y en el interior de estos. Al incluir controles sociodemográficos en la ecuación 2, se reduce la variación de μjy υij, y es posible estimar la proporción de la variación intra e interclase asociada con estos controles, lo que permite indagar si hay homogeneidad dentro de cada modalidad y si las características sociodemográficas explican las diferencias en la variación del puntaje.

Cuarto nivel de análisis: selección de estudiantes con alta probabilidad de pertenecer al sector oficial

La última estrategia usada explota la idea detrás de la metodología propensity score matching, usualmente empleada para emparejar observaciones similares. En este caso, se utiliza una regresión logística para estimar la probabilidad de pertenecer al sector oficial en función del tamaño y la zona del colegio, el NSE del estudiante, la presencia de madre con secundaria completa y la tenencia de computador, internet y automóvil en el hogar. En otras palabras, no se emparejan los estudiantes de matrícula contratada o en concesión con estudiantes similares del sector privado, sino que se genera una submuestra de estudiantes que tienen una probabilidad mayor a 80% de pertenecer al sector oficial. Posteriormente, se estima la siguiente regresión con efectos aleatorios, pero solo para la submuestra de estudiantes mencionada:

(3)

Para este análisis, se establecen cuatro especificaciones: oficial versus concesión, oficial versus contratada, oficial versus privado y oficial versus el resto. El objetivo con estas regresiones es evidenciar si, al comparar estudiantes con una alta probabilidad de pertenecer al sector oficial, hay diferencias importantes entre el sector oficial y las modalidades de APP analizadas.

Resultados

Primer nivel de análisis: promedios condicionados

La tabla 2 muestra el puntaje promedio de los colegios oficiales, los privados y aquellos vinculados a las modalidades de APP analizadas. Al tener en cuenta todos los colegios, se observa que los promedios de los colegios con financiación estatal son similares y que se encuentran por debajo del promedio alcanzado por los privados. Además, la brecha entre los colegios privados y aquellos que reciben financiación estatal es considerablemente más amplia en el caso de los colegios pequeños.

Tabla 2
Puntaje global por tipo de colegio y otras características

Puntaje global por tipo de colegio y otras características


Fuente: elaboración propia, con base en Icfes y MEN

Al controlar por el NSE, se observa que aproximadamente el 63 % de los estudiantes con bajo nivel socioeconómico (BNSE), entendido como aquel que está por debajo de la media, asisten a colegios oficiales, mientras que solo el 19 % asiste a colegios privados. Además, independientemente del tipo de colegio, los estudiantes con BNSE obtienen promedios inferiores a los del resto. Sin embargo, es importante resaltar que, en este segmento de la muestra, los resultados más altos los obtienen los estudiantes del sector oficial. Por último, el análisis para las zonas rurales muestra que el desempeño promedio de los colegios privados rurales es superior al de cualquier otro tipo de colegio, lo que puede deberse a que estos se caracterizan por ser campestres, bilingües y costosos.

Segundo nivel de análisis: correlaciones parciales

El modelo especificado para obtener los resultados de la tabla 3 tiene dificultades en la estimación de los errores estándar, pues el supuesto de independencia entre las observaciones no se cumple, debido a que los estudiantes se agrupan en establecimientos. Además, como se dijo en la sección de metodología, los coeficientes estimados no deben ser interpretados como evidencia de correlaciones causales. Los datos presentan otras limitaciones, asociadas a la existencia de heterogeneidad y un nivel bajo de multicolinealidad, que se evidencia con el factor de inflación de la varianza (VIF), presentado en el anexo. Sin embargo, estos resultados constituyen una primera aproximación a las relaciones existentes entre el tipo de colegio y el desempeño académico. La primera especificación presentada en esta tabla estima el puntaje de los estudiantes por tipo de colegio, teniendo como referencia el sector oficial; en este caso, se encuentra que el sector privado y la modalidad de matrícula contratada obtienen un desempeño promedio significativamente mayor que el alcanzado por el sector oficial.

La segunda especificación controla por el tamaño, la zona y la variable indicadora de bajo nivel socioeconómico, con lo que la diferencia de desempeño entre privados y oficiales se reduce casi la mitad. Además, el desempeño promedio de los colegios en las modalidades de APP analizadas resulta significativamente menor que el del sector oficial, lo que sugiere que la superioridad de los colegios en APP con respecto a los colegios oficiales puede estar asociada con características contextuales, y no con el tipo de colegio en sí mismo.

Los resultados de la tercera especificación muestran que, en el caso de los colegios pequeños, el desempeño promedio de los colegios en concesión es inferior al de los oficiales, y el desempeño de los colegios privados y en matrícula contratada es superior al del sector oficial; frente a este aspecto, se destaca que la diferencia del sector oficial con respecto a los colegios privados es considerablemente alta, mientras que la diferencia con respecto a los colegios en matrícula contratada es modesta. Además, para los estudiantes con BNSE, el desempeño promedio del sector oficial es significativamente mayor que el evidenciado por los demás tipos de colegio. Por último, aunque en las zonas rurales se mantiene la superioridad de los colegios oficiales con respecto a las dos modalidades de APP, los privados muestran mayor desempeño.

Tabla 3
Estimación lineal del puntaje global

 Estimación lineal del puntaje global

Estadístico t entre paréntesis. * p < .1, ** p < .05, *** p < .01.



Fuente: elaboración propia, con base en Icfes y MEN

En las especificaciones cuarta, quinta y sexta, se incluyen controles asociados a las características socioeconómicas de los estudiantes. Estas especificaciones reducen aún más la diferencia de desempeño entre los colegios oficiales y privados, y amplían el cambio de signo entre los oficiales y las dos modalidades de APP. Además, entre los colegios pequeños, los establecimientos oficiales obtienen un puntaje promedio más alto que los de matrícula contratada, y, al controlar por la variable indicadora de BNSE, los colegios en concesión alcanzan un desempeño promedio mayor que el de los oficiales. Cabe resaltar que todas las especificaciones en las que se incluyen características al nivel de estudiantes muestran que, independientemente del tipo de colegio, los estudiantes con computador, madres con secundaria completa, internet y automóvil tienen, en promedio, puntajes más altos.

Tercer nivel de análisis: descomposición de la varianza

La inferencia estadística sobre los coeficientes estimados en la tabla 4 es más apropiada, porque en este caso sí se tiene en cuenta la estructura anidada de los estudiantes en establecimientos educativos. Sin embargo, los coeficientes estimados deben seguir interpretándose como correlaciones no causales, puesto que es altamente probable que el término de error compuesto que se utiliza en el modelo presente alguna relación tanto con el desempeño como con las variables independientes incluidas. Con el objetivo de analizar si la varianza observada en el desempeño cambia según el tipo de colegio, se estiman diez regresiones con efectos aleatorios. Para cada tipo de colegio, se estiman dos especificaciones: una sin variables independientes (modelo nulo) y otra en la que se incluyen las características contextuales disponibles como controles.

Los resultados indican que, sin tener en cuenta el tipo de colegio, el porcentaje de varianza en el desempeño que se observa entre y dentro de los colegios se divide prácticamente en partes iguales, aunque la variación dentro de los colegios es levemente mayor. Este hallazgo muestra que, a pesar de la fuerte correlación entre las condiciones socioeconómicas y el desempeño, ningún tipo de colegio logra un alto nivel de homogeneidad en los resultados de sus estudiantes. La descomposición de la varianza también indica que el sector privado es el único en el que el desempeño varía menos en el interior de los colegios que entre colegios diferentes. En los colegios oficiales y en las dos modalidades de APP, observamos la situación contraria, es decir que las brechas de desempeño entre estudiantes del mismo establecimiento son mayores a aquellas observadas entre estudiantes que asisten a colegios diferentes.

Tabla 4
Estimación lineal del puntaje global con efectos aleatorios por tipo de colegio

Estimación lineal del puntaje global con efectos aleatorios por tipo de colegio

Estadístico z entre paréntesis, * p < .1, ** p < .05, *** p < .01.



Fuente: elaboración propia, con base en Icfes y MEN

El signo de las relaciones entre el puntaje y las características socioeconómicas que se encuentran en la estimación con efectos aleatorios es consistente con las regresiones sin efectos aleatorios. Por último, aunque las covariables incluidas no explican la variación dentro de los colegios, sí tienen cierto poder explicativo en la variación entre colegios: las características socioeconómicas logran explicar un 9% de la variación que se observa entre colegios oficiales y el 22% de la variación observada entre los colegios privados y en concesión.

Cuarto nivel de análisis: submuestra de estudiantes con alta probabilidad de pertenecer al sector oficial

La tabla 5 muestra las regresiones logísticas mediante las cuales se estima la probabilidad de que un estudiante pertenezca al sector oficial. Este ejercicio se realiza con el objetivo de identificar estudiantes similares, para después estimar la relación entre el desempeño de estos estudiantes y el tipo de colegio al que asisten. De acuerdo con los coeficientes estimados, en todas las especificaciones, tener conexión a internet y madre con educación secundaria completa se relaciona con una disminución en la probabilidad de pertenecer al sector oficial. Por el contrario, contar con un BNSE se relaciona con un aumento en esta probabilidad. Además, excepto al comparar con los colegios en concesión, pertenecer a un colegio pequeño y tener automóvil se relaciona negativamente con la probabilidad de asistir a un colegio oficial, mientras que la condición de ruralidad se relaciona positivamente con esta probabilidad.

Tabla 5
Estimación de la probabilidad de pertenecer al sector oficial

 Estimación de la probabilidad de pertenecer al sector oficial

Estadístico z entre paréntesis. * p < .1, ** p < .05, *** p < .01.



Fuente: elaboración propia, con base en Icfes y MEN

Con base en la probabilidad estimada de pertenecer al sector oficial, se construye una submuestra con los estudiantes para los cuales esta probabilidad es mayor al 80%. A partir de esta submuestra, se estima un modelo lineal con efectos aleatorios en el que se compara el desempeño promedio del sector oficial con respecto a cada una de las otras modalidades. Para cada una de las comparaciones entre el sector oficial y las demás modalidades, se estiman dos especificaciones de este modelo: una que solo incluye una variable categórica que indica si el colegio es oficial (Oficial = 1) y otra en la que además se incluyen características contextuales como covariables.

Tabla 6
Estimación lineal del puntaje global con efectos aleatorios para la submuestra de estudiantes con alta probabilidad de pertenecer al sector oficial

Estimación lineal del puntaje global con efectos aleatorios para la submuestra de estudiantes con alta probabilidad de pertenecer al sector oficial

Estadístico z entre paréntesis. * p < .1, ** p < .05, *** p < .01.



Fuente: elaboración propia, con base en Icfes y MEN

Los resultados de la tabla 6 indican que los colegios oficiales tienen un desempeño promedio más alto que los otros tipos de colegios. En la comparación del sector oficial con respecto a los colegios de matrícula contratada y a los colegios privados, se observa que los colegios oficiales tienen un desempeño promedio mayor, pero solo al incluir las características de los estudiantes. Asimismo, al comparar los colegios oficiales con respecto al resto, los primeros obtienen, en promedio, un mayor desempeño. Estos resultados son coherentes con los encontrados en la tabla 3; sin embargo, las magnitudes encontradas en la submuestra de los estudiantes que tienen una alta probabilidad de pertenecer al sector oficial son mucho menores.

Conclusiones y discusión

Este documento ofrece evidencia para replantear la discusión de la calidad de la educación pública con respecto a la contratada en los niveles socioeconómicos más bajos, invita a repensar la efectividad de ciertos modelos de APP en el sector educativo y a rescatar la capacidad que tiene la educación pública para reconciliar brechas sociales y de aprendizaje. Los resultados encontrados muestran que hay importantes diferencias en el contexto socioeconómico de los estudiantes según el tipo de colegio. Entre otros aspectos, las estadísticas descriptivas evidencian que los estudiantes del sector privado tienen grandes diferencias socioeconómicas con respecto a los estudiantes que asisten a colegios financiados por el Estado.

La primera especificación del modelo estimado sin efectos aleatorios evidencia que los colegios oficiales obtienen, en promedio, un menor puntaje que los demás tipos de establecimientos; sin embargo, al tener en cuenta características como la ruralidad y el NSE, la brecha de desempeño entre el sector oficial y el privado disminuye casi a la mitad, y los colegios oficiales muestran, en promedio, mejor desempeño que los colegios en APP. Además, las especificaciones que incluyen términos de interacción y características socioeconómicas al nivel de estudiantes muestran que, entre los estudiantes con BNSE, aquellos vinculados a colegios oficiales se desempeñan mejor. Este resultado es coherente con las regresiones lineales estimadas con efectos aleatorios para la submuestra de estudiantes con alta probabilidad de pertenecer al sector oficial, pues, también en este caso, se encuentra que el desempeño promedio de los estudiantes que asisten a colegios públicos es superior al alcanzado por los alumnos pertenecientes a los demás tipos de colegio.

Por otro lado, la descomposición de varianza permite concluir que, sin importar el tipo de colegio, la variación en el desempeño en el interior de los colegios es tan amplia como la variación entre colegios. Este resultado sugiere que la pertenencia a determinado tipo de establecimiento no tiene una relación fuerte con el desempeño, pues de lo contrario se observaría cierta homogeneidad por tipo de colegio. Otro resultado a destacar es que las características socioeconómicas incluidas en el análisis no logran explicar la variación observada en el interior de los establecimientos, lo que implica que existen características no consideradas que generan alta heterogeneidad entre alumnos del mismo colegio. Este resultado invita a reflexionar sobre la necesidad de contar con bases de datos más exhaustivas en términos de las características familiares y contextuales de los estudiantes, pero también sobre los procesos escolares y de aula de clase que puedan dar cuenta de las diferencias entre colegios y en el interior de los colegios.

El hecho de que los resultados obtenidos por los colegios en la modalidad de matrícula contratada, a pesar de ser privados, se aproximen más a los resultados de los colegios oficiales que a los del resto de privados sugiere, desde los datos, que no hay evidencia para afirmar que existen características institucionales propias del sector oficial que generen menor calidad, cosa que se podría establecer en una evaluación institucional que profundice de forma cualitativa la explicación de los hallazgos aquí presentados, e indague por otros aspectos no considerados, pues los datos por sí solos no revelan el origen de las diferencias.

En relación con la coherencia entre los resultados de este trabajo y los encontrados por las investigaciones referidas en la revisión de literatura, hay poco que decir, pues tales investigaciones no son comparables con este trabajo, dado que en ellas no se analizan las modalidades de APP que actualmente forman parte de la oferta de educación pública del país. Además, las investigaciones encontradas no incluyen análisis específicos sobre la relación entre las APP y el desempeño académico en submuestras de estudiantes caracterizadas por BNSE. Sin embargo, la evidencia empírica y los planteamientos teóricos dan indicios sobre las hipótesis que podrían explicar por qué las APP parecen funcionar cuando se aplican como programas de pequeña escala y no cuando hacen parte del sistema educativo nacional. En primer lugar, como se argumentó anteriormente, la posición del Estado como proveedor último de los servicios educativos suele desbalancear la relación entre los agentes públicos y privados a favor de los últimos, lo que podría darse con menor intensidad en el desarrollo de proyectos pequeños, que además suelen contar con contratos de mejor calidad en términos de los criterios de entrada que deben cumplir los agentes privados y de las actividades de control que deben ejercer las entidades a cargo de estos proyectos.

Otro aspecto que podría marcar la diferencia entre las modalidades de APP analizadas en este trabajo y aquellas estudiadas en los trabajos citados es la posibilidad de escoger estudiantes, pues este hecho introduce mayor sesgo de selección, lo que podría conducir a una sobreestimación de los coeficientes que representan la correlación entre el desempeño académico y las APP. Además, cabe resaltar que, a diferencia de los bonos escolares, la modalidad de matrícula contratada no supone ventajas en términos de libertad de elección por parte de los estudiantes, pues en este caso la asignación de colegio está a cargo de la Secretaría de Educación. Por último, y debido a la entrada en vigencia de criterios más exigentes en términos de calidad para contratar con el Estado, se invita a la comunidad académica a estudiar si la nueva normativa se asocia a cambios en los resultados encontrados en este artículo o si esa normativa es la mejor aproximación para que el Estado contrate el mejor servicio educativo disponible.

De este ejercicio se desprenden varias preguntas, que podrían ser respondidas si existiera mayor acceso a información sobre las características de los estudiantes, sus familias y las prácticas de enseñanza que se llevan a cabo en el salón de clase. Una investigación más detallada sobre el nivel socioeconómico de las familias y las percepciones y rasgos socioemocionales de los estudiantes podría indicar si siguen existiendo diferencias entre estudiantes de matrícula contratada privada y estudiantes de colegios oficiales, lo que permitiría identificar si el desempeño académico se asocia más con prácticas desarrolladas dentro del salón de clase o con características exógenas al control de la política educativa.

Aunque el cuestionario de contexto del Icfes —que indaga por el máximo nivel de educación de los padres y su ocupación, las características de la vivienda del estudiante y el acceso a algunos bienes y servicios— aporta información relevante para realizar este tipo de análisis, es probable que existan diferencias importantes entre dos estudiantes que queden catalogados en la misma categoría de nivel socioeconómico que les asigna el Icfes a partir de la información recolectada con el cuestionario de contexto.

Un estudio de factores asociados permitiría realizar investigaciones que revelen con más confianza si la educación oficial es preferible que la contratada para los estudiantes más pobres de la población. Asimismo, sería de relevancia para la política pública saber cuál es el efecto de la administración pública o privada sobre el desempeño académico. Si existen niños con características y recursos escolares similares que solo se diferencian en cuanto al administrador del colegio, sería posible identificar el papel que desempeña la administración y el manejo del colegio: el liderazgo pedagógico, los recursos escolares, la capacidad de mejoramiento continuo, el tiempo efectivo de clase, entre otros. Algunas de las preguntas de interés que podrían resolverse son: ¿los colegios de matrícula contratada dedican el mismo tiempo efectivo a la enseñanza que los oficiales?, ¿la proporción de colegios en la modalidad de matrícula contratada con jornada completa se asemeja a la proporción observada en los colegios? y ¿qué diferencias hay entre las prácticas pedagógicas desarrolladas por los docentes que pertenecen al sector oficial y aquellos que pertenecen a los colegios con APP?

Por otro lado, si pudiéramos identificar qué estudiantes de un colegio privado efectivamente pagan su matrícula y cuáles son subsidiados por el Estado, mediante la modalidad de matrícula contratada, y pudiéramos cruzar esto con sus resultados escolares, para efectos de comparación con las pruebas Saber, podríamos determinar si el desempeño promedio del colegio es sensible a la modalidad de matrícula contratada. El hecho de que la matrícula contratada pueda afectar el resultado promedio del colegio puede ser un desincentivo para que los mejores colegios adopten APP con el Estado. Evidenciar lo anterior podría hacer que el regulador (el MEN y las secretarías de educación) tenga en cuenta este fenómeno para diseñar mecanismos que incentiven la oferta de matrícula contratada por parte de los mejores colegios privados. Por ejemplo, el puntaje promedio del Icfes podría calcularse con y sin matrícula contratada, de manera que la selección o continuidad de los oferentes se hiciera con base en la capacidad del colegio privado para cerrar las brechas de desempeño entre los estudiantes subsidiados y el resto, y no a partir del puntaje promedio total.

Referencias

Amemiya, T. (1985). Advanced Econometrics. Cambridge: Harvard University Press.

Angrist, J., Bettinger, E., Bloom, E., King, E. & Michael, K. (2002). Vouchers for private schooling in Colombia: Evidence from a randomized natural experiment. The American Economic Review, 92(5), 1535–1558. Recuperado de https://economics.mit.edu/files/24

Angrist, J., Bettinger, E. & Kremer, M. (2006). Long-term educational consequences of secondary school vouchers: Evidence from administrative records in Colombia. American Economic Review, 96, 847–862.

Barrera-Osorio, F. (2006). The impact of private provision of public education: Empirical evidence from Bogota’s concession schools . Policy, Research Working Paper, n.º WPS 4121; Impact Evaluation Series n.º 10. Washington, DC: World Bank.

Barrera-Osorio, F. & Patrinos, H. (2009). An international perspective on school vouchers. En M. Berends, M. Springer, D. Ballou & H. Walberg (Eds.), Handbook of Research on School Choice. Nueva York: Routledge.

Barrera-Osorio, F., Guáqueta, J. & Patrinos, H. (2009). The Role and Impact of Public-Private Partnership in Education. Washington, DC: World Bank. Recuperado de http://siteresources.worldbank.org/EDUCATION/Resources/278200-1099079877269/547664-1099079934475/547667-1135281523948/2065243-1239111225278/Role_Impact_PPP_Education.pdf

Barrera-Osorio, F., Maldonado, D. & Rodríguez, C. (2014). Calidad de la educación básica y media en Colombia: diagnóstico y propuestas. En CEDE & DPN, Equidad y movilidad social. Diagnósticos y propuestas para la transformación de la sociedad colombiana. Bogotá: s. e.

Bautista, M. (2009). La profesionalización docente en Colombia. Revista Colombiana de Sociología , 32(2), 111–131. Recuperado de http://www.bdigital.unal.edu.co/17125/1/12705-33405-1-PB.pdf

Bonilla, J. (2011). Contracting out public schools for academic achievement: Evidence from Colombia. Manuscrito sin publicar.

Castillo, A. M. (2007). ¿Calidad o cobertura?: análisis de la contratación de los servicios educativos en Colombia. Recuperado de https://educacioncompromisodetodos.com/wp-content/uploads/2019/06/Calidad-o-Cobertura-2008.pdf

Farah, I. & Rizvi, S. (2007). Public-private partnerships: Implications for primary schooling in Pakistan. Social Policy & Administration, 41(4), 339–354.

Hsieh, C. T. & Urquiola, M. (2006). The effects of generalized school choice on achievement and stratification: Evidence from Chile’s voucher program. Journal of Public Economics, 90, 1477–1503.

Instituto Colombiano para la Evaluación de la Educación (Icfes). (2016). ABC de factores asociados: ¿por qué es importante la información de factores asociados? Recuperado de http://aprende.colombiaaprende.edu.co/ckfinder/userfiles/files/ABC%20Factores%20Asociados%20V3.pdf

Jabbar, H. (2016). Selling schools: Marketing and recruitment strategies in New Orleans. Peabody Journal of Education, 91(1), 4–23.

Ladd, H. F. (2002). School vouchers: A critical review. Journal of Economic Perspectives 16, 3–24.

LaRocque, N. (2008). Public-Private Partnerships in Basic Education: An International Review. S. L.: Reading, CfBT Education Trust. Recuperado de https://olc.worldbank.org/sites/default/files/CfBT_LaRocque_PPPs%20in%20Basic%20Education%20An%20International%20Review_0.pdf

Lubienski, C. (2009). Do Quasi-markets Foster Innovation in Education? A Comparative Perspective. Documentos de Trabajo sobre Educación de la OCDE n.º 25. París: Editorial de la OCDE.

Ministerio de Educación Nacional (MEN). (29 de junio de 2001). Decreto 1286. Recuperado de http://www.alcaldiabogota.gov.co/sisjur/normas/Norma1.jsp?i=6272

Ministerio de Educación Nacional (MEN). (24 de julio de 2002). Decreto 1528. Recuperado de http://www.alcaldiabogota.gov.co/sisjur/normas/Norma1.jsp?i=5567

Ministerio de Educación Nacional (MEN). (21 de diciembre de 2004). Decreto 4313. Recuperado de http://www.alcaldiabogota.gov.co/sisjur/normas/Norma1.jsp?i=15517

Ministerio de Educación Nacional (MEN). (2013). Contratación del servicio educativo. Bogotá: Viceministerio de Educación Preescolar, Básica y Media.

Ministerio de Educación Nacional (MEN). (26 de mayo de 2015). Decreto 1075. Recuperado de http://www.alcaldiabogota.gov.co/sisjur/normas/Norma1.jsp?i=62510

Ministerio de Educación Nacional (MEN). (16 de septiembre de 2015). Decreto 1851. Recuperado de https://www.mineducacion.gov.co/1759/w3-article-353928.html?_noredirect=1

Rouse, C. E. & Barrow, L. (2009). School vouchers and student achievement: Recent evidence, remaining questions. Annual Reviews of Economics, 1, 17–42.

Rutkowski, L. (2016). Introduction to special issue on quasi-causal methods. Large-scale Assessments in Education, 4(8). doi: 10.1186/s40536-016- 0023-5. Recuperado de https://link.springer.com/content/pdf/10.1186%2Fs40536-016-0023-5.pdf

Schaeffer, P. V. & Loveridge, S. (2002). Toward an understanding of types of public-private cooperation. Public Performance and Management Review, 26(2), 169–189.

Tooley, J. & Dixon, P. (2005). Private Education is Good for the Poor. Washington, DC: CATO Institute.

Tooley, J. & Dixon, P. (2006). The failures of state schooling in developing countries and the people’s response. En M. A. Miles, K. R. Holmes & M. A. O’Grady (Eds.), 2006 Index of Economic Freedom. Nueva York: The Heritage Foundation & The Wall Street Journal.

Verger, A. & Moschetti, M. (2017). Public-Private Partnerships as an Education Policy Approach: Multiple Meanings, Risks and Challenges. Recuperado de https://unesdoc.unesco.org/ark:/48223/pf0000247327

Wößmann, L. (2007). Public-Private Partnerships and Schooling Outcomes across Countries. Múnich: University of Munich, Ifo Institute for Economic Research & CESifo. Recuperado de https://drive.google.com/file/d/1BZdxlgdYvDUIhc3ajWhdGPjJ4iMwQvZR/view

World Bank. (2006). Colombia-Contracting education services. Washington, DC: World Bank. Recuperado de http://documents.worldbank.org/curated/en/320521468260938262/pdf/318410CO.pdf

Anexo

Factor de inflación de la varianza

Factor de inflación de la varianza

Estadístico t entre paréntesis. * p < .1, ** p <. 05, *** p < .01.



Fuente: elaboración propia, con base en Icfes y MEN

Notas

1 Que puede ser público, privado o estar vinculado a alguna de las modalidades de APP descritas.

2 Los puntajes por prueba son expresados de 0 a 100, y la ponderación utilizada es de 3 para todas las pruebas, excepto para inglés, que recibe un peso de 1.

Notas de autor

1 Ximena Dueñas-Herrera es economista de la Universidad de los Andes, Colombia. Máster en Asuntos Internacionales de Columbia University, Estados Unidos, y PhD en Economía y Educación de la misma institución.

2 Silvana Godoy-Mateus es economista y negociadora internacional, con maestría en Economía de la Universidad Icesi, Colombia.

3 Jorge Leonardo Duarte-Rodríguez es economista, con maestría en Economía de la Universidad Icesi, Colombia.

4 Diana Alexandra Oquendo-Victoria es economista de la Universidad Icesi, Colombia.

5 Johnny Ernesto Campiño-Castillo es economista y negociador internacional, con maestría en Economía de la Universidad Icesi, Colombia.

Información adicional

Para citar este artículo | To cite this article: Dueñas-Herrera, X., Godoy-Mateus, S., Duarte-Rodríguez, J. L., OquendoVictoria, D. A. & Campiño-Castillo, J. E. (2020). Alianzas público privadas en los servicios educativos en Colombia. magis, Revista Internacional de Investigación en Educación, 13, 1-26. doi: 10.11144/Javeriana.m13.apps

Contexto
Descargar
Todas