Competencia social y ciudadana en las pruebas de diagnóstico general

Social and Citizenship Competence in General Diagnostic Tests

Compétences sociales et citoyennes aux épreuves de diagnostic général

Competência social e cidadã nas provas de diagnóstico geral

Magis. Revista Internacional de Investigación en Educación, vol. 10, núm. 21, 2018

Pontificia Universidad Javeriana

María José Mayorga-Fernández a

Universidad de Málaga, España


Monsalud Gallardo-Gil b

Universidad de Málaga, España


Ángel Ignacio Pérez-Gómez c

Universidad de Málaga, España


Fecha de recepción: 11 Septiembre 2016

Fecha de aprobación: 12 Septiembre 2017

Fecha de publicación: 15 Abril 2018

Resumen: Ofrecemos un análisis de las pruebas de Evaluación General de Diagnóstico del Ministerio de Educación de España respecto a la competencia social y ciudadana. Es la primera vez que esta competencia se contempla en un programa de evaluación educativa. Nuestro objetivo es valorar si estas pruebas pueden ser consideradas herramientas útiles para evaluar el desarrollo de las capacidades cognitivas de segundo orden. Para este análisis se ha realizado un estudio cualitativo, fundamentado en el análisis de contenido interjueces y contraste con juicio de expertos. Los resultados muestran que las capacidades predominantes en estas pruebas son reproducción y comprensión-aplicación.

Palabras clave Evaluación formativa, competencias para la vida, aprendizaje, memorización.

Abstract: The paper presents an analysis of the General Diagnostic Evaluation tests of the Spanish Ministry of Education regarding social and citizenship competences. It is the first time that this competition is contemplated in an educational evaluation program. Our objective is to evaluate if these tests can be considered useful tools to evaluate the development of second-order cognitive capacities. This analysis followed a qualitative approach based on the analysis of the content and contrasting views of experts. Results show that the predominant capacities in these tests are reproduction and comprehension- application.

Keywords: Formative evaluation, life skills, learning, memorization.

Résumé: On fournit une analyse des épreuves d'Evaluation Générale de Diagnostic du Ministère d'Education d'Espagne par rapport à la compétence sociale et citoyenne. C'est la première fois que cette compétence se contemple dans un programme d'évaluation éducatif. Notre objectif est celui d'estimer si ces épreuves peuvent être considères en tant qu'outils pour évaluer le développement des capacités cognitives de deuxième ordre. Pour cette analyse on a réalisé une étude qualitative, qui est basée dans l'analyse de contenu inter-juges et contraste avec le jugement des experts. Les résultats montrent que les capacités prédominantes dans ces épreuves sont la reproduction et compréhension-application.

Mots clés: Évaluation formative , compétences pour la vie , apprentissage , mémorisation.

Resumo: Oferecemos uma análise das provas de Avaliação Geral de Diagnóstico do Ministério de Educação da Espanha a respeito da competência social e cidadã. É a primeira vez que esta competência se contempla em um programa de avaliação educativa. Nosso objetivo é averiguar se estas provas podem ser consideradas ferramentas úteis para avaliar o desenvolvimento das capacidades cognitivas de segunda ordem. Para esta análise realizou-se um estudo qualitativo, fundamentado na análise de conteúdo inter-juízes e contraste com julgamento de peritos. Os resultados mostram que as capacidades predominantes nestas provas são reprodução e compreensão-aplicação.

Palavras-chave: Avaliação formativa, competências para a vida, aprendizagem, memorização.

Introducción

Es fácil comprobar la ausencia de este campo del saber y el hacer humano de los programas internacionales de evaluación del rendimiento académico de los estudiantes (Programa Internacional para la Evaluación de Estudiantes, Programme for International Student Assessment, PISA; Estudio Internacional de Progreso en Comprensión Lectora, Progress in International Reading Literacy Study, PIRLS; Estudio de las Tendencias en Matemáticas y Ciencias, Trends in International Mathematics and Science Study, TIMSS...). Puesto que lo que no se evalúa o no existe o se infravalora en las políticas educativas dominantes, esta ausencia es particularmente grave. Esta lamentable y clamorosa ausencia no es inocente; indica un estado de opinión generalizada, una ideología pedagógica dominante en las políticas neoliberales contemporáneas, asentadas en nuestra opinión en dos supuestos habitualmente incuestionados:

Ante este desolador panorama para este ámbito del conocimiento, conviene celebrar la iniciativa del Ministerio de Educación, Cultura y Deporte (MECD) de incluir en el programa de Evaluación General de Diagnóstico, durante 2009 y 2010, la prueba referida a la evaluación de la denominada competencia social y ciudadana.

Con máximo interés y curiosidad, nos proponemos analizar cuáles son las cualidades, los conocimientos, las habilidades y las actitudes que se pretende estimar en esta prueba de evaluación e indagar la potencialidad heurística de los ítems que componen esta prueba.

Referentes conceptuales

La evaluación diagnóstica de la competencia social y ciudadana

Los compromisos adquiridos por España en materia de evaluaciones de diagnóstico se vieron reflejados en el Consejo de Ministros de 2006 y, posteriormente, en la Conferencia de Educación en España de 2007. Según la Ley Orgánica de Educación (LOE 2/2006 de 3 de mayo), es necesario realizar una evaluación general de diagnóstico de todo el sistema educativo que permita obtener datos sobre la situación tanto del alumnado como de los centros de las distintas comunidades autónomas. Esta evaluación versará sobre las competencias básicas establecidas en el currículum (artículos 21 y 29, LOE), tanto en Primaria como en Secundaria. En su artículo 140, la LOE establece que las evaluaciones generales de diagnóstico del sistema educativo deben tener como finalidad contribuir a la mejora de la calidad y la equidad de la educación, orientar las políticas educativas, aumentar la transparencia y la eficacia del sistema educativo y ofrecer información sobre el grado de adquisición de las competencias básicas (MECD, 2010).

El concepto borroso de competencia

En la Evaluación General de Diagnóstico del MECD (2010, p. 38), se identifican las competencias como “una combinación de conocimientos, destrezas y actitudes que incluyen la disposición para aprender y el saber cómo”. Como se puede apreciar, el modelo de competencia de la LOE está extraído a su vez del Informe DeSeCo (Definition and Selection of Competencies) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE, 2005). En el citado informe, la competencia se entiende como la capacidad de responder a demandas complejas y llevar a cabo tareas diversas de forma adecuada. Supone la combinación de habilidades prácticas, conocimientos, motivación, valores éticos, actitudes, emociones y otros componentes sociales y de comportamiento que se movilizan conjuntamente para lograr una acción eficaz. Esta definición se puede complementar con la de François Lasnier (2000), para el cual una competencia es un saber hacer complejo, resultado de la integración, la movilización y la adecuación de capacidades, conocimientos, actitudes y habilidades, utilizados eficazmente en situaciones que tengan un carácter común. The European Centre for the Development of Vocational Training (Cedefop, 2008) en su Glossary considera que la competencia no se reduce a elementos cognitivos (teorías, conceptos y conocimiento tácito), sino que también implica aspectos funcionales (habilidades técnicas), atributos interpersonales (habilidades organizativas y sociales) y valores éticos.

A partir de estas aproximaciones previas, en el marco de nuestra investigación, consideramos las competencias como sistemas complejos de comprensión y acción, conjunto de recursos (conocimientos, habilidades, emociones, actitudes y valores) que utiliza el individuo para hacer frente a los problemas (Pérez-Gómez, 2007, 2008, 2012). Las competencias fundamentales son aquellas que resultan importantes para muchas áreas de la vida, que contribuyen a una vida satisfactoria y al buen funcionamiento de la comunidad social (Alcaraz-Salarirche, Caparrós-Vida, Soto-Gómez, Beltrán-Duarte, Rodríguez-Sánchez & Sánchez-García, 2013); la competencia social y ciudadana que nos ocupa en este artículo es una de esas competencias.

Competencia social y ciudadana

Si atendemos a la LOE (Capítulo III, artículo 6.1), en el catálogo de currículum básico se establecen 8 competencias, una de ellas la competencia social y ciudadana. Esta competencia está plenamente vinculada a la formación integral de la persona, a la construcción de una identidad personal y comunitaria. Según el MECD (2009, 2010), esta competencia hace posible comprender la realidad social en que se vive, cooperar, convivir y ejercer la ciudadanía democrática en una sociedad plural, así como comprometerse a contribuir a su mejora. Para Linda S. Levstik y Cynthia A. Tyson (2008), la competencia social y ciudadana ha de considerar el contexto de unas sociedades cada vez más complejas y plurales en las que las diferentes concepciones, derivadas de las diferencias de raza, clase, género, etnicidad, orientación sexual, religión y región, entre otras, han roto la placidez en que se presentaban antaño los conocimientos sobre las comunidades y las naciones.

La compleja evaluación de la competencia social y ciudadana

A pesar de que estas son las premisas que establece el MECD, al identificar un ámbito complejo, plural, cambiante y controvertido, sigue utilizando para su evaluación las tradicionales pruebas escritas de lápiz y papel. Al igual que sucede en otras evaluaciones de ámbito internacional y de prestigio, como las de la OCDE para el informe PISA (Pérez-Gómez & Soto-Gómez, 2011; Zabala & Arnau, 2008), estas pruebas difícilmente evalúan las cualidades más importantes del aprendizaje (pensamiento crítico, creatividad, solución de problemas…), sino que simplemente parecen medir aprendizajes superficiales (Dede, 2007) o de bajo nivel (Supovitz, 2009), reproducción de datos y ejecución de algoritmos simples. Parece difícil, si no imposible, identificar mediante tales pruebas el desarrollo de las capacidades mentales de orden superior, las cualidades o competencias que requiere la formación del ciudadano contemporáneo, ya que favorecen la memorización más que el pensamiento lógico, los hechos y datos sin contexto, los detalles desconectados del análisis, la uniformidad y despersonalización sobre la idiosincrasia y la diversidad (Pérez-Gómez, 2013; Ramírez, 2013; Ravitch, 2011, 2013).

El énfasis en las políticas de evaluación mediante pruebas estandarizadas o test nacionales o internacionales se debe a un conjunto complejo de factores, como un coste económico relativamente reducido, la posibilidad de gestión desde fuera del sistema educativo y la velocidad para trasladar los resultados a estrategias políticas concretas que pretenden mejorar el sistema (Linn, 2001). Estos test se acaban convirtiendo en herramientas técnicas, más que cognitivas (Normand, 2003, 2004), que proporcionan información acumulativa, que —en el mejor de los casos— resulta útil para identificar el progreso de cada escuela o del sistema, pero su utilidad es menor cuando se trata de orientar las prácticas de mejora, porque las pruebas de lápiz y papel no pueden identificar realmente lo que los estudiantes aprenden, y mucho menos por qué no aprenden, la calidad de los procesos de enseñanza y el grado de bondad de los sistemas escolares (Ravitch, 2011, 2013; Serván, 2011; Wyatt-Smith & Cumming, 2009). Por otra parte, ¿cómo establecer criterios de corrección válidos y fiables, simples, para su aplicación masiva, en un área tan controvertida e incierta como las Ciencias Sociales?

A nuestro entender, y tomando en consideración los estudios e investigaciones anteriormente citados, las pruebas estandarizadas de papel y lápiz, aplicadas de manera masiva a amplias muestras de la población escolar, no pueden pretender estimar el desarrollo de competencias, de sistemas complejos de comprensión y actuación, sino solamente el grado de desarrollo de alguno de sus componentes, básicamente conocimientos y habilidades. Así pues, en nuestra indagación ya no esperamos estimar el desarrollo de competencias, pero sí nos interesa sobremanera identificar qué tipo de conocimientos y habilidades deben utilizar los estudiantes para responder a los ítems presentes en dichas pruebas. Por tanto, el objetivo específico que nos planteamos en este estudio es valorar si las pruebas de evaluaciones generales de diagnóstico pueden ser consideradas herramientas útiles para evaluar, dentro de la competencia social y ciudadana, el desarrollo de las capacidades cognitivas de segundo orden.

Niveles de conocimiento. Capacidades cognitivas de segundo orden

Con este propósito, nos planteamos identificar las “capacidades cognitivas predominantes” requeridas para la resolución de los ítems de estas pruebas de diagnóstico. Nuestras categorías de análisis son notablemente similares a las establecidas en los trabajos de Stefan Thomas Hopmann, Gertrude Brinek & Martin Retzl (2007), de la Universidad de Viena, en los que analizan y comparan las categorías cognitivas implícitas en las pruebas de PISA en relación con las pruebas diagnósticas realizadas en Francia, Alemania y Finlandia. Estos autores, siguiendo las revisiones críticas de la taxonomía de Benjamin Bloom, elaboradas por Lorin W. Anderson y David R. Krathwohl (2001), establecen las siguientes categorías fundamentales: Reconocer y recordar, comprender, aplicar, analizar, crear y evaluar.

Reconocer y recordar, comprender, aplicar, analizar, crear y evaluar. Reconocer, recordar, comprender el sentido de términos y proposiciones sencillas y aplicar fórmulas o procedimientos sencillos de forma mecánica, se consideran cualidades cognitivas de orden inferior o de primer orden; mientras que el análisis, la transferencia compleja, la evaluación y la creación se consideran cualidades cognitivas de orden superior o de segundo orden.

Específicamente orientado al desarrollo de las enseñanzas en Ciencias Sociales, The College, Career and Civic Life (C3) Framework for Social Studies State Standards (C3, 2013) propone en 2013 un marco de orientación de las enseñanzas y las pruebas de evaluación en Estados Unidos, y distingue cuatro dimensiones de capacidades que conviene desarrollar en los estudiantes: desarrollar preguntas y planificar indagaciones; aplicar conceptos y herramientas disciplinares; recoger, evaluar y utilizar evidencias, argumentando y estableciendo relaciones entre ellas; trabajar cooperativamente y comunicar conclusiones. Apoyándonos en estas propuestas y planteamientos, para su uso flexible en esta investigación, proponemos la siguiente matriz de categorización de capacidades en las diferentes pruebas, que consideramos se adapta mejor a los planteamientos de las pruebas de PISA y de las evaluaciones diagnósticas:

Tabla 1
Matriz de capacidades cognitivas

Matriz de capacidades cognitivas


Fuente: elaboración propia

Metodología

En el caso de la evaluación de la competencia social y ciudadana de la prueba general de diagnóstico del MECD, nos hemos basado en el análisis de las pruebas correspondientes a los cursos: 2009 para primaria (4º curso) y 2009 (estudio internacional de civismo y ciudadanía), y 2010 para secundaria (2º curso). En total, se han analizado 22 ítems de primaria y 35 ítems de secundaria correspondientes todos ellos a los ítems liberados por el Ministerio de Educación, Cultura y Deporte. La metodología utilizada se concreta en el análisis de contenido de las pruebas por grupos de expertos (tres en nuestro caso), que valoran independientemente los ítems de cada prueba en función de las categorías de análisis previamente establecidas en el marco de la investigación; se establece un acuerdo interjueces y se someten a discusión y al juicio de un nuevo experto las adscripciones de aquellos ítems que manifiestan importantes discrepancias en la valoración inicial. Los datos obtenidos del análisis de las pruebas han sido categorizados en esta matriz y procesados informáticamente.

Resultados

Primaria

En Primaria 2009, se han analizado un total de 22 ítems, de los cuales las capacidades predominantes son: la capacidad de comprensión-aplicación y reproducción; tan solo hay 1 ítem de comunicación-argumentación y evaluación.


Capacidades presentes en la
prueba de primaria 2009
Gráfico 1
Capacidades presentes en la prueba de primaria 2009


Fuente: elaboración propia

Como puede apreciarse, la capacidad predominante es la de comprensión- aplicación, debido a que está presente en 13 de los ítems analizados. Estos ítems se resuelven fácilmente entendiendo, en primer lugar, el propósito o mecanismo básico de resolución de la pregunta (en este sentido, encontramos mucha relación con la comprensión lectora), sin necesidad de análisis o reflexión profunda sobre su contenido, y aplicando los conocimientos aprendidos previamente a las situaciones sencillas y/o conocidas que se plantean. Un posible ejemplo de ítem donde se pone de manifiesto la capacidad de comprensión-aplicación puede ser el ítem 1 relativo a la pregunta titulada La clase de Nalaya:

Tabla 2
Ítem 1

Ítem 1


Fuente: ítem liberado de la Evaluación General de Diagnóstico de Primaria, 2009

En este ítem, se evidencia que el alumnado, para contestar correctamente la pregunta, debe comprender el propósito de la misma e interpretar un gráfico sencillo con los datos explícitos. En segundo lugar, encontramos que la capacidad de reproducción es la siguiente capacidad predominante. Un posible ejemplo en la prueba titulada La historia de las elecciones democráticas en España, es el ítem 3, el cual plantea:

Tabla 3
Ítem 3

Ítem 3


Fuente: ítem liberado de la Evaluación General de Diagnóstico de Primaria, 2009

Sin necesidad de comprensión sobre lo que significan cada una de esas figuras de representación política, el estudiante puede contestar acertadamente la pregunta si ha aprendido de memoria los términos requeridos. A continuación, exponemos el único ítem en el que, a nuestro entender, están presentes la capacidad de comunicación-argumentación y de evaluación. Este ítem es el 6 de la actividad La clase de Nalaya.

Tabla 4
Ítem 6

Ítem 6


Fuente: ítem liberado de la Evaluación General de Diagnóstico de Primaria, 2009

Como podemos apreciar, en este ítem, además de responder afirmativa o negativamente, el alumno tiene que argumentar y comunicar su respuesta, e incluso podría utilizar criterios éticos para elaborar un juicio de valor.

Estudio Internacional de Civismo y Ciudadanía

En el Estudio Internacional de Civismo y Ciudadanía (ICCS, International Civic and Citizenship Education Study) de 2009 se analizaron 20 ítems. Las capacidades presentes han sido, al igual que en el cuadernillo de Primaria 2009, la capacidad de comprensión-aplicación y reproducción, aunque en sentido inverso.


Capacidades predominantes en
el Estudio Internacional de Civismo y Ciudadanía, 2009
Gráfico 2
Capacidades predominantes en el Estudio Internacional de Civismo y Ciudadanía, 2009


Fuente: elaboración propia

Como se puede desprender del gráfico anterior, las capacidades predominantes son la capacidad de reproducción, presente en un total de 14 ítems, seguida por la capacidad de comprensión-aplicación, presente en un total de 5 ítems. Es de resaltar que simplemente en un ítem podemos observar la capacidad de comunicación-argumentación. Este ítem es el ejemplo 5 de los 8 ítems de respuesta abierta utilizados en la prueba piloto del Estudio Internacional de Educación Cívica y Ciudadana (España, Ministerio de Educación, Cultura y Deporte, MECD, 2009), y plantea lo siguiente:

Tabla 5
Ejemplo 5 del ICCS

Ejemplo 5 del ICCS


Fuente: ICCS (España, Ministerio de Educación, Cultura y Deporte, MECD, 2009), extracto de ítems liberados, informe ítems aplicados a 2º de Educación Secundaria Obligatoria, ESO

En el anterior ejemplo de ítem, el alumno debe razonar de forma argumentada las razones que llevan a su padre a ser voluntario para pintar las aulas, y, además, debe comunicarlo en lenguaje escrito. A continuación, mostramos un ejemplo de ítem abierto: el ítem 1, del cuadernillo ICCS 2009, donde se le ofrece al alumno la posibilidad de demostrar el conocimiento y la comprensión que posee sobre los conceptos cívicos.

Tabla 6
Ejemplo 1 del ICCS

Ejemplo 1 del ICCS


Fuente: ICCS (España, Ministerio de Educación, Cultura y Deporte, MECD, 2009), extracto de ítems liberados, informe ítems aplicados a 2º de ESO

En la guía de corrección para la respuesta, se indica que este ítem (el ejemplo 1) “no exige a los alumnos formular un argumento complejo razonado, sino que demuestren su capacidad para identificar algunos bloques dados que podrían conducir a argumentos complejos” (ICCS, España, MECD, 2009, p. 132); se observa, por tanto, que al alumnado no se le solicita una reflexión profunda de la situación, sino que con una simple identificación de bloques de conceptos el ítem sería calificado como correcto, por ello se puede considerar como un ejemplo de Comprensión-Aplicación. Podemos ver otro ejemplo de la capacidad de reproducción en el ítem 1 de las preguntas liberadas del módulo europeo:

Tabla 7
Preguntas liberadas

Preguntas liberadas


Fuente: ICCS (España, MECD, 2009), extracto de ítems liberados, informe ítems aplicados a 2º de ESO

En este ítem, se pone de manifiesto cómo el alumnado tiene que haber aprendido el contenido de forma memorística previamente y, por tanto, puede contestar de forma correcta sin necesidad de ningún tipo de comprensión de lo que significa cada una de las categorías políticas aludidas.

Secundaria

En el extracto de ítems liberados para secundaria 2010, hemos analizado 15 ítems. Al realizar un análisis de las capacidades presentes, podemos apreciar que, en este caso, al igual que sucede en los cuadernillos anteriormente analizados, las capacidades predominantes son la capacidad de reproducción y comprensión-aplicación, aunque también se aprecia algún ítem en que se pone de manifiesto la capacidad de comunicaciónargumentación y evaluación.


Capacidades predominantes en la Evaluación General
de Diagnóstico, secundaria 2010
Gráfico 3
Capacidades predominantes en la Evaluación General de Diagnóstico, secundaria 2010


Fuente: elaboración propia

Como ejemplo de un ítem en que se pone de manifiesto la capacidad de comprensión-aplicación, presentamos el ítem 8 de los ítems liberados de 2º de ESO (2010). En ese ítem, se le plantea al alumnado tres casos acaecidos en el mundo en que vivimos y, por otro lado, cuatro artículos de la Declaración Universal de los Derechos Humanos; el alumnado solo tiene que indicar el número del artículo que se ha incumplido en cada uno de los casos.

Tabla 8
Ítem 8

Ítem 8


Fuente: ítems liberados del informe de 2º de Educación Secundaria Obligatoria, ESO del Instituto Nacional de Evaluación Educativa, INEE

Por otro lado, en el ítem 7 de la pregunta Impuestos y servicios municipales, observamos un claro ejemplo de capacidades de comunicaciónargumentación y evaluación.

Tabla 9
Ítem 7

Ítem 7


Fuente: extracto de ítems liberados contenidos en el informe de 2º ESO, 2010

Este ejemplo muestra cómo se le solicita al alumnado que razone de forma argumentada si esa afirmación es correcta o no; por ello, se puede considerar que en él se pretende valorar la capacidad de comunicación-argumentación que posee el alumnado de secundaria, así como la capacidad para elaborar juicios de valor basados en criterios explícitos.

Análisis de los aspectos formales y contextuales de las pruebas

Los ítems de las pruebas de la Evaluación General de Diagnóstico de la Competencia Social y Ciudadana (ítems liberados) de Primaria 2009 y Secundaria 2009 (Estudio Internacional de Civismo y Ciudadanía), y la Evaluación General de Diagnóstico de Secundaria 2010, presentan dos tipos de preguntas: abiertas y cerradas: el 75,45% corresponde a la modalidad cerrada y el 24,56% a la abierta. El cuadernillo de Secundaria de 2010 presenta el mayor número de preguntas abiertas.

Cuadernillo de Primaria, 2009

Al analizar en profundidad el cuadernillo, se aprecia que todos los ítems presentan cuestiones que se resuelven de forma sencilla, con un lenguaje claro, son potencialmente relevantes, reales y contextualizados, aunque el formato de la pregunta limita en gran medida la potencialidad del ítem. Prácticamente, todos son ítems cerrados y tres de ellos, concretamente el ítem 4 de La clase de Nayala; el 3 y el 5 de La historia de las elecciones democráticas en España, aparentemente son abiertos, aunque esa apertura se limita porque se le plantea al alumnado previamente un cuadro de donde deben elegir la opción correcta. El único ítem que plantea una respuesta realmente abierta es el 6 de La clase de Nayala, donde el alumnado, además de contestar Sí o No, debe razonar su respuesta.

Cuadernillo del Estudio Internacional de Civismo y Ciudadanía, 2009

Del total de ítems analizados en este cuadernillo, el 90% era de preguntas cerradas y el 10% de preguntas abiertas. Estos ítems, al igual que sucede en Primaria, poseen un lenguaje claro y sencillo; como ya se ha introducido, la mayoría de ellos corresponde a ítems cerrados, que plantean un contenido relevante y real, aunque en prácticamente todos la contextualización posee connotaciones muy académicas, debido más a la formulación del ítem que al propio contenido.

Cuadernillo de Secundaria, 2010

En este cuadernillo, simplemente hay tres ítems abiertos, los ítems 2 y 7 de Impuestos y Servicios Municipales, y el ítem 1 de la Declaración Universal de Derechos Humanos; las demás cuestiones son cerradas, excepto el ítem 4 de Impuestos y Servicios Municipales, que es aparentemente abierto, pero les proporciona a los alumnos las posibles respuestas en un cuadro previo, al igual que sucedía en el cuadernillo de Primaria. El total de los ítems analizados en este cuadernillo muestra un contenido relevante y real, aunque en la mayoría de los casos su formulación resta potencialidad al ítem, al plantear contextos artificializados con un carácter académico y tradicional. Simplemente en dos ítems de este cuadernillo no se aprecia esta tan marcada tendencia convencional y academicista: en el ítem 2 y en el ítem 7 del ejercicio Impuestos, Servicios y Gasto Público. Al igual que sucede con los cuadernillos analizados anteriormente, el lenguaje es claro y sencillo.

Discusión de resultados

En primer lugar, a la luz de los ítems analizados, es evidente que las capacidades de orden superior están escasamente representadas en las pruebas estudiadas; las capacidades de comprensión compleja, transferencia, heurística y creación no aparecen; y con una baja incidencia las capacidades de comunicaciónargumentación y evaluación, que solo están presentes en 3 de los ítems analizados. Por tanto, puede concluirse que las capacidades de orden superior (transferencia, heurística, creación, argumentación y evaluación) no son capacidades que la Evaluación General de Diagnóstico en el ámbito de la Competencia Social y Ciudadana intente valorar con interés en sus pruebas, pues predominan las capacidades de orden inferior. Como hemos visto, en muy pocas ocasiones se plantean preguntas realmente abiertas, que estimulen el pensamiento, la argumentación y la interrogación sobre los valores y los dilemas que rodean los conceptos sociales. Esta consideración es de capital importancia a nuestro entender porque, en la ciencia en general pero de modo muy particular en las Ciencias Sociales, la interrogación y el planteamiento de los problemas en su complejidad e incertidumbre son más importantes incluso que las respuestas correctas. Los problemas sociales implican siempre dilemas, conflictos de valores, prioridades y búsqueda de alternativas, siempre parciales y provisionales, por lo que el desarrollo de las competencias sociales está estrechamente ligado, en la dimensión cognitiva, a la comprensión de la complejidad, la pluralidad y el cambio, a la búsqueda de alternativas, al debate y al diálogo sobre las prioridades, es decir, al desarrollo de las capacidades cognitivas de orden superior. En las Pruebas Generales de Diagnóstico, hay algunas supuestas preguntas “abiertas” que finalmente no son tales, ya que el formato final es de elección múltiple (no implican argumentación por parte del estudiante, sino simplemente reconocimiento y discriminación al elegir entre alternativas cerradas). Así, pues, aunque se indican como ítems abiertos, consideramos que el formato es cerrado, ya que el estudiante tan solo debe poner una cruz en la respuesta correcta. Solo en algunas pruebas se incluye alguna pregunta realmente abierta que requiere argumentación.

En segundo lugar, la presencia de ítems que solamente requieren capacidades de reproducción y comprensión-aplicación sencilla y mecánica, así como la ausencia de ítems que susciten capacidades cognitivas de orden superior, permite sospechar que en la elaboración de estas pruebas no se ha discutido — ni menos aún aplicado— una taxonomía abierta y flexible de capacidades cognitivas que se consideren necesarias para el desarrollo satisfactorio de la competencia social y ciudadana en correspondencia con las finalidades previstas en el currículum. ¿Cómo se pretende estimar el desarrollo del conocimiento social y ciudadano en los estudiantes, si las pruebas no incluyen las capacidades cognitivas fundamentales para la comprensión de los complejos fenómenos sociales del mundo actual y a lo largo de la historia de la humanidad? Hay una amplia brecha entre los propósitos explicitados en las finalidades del currículum y los resultados evaluados en las pruebas utilizadas.

En tercer lugar, cabe indicar que estos resultados difieren notablemente de los resultados obtenidos en el análisis de contenido de las pruebas de PISA. Incluso en áreas de contenidos y relaciones más mecánicas y algorítmicas como la matemática, la lengua o las ciencias experimentales, las capacidades exigidas por las pruebas de PISA se sitúan decididamente en el territorio de la comprensión y aplicación y con bastante presencia de capacidades de segundo orden (transferencia, creación, argumentación y comunicación) y no se encuentra prácticamente ninguna representación de la mera capacidad de reproducción memorística (Pérez-Gómez, 2009).

En cuarto lugar, respecto a la relevancia del contenido, puede afirmarse que la mayoría de los ítems se refiere a un contenido actualizado y sobre temas vigentes en la opinión pública; es decir, potencialmente relevantes para la competencia social y ciudadana. Sin embargo, en las pruebas analizadas, este contenido tiende a plantearse de una forma academicista y bajo un formato que podríamos definir como tradicional- convencional, que prima el modelo didáctico transmisión-reproducción, con lo cual se desperdician oportunidades para profundizar en dilemas éticos y de actualidad presentados en las propias pruebas (por ejemplo, en el texto de estímulo que aparece al inicio de cada ítem, cuya potencialidad queda después minimizada por el formato de la propia pregunta, como hemos visto, por ejemplo, en el caso de Declaración Universal de los Derechos Humanos (Secundaria, 2010; ítem 7), lo que soslaya oportunidades de debates morales, políticos, ecológicos, etc., propios de la competencia que nos ocupa.

Conclusiones

Estamos conscientes de la dificultad que entraña plantear preguntas relevantes para el alumnado, tan variado desde el punto de vista sociocultural, mediante una prueba estandarizada (Pérez-Gómez & Soto-Gómez, 2011; Serván, 2011). Es difícil conectar con las inquietudes e intereses de tan diversa población muestreada y con el conocimiento necesario para desarrollar un aprendizaje situado, significativo y relevante. De ahí que nos parezca digno de reconocimiento el esfuerzo por evaluar el desarrollo de las competencias sociales en nuestros escolares, teniendo en cuenta que la dificultad inherente a su valoración está provocando su marginación en las pruebas internacionales. Así mismo, valoramos también el esfuerzo que se realiza en este tipo de pruebas para presentar temas actuales y de relevancia en el ámbito de la Competencia Social y Ciudadana. El problema es que todo este esfuerzo termina por decaer, en la mayoría de los ítems analizados, en la búsqueda de un tipo de conocimiento principalmente repetitivo.

A modo de conclusión final, cabría cuestionar la validez de este modelo de evaluación de competencias mediante pruebas estandarizadas de papel y lápiz. Parece evidente que las pruebas analizadas no permiten evaluar competencias concebidas como sistemas complejos de comprensión y de acción en el ámbito de la vida social y ciudadana. Esta consideración debería plantearse de forma explícita y clara en el preámbulo de las pruebas para no inducir a confusión. Solamente algunos de los componentes de las competencias pueden ser sensibles a este tipo de pruebas estandarizadas (conocimientos, valores proclamados y algunas habilidades cognitivas), pero es muy difícil que mediante estos procedimientos pueda identificarse el grado de desarrollo del resto de los componentes (emociones, actitudes, conductas, valores practicados y habilidades sociales) y, sobre todo, el funcionamiento integrado de tales recursos como sistemas de interpretación, toma de decisiones y actuación. El propio programa PISA aclara reiteradamente que sus pruebas se inspiran en la concepción holística de las competencias, pero que no pretenden estimar el grado de desarrollo de dichas competencias. Por medio de pruebas estandarizadas de papel y lápiz, puede identificarse solamente el grado de desarrollo de alguno de sus componentes, lo que ya es un logro sustancial si se tratan de manera adecuada.

Con respecto a las limitaciones de este estudio, cabe destacarse la dificultad para acceder a los diferentes cuadernillos de las pruebas, puesto que el equipo de investigación solo ha tenido acceso a los ítems liberados, pese a haber requerido formalmente el acceso a los cuadernillos completos para los fines de esta investigación y con los protocolos de confidencialidad y anonimato que hubieran sido necesarios. No obstante, consideramos que los ítems analizados han sido suficientes para valorar su potencialidad en el ámbito de la evaluación de la competencia social y ciudadana, lo cual nos abre otras líneas de acción futuras para el estudio de las competencias evaluadas en estas pruebas de diagnóstico, como la competencia en comunicación lingüística, la competencia matemática y la competencia en el conocimiento e interacción con el mundo físico. Así mismo, consideramos que sería también recomendable realizar un análisis comparativo entre los resultados obtenidos por estas pruebas y las capacidades evaluadas por otras pruebas similares, tanto en España como en el ámbito internacional.

Por último, entre nuestras líneas de acción futuras, consideramos también necesario indagar en otros modelos más acordes para la evaluación de competencias educativas en sentido holístico, tales como el portafolio educativo.

Referencias

Alcaraz-Salarirche, Noelia; Caparrós-Vida, Rosa María; Soto-Gómez, Encarnación; Beltrán-Duarte, Remedios; Rodríguez-Sánchez, Agustín & Sánchez-García, Sara (2013). ¿Evalúa PISA la competencia lectora? Revista de Educación, 360, 577-599. Disponible en: https://www.mecd.gob.es/dctm/revista-de-educacion/articulosre360/re36026.pdf?documentId=0901e72b814a77fa

Anderson, Lorin W. & Krathwohl, David R. (eds.) (2001). A Taxonomy for Learning Teaching and Assessing: A Revision of Blooms Taxonomy of Educational Objectives. New York: Longman.

Dede, Christopher (2007). Transforming Education for the 21st Century. Cambridge: Harvard Education Press.

España, Ministerio de Educación, Cultura y Deporte, MECD (2006). Ley Orgánica 2/2006, 3 de mayo, de Educación. Boletín Oficial del Estado, BOE, 196 (4 de mayo), 17158-17207. Disponible en: https://www.boe.es/buscar/act.php?id=BOE-A-2006-7899

España, Ministerio de Educación, Cultura y Deporte, MECD (2009). International Civic and Citizenship Education Study, ICCS 2009. Estudio Internacional de Civismo y Ciudadanía IEA. Informe Español. Madrid: Ministerio de Educación. Disponible en: https://www.mecd.gob.es/inee/evaluaciones-internacionales/otros-estudios/iccs-2009.html, http://pub.iea.nl/fileadmin/user_upload/Publications/Electronic_versions/ICCS_2009_Framework_Spanish.pdf

España, Ministerio de Educación, Cultura y Deporte, MECD (2010). Evaluación general de diagnóstico 2009. Educación Primaria. Cuarto curso. Informe de resultados. Madrid: Secretaría General Técnica. Disponible en: https://www.mecd.gob.es/dctm/ievaluacion/evaluaciongeneraldiagnostico/pdf-completo-informe-egd-2009.pdf?documentId=0901e72b8015e34e

European Centre for the Development of Vocational Training, Cedefop (2008). Terminology of European Education and Training Policy. A Selection of 100 Key Terms. Luxembourg: Office for Official Publications of the European Communities. Disponible en: http://www.cedefop.europa.eu/files/4064_en.pdf

Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María Pilar; Serván, María José; Yus, Rafael & Barquín, Javier (2010). PISA y la competencia científica. Un análisis de las pruebas de PISA en el área de Ciencias. RELIEVE: Revista Electrónica de Investigación y Evaluación Educativa, 16 (2), 1-17. Disponible en: http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm

Hopmann, Stefan Thomas; Brinek, Gertrude & Retzl, Martin (eds.) (2007). PISA zufolge PISA. Hält PISA, was es verspricht? - PISA According to PISA. Does PISA Keep What It Promises? Reihe Schulpädagogik und Pädagogische Psychologie. Bd.6. Münster, Deutschland: Wien Lit-Verlag.

Lasnier, François (2000). Réussir la formation par compétences. Montréal: Guérin.

Levstik, Linda S. & Tyson, Cynthia A. (2008). Introduction. En Linda S. Levstik & Cynthia A. Tyson (eds.). Handbook of Research in Social Studies Education, 1-12. New York: Routledge.

Linn, Robert L. (2001). Assessments and Accountability (condensed version). Educational Researcher, 29 (2), 4-16.

Normand, Romuald (2003). Le mouvement de la school effectiveness et sa critique dans le monde anglo-saxon. Sociologie, Politique et Critique en Éducation, Revue de l'Institut de Sociologie, Université Libre de Bruxelles, 135-166.

Normand, Romuald (2004). Les comparaisons internationales de résultats: Problèmes épistémologiques et questions de justice. Éducation et Sociétés, 12, 73-89. Disponible en: http://www.cairn.info/revue-education-et-societes-2003-2-page-73.html

Organización para la Cooperación y el Desarrollo Económicos, OCDE (2005). La definición y selección de competencias clave (DeSeCo). Resumen ejecutivo. Disponible en: http://comclave.educarex.es/pluginfile.php/130/mod_resource/content/3/DESECO.pdf, http://www.OECD.org/edu/statistics/deseco

Pérez-Gómez, Ángel Ignacio (2007). La naturaleza de las competencias básicas y sus aplicaciones pedagógicas. Cuadernos de Educación de Cantabria. Gobierno de Cantabria: Consejería de Educación. Disponible en: http://www.educantabria.es/docs/info_institucional/publicaciones/2007/Cuadernos_Educacion_1.PDF

Pérez-Gómez, Ángel Ignacio (2008). ¿Competencias o pensamiento práctico? La construcción de los significados de representación y de acción. En José Gimeno-Sacristán (comp.). Educar por competencias, ¿qué hay de nuevo?, 59-102. Madrid: Morata.

Pérez-Gómez, Ángel Ignacio (2009). La evaluación educativa de los aprendizajes de segundo orden, aprender cómo aprender, análisis de proyectos internacionales y experimentación de estrategias alternativas. Memoria Final del Proyecto I+D, SEJ-2007-66967. Málaga: Universidad de Málaga.

Pérez-Gómez, Ángel Ignacio (2012). Educarse en la era digital. Madrid: Morata.

Pérez-Gómez, Ángel Ignacio (2013). Reválidas. Evaluación de competencias y calidad de los aprendizajes. Revista Qurriculum, 26, 11-25. Disponible en: https://qurriculum.webs.ull.es/0_materiales/articulos/Qurriculum%2026/Qurriculum%2026-2013(1).pdf

Pérez-Gómez, Ángel Ignacio & Soto-Gómez, Encarnación (2011). Luces y sombras de PISA. Sentido educativo de las evaluaciones externas. Revista Cultura y Educación, 23 (2), 171-182. Disponible en: http://www.ugr.es/~fjjrios/pce/media/4p-LucesSombrasPisa.pdf

Ramírez, Ainissa (20 de mayo de 2013). The Dark History of the Multiple-Choice Test. Edutopia. Disponible en: http://www.edutopia.org/blog/darkhistory-of-multiple-choice-ainissa-ramirez

Ravitch, Diane (2011). The Death and Life of the Great American School System: How Testing and Choice Are Undermining Education. Edu Week, 6, 246-249.

Ravitch, Diane (2013). Reign of Error: The Hoax of the Privatization Movement and the Danger to America's Public Schools. New York: Knopf.

Serván-Núñez, María José (coord.) (2011). La evaluación externa de los aprendizajes escolares (monográfico: Políticas y prácticas de evaluación de los estudiantes, los docentes y los centros escolares). Revista Cultura y Educación, 23 (2), 165-170.

Supovitz, Jonathan (2009). Can High Stakes Testing Leverage Educational Improvement? Prospects from the Last Decade of Testing and Accountability Reform. Journal of Educational Change, 10, 211-227. Disponible en: http://www.cpre.org/sites/default/files/journal/1151_2009canhighstakes.pdf

The College, Career, and Civic Life (C3) (2013). The College, Career, and Civic Life (C3) Framework for Social Studies State Standards: State Guidance for Enhancing the Rigor of K-12 Civics, Economics, Geography, and History. Disponible en: http://www.alleganaesa.org/cms/lib07/MI01908021/Centricity/Domain/18/C3Framework%20Draft%20for%20Comment.pdf

Wyatt-Smith, Claire M. & Cumming, Joy H. (eds.). Educational Assessment in the 21st Century. New York: Springer.

Zabala, Antoni & Arnau, Laia (2008). 11 ideas clave: cómo aprender y enseñar competencias. Barcelona: Graó. Disponible en: https://josedominguezblog.files.wordpress.com/2015/06/cc3b3mo-aprender-y-ensec3b1ar-competencias.pdf

Notas de autor

a María José Mayorga-Fernández es profesora contratada doctora en el Departamento de Didáctica y Organización Escolar de la Universidad de Málaga. Miembro del equipo de investigación HUM-311: Evaluación e Investigación Educativa en Andalucía, dirigido por el doctor Ángel Ignacio Pérez-Gómez. Sus líneas de investigación son: innovación y evaluación educativa, TIC, desarrollo profesional docente, metodologías didácticas, alumnado.

b Monsalud Gallardo-Gil es profesora ayudante doctora en el Departamento de Didáctica y Organización Escolar de la Universidad de Málaga. Miembro del equipo de investigación HUM-311: Evaluación e Investigación Educativa en Andalucía, dirigido por el doctor Ángel Ignacio Pérez-Gómez. Sus líneas de investigación son: TIC, escuela rural, innovación y evaluación educativas, profesorado, alumnado.

c Ángel Ignacio Pérez-Gómez es profesor catedrático de la universidad en el Departamento de Didáctica y Organización Escolar de la Universidad de Málaga. Investigador principal del equipo de investigación HUM-311: Evaluación e Investigación Educativa en Andalucía. Sus principales líneas de investigación son: curriculum, enseñanza, aprendizaje, profesorado, innovación educativa, evaluación educativa, formación on line.

Información adicional

Para citar este artículo / To cite this article / Pour citer cet article / Para citar este artigo: Mayorga-Fernández, María José; Gallardo-Gil, Monsalud & Pérez-Gómez, Ángel Ignacio (2018). Competencia social y ciudadana en las pruebas de diagnóstico general. magis, Revista Internacional de Investigación en Educación, 10 (21), 121-136. doi: 10.11144/Javeriana.m10-21.cscp

Descripción del artículo | Article description | Description de l'article | Artigo descrição: En este artículo de investigación se presenta un análisis del proyecto Las pruebas de Evaluación General de Diagnóstico del Ministerio de Educación de España respecto a la competencia social y ciudadana. Esta competencia llama nuestra atención por ser la primera vez que se contempla en un programa de evaluación educativa. Nuestro objetivo es valorar si estas pruebas pueden ser consideradas herramientas útiles para evaluar el desarrollo de las capacidades cognitivas de segundo orden. Ofrecemos un análisis detallado de las capacidades requeridas en estas pruebas, así como la relación que hay entre el concepto de competencia propuesto en el proyecto de Definición y Selección de Competencias, DeSeCo (2005) de la Organización para la Cooperación y el Desarrollo Económicos, OCDE, y lo que realmente parece evaluarse.

Enlace alternativo (html)

http://magisinvestigacioneducacion.javeriana.edu.co/

Contexto
Descargar
Todas