Se requieren instrumentos para evaluar el ejercicio del liderazgo pedagógico (Bolívar, 2015). Hasta ahora, ha sido usado (Gago, 2006) el Principal Instructional Leadership Rating Scale (PIMRS), elaborado y empleado hace tres décadas (Hallinger, 2011; Hallinger & Wang, 2015). Una nueva evaluación de los directivos ha sido desarrollada por investigadores de la Universidad de Vanderbilt University y de la Universidad de Pennsylvania (Porter et al., 2008), que tiene el potencial de clarificar lo que significa liderazgo educativo y cómo puede ser medido: Vanderbilt Assessment of Leadership in Education (VAL-ED).

Condon y Clifford (2010) ofrecen una buena revisión de ocho instrumentos de evaluación de la labor de los directivos. De modo similar, Portin, Feldman, y Knapp (2006) hacen una revisión de los propósitos y usos que puede tener la evaluación de directivos en los sistemas educativos.Por su parte, Brown‐Sims (2010), en su trabajo Evaluating school principal, ofrece una de las más extensas revisiones e información (incluyendo dirección online) de los recursos e instrumentos de evaluación de la dirección.

Contamos con un vasto corpus de estudios e investigaciones sobre evaluación o acreditación del liderazgo escolar de los directivos, en muchos casos, vinculadas a competencias o estándares en el ámbito anglosajón (Goldring, Porter, Murphy, Elliott, & Cravens, 2009; Condon & Clifford, 2010). En una extensa revisión, Ingvarson, Anderson, Gronn, y Jackson (2006) analizan un conjunto de informes nacionales e internacionales de estándares de práctica profesional del liderazgo escolar, incluidos los enfoques de acreditación de líderes escolares.

En otra amplia investigación (Day, Sammons, & Hopkins, 2009; Sammons, Gu, & Robertson, 2007), sobre el impacto del liderazgo en los resultados de los alumnos, se entiende que estos (de tipo cognitivo, afectivo, y de conducta social), dependen, en primer lugar, como variable mediadora, de las condiciones del trabajo docente, cuyo impacto en el aprendizaje se verá moderado por otras variables como el capital cultural de la familia o el contexto organizativo. Una y otra pueden verse influenciadas por quienes ejercen roles de liderazgo, produciendo –de este modo– mejoras en el aprendizaje del alumnado. El liderazgo escolar se encuentra mediado por los procesos en el interior de la escuela y por las actividades docentes en el aula (Bolívar, 2012). De acuerdo con este consenso en la investigación, las medidas del liderazgo se deben dirigir a las tres dimensiones: prácticas de liderazgo, desarrollo profesional y mejora de aprendizajes del alumnado.De acuerdo con lo anterior, el New Leaders for New Schools (2010) propone revisar los estándares existentes de liderazgo para los directores, de manera que comprendan tanto los logros de los estudiantes como los resultados de eficacia de los docentes, y permitan establecer un modelo de evaluación de directores que determine la efectividad, basada en los resultados de los alumnos, las prácticas docentes efectivas, y las prácticas de liderazgo para lograr estos resultados.

El objetivo de este estudio fue adaptar la escala VAL-ED a población española y obtener sus características psicométricas mediante análisis de Rasch.

En primer lugar, se llevó a cabo un análisis Rasch del instrumento global. Para ello, se utilizaron las respuestas a la “Valoración del grado de eficacia”, que constituyen categorías de respuesta ordenadas de 0 a 4, y por tanto válidas para el análisis de Rasch. Los resultados del análisis de los datos globales, tomando el VAL-ED como un instrumento unitario, mostraron una significativa falta de ajuste al modelo de Rasch (χ² = 381.73; p< 0.001). Este resultado era sugerente de que el liderazgo educativo medido por el VAL-ED podía tratarse de un constructo multidimensional, en concordancia con otros estudios (Day et al., 2009; New Leaders for New Schools, 2010; Porter et al., 2008). Para determinar si las dimensiones del constructo subyacente al VAL-ED eran las 6 dimensiones del liderazgo que se recogen en el instrumento, se realizó un análisis de Rasch por separado para cada una de las dimensiones. Los resultados indicaron que las respuestas de los participantes, en ninguna de las dimensiones diferenciadas en el cuestionario se ajustaban al modelo de Rasch. A continuación, para examinar si las dimensiones subyacentes en el liderazgo medido en el VAL-ED eran los 6 componentes básicos que también se recogen en el cuestionario, se realizaron nuevos análisis de Rasch por separado para cada uno de ellos. Los resultados también indicaron que ninguno de los componentes se ajustaba al modelo.

Tras comprobar que ni las dimensiones, ni los componentes diferenciados en el VAL-ED son subescalas con constructos unidimensionales, se realizó un análisis factorial exploratorio para determinar su estructural factorial (Brown, 2001). Mediante el método de Componentes Principales y la rotación Varimax, se obtuvieron 11 factores con autovalor superior a 1, que explicaban el 75.7 % de la varianza total. Los 5 últimos factores aportaban cada uno apenas un 1 % de la explicación de la varianza total, por lo que, siguiendo las recomendaciones de la literatura para evitar factores con aportación irrelevante (Brown, 2001), se optó por una solución de 6 factores que explicaban el 67.16 % de la varianza. En la Tabla 1, se muestran los ítems agrupados en cada factor, sus respectivas cargas factoriales y el porcentaje de la varianza explicado por cada factor. La medida Kaiser-Meyer-Olkin (KMO = 0.854) y la prueba de esfericidad de Bartlett (Chi cuadrado = 7143,65; p < 0.001) indicaron la adecuación de los datos para el análisis factorial. Tan solo 2 ítems obtuvieron una carga factorial inferior al 0.4 recomendado por la literatura (Gorsuch, 1997). Sin embargo, se han mantenido para obtener más información sobre ellos mediante los análisis de Rasch.

Tabla 1 Tabla 1 Resumen de resultados del análisis factorial exploratorio. Para cada factor se incluye entre paréntesis el autovalor y el porcentaje de contribución a la varianza total explicada y dos columnas, una (a la izquierda) correspondiente a los números de cada ítem en el cuestionario VAL-ED ordenados según su carga en el factor y otra (a la derecha) con la carga factorial de cada ítem

Se realizó un análisis Rasch de las respuestas a los ítems agrupados en cada uno de los factores obtenidos para determinar si estos tenían características psicométricas adecuadas para ser considerados subescalas unidimensionales con capacidad para medir aspectos específicos del constructo liderazgo latente en el VAL-ED.

El ajuste al modelo de Rasch para determinar la validez de cada uno de los factores del cuestionario se determinó con los estadísticos habituales. En la Tabla 2, se presenta el resumen de los resultados de los análisis de cada factor. En primer lugar, se obtuvo el valor chi cuadrado de la interacción ítem-rasgo, que indica si el ordenamiento jerárquico de los ítems en el factor permanece igual a lo largo de los diferentes niveles del constructo o rasgo latente. En los factores 1, 2, 5 y 6, el valor del test chi cuadrado fue no significativo, indicando que las respuestas de los participantes a todos los ítems de estos cuatro factores del VAL-ED se ajustan al modelo de Rasch. Sin embargo, en el factor 3, el ítem número 5 (“Estimula al alumnado para alcanzar con éxito los objetivos de aprendizaje”) presentaba un residuo estandarizado superior a 2.5, que es la divergencia máxima que se recomienda entre los valores esperados y los obtenidos. Un residuo elevado indica que no existe la relación probabilística esperada entre ese ítem y otros ítems incluidos en el factor. Esta falta de relación es sugerente de que el desajuste se debe a que el ítem no contribuye al rasgo latente del factor. Por este motivo se decidió eliminar el ítem 5. Posteriormente, el nuevo análisis indicó que el factor 3 sí se ajustaba al modelo. En el factor 4, los ítems que presentaron desajuste por residuos estandarizados superiores a 2.5 fueron los números 12 (“Supervisa de manera pormenorizada los resultados conseguidos”) y 52 (“Crea relaciones con las empresas para apoyar el aprendizaje social y académico del alumnado”). Una vez eliminados, el factor 4 también se ajustó al modelo. A posteriori, se comprobó que ninguno de los 3 ítems eliminados de las subescalas 3 y 4 se ajustaba a ninguna de las otras subescalas.

Tabla 2 Tabla 2 Resumen de resultados de los análisis Rasch de las respuestas a los ítems del cuestionario VAL-ED agrupados por factores

Nota. El valor de Chi cuadrado (χ²) para todos los ítems del factor indica el ajuste global del factor al modelo de Rasch; ISP: Índice de Separación de Personas equivalente al valor del coeficiente α de Cronbach; Unidimensionalidad: porcentaje de t-tests significativos con un 95% de confianza; IC: Intervalo de Confianza (Límite inferior – Límite superior en porcentajes).

En segundo lugar, se determinaron los residuos de las respuestas a los ítems y de las personas para cada factor. Los valores generalmente aceptados están en torno a una media de 0.5 y una desviación típica máxima de 1.4 (Bond & Fox, 2015). Los residuos de los ítems de los 6 factores se encuentran dentro de los valores aceptables. En los residuos de las personas encontramos una media ligeramente inferior en el factor 4, y desviaciones típicas que superan el valor de 1.4 en los factores 1, 2 y 4.

En tercer lugar, se determinó la unidimensionalidad de cada uno de los factores aplicando el procedimiento recomendado por Tennant y Pallant (2006) como el más exigente, y que consiste en realizar análisis de componentes principales de los residuos, definiendo en primer lugar 2 subsets de ítems según la carga positiva o negativa de cada ítem en el primer componente (Smith & Miao, 1994). A continuación se comprueba el ajuste al modelo de Rasch de cada subtest por separado, y se obtiene la estimación de la localización de los sujetos en cada uno. Posteriormente, se comparan las estimaciones mediante una prueba t apareada. El criterio utilizado para demostrar la unidimensionalidad de una escala, es que el porcentaje de t tests significativos que quedan fuera del intervalo de confianza al 95 %, no exceda el 5 % del total. En los casos que se supere el 5 %, se considera que la unidimensionalidad es aceptable siempre que el límite superior del intervalo de confianza sea menor o igual al 5 % (Tennant & Conaghan, 2007). En la Tabla 2, se observa que las escalas 2, 5 y 6 cumplen el criterio que demuestra la unidimensionalidad de la escala. En el caso de los factores 1, 3 y 4, la unidimensionalidad es aceptable debido a que el límite superior del intervalo de confianza es en los tres casos, menor al 5 %.

El objetivo del estudio fue adaptar el cuestionario Vanderbilt Assessment of Leadership in Education (VAL‑ED) a la población española, y obtener sus características psicométricas mediante análisis de Rasch.

Los resultados indican que el cuestionario engloba ítems que reflejan distintos componentes del liderazgo educativo. Mediante análisis factorial es posible agrupar los ítems del VAL-ED en seis factores. Los resultados del análisis de Rasch para cada uno de los seis factores indican que constituyen verdaderas subescalas con las que medir de forma válida y fiable aspectos diferenciales o componentes específicos del liderazgo. Para que todas las subescalas se ajusten al modelo de Rasch, y por tanto, tengan valor como instrumentos de medida de aspectos unidimensionales, ha sido necesaria la eliminación de tres ítems (números 5, 12 y 52) que no se ajustaban a sus respectivas subescalas ni a ninguna otra. En futuros estudios, se debe prestar atención especial al ítem número 69 porque ha mostrado un funcionamiento no uniforme a lo largo de los distintos niveles del constructo liderazgo.

La primera subescala incluye 21 ítems relacionados con la primera de las dimensiones hacia las que se deben dirigir las medidas de liderazgo según el New Leaders for New Schools (2010), que la denomina “prácticas de liderazgo”. Dentro de esta subescala, se incluyen ítems referidos a la labor de supervisión del desarrollo del currículum para asegurar el éxito educativo a todo el alumnado, y a supervisar distintas dimensiones de la práctica docente para la mejora. Esta subescala se relaciona con la dimensión original del cuestionario “currículum riguroso”, de la que incluye 6 ítems y con el proceso clave “seguimiento” (8 ítems). En conjunto, se trata de “liderar procesos de enseñanza y aprendizaje”, como señalan los estándares profesionales para directores y líderes escolares de Australia (AITSL, 2014).

El dominio de learning-centered leadership incluye como principales tareas, en las que habitualmente invierte más tiempo, supervisar el currículum y el modo como lo implementan los docentes. Como tal, esta subescala recoge el propósito principal de la evaluación de las prácticas de liderazgo “dimensiones de la escuela que apoyan el aprendizaje de los estudiantes y la habilidad de los profesores para enseñar” (Porter et al., 2010b, p. 140).

En parte, se corresponde con estándares del ISLLC (2008), en el que se basa el VAL-ED (Murphy, 2015). Concretamente, se incluye el estándar “Desarrollar una cultura y programa instructivo conducente al aprendizaje de los estudiantes”, y el estándar 5 de la National Policy Board for Educational Administration (2015), que indica: “Los líderes educativos eficaces desarrollan y apoyan el rigor intelectual y sistemas coherentes de currículo, instrucción y evaluación para promover el éxito académico de cada estudiante y el bienestar”. Por lo demás, numerosos estudios (Day et al., 2009; Louis et al., 2010) han coincido en que la tarea principal de la dirección es gestionar el currículum, lo que supone supervisar su cumplimiento y su ejecución por los docentes. Por todos los motivos expuestos anteriormente, la primera de las subescalas podría denominarse “Política institucional sobre el currículum y la práctica docente”.

La segunda subescala contiene 14 ítems sobre aspectos que contribuyen a la mejora de la enseñanza por medio de la creación de contextos o de favorecer apoyos en el centro. El informe final de la investigación de Day et al. (2009, p. 113) señala como una de las prácticas exitosas de la dirección “mejorar las condiciones para la enseñanza y el aprendizaje”. Asimismo, se relaciona con el estándar 3 del ISLLC (2008), que habla de “asegurar una gestión efectiva de la organización y un uso eficiente de los recursos para crear un entorno efectivo de aprendizaje”. Este factor coincide con la segunda dimensión que el New Leaders for New Schools (2010) propone como necesario para el liderazgo pedagógico, y que llama “desarrollo profesional”. El título aglutinador de esta segunda subescala podría ser el de “Desarrollo de actuaciones docentes en el centro”.

La tercera de las subescalas agrupa variables referidas, en su mayor parte, a lograr integrar a los alumnos con necesidades especiales, para lo que se precisan un conjunto de condiciones que recogen algunas de las variables incluidas (programas individualizados y especiales, elevar expectativas, materiales, atender la diversidad o alumnado en riesgo, etc.). Evidentemente, si se pretende que la dirección escolar logre el éxito para todos, un punto clave en el que incidir es en crear condiciones para lograrlo en los alumnos que pueden tener mayores problemas. Este factor coincide con la tercera dimensión que el New Leaders for New Schools (2010) considera relevante, que es “la mejora de aprendizajes”. El nombre propuesto para la tercera subescala es “Condiciones de logro para docentes y estudiantes”. Se ha eliminado de esta subescala el ítem número 5, que pregunta si la dirección del centro estimula al alumnado para alcanzar con éxito los objetivos de aprendizaje, a pesar de que el análisis factorial lo incluyó dentro de este factor. Los elevados residuos del ítem indicaban que la estimulación del alumnado directamente por parte de la dirección no forma parte de las condiciones de logro que se recogen en esta subescala. La falta de ajuste de este ítem a ninguna de las otras 5 subescalas es muy relevante, ya que puede indicar que no se realiza de forma adecuada por parte de la dirección que ejerce el liderazgo, y que podría ser una vía de mejora.

Casi la totalidad de los ítems (7 de los 9) que componen la cuarta subescala se corresponden con la dimensión de relaciones con la comunidad. Esta dimensión es una práctica común de los directores eficaces o exitosos. Así, en el ISLLC de 2008, el Estándar 4 se dirige a “colaborar con el personal y los miembros de la comunidad”. Igualmente, la investigación ejemplar de Day et al. (2009, p. 124) señala como una práctica de éxito “construir relaciones fuera de la escuela con la comunidad”. El título propuesto para esta cuarta subescala del VAL-ED es “Promoción de relaciones con la comunidad”. El desajuste del ítem número 12 (“Supervisa de manera pormenorizada los resultados conseguidos”), tanto a esta subescala como al resto, debe ser considerada como información valiosa para mejorar el liderazgo educativo de la dirección escolar. De igual forma, el desajuste del ítem 52 (“Crea relaciones con las empresas para apoyar el aprendizaje social y académico del alumnado”) debe entenderse como señal de alerta sobre unas actividades que no se realizan dentro de lo que los participantes entienden como prácticas de liderazgo. Entre las posibles explicaciones del mal funcionamiento de este ítem dentro de un cuestionario de liderazgo en el contexto español, podría estar el hecho de que aunque dentro de la ley se recoja que una de las funciones de la dirección de los centros sea la colaboración con instituciones y con organismos que faciliten la relación con el entorno, la realidad es que hay graves déficits de relación de la institución educativa con su entorno (Subirats, 2005). En este mismo sentido, la idea de aprendizaje social está muy alejada de la práctica habitual centrada prioritariamente en la cuestión académica (Caride, 2012).

La quinta subescala podría denominarse “Recursos e implicación de la comunidad”, ya que contiene ítems sobre aspectos específicos de las relaciones con la comunidad para lograr su compromiso e implicación, así como la búsqueda de recursos suplementarios. Estos aspectos, referidos a incrementar el capital profesional mediante las relaciones sociales (capital social), han sido destacados ampliamente en la literatura referida a buenas prácticas de liderazgo escolar (Hargreaves & Fullan, 2014).

La sexta subescala se puede denominar “Cultura favorable al aprendizaje”, ya que cuatro de los seis ítems incluidos se corresponden con el componente del cuestionario “Cultura de aprendizaje”, lo que incluiría también altos niveles de aprendizaje por los alumnos (recogido en el ítem 68) y la implicación de las familias (ítem 69). Todos los estudios de liderazgo exitoso coinciden en que no puede incidir en la mejora directamente, sino a través de crear contextos, como una cultura favorable al aprendizaje, que posibiliten una mejor enseñanza (Louis, 2006; Tichnor-Wagner, Harrison, & Cohen-Voguel, 2016).

Los hallazgos de validez y fiabilidad de los resultados de la adaptación española del VAL-ED pueden ser de gran repercusión en el contexto educativo español, que adolece de instrumentos adecuados para medir un aspecto de vital importancia para el diagnóstico y mejora del sistema educativo (Bolívar, 2015; Gago, 2006; Murillo & Hernández, 2011). Las medias obtenidas indican que los profesores e inspectores consideran que las prácticas de liderazgo de las direcciones de los centros son poco eficaces. Los directivos autoevalúan sus prácticas como eficaces. Aunque existe discrepancia entre ambos grupos, las diferencias no son grandes, y la conclusión que podemos extraer es que, en general, en España las prácticas de liderazgo educativo no alcanzan niveles altos de eficacia en ninguno de los aspectos del cuestionario. La adaptación a población española también puede repercutir positivamente animando a investigadores de los otros países de habla hispana a realizar sus propias adaptaciones nacionales.

Entre las limitaciones del estudio, está la falta de representatividad de la muestra. Las dificultades por parte del propio sistema educativo español para llevar a cabo un muestreo adecuado obligaron a la captación de participantes por medios diversos que no garantizan la representatividad de toda la comunidad educativa. Sin embargo, contamos con participantes de la mayoría de las comunidades autónomas del país, que son las encargadas de gestionar el sistema educativo en cada una de las 17 regiones.

La adaptación del cuestionario Vanderbilt Assessment of Leadership in Education (VAL-ED) a población española es una herramienta válida y fiable para la medición del liderazgo educativo. La unidimensionalidad de cada una de las seis subescalas que la componen, ha sido demostrada mediante análisis Rasch, garantizando, por tanto, su utilidad para obtener información de aspectos específicos de relevancia para realizar un diagnóstico del liderazgo educativo, decidir vías de mejora y realizar posteriormente mediciones de la eficacia de las medidas implementadas.