Adaptación española de la escala de liderazgo pedagógico Vanderbilt Assessment of Leadership in Education (VAL-ED)*

Spanish Adaptation of the Pedagogical Leadership Scale Vanderbilt Assessment of Leadership in Education (VAL-ED)

Universitas Psychologica, vol. 17, núm. 1, 2018

Pontificia Universidad Javeriana

Purificación Pérez-García a

Universidad de Granada, España


Antonio Bolívar

Universidad de Granada, España


Marina García-Garnica

Universidad de Granada, España


Alfonso Caracuel

Universidad de Granada, España


Fecha de recepción: 29 Diciembre 2016

Fecha de aprobación: 09 Junio 2017

Resumen: El liderazgo educativo ha llegado a ser un factor clave en la mejora de la calidad educativa. El objetivo de este estudio fue adaptar la escala de liderazgo pedagógico VAL-ED (Vanderbilt Assessment of Leadership in Education) a población española (adaptación cross-cultural y validación), y obtener sus características psicométricas mediante análisis de Rasch. Los resultados obtenidos confirman que la unidimensionalidad de cada una de las seis subescalas que la componen ha sido demostrada, garantizando su utilidad para diagnosticar el liderazgo educativo, decidir vías de mejora y llevar a cabo mediciones de la eficacia de las medidas implementadas. La conclusión es que la adaptación del cuestionario VAL-ED a población española es una herramienta válida y fiable para la medición del liderazgo educativo.

Palabras clave escala, liderazgo pedagógico, adaptación, inspector, directores, profesores.

Abstract: Educational leadership has become a key factor in the improvement of educational quality. The aim of the work was to describe the adaptation of the Pedagogical Leadership Scale VAL-ED (Vanderbilt Assessment of Leadership in Education) to the Spanish population (cross-cultural adaptation process and validation) and obtain their psychometric characteristics through Rasch analysis. The obtained results confirm that the unidimensionality of each of the six subscales that compose it has been demonstrated, it is guaranteed its usefulness to diagnose the educational leadership, to decide ways of improvement and to measure the effectiveness of its implementation. The conclusion is that the adaptation of the VAL-ED questionnaire to the Spanish population is a valid and reliable tool for the measurement of educational leadership.

Keywords: scale, educational leadership, adaptation, school inspector, principals, teachers.

El liderazgo educativo o pedagógico ha llegado a ser un factor clave en la mejora de la calidad educativa (Leithwood & Louis, 2011). En España, la dirección escolar ha tenido escasas posibilidades de ejercer el liderazgo, por su dependencia de su elección por el Consejo Escolar (Bolívar & Moreno, 2006) en un contexto de solipsismo docente, acentuado en Secundaria. Sin embargo, en convergencia con la investigación y la política educativa (OECD, 2008), actualmente se tiende a dar a la dirección, un rol más profesional, en el que se incluye cierto liderazgo pedagógico (Bolívar, 2013).

Diversos estudios (Louis, Leithwood, Wahlstrom, & Anderson, 2010; Robinson, 2011) coinciden en destacar la importancia del liderazgo pedagógico de la dirección escolar para incrementar la calidad de los aprendizajes, cuyos efectos son aún mayores en contextos desfavorecidos (Bolívar, 2012). Hay un cierto consenso, evidenciado por las mejores investigaciones (Robinson, Hohepa, & Lloyd, 2009; Leithwood, 2009; Day, Sammons, Leithwoods, & Hopkins, 2011) acerca de que las escuelas que tienen capacidad para mejorar dependen de directivos que contribuyen activamente (dinamizan, apoyan, animan) a que su escuela aprenda a desarrollarse, superando los retos y dificultades a que tiene que enfrentarse.

A nivel de tendencias en las políticas educativas europeas, la OECD (2008) marcó el pulso al situar, como núcleo prioritario de mejora en los diferentes países, el liderazgo escolar (Improving School Leadership). Más tarde, los sucesivos Informes TALIS (2009, 2012) y OECD (2016), han reafirmado la relevancia del liderazgo para el aprendizaje de la dirección escolar, al tiempo que reflejaban –a nivel comparativo– algunos déficits de la dirección en España para un ejercicio de liderazgo pedagógico.

Dentro de las tendencias actuales en la investigación sobre el liderazgo, siguiendo la revisión de Firestone y Robinson (2010), se resalta el papel que desempeña el liderazgo pedagógico para organizar buenas prácticas educativas en los centros escolares y en contribuir al incremento de los resultados del aprendizaje. La introducción de un paradigma orientado al aprendizaje ha significado un importante giro en la investigación. Leithwood y Louis (2011) mantienen que hay una “conexión crítica” entre el liderazgo del equipo directivo (y otros líderes, en un liderazgo colectivo o distribuido) y los aprendizajes de los estudiantes.

Medir el liderazgo escolar

Se requieren instrumentos para evaluar el ejercicio del liderazgo pedagógico (Bolívar, 2015). Hasta ahora, ha sido usado (Gago, 2006) el Principal Instructional Leadership Rating Scale (PIMRS), elaborado y empleado hace tres décadas (Hallinger, 2011; Hallinger & Wang, 2015). Una nueva evaluación de los directivos ha sido desarrollada por investigadores de la Universidad de Vanderbilt University y de la Universidad de Pennsylvania (Porter et al., 2008), que tiene el potencial de clarificar lo que significa liderazgo educativo y cómo puede ser medido: Vanderbilt Assessment of Leadership in Education (VAL-ED).

Condon y Clifford (2010) ofrecen una buena revisión de ocho instrumentos de evaluación de la labor de los directivos. De modo similar, Portin, Feldman, y Knapp (2006) hacen una revisión de los propósitos y usos que puede tener la evaluación de directivos en los sistemas educativos.Por su parte, Brown‐Sims (2010), en su trabajo Evaluating school principal, ofrece una de las más extensas revisiones e información (incluyendo dirección online) de los recursos e instrumentos de evaluación de la dirección.

Contamos con un vasto corpus de estudios e investigaciones sobre evaluación o acreditación del liderazgo escolar de los directivos, en muchos casos, vinculadas a competencias o estándares en el ámbito anglosajón (Goldring, Porter, Murphy, Elliott, & Cravens, 2009; Condon & Clifford, 2010). En una extensa revisión, Ingvarson, Anderson, Gronn, y Jackson (2006) analizan un conjunto de informes nacionales e internacionales de estándares de práctica profesional del liderazgo escolar, incluidos los enfoques de acreditación de líderes escolares.

En otra amplia investigación (Day, Sammons, & Hopkins, 2009; Sammons, Gu, & Robertson, 2007), sobre el impacto del liderazgo en los resultados de los alumnos, se entiende que estos (de tipo cognitivo, afectivo, y de conducta social), dependen, en primer lugar, como variable mediadora, de las condiciones del trabajo docente, cuyo impacto en el aprendizaje se verá moderado por otras variables como el capital cultural de la familia o el contexto organizativo. Una y otra pueden verse influenciadas por quienes ejercen roles de liderazgo, produciendo –de este modo– mejoras en el aprendizaje del alumnado. El liderazgo escolar se encuentra mediado por los procesos en el interior de la escuela y por las actividades docentes en el aula (Bolívar, 2012). De acuerdo con este consenso en la investigación, las medidas del liderazgo se deben dirigir a las tres dimensiones: prácticas de liderazgo, desarrollo profesional y mejora de aprendizajes del alumnado.De acuerdo con lo anterior, el New Leaders for New Schools (2010) propone revisar los estándares existentes de liderazgo para los directores, de manera que comprendan tanto los logros de los estudiantes como los resultados de eficacia de los docentes, y permitan establecer un modelo de evaluación de directores que determine la efectividad, basada en los resultados de los alumnos, las prácticas docentes efectivas, y las prácticas de liderazgo para lograr estos resultados.

El objetivo de este estudio fue adaptar la escala VAL-ED a población española y obtener sus características psicométricas mediante análisis de Rasch.

Método

Muestra

La muestra estuvo compuesta por un total de 221 participantes, de los cuales 51 eran inspectores, 99 profesores y 71 directivos de Institutos de Enseñanza Secundaria (IES) públicos de España de 11 comunidades autónomas. El 82% de la muestra contaba con al menos cuatro años de experiencia en el puesto de trabajo. El 20.5% de la muestra contaba con menos de 4 años de experiencia en cargos directivos; el 30.5%, entre 4 y 8 años; el 26.5%, entre 9 y 16 años y el 22.5%, más de 16 años de experiencia.

Los criterios de inclusión en el estudio eran pertenecer al sector de la inspección educativa, al profesorado o al equipo directivo de IES de España. Dada la complejidad del acceso a estos tres sectores, por la Ley de Protección de Datos y requisitos burocráticos de las distintas Administraciones, se realizó un muestreo accidental (Bernardo & Calderero, 2000), casual (Sabariego, 2009) e intencionado (McMillan & Schumacher, 2005), no probabilístico, renunciando a la representatividad del ámbito nacional.

Se enviaron 850 cuestionarios durante el curso académico 2013, mediante entrega en reuniones científicas, a los asistentes a la Federación Española del Fórum Europeo de Administradores de la Educación (FEAE), la Asociación de Directoras y Directores de Instituto de Andalucía (ADIAN) y la Federación de Asociaciones de Directivos de Centros Educativos Públicos (FEDADI), con dirección de envío de vuelta, en sobre interior, y franqueo pagado.

Se acompañaba con una carta de presentación. Se indicaba que los remitentes eran los autores del presente artículo, miembros de un grupo de investigación con un proyecto nacional I+D, cuyo objetivo de estudio era validar un cuestionario sobre liderazgo educativo. Los cuestionarios diligenciados fueron remitidos por correo franqueado y/o recogidos por colaboradores del estudio.

Instrumentos

El cuestionario Vanderbilt Assessment of Leadership in Education (VAL‑ED), junto a otros (Bolívar, 2015; Wallace Foundation, 2009), es uno de los dispositivos más completos y potentes para la evaluación de la capacidad de liderazgo educativo de la dirección escolar. Nuestro equipo de investigación ha hecho la traducción, adaptación y validación de cuyo proceso damos cuenta en esta contribución.

Fue desarrollado por académicos de las universidades de Vanderbilt y Pensilvania en EE.UU., y sus aplicaciones han contado con evidencia de validez y fiabilidad satisfactorias (Porter et al., 2010a; Porter at al., 2010b). El VAL-ED se inspiró, como modelo de evaluación, en una comprensión del liderazgo como “el proceso de influenciar a otros para lograr, por mutuo acuerdo, las metas de la organización” (Goldring et al., 2009, p. 4). Se focalizaba en conductas asociadas a un liderazgo centrado en el aprendizaje (learning-centered leadership). El cuestionario Vanderbilt de Liderazgo en Educación (VAL-ED) es “uno de los pocos que tiene en cuenta, y deliberadamente refuerza, la competencia del director para compartir la autoridad y la responsabilidad para conducir la mejora de los aprendizajes en su escuela” (Wallace Foundation, 2009, p. 8-9). Mide la eficacia de las actuaciones más importantes de la dirección que influyen en el desempeño docente y el aprendizaje del alumnado, ya sea por su acción directa o de manera compartida por su equipo.

El marco conceptual que organiza la evaluación del liderazgo se focaliza en dos dimensiones clave de las prácticas de liderazgo: componentes básicos y procesos clave. El instrumento evalúa ambas dimensiones, y se compone de un total de 72 ítems. Cada ítem debía ser marcado, por un lado, según las principales “fuentes de evidencia” que usa para basar su evaluación, en donde se debe señalar al menos una fuente de evidencia de las seis que se ofertan (informes de los demás, observaciones personales, documentos del centro, proyectos y actividades, otras fuentes, sin evidencias). Por otro lado, según la “valoración del grado de eficacia”, con 5 grados de desempeño (ineficaz, poco eficaz, eficaz, bastante eficaz, muy eficaz).

Por tanto, el cuestionario evalúa el liderazgo escolar tomando medidas de la intersección de estas dimensiones, es decir, de lo que los directores o equipos de liderazgo deben hacer para mejorar el aprendizaje académico y social de los alumnos (componente básico) y cómo crean estos componentes básicos (los procesos clave).

Los componentes básicos se refieren a condiciones de la escuela que apoyan el aprendizaje de los alumnos y las condiciones para que los docentes enseñen mejor. Tales componentes representan las dimensiones del liderazgo de la dirección, y son los siguientes: Objetivos de aprendizaje elevados (ítems 1 al 12), Currículum riguroso(ítems 13 al 24), Calidad de la enseñanza(ítems 25 al 36), Cultura de aprendizaje y trabajo en equipo(ítems 37 al 48), Relación con la comunidad(ítems 49 al 60), y Responsabilidad por los resultados (ítems 61 al 72).

Los procesos clave son los que mediante el liderazgo, individual y colectivo, influencian a la organización y a otros miembros o actores relevantes, para establecer y cumplir con los diferentes componentes básicos. En cada uno de estos, se pregunta por los procesos clave que son: planificación, implementación, apoyo y desarrollo, inclusión, comunicación, seguimiento.

Traducción y adaptación del VAL-ED

Hemos seguido la metodología de adaptación de un cuestionario a otro contexto cultural (cross-cultural adaptation), que posibilite mantener una validez y fiabilidad similares al instrumento original. De acuerdo con la literatura científica al respecto (Beaton, Bombardier, Guillemin, & Feraz, 2000), en una primera fase lo hemos adaptado para posteriormente validarlo.

Cuando un cuestionario pertenece a otro contexto cultural se requiere no sólo una traducción literal “sino que también deben ser adaptados a la cultura para mantener la validez del contenido del instrumento a un nivel conceptual a través de diferentes culturas” (Beaton et al., 2000, p. 3186).

En este sentido, tuvimos en cuenta las observaciones que realizan diversos estudios sobre la adaptación transcultural de cuestionarios. Más que la traducción fiel, adaptar un instrumento exige considerar aspectos culturales, idiomáticos, lingüísticos y contextuales (Hambleton, Merenda, & Spielberger, 2005; Muñiz, Elosua, & Hambleton, 2013).

En nuestro caso, ha sido muy costoso pues, a los habituales problemas, se sumaba que la dirección escolar en España no ejercía un conjunto de funciones que aparecían en el VAL-ED, lo que nos ha forzado a darle un sentido que pudiera hacerlo comprensible para directivos, inspectores y profesorado. Fue bueno el empleo de una Comisión de expertos (Vinokurov, Geller, & Martin, 2007) que trató de ver si existía equivalencia conceptual en base a criterios como claridad, lenguaje común y adecuación cultural, además resolvió por consenso dudas sobre la forma de redacción.

En nuestra adaptación al español, la fiabilidad del cuestionario fue calculada con el coeficiente del alpha de Cronbach que arrojó un resultado de 0.978.

Análisis de datos

Se realizó un análisis descriptivo de la muestra y un análisis factorial exploratorio mediante SPSS v24, además del análisis de Rasch con el software RUMM2020.

Resultados

En primer lugar, se llevó a cabo un análisis Rasch del instrumento global. Para ello, se utilizaron las respuestas a la “Valoración del grado de eficacia”, que constituyen categorías de respuesta ordenadas de 0 a 4, y por tanto válidas para el análisis de Rasch. Los resultados del análisis de los datos globales, tomando el VAL-ED como un instrumento unitario, mostraron una significativa falta de ajuste al modelo de Rasch (χ2 = 381.73; p< 0.001). Este resultado era sugerente de que el liderazgo educativo medido por el VAL-ED podía tratarse de un constructo multidimensional, en concordancia con otros estudios (Day et al., 2009; New Leaders for New Schools, 2010; Porter et al., 2008). Para determinar si las dimensiones del constructo subyacente al VAL-ED eran las 6 dimensiones del liderazgo que se recogen en el instrumento, se realizó un análisis de Rasch por separado para cada una de las dimensiones. Los resultados indicaron que las respuestas de los participantes, en ninguna de las dimensiones diferenciadas en el cuestionario se ajustaban al modelo de Rasch. A continuación, para examinar si las dimensiones subyacentes en el liderazgo medido en el VAL-ED eran los 6 componentes básicos que también se recogen en el cuestionario, se realizaron nuevos análisis de Rasch por separado para cada uno de ellos. Los resultados también indicaron que ninguno de los componentes se ajustaba al modelo.

Tras comprobar que ni las dimensiones, ni los componentes diferenciados en el VAL-ED son subescalas con constructos unidimensionales, se realizó un análisis factorial exploratorio para determinar su estructural factorial (Brown, 2001). Mediante el método de Componentes Principales y la rotación Varimax, se obtuvieron 11 factores con autovalor superior a 1, que explicaban el 75.7 % de la varianza total. Los 5 últimos factores aportaban cada uno apenas un 1 % de la explicación de la varianza total, por lo que, siguiendo las recomendaciones de la literatura para evitar factores con aportación irrelevante (Brown, 2001), se optó por una solución de 6 factores que explicaban el 67.16 % de la varianza. En la Tabla 1, se muestran los ítems agrupados en cada factor, sus respectivas cargas factoriales y el porcentaje de la varianza explicado por cada factor. La medida Kaiser-Meyer-Olkin (KMO = 0.854) y la prueba de esfericidad de Bartlett (Chi cuadrado = 7143,65; p < 0.001) indicaron la adecuación de los datos para el análisis factorial. Tan solo 2 ítems obtuvieron una carga factorial inferior al 0.4 recomendado por la literatura (Gorsuch, 1997). Sin embargo, se han mantenido para obtener más información sobre ellos mediante los análisis de Rasch.

Tabla 1
Resumen de resultados del análisis factorial exploratorio. Para cada factor se incluye entre paréntesis el autovalor y el porcentaje de contribución a la varianza total explicada y dos columnas, una (a la izquierda) correspondiente a los números de cada ítem en el cuestionario VAL-ED ordenados según su carga en el factor y otra (a la derecha) con la carga factorial de cada ítem

Resumen
de resultados del análisis factorial exploratorio. Para cada factor se incluye
entre paréntesis el autovalor y el porcentaje de contribución a la varianza
total explicada y dos columnas, una (a la izquierda) correspondiente a los
números de cada ítem en el cuestionario VAL-ED ordenados según su carga en el
factor y otra (a la derecha) con la carga factorial de cada ítem


Se realizó un análisis Rasch de las respuestas a los ítems agrupados en cada uno de los factores obtenidos para determinar si estos tenían características psicométricas adecuadas para ser considerados subescalas unidimensionales con capacidad para medir aspectos específicos del constructo liderazgo latente en el VAL-ED.

El ajuste al modelo de Rasch para determinar la validez de cada uno de los factores del cuestionario se determinó con los estadísticos habituales. En la Tabla 2, se presenta el resumen de los resultados de los análisis de cada factor. En primer lugar, se obtuvo el valor chi cuadrado de la interacción ítem-rasgo, que indica si el ordenamiento jerárquico de los ítems en el factor permanece igual a lo largo de los diferentes niveles del constructo o rasgo latente. En los factores 1, 2, 5 y 6, el valor del test chi cuadrado fue no significativo, indicando que las respuestas de los participantes a todos los ítems de estos cuatro factores del VAL-ED se ajustan al modelo de Rasch. Sin embargo, en el factor 3, el ítem número 5 (“Estimula al alumnado para alcanzar con éxito los objetivos de aprendizaje”) presentaba un residuo estandarizado superior a 2.5, que es la divergencia máxima que se recomienda entre los valores esperados y los obtenidos. Un residuo elevado indica que no existe la relación probabilística esperada entre ese ítem y otros ítems incluidos en el factor. Esta falta de relación es sugerente de que el desajuste se debe a que el ítem no contribuye al rasgo latente del factor. Por este motivo se decidió eliminar el ítem 5. Posteriormente, el nuevo análisis indicó que el factor 3 sí se ajustaba al modelo. En el factor 4, los ítems que presentaron desajuste por residuos estandarizados superiores a 2.5 fueron los números 12 (“Supervisa de manera pormenorizada los resultados conseguidos”) y 52 (“Crea relaciones con las empresas para apoyar el aprendizaje social y académico del alumnado”). Una vez eliminados, el factor 4 también se ajustó al modelo. A posteriori, se comprobó que ninguno de los 3 ítems eliminados de las subescalas 3 y 4 se ajustaba a ninguna de las otras subescalas.

Tabla 2
Resumen de resultados de los análisis Rasch de las respuestas a los ítems del cuestionario VAL-ED agrupados por factores

Resumen de resultados de los análisis
Rasch de las respuestas a los ítems del cuestionario VAL-ED agrupados por
factores

Nota. El valor de Chi cuadrado (χ2) para todos los ítems del factor indica el ajuste global del factor al modelo de Rasch; ISP: Índice de Separación de Personas equivalente al valor del coeficiente α de Cronbach; Unidimensionalidad: porcentaje de t-tests significativos con un 95% de confianza; IC: Intervalo de Confianza (Límite inferior – Límite superior en porcentajes).


En segundo lugar, se determinaron los residuos de las respuestas a los ítems y de las personas para cada factor. Los valores generalmente aceptados están en torno a una media de 0.5 y una desviación típica máxima de 1.4 (Bond & Fox, 2015). Los residuos de los ítems de los 6 factores se encuentran dentro de los valores aceptables. En los residuos de las personas encontramos una media ligeramente inferior en el factor 4, y desviaciones típicas que superan el valor de 1.4 en los factores 1, 2 y 4.

En tercer lugar, se determinó la unidimensionalidad de cada uno de los factores aplicando el procedimiento recomendado por Tennant y Pallant (2006) como el más exigente, y que consiste en realizar análisis de componentes principales de los residuos, definiendo en primer lugar 2 subsets de ítems según la carga positiva o negativa de cada ítem en el primer componente (Smith & Miao, 1994). A continuación se comprueba el ajuste al modelo de Rasch de cada subtest por separado, y se obtiene la estimación de la localización de los sujetos en cada uno. Posteriormente, se comparan las estimaciones mediante una prueba t apareada. El criterio utilizado para demostrar la unidimensionalidad de una escala, es que el porcentaje de t tests significativos que quedan fuera del intervalo de confianza al 95 %, no exceda el 5 % del total. En los casos que se supere el 5 %, se considera que la unidimensionalidad es aceptable siempre que el límite superior del intervalo de confianza sea menor o igual al 5 % (Tennant & Conaghan, 2007). En la Tabla 2, se observa que las escalas 2, 5 y 6 cumplen el criterio que demuestra la unidimensionalidad de la escala. En el caso de los factores 1, 3 y 4, la unidimensionalidad es aceptable debido a que el límite superior del intervalo de confianza es en los tres casos, menor al 5 %.

Funcionamiento Diferencial del Ítem (DIF)

Se ha observado DIF en el ítem 69 (“Aborda con las familias el progreso en los objetivos escolares”). Este resultado indica que no se observa un incremento constante en el abordaje del progreso con las familias a medida que se ejerce un liderazgo mayor. No se ha producido DIF para los 3 grupos de participantes (profesores, inspectores y directivos).

Funcionamiento de las Categorías de Respuesta

Mediante el análisis de Rasch, se comprobó que las categorías de respuesta funcionaron adecuadamente en todos los ítems, sin que se observasen umbrales desordenados en ningún caso. Este resultado indica que las 5 opciones de respuesta que ofrece el cuestionario son adecuadas para recoger la opinión sobre el liderazgo de los participantes (Hagquist, Bruce, & Gustavsson, 2009)

Fiabilidad

El Índice de Separación de las Personas es el valor, en el modelo de Rasch, de la fiabilidad de los resultados, equivalente al coeficiente α de Cronbach. Los valores obtenidos (ver Tabla 2) son superiores a 0.9 en 5 de los factores (0.83 en el quinto factor). A partir de un valor de 0.8, los cuestionarios son útiles para clasificar a las personas en al menos tres niveles de liderazgo: bajo, medio y alto (Linacre, 1994).

En la Tabla 3, se muestran las medias y desviaciones típicas de cada uno de los 3 grupos que componen la muestra (profesores, inspectores y directivos) en cada uno de los seis factores. En un rango de medias que oscila entre 1 y 5 (1 = ineficaz; 5 = muy eficaz). Los resultados indican que la visión que tienen los dos primeros grupos sobre la eficacia de las prácticas de liderazgo de la dirección de los centros es ligeramente inferior a la que tienen los propios directivos sobre sí mismos. Sin embargo, la mayoría de las medias son superiores a 2.5, lo que indica que las prácticas de liderazgo son informadas como poco eficaces (puntuación entre 2 y 3). Solo el grupo de directivos evalúa sus prácticas con una media igual o superior a 3 (eficaz) en la mayoría de los factores (5 de los 6 factores).

Tabla 3
Resultados de cada grupo (profesores, inspectores y directivos) en cada uno de los seis factores del cuestionario VAL-ED expresados en medias y desviaciones típicas (DE). El rango de las puntuaciones medias es de 1 a 5

Resultados de cada grupo
(profesores, inspectores y directivos) en cada uno de los seis factores del
cuestionario VAL-ED expresados en medias y desviaciones típicas (DE). El rango
de las puntuaciones medias es de 1 a 5


Discusión

El objetivo del estudio fue adaptar el cuestionario Vanderbilt Assessment of Leadership in Education (VAL‑ED) a la población española, y obtener sus características psicométricas mediante análisis de Rasch.

Los resultados indican que el cuestionario engloba ítems que reflejan distintos componentes del liderazgo educativo. Mediante análisis factorial es posible agrupar los ítems del VAL-ED en seis factores. Los resultados del análisis de Rasch para cada uno de los seis factores indican que constituyen verdaderas subescalas con las que medir de forma válida y fiable aspectos diferenciales o componentes específicos del liderazgo. Para que todas las subescalas se ajusten al modelo de Rasch, y por tanto, tengan valor como instrumentos de medida de aspectos unidimensionales, ha sido necesaria la eliminación de tres ítems (números 5, 12 y 52) que no se ajustaban a sus respectivas subescalas ni a ninguna otra. En futuros estudios, se debe prestar atención especial al ítem número 69 porque ha mostrado un funcionamiento no uniforme a lo largo de los distintos niveles del constructo liderazgo.

La primera subescala incluye 21 ítems relacionados con la primera de las dimensiones hacia las que se deben dirigir las medidas de liderazgo según el New Leaders for New Schools (2010), que la denomina “prácticas de liderazgo”. Dentro de esta subescala, se incluyen ítems referidos a la labor de supervisión del desarrollo del currículum para asegurar el éxito educativo a todo el alumnado, y a supervisar distintas dimensiones de la práctica docente para la mejora. Esta subescala se relaciona con la dimensión original del cuestionario “currículum riguroso”, de la que incluye 6 ítems y con el proceso clave “seguimiento” (8 ítems). En conjunto, se trata de “liderar procesos de enseñanza y aprendizaje”, como señalan los estándares profesionales para directores y líderes escolares de Australia (AITSL, 2014).

El dominio de learning-centered leadership incluye como principales tareas, en las que habitualmente invierte más tiempo, supervisar el currículum y el modo como lo implementan los docentes. Como tal, esta subescala recoge el propósito principal de la evaluación de las prácticas de liderazgo “dimensiones de la escuela que apoyan el aprendizaje de los estudiantes y la habilidad de los profesores para enseñar” (Porter et al., 2010b, p. 140).

En parte, se corresponde con estándares del ISLLC (2008), en el que se basa el VAL-ED (Murphy, 2015). Concretamente, se incluye el estándar “Desarrollar una cultura y programa instructivo conducente al aprendizaje de los estudiantes”, y el estándar 5 de la National Policy Board for Educational Administration (2015), que indica: “Los líderes educativos eficaces desarrollan y apoyan el rigor intelectual y sistemas coherentes de currículo, instrucción y evaluación para promover el éxito académico de cada estudiante y el bienestar”. Por lo demás, numerosos estudios (Day et al., 2009; Louis et al., 2010) han coincido en que la tarea principal de la dirección es gestionar el currículum, lo que supone supervisar su cumplimiento y su ejecución por los docentes. Por todos los motivos expuestos anteriormente, la primera de las subescalas podría denominarse “Política institucional sobre el currículum y la práctica docente”.

La segunda subescala contiene 14 ítems sobre aspectos que contribuyen a la mejora de la enseñanza por medio de la creación de contextos o de favorecer apoyos en el centro. El informe final de la investigación de Day et al. (2009, p. 113) señala como una de las prácticas exitosas de la dirección “mejorar las condiciones para la enseñanza y el aprendizaje”. Asimismo, se relaciona con el estándar 3 del ISLLC (2008), que habla de “asegurar una gestión efectiva de la organización y un uso eficiente de los recursos para crear un entorno efectivo de aprendizaje”. Este factor coincide con la segunda dimensión que el New Leaders for New Schools (2010) propone como necesario para el liderazgo pedagógico, y que llama “desarrollo profesional”. El título aglutinador de esta segunda subescala podría ser el de “Desarrollo de actuaciones docentes en el centro”.

La tercera de las subescalas agrupa variables referidas, en su mayor parte, a lograr integrar a los alumnos con necesidades especiales, para lo que se precisan un conjunto de condiciones que recogen algunas de las variables incluidas (programas individualizados y especiales, elevar expectativas, materiales, atender la diversidad o alumnado en riesgo, etc.). Evidentemente, si se pretende que la dirección escolar logre el éxito para todos, un punto clave en el que incidir es en crear condiciones para lograrlo en los alumnos que pueden tener mayores problemas. Este factor coincide con la tercera dimensión que el New Leaders for New Schools (2010) considera relevante, que es “la mejora de aprendizajes”. El nombre propuesto para la tercera subescala es “Condiciones de logro para docentes y estudiantes”. Se ha eliminado de esta subescala el ítem número 5, que pregunta si la dirección del centro estimula al alumnado para alcanzar con éxito los objetivos de aprendizaje, a pesar de que el análisis factorial lo incluyó dentro de este factor. Los elevados residuos del ítem indicaban que la estimulación del alumnado directamente por parte de la dirección no forma parte de las condiciones de logro que se recogen en esta subescala. La falta de ajuste de este ítem a ninguna de las otras 5 subescalas es muy relevante, ya que puede indicar que no se realiza de forma adecuada por parte de la dirección que ejerce el liderazgo, y que podría ser una vía de mejora.

Casi la totalidad de los ítems (7 de los 9) que componen la cuarta subescala se corresponden con la dimensión de relaciones con la comunidad. Esta dimensión es una práctica común de los directores eficaces o exitosos. Así, en el ISLLC de 2008, el Estándar 4 se dirige a “colaborar con el personal y los miembros de la comunidad”. Igualmente, la investigación ejemplar de Day et al. (2009, p. 124) señala como una práctica de éxito “construir relaciones fuera de la escuela con la comunidad”. El título propuesto para esta cuarta subescala del VAL-ED es “Promoción de relaciones con la comunidad”. El desajuste del ítem número 12 (“Supervisa de manera pormenorizada los resultados conseguidos”), tanto a esta subescala como al resto, debe ser considerada como información valiosa para mejorar el liderazgo educativo de la dirección escolar. De igual forma, el desajuste del ítem 52 (“Crea relaciones con las empresas para apoyar el aprendizaje social y académico del alumnado”) debe entenderse como señal de alerta sobre unas actividades que no se realizan dentro de lo que los participantes entienden como prácticas de liderazgo. Entre las posibles explicaciones del mal funcionamiento de este ítem dentro de un cuestionario de liderazgo en el contexto español, podría estar el hecho de que aunque dentro de la ley se recoja que una de las funciones de la dirección de los centros sea la colaboración con instituciones y con organismos que faciliten la relación con el entorno, la realidad es que hay graves déficits de relación de la institución educativa con su entorno (Subirats, 2005). En este mismo sentido, la idea de aprendizaje social está muy alejada de la práctica habitual centrada prioritariamente en la cuestión académica (Caride, 2012).

La quinta subescala podría denominarse “Recursos e implicación de la comunidad”, ya que contiene ítems sobre aspectos específicos de las relaciones con la comunidad para lograr su compromiso e implicación, así como la búsqueda de recursos suplementarios. Estos aspectos, referidos a incrementar el capital profesional mediante las relaciones sociales (capital social), han sido destacados ampliamente en la literatura referida a buenas prácticas de liderazgo escolar (Hargreaves & Fullan, 2014).

La sexta subescala se puede denominar “Cultura favorable al aprendizaje”, ya que cuatro de los seis ítems incluidos se corresponden con el componente del cuestionario “Cultura de aprendizaje”, lo que incluiría también altos niveles de aprendizaje por los alumnos (recogido en el ítem 68) y la implicación de las familias (ítem 69). Todos los estudios de liderazgo exitoso coinciden en que no puede incidir en la mejora directamente, sino a través de crear contextos, como una cultura favorable al aprendizaje, que posibiliten una mejor enseñanza (Louis, 2006; Tichnor-Wagner, Harrison, & Cohen-Voguel, 2016).

Los hallazgos de validez y fiabilidad de los resultados de la adaptación española del VAL-ED pueden ser de gran repercusión en el contexto educativo español, que adolece de instrumentos adecuados para medir un aspecto de vital importancia para el diagnóstico y mejora del sistema educativo (Bolívar, 2015; Gago, 2006; Murillo & Hernández, 2011). Las medias obtenidas indican que los profesores e inspectores consideran que las prácticas de liderazgo de las direcciones de los centros son poco eficaces. Los directivos autoevalúan sus prácticas como eficaces. Aunque existe discrepancia entre ambos grupos, las diferencias no son grandes, y la conclusión que podemos extraer es que, en general, en España las prácticas de liderazgo educativo no alcanzan niveles altos de eficacia en ninguno de los aspectos del cuestionario. La adaptación a población española también puede repercutir positivamente animando a investigadores de los otros países de habla hispana a realizar sus propias adaptaciones nacionales.

Entre las limitaciones del estudio, está la falta de representatividad de la muestra. Las dificultades por parte del propio sistema educativo español para llevar a cabo un muestreo adecuado obligaron a la captación de participantes por medios diversos que no garantizan la representatividad de toda la comunidad educativa. Sin embargo, contamos con participantes de la mayoría de las comunidades autónomas del país, que son las encargadas de gestionar el sistema educativo en cada una de las 17 regiones.

Conclusiones

La adaptación del cuestionario Vanderbilt Assessment of Leadership in Education (VAL-ED) a población española es una herramienta válida y fiable para la medición del liderazgo educativo. La unidimensionalidad de cada una de las seis subescalas que la componen, ha sido demostrada mediante análisis Rasch, garantizando, por tanto, su utilidad para obtener información de aspectos específicos de relevancia para realizar un diagnóstico del liderazgo educativo, decidir vías de mejora y realizar posteriormente mediciones de la eficacia de las medidas implementadas.

Agradecimientos

Este trabajo se ha hecho en el marco del proyecto I+D Liderazgo pedagógico y desarrollo del centro como comunidad profesional: prácticas de éxito en educación obligatoria, financiado por el Ministerio Economía y Competitividad dentro del Programa Estatal de Investigación Científica y Técnica y de Innovación (Referencia EDU2013-48432-P).

Referencias

Australian Institute for Teaching and School Leadership, AITSL. (2014). Australian Professional Standard for Principals and the Leadership Profiles. Melbourne: Education Services Australia. Recuperado de http://www.aitsl.edu.au/australian-professional-standard-for-principals

Beaton, D. E., Bombardier, C., Guillemin, F., & Feraz, M. B. (2000). Guidelines for process of cross-cultural adaptation of self-report measures. Spine, 25(24), 3186-3191. Recuperado de https://www.ncbi.nlm.nih.gov/pubmed/11124735

Bernardo, J., & Calderero, J. F. (2000). Aprendo a investigar en educación. Madrid: Rialp. ISBN: 8432133183

Bolívar, A., & Moreno, J. M. (2006). Between transaction and transformation: The role of school principals as education leaders in Spain. Journal of Educational Change, 7(1), 19-31. https://doi.org/10.1007/s10833-006-0010-7

Bolívar, A. (2012). Políticas actuales de mejora y liderazgo educativo. Archidona: Aljibe. ISBN: 9788497007221

Bolívar, A. (2013). La dirección de centros en España: de la gestión al liderazgo. En A. Villa (Ed.), Liderazgo pedagógico en los centros educativos: Competencias de equipos directivos, profesorado y orientadores (pp. 145-177). Bilbao: Universidad de Deusto. ISBN: 9788427135420

Bolívar, A. (2015). Evaluar el liderazgo pedagógico de la dirección escolar. Revisión de enfoques e instrumentos. Revista Iberoamericana de Evaluación Educativa, 8(2), 15-39. Recuperado de https://revistas.uam.es/index.php/riee/article/view/2740/2927

Bond, T., & Fox, C. M. (2015). Applying the Rasch Model: Fundamental Measurement in the Human Sciences (3a ed.). Abingdon: Routledge. ISBN: 978-1-317-80526-7

Brown-Sims, M. (2010). Evaluating school principals. Washington, DC: National Comprehensive Center on Teacher Quality. Recuperado de https://eric.ed.gov/?id=ED543770

Brown, D. J. (2001). Questions and answers about language testing statistics: What is an eigenvalue? Shiken, 5(1), 15-19. Recuperado de http://jalt.org/test/bro_10.htm

Caride, J. A. (Coord.). (2012). Tiempos educativos, tiempos de ocio. Pedagogía Social. Revista Interuniversitaria, 20, 7-16. https://doi.org/10.7179/PSRI_2012.20.00

Condon, C., & Clifford, M. (2010). Measuring Principal Performance: How Rigorous are Publicly Available Principal Performance Assessment Instruments? Naperville, IL: Learning Point Associates. Recuperado de https://files.eric.ed.gov/fulltext/ED509964.pdf

Day, C., Sammons, P., & Hopkins, D. (2009). Impact of school leadership on pupil outcomes. Final Report. Nottingham: University of Nottingham. Recuperado de http://dera.ioe.ac.uk/id/eprint/11329

Day, C., Sammons, P., Leithwood, K., & Hopkins, D. (2011). Successful school leadership: linking with learning and achievement. Maidenhead: Open University Press. ISBN: 9780335242443

Firestone, W. A., & Robinson, V. M. J. (2010). Research on educational leadership: Approaches/promising directions. En P. Peterson, E. Baker, & B. McGaw (Eds.), International Encyclopedia of Education (pp. 740-745). Oxford: Elsevier. ISBN: 9780080448947

Gago, F. M. (2006). La dirección pedagógica en los Institutos de Enseñanza Secundaria. Un estudio sobre el liderazgo educacional. Madrid: Centro de Investigación y Documentación Educativa.

Goldring, E., Porter, A., Murphy, J., Elliot, S. N., & Cravens, X.(2009). Assessing Learning-Centered Leadership: Connections to Research, Professional Standards and Current Practices. Leadership and Policy in Schools, 8(1), 1-36. https://doi.org/10.1080/15700760802014951

Gorsuch, R. L. (1997). Exploratory factor analysis: Its role in item analysis. Journal of Personality Assessment, 68(3), 532-560. http://doi.org/10.1207/s15327752jpa6803_5

Hagquist, C., Bruce, M., & Gustavsson, J. P. (2009).Using the Rasch model in nursing research: An introduction and illustrative example. International Journal of Nursing Studies, 46(3), 380-393. http://doi.org/10.1016/j.ijnurstu.2008.10.007

Hallinger, P., & Wang, W. C. (2015). Assessing Instructional Leadership with the Principal Instructional Management Rating Scale. Dordrecht: Springer.

Hambleton, R. K., Merenda, P. F., & Spielberger, C. D. (Eds.). (2005). Adapting Educational and Psychological Tests for Cross-Cultural Assessment. Mahwah, NJ: Lawrence Erlbaum Associates.

Hargreaves, A., & Fullan, M. (2014). Capital profesional. Madrid: Morata.

Ingvarson, L., Anderson, M., Gronn, P., & Jackson, A. (2006). Standards for school leadership. A critical review of literature. Melbourne: ACER. ISBN: 0-9775252-3-6

ISLLC. (2008). Educational Leadership Policy Standards. Washington, DC: CCSSO. Recuperado de http://www.wallacefoundation.org/knowledge-center/Documents/Educational-Leadership-Policy-Standards-ISLLC-2008.pdf

Leithwood, K., & Louis, K.S. (2011). Linking Leadership to Student Learning. San Francisco: Jossey-Bass.

Leithwood, K. (2009). ¿Cómo liderar nuestras escuelas? Aportes de la investigación. Santiago de Chile: Fundación Chile.

Linacre, J. M. (1994). Sample Size and Item Calibration Stability. Rasch Measurement Transactions, 7(4), 328. Recuperado de https://www.rasch.org/rmt/rmt74m.htm

Louis, K. S. (2006). Changing the culture of schools: Professional community, organizational learning, and trust. Journal of School Leadership,16(5), 477-489.

Louis, K. S., Leithwood, K., Wahlstrom, K. L., & Anderson., S. E. (2010). Learning From Leadership: Investigating the Links to Improved Student Learning. Minneapolis: University of Minnesota. Recuperado de https://conservancy.umn.edu/bitstream/handle/11299/140885/Learning-from-Leadership_Final-Research-Report_July-2010.pdf?sequence=1&isAllowed=y

McMillan, J. H., & Schumacher, S. (2005). Investigación educativa (5ª ed.). Madrid: Pearson. ISBN. 842054163X

Muñiz, J., Elosua, P., & Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los test: segunda edición. Psicothema, 25(2), 149-155. https://doi.org/10.7334/psicothema2013.24

Murillo, F. J., & Hernández-Castilla, R. (2011). Lecciones Aprendidas de la Evaluación de directores/as escolares de España para la evaluación del desempeño docente no universitario. Supervisión Educativa, 15, 17-22.

Murphy, J. (2015). The empirical and moral foundations of the ISLLC Standards. Journal of Educational Administration, 53(6), 718-734. https://doi.org/10.1108/JEA-08-2014-0103

National Policy Board for Educational Administration. (2015). National Policy Board for Educational Administration 2015. Reston, VA: NPBEA. Recuperado de http://www.wallacefoundation.org/knowledge-center/Documents/Professional-Standards-for-Educational-Leaders-2015.pdf

New Leaders for New Schools. (2010). Evaluating Principals: Balancing Accountability with Professional Growth. New York: NLNS.

OECD. (2008). Improving School Leadership. Paris: OECD Publishing. https://doi.org/10.1787/9789264044715-en

OECD. (2016). School Leadership for Learning: Insights from TALIS 2013. Paris: OECD Publishing. http://dx.doi.org/10.1787/9789264258341-en

Porter, A. C., Murphy, J., Goldring, E., Elliott, S. N., Polikoff, M. S., & May, H. (2008). Vanderbilt Assessment of Leadership in Education (VAL-ED): Technical manual. Nashville, TN: Discovery Education Assessment.

Porter, A. C., Polikoff, M.S., Goldring, E., Murphy, J., Elliott, S. N. & May, H. (2010a). Investigating the Validity and Reliability of the Vanderbilt Assessment of Leadership in Education. Elementary School Journal, 111(2), 282-313. https://doi.org/10.1086/656301

Porter, A. C., Polikoff, M. S., Goldring, E., Murphy, J., Elliott, S.N., & May, H. (2010b). Developing a psychometrically sound assessment of school leadership: the VAL-ED as case study. Educational Administrative Quarterly, 46(2), 135-173. https://doi.org/10.1177/1094670510361747

Portin, B. S., Feldman, S., & Knapp, M. S. (2006). Purposes, uses, and practices of leadership assessment in education. Seattle: Center for the Study of Teaching and Policy.

Robinson, V. (2011). Student-centered leadership. San Francisco: Jossey-Bass. ISBN: 9781118090299

Robinson, V., Hohepa, M., & Lloyd, C. (2009). School leadership and student outcomes: Identifying what works and why: Best evidence synthesis iteration (BES). Wellington: Ministry of Education.

Sabariego, M. (2009). El proceso de investigación. En R. Bisquerra (Coord.), Metodología de la investigación educativa (pp. 127-166). Madrid: La Muralla.

Sammons, P., Gu, Q., & Robertson, D. (2007). Exploring Headteacher and Key Staff Perceptions of Leadership and School Improvement: A Quantitative Report: Phase 1 Questionnaire Survey. Nottingham: University of Nottingham.

Smith, R. M., & Miao, C. Y. (1994). Assessing unidimensionality for Rasch measurement. En M. Wilson (Ed.), Objective Measurement: Theory into Practice (Vol. 2, pp. 316-327). Norwood NJ: Ablex. ISBN: 978-0893918439

Subirats, J. (2005). Escuela y municipio. ¿Hacia unas nuevas políticas educativas locales? En J. Gairín (Coord.), La descentralización educativa (pp. 177-207). Barcelona: Praxis.

Tennant, A., & Conaghan, P. G. (2007). The Rasch measurement model in rheumatology: What is it and why use it? When should it be applied, and what should one look for in a Rasch paper? Arthritis Care and Research, 57(8), 1358-1362. https://doi.org/10.1002/art.23108

Tennant, A., & Pallant, J. F. (2006). Unidimensionality Matters! Rasch Measurement Transactions, 20(1), 1048-1051.

Tichnor-Wagner, A., Harrison, C., & Cohen-Vogel, L. (2016). Cultures oflearning in effective high schools. Educational Administration Quarterly, 52(4), 602-642. https://doi.org/10.1177/0013161X16644957

Vinokurov, A., Geller, D., & Martin, T. L. (2007).Translation as an Ecological Tool for Instrument Development. International Journal of Qualitative Methods, 6(2), 40-58. https://10.1177/160940690700600205

Wallace Foundation.(2009). Assessing the effectiveness of school leaders: New directions and new processes. The Wallace Perspectives Occasional Series. New York: Author.

Notas

* Artículo de investigación, financiado por el Ministerio Economía y Competitividad dentro del Programa Estatal de Investigación Científica y Técnica y de Innovación.

Notas de autor

a Autor de correspondencia. Correo electrónico: mpperez@ugr.es

Información adicional

Para citar este artículo: Pérez-García, P., Bolívar, A., García-Garnica, M., & Caracuel, A. (2018). Adaptación española de la escala de liderazgo pedagógico Vanderbilt assessment of leadership in education (val-ed). Universitas Psychologica, 17(1), xx-xx. https://doi.org/10.11144/Javeriana.upsy17-1.aeel

Contexto
Descargar
Todas