Este es un espacio de debate que no compromete la opinión de La Silla Vacía ni de sus aliados.
Aquí se recogen las principales ideas discutidas en el conversatorio “Realidades educativas contemporáneas: el Índice Sintético de Calidad Educativa”.Se busca abrir la discusión sobre las ventajas y desventajas que tiene emplear un índice para medir la calidad de la educación.
El pasado jueves 28 de Abril se realizó en la Universidad de Los Andes el conversatorio: “Realidades educativas contemporáneas: el Índice Sintético de Calidad Educativa”. Una iniciativa de la Red Distrital de Docentes Investigadores (REDDI) con el apoyo de la Universidad de Los Andes, La Universidad de la Sabana, el IDEP y el Observatorio Nacional de la Calidad Educativa. En el panel que moderé estaba Julián Mariño Von Hildebrand del Centro de Evaluación de la Universidad de los Andes y exdirector de Evaluación del Icfes; Julián de Zubiria fundador y Director de la Fundación Merani y Alexander Ballén, Docente investigador y Director de la REDDI. El conversatorio hizo una reflexión profunda acerca de las ventajas y desventajas del Índice Sintético de la Calidad Educativa (ISCE) y los posibles retos que este va tener.
El presente artículo trata de recoger las principales ideas que se discutieron en el conversatorio. Debo aclarar que no pretende dar una conclusión definitiva sobre si el ISCE es bueno o malo. En contraste, lo que se busca es abrir la discusión sobre las ventajas y desventajas que tendría el emplear un índice para medir la calidad de la educación y tratar de anticiparnos a los posibles riesgos.
El ISCE, resume en una sola medida cuatro aspectos de la calidad educativa: Progreso, Desempeño, Eficiencia y Ambiente Escolar. La escala del ISCE es de 1 a 10 donde Progreso, medido como las variaciones (mejoramiento) en el porcentaje de estudiantes en el nivel insuficiente de la prueba, pesa 40%; Desempeño también pesa 40% y se calcula promediando las pruebas de matemáticas y lenguaje el cual se convierte a un puntaje de 1 a 4; eficiencia pesa el 10% en primaria y en media el 20%, esta se mide como la tasa de aprobación. Finalmente, ambiente escolar pesa 10% y solo se mide en primaría y básica secundaria, esta medida se obtiene del cuestionario de Acciones y Actitudes Ciudadanas de la parte no cognitiva de la prueba de Competencias Ciudadanas.
De acuerdo con el conversatorio, el ISCE tiene tanto de bueno como de malo; sin embargo, una de las conclusiones importantes es que es preferible tener una medida, factible de mejorar, que no tenerla.
Lo bueno
El índice se ha construido a partir de referentes internacionales, por ejemplo, se tomó como referente el índice desarrollado en Brasil. El índice constituye una herramienta valiosa por varios aspectos. En primer lugar, El ISCE ha puesto a hablar a diferentes actores sobre el tema de la calidad educativa. Esto es clave en un momento donde la educación ha ganado terreno en diversos escenarios. Segundo, El ISCE es fácil de comunicar en la medida que logra sintetizar en un único número varias dimensiones de la calidad educativa. Tercero, los componentes del índice no solo miden el valor absoluto de los resultados sino el progreso. Cuarto, el ISCE no solo mide resultados en pruebas sino también la aprobación y ambiente escolar, lo que indica una medida más completa de calidad. Quinto, es la primera vez que entra en las mediciones el desempeño de los estudiantes de 3, 5 y 9, esto puede hacer que los rankings muestren nombres de colegios diferentes a los que estamos habitualmente acostumbrados a ver.
Lo malo
El índice tiene tanto limitaciones como problemas. En primer lugar, las medidas empleadas aún son precarias y el 80% del índice está enfocado en pruebas saber. Segundo, la prueba de competencias ciudadanas no tiene mucha variabilidad (todos contestan casi lo mismo), lo que indica que esa parte del indicador no le aporta al índice. Tercero, el índice se enfoca solamente en las áreas de español y matemáticas a pesar de que otras áreas son evaluadas. Cuarto, usar un indicador recurrentemente para medir y tomar decisiones de política pública puede traer consigo comportamientos no deseados (ley de Campell). Por ejemplo, en países donde se ha enfocado en pruebas de español y matemáticas, se han documentados casos en los cuales se han reducido asignaturas de arte o de deportes para aumentar la intensidad de horas en las áreas evaluadas. Otra posible conducta no deseada es que se le quiera hacer trampa al indicador. Un ejemplo emblemático se dio en Estados Unidos donde los maestros, quienes aplicaban el examen de sus estudiantes como sucede aquí, cambiaban las respuestas de sus alumnos para que ellos obtuvieran mejores notas. Esto lo hacían pues parte de su salario dependía de los resultados de los estudiantes.
Lo Feo
En el conversatorio los investigadores presentaron algunos casos que, aunque no son una prueba concluyente, nos generan preguntar sobre si podría actuar la ley de Campell al usar el ISCE. En primer lugar, se encontró en algunas instituciones que el valor del índice para el año 2014 y reportado en 2015 difería de la cifra para el mismo año pero reportada en el 2016. En segundo lugar, se encontró que existen instituciones con desempeño promedio en 2014 que lograron que todos sus estudiantes evaluados pasaran al top de la tabla. Lo extraño de la situación es que el número de estudiantes que presentaron la prueba en algunas de esas escuelas cayó dramáticamente.
Sobre el ISCE aun sabemos muy poco. El Icfes está trabajando para mejorarlo e incorporarle información más rica que afine las mediciones. Los maestros seguirán estudiando los mecanismos de funcionamiento del ISCE para entender por un lado, cómo se pueden utilizar los datos del índice para mejorar la enseñanza; y por otro, qué tanto podría afectar esta herramienta de política la regulación acerca del desempeño docente. Los hacedores de políticas seguirán revisando que el índice no genere incentivos no deseados y esperando las siguientes mediciones para saber si vamos por el camino planeado. Finalmente, los académicos esperarán tener datos para evaluar si la política de tener un ISCE, y en general de incentivos, tuvo efecto o no sobre los aprendizajes de los estudiantes.
video: 
