“Las pruebas, bien utilizadas, son un insumo fundamental para contribuir a la mejora de la calidad de la educación” comentan los autores, representantes del Icfes de Colombia. Ellos narran su experiencia y señalan los retos a vencer para lograr la mejora educativa a partir de las herramientas evaluativas con las que cuentan.
Ximena Dueñas
Jorge Duarte
El Instituto Colombiano para la Evaluación de la Educación mejor conocido como ICFES –siglas de Instituto Colombiano para el Fomento de la Educación Superior– es la entidad oficial encargada de la evaluación a nivel nacional en Colombia. Desde éste, evaluamos la primera infancia (a partir de este año), primaria, secundaria, media y superior. Además, somos los encargados de la implementación y aplicación de las pruebas internacionales en las que Colombia participa: el Programa para la Evaluación Internacional de los Alumnos (pisa, por sus siglas en inglés), el Cuarto Estudio Comparativo y Explicativo (ERCE), el Estudio Internacional de Educación Cívica y Ciudadana (ICCS) y la Encuesta Internacional sobre Docencia y Aprendizaje (TALIS, por sus siglas en inglés).
De acuerdo con los lineamientos de contenidos del Ministerio de Educación Nacional, la función del Icfes es únicamente evaluativa. Aunque no estamos encargados de las políticas públicas que puedan desarrollarse con base en los resultados de las pruebas, pensamos que el impacto de nuestra labor debe ir más allá de entregar resultados: estamos comprometidos con la concientización sobre el buen uso de la información. Las pruebas, bien utilizadas, son un insumo fundamental para contribuir a la mejora de la calidad de la educación.
Antes de destacar todo lo que podemos aprender de ellas, es necesario resaltar las precauciones que debemos tener. En cuanto a la relación de la calidad de la educación con la prueba, los exámenes dan cuenta de unas competencias específicas por las que se indaga, que están lejos de enmarcar todo lo que se puede entender como calidad de la educación. Sin embargo, la importancia radica en que cuantificar el nivel y las diferencias en que los estudiantes saben de estos contenidos es una condición necesaria para hablar de dicha calidad.
También hay que recordar la naturaleza observacional del estudio. Aunque sea una aclaración innecesaria para un público técnico, es importante aterrizarlo para todos: las pruebas ayudan a conocer el nivel de desempeño y las diferencias en el tiempo y entre grupos, pero por sí solas no permiten hallar la razón de estos cambios.
En el ICFES evaluamos los mismos contenidos para todos y garantizamos que las pruebas tienen las mismas dificultades. De esta forma, podemos saber cómo estamos, cuánto cambiamos con respecto al año pasado y cuáles son las magnitudes de las diferencias entre estudiantes heterogéneos. Medir esto sirve para saber dónde focalizar esfuerzos, así como determinar qué es lo prioritario, cuáles son los casos exitosos y hacer hipótesis de por qué se generan esos resultados. Sin embargo, no sabemos si el mejoramiento de unos colegios y el estancamiento de otros se debe a razones tan diferentes como la intervención de la política social o cualquier evento externo a la política educativa. Por ello, debemos ser prudentes a la hora de usar los resultados para evaluar políticas públicas y de premiar o castigar estudiantes, profesores o colegios. Entender esta idea es fundamental para hacer un buen uso de las pruebas.
El Día E y el Siempre Día E del Ministerio de Educación Nacional
El Ministerio de Educación ha realizado dos jornadas del llamado Día E (Día de la Excelencia Educativa) y Siempre Día E, en las que se entrega a cada colegio el Índice Sintético de Calidad Educativa (ISCE) y las afirmaciones evaluadas, respectivamente. Cada plantel recibe una caja con sus resultados y con material pedagógico que ayuda a la interpretación y a la contextualización y explicación de las pruebas. Por ejemplo, contiene la matriz de referencia que muestra las evidencias de las afirmaciones evaluadas por competencias y componentes, así como las definiciones de los conceptos y sugerencias pedagógicas por grado y área. Este material permite que los educadores prioricen los procesos a mejorar y tengan una mejor idea de cómo lograrlo.
El Día E motiva el uso y el entendimiento de los resultados. Por su parte, el Siempre Día E, en el que se entrega el resultado de cada afirmación evaluada, es una jornada pedagógica en la que se puede aprender cómo y en qué mejorar. Ambos días son un ejercicio de aprendizaje y reconocimiento de las pruebas que motivan el uso de los resultados.
El Índice Sintético de la Calidad Educativa (ISCE)
El ISCE es un número del 1 al 10 que entregamos por cada nivel educativo a todos los colegios del país. Este índice combina diferentes fuentes en las que cada componente destaca un aspecto del proceso educativo. Desempeño (40%) muestra el resultado de los estudiantes en las pruebas estandarizadas; Progreso (40%) refleja el mejoramiento en comparación con el año anterior; Ambiente Escolar (10%) señala la percepción de los estudiantes sobre el ambiente en el que aprenden y sobre el compromiso de sus profesores y, por último, Eficiencia (10%) se refiere a la tasa de aprobación.
El componente Desempeño muestra el nivel en el que se encuentran los colegios. Es el que usualmente utilizan los medios de comunicación para hacer rankings de colegios, aunque para el isce es solamente una parte del indicador. El énfasis en el componente Progreso refleja el compromiso con el mejoramiento: destaca el crecimiento de los colegios, en especial de los que tienen mayor potencial (que es lo mismo que mayores falencias). Ambiente Escolar y Eficiencia pretenden hacer contrapeso para que el resultado del isce no se enfoque solamente en la evaluación, sino en aspectos más amplios del proceso educativo. Aunque empíricamente el indicador Ambiente Escolar no varía mucho, y esto lo hace prácticamente simbólico, ha tenido un impacto importante en el país. Ahora muchos colegios saben que con ambiente en al aula y seguimiento al aprendizaje no nos referimos a las condiciones físicas de los colegios.
Ahora bien, el objetivo del isce es ganarse un espacio en la comunidad educativa para hacer seguimiento. En su tercera versión, ha logrado posicionarse como un insumo valioso. Por medio de la divulgación del mismo se ha generado un espacio de discusión de los resultados obtenidos, seguimiento a las acciones de mejoramiento y establecimiento de objetivos que apunten a mejorar la calidad de la educación.
La gráfica 1 resume el mejoramiento del país con el ISCE. En el caso de primaria, nos permite ver más allá del promedio al dibujar la distribución (suavizada) de los colegios en los últimos tres años. Dada la comparabilidad de la prueba, es una buena noticia para el país saber que el desempeño está mejorando.
El ISCE de cada colegio, en todos sus niveles educativos, está acompañado de una meta de mejoramiento mínima anual (MMA) que depende directamente del isce 2015, no se modifica con los resultados posteriores y es única para cada colegio. Estas metas fueron creadas por medio de una función logística de crecimiento y una equiparación de Chile y Colombia con la información de pisa 2012, de tal forma que, en caso de lograrse las metas (suponiendo que no haya cambios importantes en las tendencias de crecimiento de Latinoamérica), alcanzaríamos a Chile en 2025.
La gráfica 2 agrupa el ISCE y el mma en tercios, según el ISCE 2015, y nos revela que las brechas se están cerrando pero continúan siendo grandes.
El ISCE también ha sido utilizado por el Ministerio de Educación Nacional para otorgar incentivos económicos a los profesores. Los colegios participantes que superan el ISCE del año inmediatamente anterior y su mma ganan un incentivo igual a un salario mensual para toda su comunidad educativa. Resaltamos el hecho de que ganan de acuerdo con su propio cambio y no con el nivel en el que están, porque esto motiva a los colegios de rendimientos bajos y medios y no solamente a los que históricamente han tenido buenos resultados. Sin embargo, somos conscientes de la imprecisión que representa la identificación de prácticas docentes con base en los resultados de las pruebas de sus estudiantes. Puede ocurrir que un colegio mejore en su isce aunque sus profesores no hayan tenido un cambio en su comportamiento o que desmejore aunque hayan hecho su mejor esfuerzo.
Fuente: ICFES, 2017. Saber en Breve No. 18, Gráfica 2.
Las afirmaciones evaluadas en las pruebas
Tanto para las pruebas Saber 3º, 5º y 9º, Saber 11, Saber Pro (para profesionales) y Saber TyT (para técnicos y tecnólogos), en el ICFES, además de múltiples calificaciones por materia, también ofrecemos resultados para cada una de las afirmaciones evaluadas. Éstas son pequeñas partes de la prueba que comparten un tema en común y que con su calificación permiten aprender y tomar acciones pedagógicas con base en la evaluación. Con el análisis de estos resultados podemos llegar al fin último de la evaluación, el cual es aprender y mejorar.
A diferencia de las calificaciones por área, mostramos las afirmaciones con el porcentaje de preguntas respondidas incorrectamente por los estudiantes. Es decir, el número cien señala que todas las preguntas fueron respondidas incorrectamente por todos los estudiantes y el número cero que todas fueron respondidas correctamente por todos. En este sentido, cero es el número más deseable.
Esta forma de presentar los resultados no es propiamente una calificación, y esto provoca que la magnitud de lo que significa el resultado (un porcentaje) sea intuitiva. El hecho de que la dificultad de cada afirmación no sea la misma y que su comparación no sea directa genera inconvenientes en la interpretación de la información. Si bien la comparación directa entre afirmaciones es un porcentaje que brinda información valiosa (porque podemos saber en cuál tenemos más falencias), no nos permite identificar a qué se deben las diferencias: puede ser debido a lo que ocurre en el salón de clases o a la dificultad media de una parte de la prueba. En cambio, si unas afirmaciones le resultan más fáciles que otras a la población, comparar dos de diferentes dificultades nos puede hablar precisamente de esa característica, más que del esfuerzo efectuado en el salón de clase. Para obtener el mejor provecho de esta valiosa información, necesitamos saber qué tanto nos alejamos de un comparador conveniente en cada una.
La gráfica 3 presenta el porcentaje de respuestas incorrectas de cinco afirmaciones a nivel nacional, y la diferencia de éste con el porcentaje de respuestas incorrectas de 10 ciudades del país. También muestra afirmaciones de la competencia de Comunicación del área de Matemáticas en el quinto grado, organizadas de acuerdo con el porcentaje de respuestas incorrectas de todo el país. El objetivo de esta información no es saber cuál ciudad es mejor que otra, sino esquematizar las diferencias para saber cuáles afirmaciones son prioritarias.
Fuente: ICFES, 2017. Saber en Breve No. 21, Tabla 1.
Además de que la información personalizada se entrega en el Siempre Día E, cada colegio y municipio del país puede consultar esta información y llevar a cabo los análisis y comparaciones que considere necesarios. Los educadores conocen bien qué procesos pedagógicos implican cada una de las afirmaciones evaluadas y pueden saber qué acciones tomar para mejorar.
La divulgación de la información y los factores asociados al aprendizaje
El uso de la información se ve afectado por el entendimiento que de ella tengan los usuarios. Dado el amplio público que se puede beneficiar, desde el Icfes procuramos divulgar la información de la forma más amigable posible, sin perder la robustez y la formalidad. En la Subdirección de Análisis y Divulgación, la organizamos, pensamos cómo mostrarla y recorremos todo el país acercándola al público y motivando su uso. También elaboramos informes nacionales con la descripción detallada de la construcción, calificación y resultados de las pruebas, y generamos boletines cortos que tocan los temas someramente con el objetivo de informar a todo tipo de público.
Uno de los puntos que hemos tratado son los factores asociados al aprendizaje. Todas las pruebas del ICFES vienen acompañadas de un cuestionario de contexto, sin respuesta correcta, que los estudiantes resuelven al final del examen (o al momento de la inscripción). Así indagamos sobre una gran variedad de factores asociados al aprendizaje y temas relacionados con ciudadanía: creencias, percepciones y emociones. Esta información es de una riqueza incalculable.
Tenemos una serie de documentos que presenta los temas de forma muy sencilla y que, al menos en la exposición de los resultados, no refleja un juicio de valor. Además, la relación con el resultado de la prueba es mostrada como el promedio en la calificación de los dos grupos. La diferencia entre ambos es equivalente al coeficiente de una regresión lineal del puntaje sobre la identificación de uno de ellos. Sin embargo, mostrar los dos promedios genera mayor atención en los lectores. En lugar de colocar en la regresión algún control socioeconómico, repetimos la frecuencia y los promedios en subgrupos de la población. El objetivo es el mismo que el del control: indagar si la relación está mediada por otros factores.
En la gráfica 4 mostramos un ejemplo. En cuanto a la relación de los estudiantes con los profesores, preguntamos a los primeros qué tan de acuerdo están con la afirmación: “Los profesores se interesan por que los estudiantes estemos bien”. La gráfica muestra que, de todos los evaluados del país en quinto grado, 60% tiene una percepción positiva y, en promedio, estos alumnos obtienen 14 puntos más en la prueba de Matemáticas que los que contestan negativamente, lo cual es casi media desviación estándar en la escala de la prueba.
La gráfica nos enseña rápidamente que los estudiantes que consideran que sus profesores se interesan por que estén bien tienen, en promedio, mayor rendimiento en la prueba. Esta frase no tiene juicio de valor, en el sentido de que no estamos sugiriendo que una de las dos respuestas es la deseable. Aunque hay algunas preguntas en las que todos podríamos estar de acuerdo en la valoración, en muchos temas, en especial en ciudadanía, un juicio de valor puede revelar una posición política. La insistencia en la imparcialidad se debe a que esta información es un insumo para la discusión y la construcción, y no una demostración de lo correcto o incorrecto. Es necesario resaltar que encontramos una relación entre dos variables que están inmersas en un mundo lleno de otros factores. No tenemos evidencia para decir que una es causa de la otra. Por esto mismo, no podemos afirmar que mejorar la percepción de los estudiantes sobre sus profesores generaría un aumento en los resultados. Aun así, conocer esta información motiva a profundizar en los temas porque las diferencias son muy llamativas.
Fuente: ICFES, 2017. Características del Aprendizaje No. 2, Nacional, Gráfica 7.
Para terminar
Desde el ICFES en Colombia creemos en el potencial de la evaluación para contribuir a la mejora de la calidad de la educación y sabemos que las pruebas estandarizadas son un insumo fundamental que permite la comparación equitativa de estudiantes diferentes. Medir a todos los alumnos con la misma regla permite saber cómo estamos, cómo nos diferenciamos y, por lo tanto, dónde y qué debemos priorizar. Sin embargo, como cualquier diagnóstico, el conocimiento de los resultados por sí solo no es suficiente para mejorar. Además, un uso poco responsable podría causar grandes daños. Por ello, resaltamos la condición observacional, no experimental, de las pruebas y su consiguiente dificultad para hallar efectos causales: si bien logramos cuantificar las diferencias, la simple observación de las brechas no nos dice necesariamente a qué se deben.
