La Agencia de Calidad de la Educación de Chile
En días pasados, Red tuvo la oportunidad de entrevistar a Camila Ayala (CA) y a Manuel Sepúlveda (MS), integrantes de la Agencia de Calidad de la Educación de Chile, una de las instituciones pioneras en el subcontinente, que desde 2011 cumple la misión —según sus propias palabras— de trabajar “con las comunidades educativas evaluando, orientando e informando para lograr una educación integral de calidad que permita que en Chile todas y todos puedan crecer y desarrollarse superando las brechas”.
Ustedes evalúan las áreas curriculares más o menos típicas, pero también indicadores de desarrollo personal y social. ¿Cómo ha sido esta experiencia? CA. En Chile ocurrió una crisis social y educativa, entre 2006 y 2010, que nos obligó a reevaluar el sistema educativo y los sistemas de medición y evaluación de la educación. En ese contexto se creó la Ley de Aseguramiento de la Calidad y se modificó la Ley General de Educación. A raíz de la primera se fundaron nuevas instituciones, entre ellas la Agencia de Calidad de la Educación. Desde un inicio se definió que no sólo era importante evaluar las áreas curriculares —como Matemáticas, Lectura, Ciencias, Historia— sino también ámbitos no académicos; es decir, indicadores de desarrollo personal y social (IDPS) que son cuatro: autoestima y motivación escolar, clima de convivencia escolar, hábitos de vida saludable, y formación y participación ciudadana.
Las escuelas tienen un rol formador de seres humanos integrales por lo que los indicadores de desarrollo personal y social son un fin en sí mismo”.
Lo más importante fue que se reconoció que la función de las escuelas no sólo es enseñar a los niños —a sumar, leer, la tabla periódica—, sino que tienen también un rol formador de seres humanos integrales que van a salir a la sociedad y convivir con más personas, que tienen un rol participativo y ciudadano, por lo que los IDPS son un fin en sí mismo, más allá de que el clima de convivencia escolar esté asociado con resultados académicos.
MS. Como es una evaluación más reciente, supone hartos desafíos y esfuerzo, e implica una gran complejidad a la hora de establecer los mismos niveles de resultados que las pruebas estandarizadas de aprendizaje, las cuales ya tienen una trayectoria de treinta años. ¿Cómo trabajar de manera que sea un aporte?, ¿cómo lograr que se entienda como una cuestión que apoya y es relevante por sí misma, no sólo porque eventualmente pueda impactar en el aprendizaje, sino porque es importante que los estudiantes convivan, tengan altas expectativas, etcétera?
CA. En primer lugar, este nuevo sistema de evaluación ha tenido muy buena recepción desde las escuelas. Nosotros creemos que siempre ha habido un sentimiento por parte de los profesores de que ellos son formadores de mucho más que temas académicos, y que eso no se estaba reconociendo. Esta nueva evaluación viene a reconocer que los niños pasan más [tiempo] con los profesores que con sus papás.
También hemos visto que hay una necesidad constante de mejorar la medición, porque sólo recogemos los aspectos no académicos a través de cuestionarios, y sabemos que aunque son instrumentos muy buenos van a tener limitaciones. El desafío ha sido evaluar cosas donde el colegio tiene injerencia. A veces es muy difícil aislar un indicador, porque sabemos que no sólo el colegio forma a los niños sino también la familia tiene que ver.
Figura 1 Indicadores de desarrollo personal y social de los estudiantes
Fuente: Agencia de Calidad de la Educación. Recuperado de http://bit.ly/2oJOBY8
MS. Los desafíos que hoy enfrenta la educación son muy distintos a los de hace dos décadas y a los que vamos a enfrentar en veinte años. Se dice que un alto porcentaje de los trabajos que son comunes ya no van a existir entonces. Por lo tanto, la educación tiene que formar a ciudadanos muy distintos al modelo que uno conoce, muy asociado con la Revolución Industrial: tener ciertos conocimientos para cumplir ciertas tareas.
Actualmente, quizá más que conocimientos tienes que tener ciertas habilidades, cierta capacidad para rearmarte, innovar, etcétera. Pensar que se puede evaluar la calidad de la educación sólo con evaluaciones estandarizadas indica que estamos muy retrasados en lo que entendemos por ‘calidad’. Es obviamente algo mucho más complejo”.
Ahora la labor de la educación es formar a un ciudadano global, que use tecnologías de la información, en un mundo cada vez más conectado, donde es normal que se generen fenómenos migratorios… lo cual supone formar a personas preparadas para desarrollarse, desenvolverse y tener proyecto de vida. Pensar que se puede evaluar la calidad de una educación sólo con evaluaciones estandarizadas indica que estamos muy retrasados en lo que entendemos por “calidad de la educación”. Es obviamente algo mucho más complejo y, por lo tanto, necesitamos de otras variables para entender que un colegio efectivamente está haciendo bien su tarea.
Red. Debido a la diversidad de las evaluaciones, es difícil aterrizar los resultados y ponerlos al servicio de los profesores. ¿Cómo promover su buen uso?
MS. Primero es necesario entender que Chile hace evaluaciones que tienen asociadas consecuencias. Por lo tanto, sí tienen una carga en el sistema escolar, que muchas veces es negativa porque puede significar incluso el cierre de un establecimiento por bajos resultados. En este contexto, investigaciones, estudios y experiencia han mostrado que en Chile la evaluación se ha ido desvirtuando, ha provocado que muchas veces el currículum se reduzca sólo a lo que se evalúa en una prueba estandarizada externa, o se incentive la selección de estudiantes…
Frente a ese diagnóstico, lo que hizo la Agencia a partir de 2014 fue convocar, en conjunto con el Ministerio, a un comité experto para observar y hacer recomendaciones sobre nuestro sistema de evaluaciones.
Una fue cambiar el plan de evaluaciones 2016-2020, que redujo el total de evaluaciones censales a sólo algunos niveles y áreas fundamentales. Otras evaluaciones pasaron a ser muestrales. Además, la Agencia empezó a promover nuevos instrumentos, formas y estrategias de evaluación, introduciendo una evaluación formativa y una progresiva. Ambas —sobre todo la segunda— son para un uso interno en el colegio: no arrojan resultados públicos, sino que están abocadas a monitorear los aprendizajes a lo largo del año.
Ha habido un trabajo importante para profundizar y perfeccionar la información que se reporta a partir de las evaluaciones estandarizadas del Sistema de Medición de la Calidad de la Educación (SIMCE). Se ha procurado que la información tenga más detalle y pueda tener un mejor uso por parte de las comunidades. También se han generado reportes diseñados para cada actor; es decir, no sólo hay un reporte para el sistema, sino que hay uno para los sostenedores y administradores de los colegios, uno para los profesores, otro para los directivos escolares, otro para las familias, cada uno asociado con los usos fundamentales que les pueda dar su destinatario para promover decisiones de mejora.
Se han generado reportes diseñados para cada uno de los actores, asociados con los usos fundamentales que les pueda dar su destinatario”.
Red. ¿Cómo hacen para que cada producto llegue a los actores a quienes está destinado?, ¿a través de las escuelas o utilizan alguna campaña de comunicación?
MS. Un canal fundamental es la escuela. Si uno piensa en un público más masivo, entonces se trata de transmitir esa información a través de redes sociales y notas de prensa. Tratamos de utilizar todas las plataformas informativas que hoy día se tienen para transmitir los mensajes que son fundamentales o establecer ciertos vínculos, es decir, que pueda ser un elemento que genere un link a una herramienta más de detalle. Otra vía es difundir a instituciones y organizaciones que también puedan servir de puente o canal para transmitir el servicio. Nuestra primera línea es nunca estigmatizar a un colegio, no hacer rankings, no comparar, porque todos tienen realidades distintas”.
CA. Parte importante de la labor de la Agencia ha sido no estigmatizar a las escuelas; pues si se afirma que a esta [escuela] le va mal, le va mal, porque es como decirle a un niño: tú eres tonto, no sabes. Nuestra primera línea es nunca estigmatizar a un colegio; por lo tanto, no hacer rankings, no comparar, porque todos tienen realidades distintas. En vez de eso hay que saber que estos colegios necesitan refuerzos, más instrumentos, herramientas y retroalimentación.
En la página web de la Agencia de Calidad de la Educación los datos están disponibles para todos; pueden acceder padres, directores, el público. Nosotros entregamos un informe de resultados de SIMCE para los directores, para los profesores y para los padres.
También hacemos seminarios, tanto de aspectos pedagógicos —dirigidos a profesores y directores— como seminarios más amplios, que tratan de poner en la opinión pública nuevos temas, desarrollos e innovaciones respecto de la educación.
Por último, publicamos libros. Tenemos una división de investigaciones, vamos a todos los colegios que han mostrado una mejora sostenida en el tiempo y decimos: “A ver, ¿qué están haciendo ustedes?, ¿qué cosas podemos tomar de ustedes para poder decir a las escuelas?”. También hemos editado RED/ MAYO-AGOSTO 2018 · 67 análisis de los errores frecuentes. Por ejemplo, vemos en qué se han equivocado los estudiantes y cómo podemos entender estos errores para mejorar.
Red. Es preciso saber cómo poner el mensaje en términos de que sea, primero, asequible, y luego también implementable.
MS. Eso es bien relevante, no siempre el mismo formato va a funcionar para todos los públicos; por ejemplo, las redes sociales canalizan mucho mejor a un tipo de usuarios distinto quizás al de un libro. Por eso no solamente publicamos libros, también hemos tratado de generar policy brief —documentos abreviados, como una minuta, que es algo de uso común entre diputados y senadores, por ejemplo— que puedan servir a tomadores de decisiones.
La Agencia tiene como uno de sus objetivos estratégicos influir en las políticas públicas. Por un lado, es uno de los actores normalmente invitado a participar en las discusiones legislativas, en materias de su ámbito; al mismo tiempo, toda la investigación aplicada que realizamos tiene por finalidad servir de insumo para los desafíos que la política pública enfrenta. Así, a partir de distintos productos se transmite el mensaje de la mejor manera posible para que llegue a un público específico.
Red. Uno de sus objetivos es fortalecer las capacidades de autoevaluación de las escuelas, pero una cosa es una evaluación externa y otra que las escuelas la incorporen a su propia gestión como algo natural en su proceso. ¿Cómo ha atendido la Agencia esta parte?
CA. Es importante precisar que la Agencia está bien delimitada, tenemos un deber escrito en la ley. Pero también nos hemos dado cuenta que es importante desarrollar herramientas de autoevaluación en las escuelas.
Se han hecho varias cosas al respecto. Una de ellas consiste en los métodos de las evaluaciones progresiva y formativa que recién explicamos. La evaluación progresiva partió con Lectura para segundo grado (este año se lanzó para séptimo grado en Matemáticas); la idea es que los estudiantes tomen una prueba estandarizada que entrega resultados inmediatamente al profesor y éste pueda ver cómo les va a sus alumnos. Esa información no se presenta a la prensa, no sale un ranking con el fin de hacer comparaciones entre colegios. El objetivo es que el profesor utilice esta evaluación para mejorar el desempeño de sus estudiantes.
También se ha fomentado la evaluación formativa, que consiste en usar las herramientas de las mismas clases retroalimentando a los alumnos respecto de sus avances en los procesos de aprendizaje. La Agencia también facilita talleres para que los directores y jefes de la Unidad Técnica Pedagógica, o los profesores, se autoevalúen. Con tal fin se reúnen, ven cómo están llevando a cabo su proceso, conversan y utilizan las herramientas que cada uno posee para ir mejorando.
Red. ¿Cómo recupera la Agencia los resultados de esas reuniones y consejos, o los intercambios al interior de las escuelas?
CA. No tenemos un método establecido para recuperar. No tenemos una evaluación de impacto ni nada parecido.
MS. El objetivo detrás de todo esto es entregar herramientas a los docentes, a los equipos directivos, no transformar a los directivos en herramientas. Es importante entender que la labor de los docentes supone desafíos diarios, es sumamente compleja y, por lo tanto, no puede ser resuelta a través de una entidad central que dicte pautas de acción. Por el contrario, se necesita que esos profesionales tengan todas las herramientas y capacidades necesarias para enfrentar esos desafíos. Entonces, lo que se entrega son herramientas que promueven, en este caso, la autoevaluación, y cómo utilizar la información derivada para la mejora.
Red. ¿Cuál es la percepción que los diferentes actores educativos tienen de lo que significa la cultura de la evaluación?, ¿consideran a la evaluación como una herramienta que los dota de recursos para identificar sus retos?
MS. El contexto de la evaluación en Chile es complejo, marcado por una alta presión debido a las altas consecuencias que se tienen. Eso ha generado una respuesta pendular, una respuesta que quiere terminar con este tipo de evaluaciones, pero creo que los avances que se han dado este año son muy importantes.
La evaluación es una herramienta para la mejora educativa, no el fin, no el resultado en sí”.
Se valoran mucho los esfuerzos realizados por la Agencia para tratar de cambiar esta visión, ampliar la mirada sobre la calidad y hacer entender que es una herramienta para la mejora; no el fin, no el resultado en sí. No me atrevería a decir que tenemos una cultura de evaluación, pero sí me atrevo a decir con certeza que se ha ido dando un giro bien importante en cómo se entiende.
CA. Ha sido parte de la labor de la Agencia resignificar la evaluación. Los focos de resistencia siguen existiendo, porque obviamente nunca va a ser todo color de rosa; nosotros sabemos que sigue habiendo una sobrecarga a las escuelas por la evaluación. Si bien la cantidad de evaluaciones disminuyó (antes eran 18 y ahora son nueve), muchos siguen sintiendo que los evalúan mucho. A veces los colegios se sienten muy intervenidos y lo que hemos hecho últimamente es diversificar las muestras, para que no sean los mismos siempre los que estén evaluándose.
MS. También importa considerar que esta es una discusión en nuestro país. Hay un acuerdo, yo diría, sobre la necesidad de evaluar para tener información; pero existen visiones distintas respecto al uso de esa información, respecto a cuánta de ella debe ser pública y, finalmente, cuáles deben ser las consecuencias asociadas. Cambia mucho cómo veo la evaluación dependiendo de lo que pase con ella.
Creemos que el país debe entender que son desafíos de largo plazo; nuestra idea es que esto debe ser un camino que sigamos recorriendo, en donde efectivamente este giro se mantenga; es un tema que no está del todo resuelto y una discusión obviamente abierta, pero transcendental, porque es relevante para la escuela.
