Entrevista a Patrizia Falzetti

gaceta13

Patrizia Falzetti[1], directora del Dipartimento di Statistica dell’Istituto Nazionale per la Valutazione del Sistema Educativo di Insegnamento e Formazione dell’Italia (INVALSI), visitó México el año pasado y ofreció una conferencia en el Instituto Nacional para la Evaluación de la Educación (INEE). Gaceta aprovechó la oportunidad para realizar la siguiente entrevista, donde nuestra invitada nos cuenta la experiencia italiana en los usos de los resultados de las evaluaciones para la mejora educativa.

 

¿Qué tipo de evaluaciones realizan en el INVALSI? Y en función de éstas, ¿cómo hacen llegar los resultados a las escuelas y en particular a los profesores? ¿Qué acciones de comunicación instrumentan?

 

Bueno, el INVALSI mide el aprendizaje de la Lengua Italiana, Matemáticas e Inglés, en las modalidades de lectura, y comprensión oral y escrita; lo hace en diversos niveles educativos y con distintos métodos.

 

En particular, tenemos el formato lápiz y papel, pen and paper, para los grados segundo y quinto de la escuela primaria y, a partir de este año escolar, para los grados octavo y décimo, el examen por computadora.

 

Las pruebas se realizan por completo en el ordenador, ya no se necesita que el profesor o el aplicador participen: no se usa papel y la información llega en tiempo real al INVALSI.

 

Es un gran paso que dimos este año [2018]. La captura de datos es censal. Considera a todos los estudiantes de los grados escolares examinados segundo, quinto, octavo y décimo, pero dentro de estas evaluaciones censales tenemos un primer lugar de grupos y escuelas que es representativo a escala regional.

 

El sistema educativo de Italia, como el de México, se divide en regiones, no en estados. Entonces, extraemos un primer lugar que representa a cada región, para poder restituir los datos al stakeholder y así obtener información confiable, porque centralizamos la captura de datos, es decir, su inserción. El examen es aplicado en clase por un profesor que no imparte la materia examinada. Él recupera los formularios, corrige las preguntas abiertas, inserta la información en una plantilla de Excel y nos la envía. Por tanto, la corrección y la inserción de los datos están a cargo de las escuelas y de los profesores, excepto en los grupos que obtuvieron el primer lugar. En tales casos, es un observador nuestro el que va, aplica, corrige, inserta los datos y nos los manda al INVALSI. La diferencia de datos por regiones con estas dos modalidades pone en evidencia lo que nosotros denominamos cheating: a veces los profesores intervienen, sugieren las respuestas a los alumnos (teacher cheating) o bien corrigen o insertan los datos que quieren.

 

Afortunadamente, ello ocurre solamente en algunas regiones de Italia, específicamente en el sur; sin embargo, para obtener datos robustos necesitamos basarnos en los datos del primer lugar. En el resto de Italia, en el norte, en el centro y en algunas regiones del sur no hay cheating. El fenómeno está muy geolocalizado. Por esta razón utilizamos o los resultados del censo o los del primer lugar.

 

Al final de los exámenes, que tienen lugar en abril y mayo, el INVALSI recupera los datos, limpia las bases de datos y lleva a cabo dos tipos de análisis. La primera fase es la restitución de la información al ministro, así que hacemos una exposición nacional el primer jueves del mes de julio. Ese día, se presentan los resultados ante el ministro y se entrega una fotografía muy detallada del sistema escolar nacional, es decir, con todos los detalles regionales, divergencias entre migrantes de primera y segunda generación con los nativos, diferencias de género, alumnos que van retrasados, alumnos que perdieron un año, quienes están en regla respecto al plan de estudios…

 

Se hace especial énfasis en el análisis sobre la equidad, es decir, la variabilidad entre escuelas y entre grupos. Se trata de un problema muy presente en Italia, especialmente en el sur. Puede haber una gran diferencia en el hecho de que los padres inscriban al alumno en una escuela o en otra. Incluso dentro de la misma escuela es diferente que un alumno esté en un grupo y no en otro. Esta es la información que entregamos al Ministerio.

 

En la segunda fase recopilamos también el resto de los datos y los restituimos a todas las escuelas. Lo hacemos a través de una plataforma en línea con acceso personalizado, reservado al director de la escuela, y además de él, está el referente para la evaluación. Estas dos figuras pueden ver todos los datos de todas las escuelas, de todas las clases y todos los estudiantes de su escuela. Nosotros devolvemos los datos estudiante por estudiante, grupo por grupo, y a la escuela en su conjunto.

 

En cuanto al décimo grado, es decir, segundo grado de educación secundaria, restituimos la información en los tres tipos de instituto que tenemos: liceos, técnicos y profesionales. Es una clasificación que se hace al final del primer ciclo de la escuela.

 

Los profesores, el director y el referente para la evaluación, que es quien debe utilizar la información junto con los otros profesores, acceden a todos los datos. Mientras los maestros involucrados en la evaluación es decir, los de segundo, quinto, octavo y décimo grados acceden a los datos de su grupo y de sus estudiantes (los demás grupos quedan ocultos); después está la información de la escuela. Los docentes que no enseñan en los grupos examinados tienen acceso solamente a los datos de la escuela.

 

Existe una figura que introdujimos en los últimos años, el presidente del Consejo del Instituto, que coordina y lleva la comunicación entre las familias y la escuela. También los padres se interesan en tener estos datos, así que podemos decir que ha sido de ayuda para difundir la cultura sobre el uso de las evaluaciones.

 

Invitado3

 

¿Existe una política general que guía la actividad de las instituciones que evalúan? ¿Cuál es?

 

En 2013 se fundó el Sistema Nacional de Evaluación, cuyas actividades arrancaron en 2015. Esto ha permitido iniciar una labor de uso eficiente de los datos de los exámenes, junto con otros indicadores. Hay varios tipos de éstos, pero los del INVALSI están, por así decirlo, muy presentes. El Sistema Nacional de Evaluación ha ayudado. A partir de la ley de 2017, al INVALSI se le dio la tarea de evaluar las competencias de los alumnos del octavo grado; en el próximo año 2019 también examinará a los del décimo tercero, de manera que tendremos datos del final del primer ciclo y del segundo ciclo. Esto fomenta muchísimo el uso eficiente de las evaluaciones, porque el INVALSI entrega un certificado con los resultados de las competencias de cada estudiante en Italiano, Matemáticas e Inglés, y determina el nivel en el cual se encuentra; es decir, se da una descripción —como en el Programa Internacional de Evaluación de los Alumnos (PISA) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) de aquello que el alumno sabe hacer y, por lo tanto, de lo que no sabe hacer, en lo cual quizá necesite ser apoyado. Lo mismo para Matemáticas y para Inglés.

 

En Inglés mide los niveles conforme al marco europeo de referencia de las lenguas, que es general, de modo que podemos afirmar la existencia de un contexto normativo orientado a fomentar el uso eficiente de los resultados de las evaluaciones.

 

En el INVALSI se evalúan las áreas curriculares y los indicadores de desarrollo personal y social. ¿Puede especificar cuáles son los objetivos en cada caso y su experiencia en este campo?

 

El INVALSI mide el aprendizaje; los indicadores con los que se hacen cálculos están basados en el marco de referencia, no sólo para el inglés, sino también para Italiano y Matemáticas, que fueron elaborados por nuestros expertos. Éstos son siempre docentes que cuentan con gran experiencia y trabajan con indicadores nacionales que el Ministerio entrega a la escuela para poder dar clase. Nosotros tratamos de crear indicadores para recopilar datos sobre estos aspectos. También tenemos indicadores de contexto socioeconómico-cultural, que nos ayudan a explicar a veces las diferencias en el aprendizaje.

 

Nosotros utilizamos el índice SCS, equivalente al PISA, que reúne todos los datos sobre el contexto de las familias; esto sirve para entender cuál es el impacto de esta variable en el aprendizaje de los estudiantes, yendo hacia abajo, y qué tanto, por el contrario, son las escuelas las que no están trabajando de manera eficiente.

 

El último indicador que hemos elaborado, es de valor agregado y representa la eficiencia de la escuela; nos permite entender qué tan eficiente fue la escuela a través de la comparación del contexto y la puntuación del alumno al iniciar y al salir del ciclo escolar. Las escuelas lo usan muchísimo.

 

¿Cuáles problemas han tenido que afrontar? ¿Qué innovaciones han tenido que implementar? ¿Se han destacado resultados?

 

El problema más importante es el cheating, y la tasa de participación. Es cierto que la normativa dice que las pruebas son obligatorias, pero sólo en el octavo y en el decimotercer grados. Es decir, en las finales para el examen de Estado: la ley dice que si los estudiantes no hacen el INVALSI no pueden presentarlo, así que prácticamente se quedan en el propedéutico, todos participan. Para los otros grados tenemos una tasa de participación ligeramente menor. Por ejemplo, en el décimo grado, como los alumnos son mayores, pueden decidir no ir a la escuela ese día o dejar los formularios en blanco.

 

Con el computer based test es decir, el examen totalmente en la computadora que introdujimos este año, los alumnos muestran un mayor interés. Se divierten y se evita que los profesores tengan que insertar los datos en las plantillas. Así quedan exentos de una faena inhumana que, según argumentaban, no formaba parte de su labor. Los docentes hicieron varias protestas en ese sentido. Ahora lo hacen porque se sienten excluidos del proceso… De cualquier modo, la tasa de participación es muy alta. Y el cheating desapareció, porque con el examen por computadora tenemos un banco de ítems enorme. Antes hacíamos un formulario y después lo replicábamos en cinco variantes rotando los ítems, para tratar de limitar el efecto del cheating, ya no es así.

 

Tenemos un banco de ítems que se usa para crear aproximadamente catorce formas, diferentes pero equivalentes, con ítems completamente distintos entre sí. Desde luego hay ítems duplicados, los cuales nos permiten sustentar los exámenes, pero el alumno que se sienta aquí y el de al lado no están resolviendo nunca el mismo ítem al mismo tiempo. Además, las evaluaciones se llevan a cabo en un arco temporal más amplio. Por el contrario, para el segundo y el quinto grados se realizan el mismo día para todos. Con el examen por computadora todo es más sencillo. Cuentan con un mes para hacer los exámenes. Todo queda registrado, el alumno tiene la contraseña. Esto ha limitado el cheating y nos ha permitido tener resultados más confiables y utilizables.

 

El cheating es el problema de todos los países.

 

Es cierto. Cuando detectamos que existe realizamos un procedimiento para corregirlo. Sin embargo, una vez que se presenta, vulnera los datos y trae consecuencias que son difíciles de corregir. Sí es posible hacerlo parcialmente, pero no de manera tan detallada.

 

¿Cuál es el impacto de los resultados obtenidos por el INVALSI en las políticas públicas orientadas a mejorar la calidad de la educación? ¿Cómo proporcionan información a quien toma las decisiones, y cuál fue la respuesta de la autoridad educativa a sus descubrimientos y a su enfoque?

 

El primer jueves de julio de cada año presentamos los datos al ministro. En los años anteriores mostramos diferencias de equidad, el hecho de que Italia es un país que funciona a dos velocidades, con un sur muy lento y con un norte que va bien. Por ello, los distintos ministros que se han sucedido se decidieron por un Sistema Nacional de Evaluación, por una evaluación de las competencias que se enfoca en cada alumno.

 

También porque la evaluación que hacen los profesores de los alumnos es omnicomprensiva, toma todo en cuenta, por ejemplo, la producción oral o escrita, que nosotros con las pruebas estandarizadas no podemos evaluar, aunque también es cierto que es subjetiva, cambia la medida de un estudiante a otro. Esto, obviamente, hace que el Ministerio no esté al tanto de cómo funciona el sistema escolar, porque quizás en el sur salen del segundo ciclo estudiantes con calificaciones altísimas, pero saben menos que los alumnos egresados del norte calificaciones más bajas, porque tal vez los profesores y los directores son más estrictos. Esta diferencia subjetiva en las evaluaciones hizo que el ministro favoreciera el Sistema Nacional de Evaluación, los exámenes estandarizados y la certificación de las competencias en los distintos grados escolares.

 

¿Qué tan desarrollada está la autoevaluación de las escuelas en Italia? ¿Cuál ha sido su experiencia en esta área?

 

La autoevaluación inició formalmente en 2013, con la ley que implementó el Sistema Nacional de Evaluación, y tomó el primer año escolar en 2014-2015, año en el cual de hecho registramos una caída de participación en los exámenes, porque la protesta de los profesores contra el Ministerio se reflejó en el boicot a las pruebas INVALSI. No obstante, a partir del año siguiente se calmaron las aguas.

 

El proceso de evaluación prevé cuatro etapas en este Sistema Nacional de Evaluación. La primera es la autoevaluación, en la cual las escuelas encuentran en una plataforma especial todos sus datos, tanto los que vienen del INVALSI como los surgidos del Ministerio; por ejemplo, el promedio de faltas de los profesores, el turnover, cuántos alumnos reprobaron, cuántas profesoras tuvieron incapacidad por maternidad… En fin, toda una serie de datos de tipo estructural de la escuela. Está igualmente la parte del aprendizaje, los resultados, etcétera. Todos estos datos son analizados y los profesores es decir, el grupo de avaluación de la escuela deben determinar cuáles son sus puntos fuertes y débiles. También tienen que establecer las prioridades, digamos, “la primera prioridad es el aprendizaje de Italiano, la segunda la inclusión, por ejemplo, de los migrantes, si se encuentran en áreas de riesgo”, etcétera.

 

En la segunda etapa llega la evaluación externa, que se entiende como ayuda a la autoevaluación. Se trata de un grupo de inspectores que cada año visita unas ochocientas escuelas y ayuda a las escuelas a decir: “Bueno, tienen estos datos, tienen este problema, ya identificaron estas prioridades. Tenemos que establecer el plan de mejora”. Éste constituye la tercera etapa, durante la cual las escuelas diseñan este plan de mejora en el segundo y tercer años.

 

Además, conviene tomar en cuenta la rendición de cuentas ante la sociedad. El informe de autoevaluación y todas las evidencias de progreso son publicados y se encuentran en los sitios de las escuelas, pero también en el del Ministerio; se llama “Escuela en claro” y cualquier padre de familia puede entrar y consultar el informe de autoevaluación, comparar escuelas, ver si las estrategias, prioridades y planes de mejora son los mismos que esperan de la escuela a la que asiste su hijo.

 

¿Existe una cultura de la evaluación en Italia? ¿El concepto de evaluación está establecido como una actividad habitual? ¿Todavía hay resistencia?

 

Desafortunadamente, todavía la hay, pero en un número mínimo de escuelas. No sé si también pase aquí, pero allá vemos que causa más revuelo que protestas. La mayoría de los profesores hace los exámenes, valora la evaluación y lo que nosotros les damos.

 

De hecho, recibimos muchísimas peticiones de los profesores para entender cómo leer un gráfico o interpretar un indicador. A veces nos llaman y nos dicen: “Aquí hay un error”. Podemos explicarles, por ejemplo, por qué no aparece un dato, o algo que ellos no se esperaban…

 

En realidad, se puede decir que la cultura de la evaluación está empezando a desarrollarse. Es muy difícil en un país donde nunca existió la evaluación. En el mismo edificio que el INVALSI se ubica la Agenzia Nazionale di Valutazione del Sistema Universitario e Della Ricerca (ANVUR), que está a cargo de las evaluaciones universitarias; también ellos encuentran cierta resistencia porque los universitarios no quieren ser evaluados. Es como si a quien hace las evaluaciones se le pidiera ser evaluado, y esto todavía crea un poco de fricción.

 

Sin embargo, los exámenes INVALSI ya entraron en la rutina cotidiana de las escuelas.

 

¿Existen vínculos entre el INVALSI y otras instituciones responsables de la evaluación educativa de América Latina?

 

Hasta ahora no había habido ningún vínculo con institutos de América Latina. El primero acaba de comenzar: una colega mía que es responsable del proyecto Aprender a aprender, Learning to Learn, una colaboración con Brasil, Ecuador, Uruguay; de hecho, me preguntó si también a México le interesa. Aprender a aprender es una competencia trasversal esencial en todo el primer ciclo, porque permite desarrollar las competencias sucesivas. El proyecto involucra muchas etapas, es internacional, comparativo, y está iniciando justo ahora, en septiembre, con las primeras entrevistas cualitativas en estos tres países.

 

Invitado2

 

El sistema educativo de cada país tiene características peculiares. No obstante, siempre que se hagan las adaptaciones necesarias, es posible aprovechar la experiencia de otras naciones, bien para evitar posibles errores, bien para replicar sus éxitos. En este sentido, ¿qué experiencias del INVALSI considera que puedan ser trasplantadas a los países de América Latina?

 

Nosotros tuvimos que conquistar la confianza de las escuelas poco a poco, con el tiempo. Algo que yo viví desde que llegué al INVALSI es el pacto con las escuelas y con los profesores, desde el principio tuvimos un acuerdo. Aun antes de que existiera el Sistema Nacional de Evaluación le dijimos a las escuelas que el INVALSI trabajaba con ellas y para ellas, así que recopilamos sus datos, los procesamos, se los devolvimos y les garantizamos que esa información no sería compartida ni siquiera con el ministro, con nadie del Ministerio. Las escuelas creyeron en esto y comenzaron a utilizar los datos del INVALSI; esta relación de confianza nos ha ayudado muchísimo. También nos ha ayudado mucho escuchar a las escuelas. Nosotros como investigadores, yo como persona que se dedica a la estadística, a menudo tengo una visión que viene desde el escritorio, de atrás de la computadora, así que no sé quién está del otro lado utilizando la información; el contacto con los profesores nos ha permitido mejorar la restitución de los datos.

 

Muchos maestros se lamentaron de que dábamos resultados, puntuaciones: “Aquí está la puntuación de tu clase de Italiano, de Matemáticas”. Los profesores dijeron: “Soy el peor de mi región, estoy bajo el promedio nacional, así que tengo una pésima clase. ¿Pero ustedes tuvieron en cuenta que en mi grupo tengo alumnos difíciles, o migrantes, o provenientes de un contexto socioeconómico o cultural inestable?”. Es cierto: no lo habíamos considerado. Añadimos entonces un indicador, tomamos sus datos y los contrastamos con doscientos grupos o con doscientas escuelas con el mismo tipo de alumnos, y les dijimos: “Miren, si tienen una puntuación positiva significa que lo están haciendo mejor que doscientos grupos con el mismo tipo de estudiantes y dificultades, pero si tienen una puntuación negativa significa que deben hacer más, puesto que grupos similares lo están haciendo mejor”. Esto nos acercó mucho.

 

También el hecho de poder descargar los datos en Excel, en imágenes, resultó para ellos más cómodo, porque pueden hacer con ellos sus informes de instituto y presentaciones con el colegio docente. Así que el contacto con las escuelas y escuchar a los profesores nos ha permitido tener una relación que, para mí, ha sido un éxito del INVALSI. Hacerles ver que estamos allí para ellos, no contra ellos.

 

En otros países, por ejemplo, en Inglaterra, la Oficina de Estándares en Educación, Servicios para Niños y Habilidades (OFSTED, por su acrónimo en inglés), nuestro equivalente, llega y dice “Ok, tienes este problema. Aquí está el dinero. Vuelvo en tres años, pero si no lo has resuelto, cierro tu escuela”. En Italia no se cierra ningún plantel por motivos de aprendizaje. Al contrario, el Ministerio siempre trata de intervenir donde hay problemas, con ayuda, con proyectos comunitarios, otorga más fondos, incluso envía evaluadores externos. Podemos decir que todo se enfoca en mejorar las escuelas, incluyendo las de tierra adentro, porque nosotros también tenemos una realidad geográfica muy diversa. En general son éstas las escuelas más afectadas, pero sus estudiantes puedan tener las mismas posibilidades de los que están en la ciudad.

 

En la medida en que conoce la reforma educativa de México, ¿cuáles cree que deben ser los pasos a seguir en términos de uso de resultados de las evaluaciones para obtener una verdadera mejoría en la educación?

 

Yo he leído un poco sobre la reforma y también vi su territorio, porque anduve por Chiapas; según yo, tienen un enorme desafío. En cuanto al uso de los datos ignoro cómo sea posible para ustedes, porque sé que centralizan también la recopilación de los formularios y las correcciones de las preguntas. Pienso que tienen dos realidades: la urbana y la rural, que presentan dos velocidades completamente distintas, pero están entrelazadas.

 

Nosotros no tenemos problemas tan grandes porque, por ejemplo, sólo tenemos dos minorías lingüísticas. ¡Ustedes tienen decenas! Para tales minorías traducimos los formularios y los exámenes, incluso los computarizados, pero nosotros recibimos la ayuda de la comunidad local que se encarga de la traducción. En su caso hacer una evaluación estandarizada a fondo en todo el país incluyendo las comunidades, parece muy difícil. Sinceramente, no podría dar un consejo.

 

Muchas gracias.

 


[1] Graciela Zavala Segreste y Arturo Cosme Valadez.

Hits
Tags: Gaceta No.13

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Facebook Twitter Linkedin WhatsApp Whatsapp
Ir al contenido