Al respecto, Bracho (2016) menciona que los actores educativos deben ver la evaluación como una herramienta práctica que sirve para diagnosticar problemas y promover procesos de cambio. Por ello es fundamental garantizar que la información responda a las demandas de los diferentes actores educativos. En este sentido, es de interés central la generación de devoluciones útiles y contextualizadas de los resultados para los docentes en los planteles escolares.
Bajo esta perspectiva, el concepto de validez de consecuencias cobra relevancia, ya que alude a la interpretación y al uso de los datos obtenidos mediante un instrumento de medición. Específicamente hace referencia a las recomendaciones, las orientaciones y las pautas posibles de acción, con el fin de que los diferentes usuarios aprovechen los resultados constructivamente y los transformen en nuevas prácticas pedagógicas. La atención puesta a este concepto cobra especial interés si se logra enfocar en la denominada devolución formativa. Esta devolución de la información, proporcionada por las pruebas estandarizadas, es un mecanismo de difusión de los resultados precisamente orientado al mejoramiento de los procesos o los fenómenos que son objeto de evaluación. La devolución formativa de la información es un mecanismo de difusión orientado al mejoramiento. En este artículo nos proponemos mostrar, en el contexto de la validez de consecuencias, cómo la devolución formativa puede ser un mecanismo de difusión de los resultados de
PLANEA. Es por esto que, a partir de una estrategia denominada Método de la Pirámide Invertida (DIP, Dynamic Inverted Pyramid) se transita por diferentes niveles de exploración, en los cuales la naturaleza y el tratamiento de la información utilizan procedimientos tanto cuantitativos como cualitativos. Con ello se pretende, a partir de un aprendizaje guiado, dar respuesta a las necesidades de información que requieren los docentes para el uso de los resultados en su contexto escolar y de aula.
Con el DIP, los datos cuantitativos en un macro-nivel (nivel país y estado) son analizados y después triangulados con datos cualitativos en un micro-nivel (nivel escuela). La combinación de datos en diferentes niveles de análisis es utilizada para interpretar los resultados en un modelo recursivo y comprensivo. Este método es dinámico y continuo porque se basa en movimientos iterativos entre diversos contextos y niveles de análisis (Wegerif, Rojas-Drummond y Mercer, 1999). Para los fines de este artículo se ilustrará el nivel más detallado de la pirámide que consiste en un análisis cualitativo de los resultados constituido por las siguientes etapas:
- conformación de una tabla analítica,
- selección de reactivos liberados de la prueba PLANEA y
- una ruta cognitiva
Para ejemplificar este proceso se retoma uno de los reactivos liberados de la prueba de Lenguaje y Comunicación aplicada en 2015 a alumnos de 6º de primaria.
Conformación de una tabla analítica La tabla reorganiza, a manera de rúbrica, los cuatro niveles de logro a partir de dos dimensiones: comprensión lectora y reflexión sobre la lengua, las cuales están integradas, a su vez, por aspectos específicos, por ejemplo: extraer información; comprender e interpretar, y análisis de contenido y estructura (tabla 1). Cabe señalar que, para los fines de este artículo, en la tabla siguiente sólo se expone lo concerniente a la dimensión comprensión lectora.
Tabla 1 Tabla analítica PLANEA 6° de primaria de Lenguaje y Comunicación
Selección de reactivos Para conformar los niveles de logro, en PLANEA se elaboran descriptores que reflejan de forma global el tipo de aprendizaje que deberían mostrar los estudiantes ubicados en un nivel determinado. Los insumos que se revisan de forma exhaustiva son los reactivos que, después de la aplicación, se ubicaron en dicho nivel. Expertos en el área, como es el caso de Lenguaje y Comunicación, realizan una tarea que va de lo particular (el análisis de los reactivos) a lo general (una síntesis que explica el tipo de ejecución que implica cada nivel de logro).
En esta etapa se propone deconstruir dicho proceso de elaboración. Aun cuando cada uno de los reactivos abonó para conformar los descriptores de cada uno de los niveles, se seleccionó uno de ellos (el reactivo paradigmático, que eventualmente es liberado para su uso y difusión) para explicar las características descritas en cada una de las celdas de la tabla analítica. A esta etapa se le denominó selección de reactivos (figura 1). Figura 1 Reactivo liberado de PLANEA 6° de primaria de Lenguaje y Comunicación y su vínculo con la tabla analítica.
En este ejemplo de reactivo se ilustra la manera en que, a partir de la selección de una celda en la tabla analítica que responda a un interés particular (¿cómo se pueden fortalecer las habilidades para interpretar y discriminar información en un texto?), se elige un reactivo modelo a partir del cual se puede llevar a cabo el análisis cognitivo.
Ruta cognitiva
Se puede seleccionar una eventual ruta cognitiva “ideal” que el lector debería recorrer para cumplir con la tarea solicitada. Para llevar a cabo dicha tarea, se retomó el modelo de Kirsch (2001) de cinco pasos recurrentes: 1) identificar la meta o propósito de búsqueda o el procesamiento de la información requerido; 2) distinguir entre la información proporcionada y la información requerida; 3) leer el texto para identificar la información necesaria que corresponde con la información proporcionada en la pregunta; 4) completar la información requerida con la información solicitada; 5) verificar la suficiencia de la información identificada con la información solicitada. A continuación, se presenta el reactivo con la posible ruta que podría seguir el estudiante para su resolución.
Figura 2 Ruta cognitiva reactivo de PLANEA 6° de primaria de Lenguaje y Comunicación
- Identificar la meta o propósito de búsqueda o el procesamiento de la información requerido. Es indispensable que el alumno se percate del tipo de tarea que se le está solicitando. En el ejemplo, la demanda consiste en identificar el papel central de un personaje en el contexto de una obra de teatro. Cabe mencionar que, desde este momento, el alumno activa una serie de conocimientos previos acerca del tipo de texto con el que deberá interactuar, así como el reconocimiento de los personajes que se presentan y el papel que cumplen en la trama.
- Distinguir entre la información proporcionada y la información requerida. Implica identificar el tipo de información que se solicita y discriminar, de entre todo el texto, aquellos insumos que son centrales para dar respuesta a la pregunta y cuáles son secundarios o irrelevantes. En el ejemplo, para realizar este análisis el alumno necesita comprender que los personajes de un guión teatral pueden asumir diferentes roles de acuerdo con el desarrollo de la trama, unos de mayor o menor importancia que otros.
- Leer el texto para identificar la información necesaria que corresponde con la información proporcionada en la pregunta. El alumno lee el texto y va realizando interpretaciones acerca del significado y sentido de cada segmento de información. En este ejemplo, debe comprender que la información contenida en la mayoría de las escenas ofrece pistas para dar respuesta a la pregunta. Sin embargo, debe percatarse de que la respuesta no está explícita en el texto y debe inferirla mediante procesos de construcción de la información. Para ello, debe analizar la información que está en conflicto y seleccionar la que responda cabalmente la pregunta. Por ejemplo, en las distintas escenas que integran el reactivo se presenta información acerca de posibles roles que asumen los personajes; sin embargo, se dan pistas suficientes tanto en el contenido del texto como en las acotaciones para interpretar su papel central o predominante.
- Completar la información requerida con la información solicitada. El alumno regresa a la pregunta y replantea lo que se le solicita con el propósito de monitorear si la discriminación que está haciendo de la información es pertinente o no con lo que se le está preguntando. En este reactivo el alumno debe reconstruir, a partir de las evidencias textuales, el papel central de un personaje en la trama y diferenciarlo de otro tipo de participaciones que son secundarias o inverosímiles (campesino, amigo, trabajador). Con ello, podría identificar que en las escenas 1, 2 y 3 se proporciona información puntual acerca de la trasformación del personaje solicitado y su papel central.
- Verificar la suficiencia de la información identificada con la información solicitada. El alumno selecciona la respuesta correcta y la evalúa nuevamente a partir de lo requerido en la pregunta. En este ejemplo, la opción C es la que responde con lo solicitado ya que presenta el papel central del zopilote en la obra, que es asumir la personalidad del humano. Si en este momento el alumno detecta una inconsistencia entre lo encontrado y lo solicitado, debe regresar a los pasos que sean necesarios de acuerdo con el tipo de problemática encontrada.
A manera de cierre Las evaluaciones estandarizadas tienen la virtud de proporcionar un amplio panorama acerca de cuántos estudiantes de cierto grado o nivel escolar logran determinados aprendizajes, y ofrecen información comparable sobre conjuntos grandes de alumnos.
Sin embargo, estas evaluaciones también deben garantizar rigurosamente que se planteen, desde su diseño, los diferentes usos y consecuencias que tendrán sus resultados, con la finalidad de anticipar estrategias de devolución contextualizadas a los diferentes actores involucrados en la educación. Las devoluciones de resultados deberían mostrar los desafíos de los sistemas educativos, como un diagnóstico y no como una autopsia.”
Las devoluciones de los resultados de las pruebas estandarizadas cobran sentido sólo si cumplen con el objetivo para el cual fueron diseñadas: contribuir a mejorar las prácticas de enseñanza y de aprendizaje de los alumnos.
Una estrategia de devolución formativa debe incorporar, además de los datos estadísticos de la prueba, información reorganizada (tabla analítica), modelamiento de la ruta cognitiva que se deberá recorrer y un necesario acompañamiento que permita alcanzar los objetivos propuestos.
Como ha señalado Pedro Ravela (2015), para que se cumpla con el principio de evaluar para mejorar, las devoluciones de resultados deberían mostrar los desafíos de los sistemas educativos, como un diagnóstico y no como una autopsia. Este tipo de devoluciones formativas promueve que los docentes aprovechen de manera legítima la información derivada de las pruebas estandarizadas para ayudar a fundamentar sus intervenciones didácticas. Esta situación no sólo enriquece la actividad dentro del salón de clase, sino también fortalece la cultura de la evaluación del propio docente.
—
Referencias bibliográficas
Bracho, T. (2016, marzo-junio). Usos efectivos para la mejora. Cómo hacemos para que esto ocurra. Gaceta de la Política Nacional de Evaluación Educativa, 2(4).
INEE. Instituto Nacional para la Evaluación de la Educación (2015). Informe de resultados PLANEA 2015. México: autor. Recuperado de http://publicaciones.www.inee.edu.mx/buscadorPub/P1/D/246/P1D246.pdf.
INEE (2018). Plan Nacional para la Evaluación de los Aprendizajes (PLANEA). México: autor. Recuperado de http://publicaciones.www.inee.edu.mx/buscadorPub/P1/E/305/P1E305.pdf . Kirsch, I. (2001). The International Adult Literacy Survey (IALS): Understanding What Was Measured.
Princeton: ETS Assessment Training Institute. Ravela, P. (2015). El uso de los resultados de las evaluaciones en la mejora de los procesos de enseñanza. En: Poggi, Margarita (coord.). Mejorar los aprendizajes en la educación obligatoria, pp. 69-112. Buenos Aires: IIPE-UNESCO.
Sánchez, T. (2015, julio-octubre). PLANEA: participación de diferentes actores educativos en la evaluación de los resultados. Gaceta de la Política Nacional de Evaluación Educativa, 1(2). Wegerif, R., Rojas-Drummond, S., y Mercer, N. (1999). Language for the social construction of knowle
