Usos efectivos para la mejora: ¿cómo hacemos para que esto ocurra?

“Para que se materialice la promesa que encierra la evaluación como instrumento
de mejora se requiere que no sólo se produzca en forma rigurosa, justa y oportuna, sino que es imprescindible que sea usada de manera efectiva por todos los actores involucrados, con una intención clara y explícita de servir de guía y evidencia para sustentar decisiones dentro de cada ámbito de actuación”, dice la autora, quien presenta una Herramienta para identificar usuarios potenciales de las evaluaciones.

Teresa Bracho González
Consejera de la Junta de Gobierno del inee
teresa.bracho@inee.edu.mx

Referirse a los usos efectivos de la evaluación es alu¬dir a las acciones deliberadas, ejecutadas por di-ferentes receptores o usuarios de la información (actores), que retoman —en diferentes grados y para dis-tintos propósitos— los resultados, métodos o conceptos de la evaluación educativa como insumos relevantes para sus¬tentar sus decisiones y acciones de mejora en sus contextos particulares de actuación.
En sus orígenes, a finales de la década de 1960, el uso de la evaluación se refería a la forma en que ésta y la informa¬ción que se deriva de ella impactan el programa evaluado. Sin embargo, como lo explica Carol Weiss, ahora estamos conscientes de dimensiones más amplias en la evalua¬ción: se pueden usar muchos de sus elementos —no sólo los resultados—, tales como las ideas y visiones, marcos teóricos, procesos metodológicos o incluso el diseño de los estudios. En este caso, el uso engloba un conjunto de elementos susceptibles de producir una amplia gama de efectos para muchas clases de usuarios (Weiss, 1998).

En los hechos, poco a poco hemos transitado de tener una variedad de reportes de evaluación con poca relevan¬cia o utilidad para los posibles usuarios, que solamente se concentraban en cumplir con la normativa o los requeri¬mientos, hacia evaluaciones que cada vez toman más en cuenta a dichos usuarios. A pesar de esto, aún falta mucho para llegar a un punto óptimo en el que éstas atiendan to¬dos los aspectos relevantes y se ocupen de todos los usua¬rios posibles.

Por eso, el tema de promover usos significativos de la evaluación educativa vinculados con la mejora del siste¬ma tiene importantes asuntos pendientes. Muchas veces nuestra preocupación como evaluadores se ha centrado en la cientificidad de nuestro quehacer como especialis¬tas, lo que nos ha impulsado a enfocarnos en temas como el rigor de los instrumentos de medición y sus métodos de análisis, así como los problemas propios de asegurar la integridad y seguridad de los datos. Por supuesto que es nuestra responsabilidad hacerlo. Es condición necesaria para la mejora, pero no es suficiente. Debemos también adoptar una visión de políticas auténticamente públicas en la que se busque involucrar a todos los actores desde to¬dos los niveles para incidir en la solución de los problemas. Existen creencias o supuestos implícitos en relación con los usos de información provenientes de la evaluación edu¬cativa que, si se examinan desde perspectivas como la de las políticas públicas, podrían decirnos cosas interesantes y pertinentes acerca de los alcances y los límites de nuestro trabajo como evaluadores del sistema educativo hasta el presente.

Para que la evaluación se convierta efectivamente en un factor que contribuya a la mejora de este sistema, se requie¬re invariablemente su uso efectivo en todos los niveles y por parte de todos los actores en sus contextos particulares de actuación. Pero, ¿cómo hacemos para que esto ocurra? ¿Necesitamos hacer algo distinto para que la evaluación en verdad sirva? Desde mi punto de vista, los evaluadores ne-cesitamos modificar nuestras visiones y prácticas en por lo menos tres sentidos: a) considerar el tema de los usos de la evaluación desde la concepción o génesis de ésta, es de¬cir, desde la planeación de la evaluación, lo que denomino Fase cero; b) trascender la visión “tradicional” que subyace a nuestra conducta como evaluadores, y c) atender el tema de los usos de la evaluación como una “intervención de po¬lítica pública”.

a) Fase cero: considerar el tema de los usos de la evaluación desde su concepción

Es esencial que este tema esté en la agenda, es decir, en las preocupaciones explícitas de los evaluadores, desde el momento mismo de la génesis de las evaluaciones. Esto implica modificar por lo menos dos conductas típicas. La primera es pensar en los usos de la evaluación una vez que ésta ha concluido, ideando en ese momento (y no antes) qué tipos de reportes, publicaciones y mecanismos de difusión se elaborarán. Pensar así hace que se pierda una oportunidad que no siempre se puede revertir, porque la información que se levante durante la evaluación puede no adaptarse posteriormente a diversos usos si esto no se con¬templó desde el momento de su diseño. La segunda es pen¬sar que nuestro trabajo como evaluadores concluye con la publicación y difusión de los resultados, bajo el supuesto implícito de que los usos con incidencia en la mejora del sistema en sus diferentes niveles se producirán de manera espontánea a partir del interés, comprensión y asimilación de parte de los diversos actores interesados en la marcha del sistema educativo. En suma, propongo que el acto de “comunicar” la evaluación vaya más allá de la publicación y difusión que tradicionalmente se ha hecho en México.

b) Revisar la visión “tradicional” que subyace a nuestra conducta como evaluadores del Sistema Educativo Nacional (sen)

Vinculado con lo anterior, es posible afirmar que, por la misma naturaleza especializada de nuestra tarea, hemos sido víctimas de un conjunto de falacias que no hemos he¬cho explícitas en nuestro quehacer y, por lo tanto, no he¬mos discutido suficientemente. Si queremos usos efectivos de la evaluación para la mejora, necesitamos trascender, al menos, las siguientes premisas implícitas:

1. Lo esencial es producir con calidad: nuestro problema como evaluadores se centra principalmente en generar información con la calidad idónea, y esto se resuelve de¬sarrollando instrumentos y procesos que aseguren un alto rigor científico.
2. El acceso y la comunicación se resuelven con la publi¬cación y difusión: la sola publicación y difusión de los resultados científicamente controlados hace accesible y comprensible la información proveniente de las evalua¬ciones a los actores del sen.
3. Los usuarios tienen capacidad plena para comprender la información producida: las evaluaciones educativas se han hecho principalmente pensando en ser usadas por científicos.
4. El evaluador “sabe”: dada su formación y experiencia, es el que mejor sabe qué hay que evaluar, qué se puede eva¬luar y cómo debe hacerse.

Algunas de estas premisas pudieron ser funcionales cuando la visión de la evaluación se circunscribía a infor¬mar a los más altos niveles de los sistemas educativos so¬bre la marcha del conjunto (rendición de cuentas). Fueron tal vez hasta razonables cuando había que construir un respeto y credibilidad hacia la evaluación externa (o a la inclusión del evaluador científico-profesional en la arena de los asuntos públicos). Pero en un contexto donde he¬mos modificado y enriquecido nuestra manera de mirar los sistemas educativos, y en un espacio donde el acceso a la información pública se ha convertido en un derecho en sí mismo, una práctica de la evaluación basada princi¬palmente en las premisas enunciadas (u otras parecidas) nos aleja de materializar el ansiado vínculo entre ésta y la mejora del sistema educativo y nos conduce al terreno de las falacias que debemos combatir.

c) Atender el tema de los usos de la evaluación como una intervención de política pública

Una vez que el tema ha entrado en agenda desde la con¬cepción de la evaluación, y que hemos revisado nuestras visiones en relación con nuestra práctica, el otro punto fundamental consiste en atender el uso de la evaluación como una intervención de políticas públicas, en lugar de dejar que el asunto sea una respuesta afortunada, espontá¬nea y directamente vinculada sólo al interés de los diversos usuarios de la información producida por las evaluaciones.

Y, a reserva de que se requiere una discusión más am¬plia entre los diversos actores que conformamos el Sis¬tema Nacional de Evaluación Educativa (snee), pongo sobre la mesa por lo menos dos insumos iniciales para esa discusión. El primero se refiere a si consideramos el tema de usos como una política en sí misma, y no como consecuencia natural o afortunada de la evaluación (tal como he dicho más arriba). El no uso o indiferencia, falta de comprensión, rechazo o mal uso de los resultados de la evaluación son el problema que debe resolver esta política en particular.
Lo segundo es que, como corresponde a la consideración de cualquier intervención pública, se precisa un análisis riguroso y participativo (para que sea realmente “público”) de las necesidades, expectativas y posibilidades de uso de todos los actores del sen con capacidad de incidencia en la mejora del mismo. Esto implica pensar desde el más alto nivel hasta los alumnos y los padres de familia, atendien¬do a los contextos específicos de actuación de cada grupo. Para ello, se ofrece a continuación una herramienta senci¬lla, entre muchas posibles, para que construyamos estos procesos de identificación, caracterización, diálogo y cons¬trucción de significados en relación con las evaluaciones.

Herramienta para el análisis de los usuarios dentro de una política destinada a incentivar los usos efectivos

Como se expresa en este texto, la atención a los usuarios es fundamental y esto toma especial relevancia cuando se trata de la evaluación en educación. Si queremos informar sobre una acción pública en sus distintos componentes y niveles, hay que generar evidencias en los medios y len¬guajes de cada nivel de usuarios, atendiendo a sus posibi¬lidades efectivas de apropiación, interpretación y uso de evidencias en cada contexto particular de actuación.
Lo que resulta esencial es que los productores de la evidencia (evaluadores) deben estar conscientes de este asunto como punto de partida para diseñar estrategias que produzcan resultados capaces de incentivar usos que se re¬flejen en mejoras de nuestros sistemas educativos.

La siguiente propuesta toma, en primera instancia, las “áreas de observación” (figura 1) que solemos utilizar en la investigación para analizar la calidad de los servicios edu¬cativos, que de manera clara sintetiza el Laboratorio Lati¬noamericano de Evaluación de la Calidad de la Educación (llece, iniciativa coordinada por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, unesco) y que es utilizada en la aplicación de sus prue¬bas de logro (perce,1 serce2 y terce3). En una segunda etapa, propongo “hacer un espejo” (figura 2) y considerar a estos mismos agentes y actores como los usuarios po¬tenciales iniciales de cualquier evaluación sobre la calidad de la educación (recordemos que en este caso lo tomamos de una evaluación de logro): alumnos, maestros, directivos y autoridades. Si son ellos quienes tienen algún rol en la calidad (y pueden llevar a cabo acciones para mejorar la educación que se imparte en el aula), son también a quie¬nes debemos privilegiar en la comunicación de resultados y a quienes debemos tener en mente cuando efectuamos cualquier evaluación.

Figura 1. Figura 1. Áreas de observación usadas en la investigación educativa:

Figura 2. Herramienta para identificar usuarios potenciales de las evaluaciones dentro de una política de usos efectivos:

La idea es sencilla, pero puede enriquecer la primera en¬trada para definir los productos que surjan de los resultados de la evaluación. Por ser un tópico que estimo debe defi¬nirse en el marco del snee, esa parte del esquema sugerido aparece con signos de interrogación. Definir qué clase de evaluaciones deben priorizarse y como podrá aprovechar¬se la información que se obtengan de ellas para promover la calidad de la educación, dependerá, entre otras cosas, de la consulta con los usuarios principales potenciales.

Es necesario enfatizar que este tema es de la mayor importancia estratégica, especialmente en el contexto de las reformas que en los actuales momentos están en curso en el sen, ya que para que se materialice la promesa que encierra la evaluación como instrumento de mejora se re¬quiere que no sólo se produzca en forma rigurosa, justa y oportuna, sino que es imprescindible garantizar su uso efectivo por todos los actores involucrados —cada uno en el nivel que le corresponda—, con la intención clara y explí-cita de servir de guía y evidencia para sustentar decisiones de mejora dentro de cada ámbito particular de actuación.

Los usos de la evaluación educativa justifican ser un objeto de estudio en sí mismo. Son un tema distinto, aunque íntimamente relacionado con la generación o producción de la evaluación. Los usos efectivos y deseados, es decir, aquellos que se traducen en mejoras del sistema educativo, no ocurrirán de manera espontánea, automática o natural por parte de las diversas audiencias, reales o potenciales.

Tenemos un margen de maniobra muy importante desde la oferta, para fomentar o estimular una demanda más am¬plia y reflexiva, donde los usos deseados se conviertan en rutas de trabajo que produzcan mejoras. Es tiempo ya de trabajar en ese sentido.

—–

1 Primer Estudio Regional Comparativo y Explicativo, llevado a cabo entre 1995 y 1997.
2 Segundo Estudio Regional Comparativo y Explicativo, llevado a cabo entre 2002 y 2008.
3 Tercer Estudio Regional Explicativo y Comparativo, aplicó en 2013 pruebas en Lectura, Escritura, Matemáticas y Ciencias Na¬turales a más de 134 mil niños y niñas de tercero y sexto grados de educación primaria de 14 países: Argentina, Brasil, Colombia, Costa Rica, Chile, Ecuador, Guatemala, Honduras, México, Ni¬caragua, Panamá, Paraguay, Perú, República Dominicana y Uru¬guay, más el estado mexicano de Nuevo León.

Referencias

Latin American Laboratory for the Assessment of the Quality of Education, llece (2000). First international compara¬tive study of language, mathematics, and associated factors for students in the third and fourth grade of primary school. Second report. Santiago de Chile: unesco. Disponible en http://goo.gl/BgYhBh. Consultado en febrero de 2016.
Weiss, C. H. (1998). Have We Learned Anything New About the Use of Evaluation? American Journal of Evaluation, N° 1, 21-33.

Hits
Tags: Gaceta No.04

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Facebook Twitter Linkedin WhatsApp Whatsapp
Ir al contenido