Problemas y desafíos en el uso de las evaluaciones educativas

La desconexión entre el diseño de las evaluaciones, la adecuada difusión de los resultados, la correcta entrega de la información, el manejo contextual de las fuentes y el uso pertinente de los datos no lleva de manera automática a la calidad educativa. En este artículo se analizan los motivos y los protagonistas de tal desarticulación.
José Luis Gutiérrez Espíndola
Director general de Difusión y Fomento de la Cultura de la Evaluación, INEE

En el debate sobre la evaluación educativa a veces queda un tanto oscurecido el uso de las evaluaciones, lo cual es sorprendente porque el tema está asociado con el fin último de toda evaluación: elevar los estándares de la calidad educativa.

En efecto, todo sistema de evaluación se funda en la premisa de que el conocimiento generado se empleará para introducir mejoras en el objeto evaluado; de hecho, se suele juzgar el éxito de una evaluación por el grado en que utiliza la información recabada.

En el caso de la evaluación educativa en México, el propósito se expresa en el propio texto constitucional y en la Ley del Instituto Nacional para la Evaluación de la Educación (LINEE). En ambos ordenamientos se prevén mecanismos para favorecer la conexión entre los resultados de la evaluación, la toma de decisiones y la mejora educativa (INEE-LXII Legislatura, 2015: 50-51)

Con el fin de evitar ambigüedades, conviene aclarar el significado que le atribuimos al término usos. Según la definición de Teresa Bracho, consejera presidenta del Instituto Nacional para la Evaluación de la Educación (INEE), por usos debemos entender aquellas acciones deliberadas, ejecutadas por diferentes usuarios de la información, que retoman, en diferentes grados y para distintos propósitos, los resultados, métodos o conceptos de la evaluación educativa como insumos relevantes para sustentar sus decisiones y acciones de mejora en sus contextos particulares de actuación (Bracho, 2016: 38).

Varios aspectos destacan en esta definición: sólo califican como usos las acciones deliberadas; no sólo hay usos por parte de los tomadores de decisiones de alto nivel (los formuladores de políticas públicas), sino también de una amplia gama de actores, ubicados en distintos puntos del sistema y capaces de emprender acciones de mejora; la evaluación es uno entre varios insumos, pero debe ser relevante; y son susceptibles de uso tanto por los resultados propiamente dichos como por los componentes de la evaluación. Esto visibiliza la amplia gama de usos y de usuarios posibles.

Atendiendo a sus propósitos y consecuencias, es posible distinguir cuatro tipos fundamentales de usos:¹

1. Iluminativos. Influyen en cómo los actores educativos reconocen y estudian un problema desde ciertos marcos conceptuales y metodológicos. Generan aprendizajes. Puede tener gran influencia en la medida en que modifican las percepciones de los actores sobre determinados problemas y su posición frente a ellos, pero en lo inmediato sus efectos son intangibles.
2. De legitimación. Derivan de la instrumentalización política de la evaluación. No sirven para revisar, corregir y mejorar, sino para validar decisiones tomadas o líneas de acción.
3. Consultivos. Retoman información de las evaluaciones para alimentar trabajos académicos, reportes técnicos o documentos que, sin embargo, no se reflejan en acciones sustantivas de cambio y mejora.
4. Instrumentales. Generan acciones específicas en diversos aspectos del objeto o ámbito evaluado.

Sin disminuir la importancia de los usos iluminativos, es evidente que el uso de las evaluaciones es por excelencia el de carácter instrumental (entendido en su sentido más amplio). Las instituciones evaluadoras, que se caracterizan por lo que Pedro Ravela denomina el enfoque agerecéntrico,2 orientan buena parte de su esfuerzo a lograr este tipo de impacto.

Pero aun en tales instituciones, donde la preocupación no se reduce a la difusión, sino que se centra en la promoción de determinados usos, no se termina de erradicar una visión —un tanto ingenua, pero sorprendentemente generalizada— según la cual la conexión entre evaluación, toma de decisiones y mejora educativa es lineal e inmediata. De acuerdo con esta concepción, hay una alineación natural y espontánea entre las necesidades, los intereses y las competencias de los evaluadores, los políticos, los cuadros técnicos y los actores educativos.

Se olvida que los políticos no están a la espera de que los académicos y los evaluadores les digan por dónde ir: son actores sometidos a presiones variadas y generalmente contradictorias, tienen sus propios intereses e incentivos para actuar en un determinado sentido y poseen informaciones disímbolas y fragmentarias, provenientes de muy diversas fuentes. Por lo tanto, deben elegir cursos de acción que casi nunca dependen sólo de la calidad de la información o de las recomendaciones técnicas que les brinde un ente evaluador, por más sólidas que sean.³

Omitir estas variables, y las complejas mediaciones existentes entre evaluación y toma de decisiones, da lugar a estrategias poco eficaces para promover el uso de las evaluaciones. A la postre, lo que encontramos es una brecha enorme entre la cantidad y calidad de la información producida y un escaso empleo de la misma, no necesariamente coherente con la mejora educativa. Este no es un problema privativo de México, sino uno generalizado que se presenta en muy distintos países.

¿Cuáles son los conflictos que impiden una adecuada conexión entre la evaluación y su uso? El escaso o inapropiado empleo de las evaluaciones es imputable a las características de los actores; a la estructura o funcionamiento del sistema educativo; a factores sociales o culturales; y a las propias instituciones evaluadoras.

Tipología de las desconexiones entre la evaluación y su uso

Entre las deficiencias atribuibles a los actores educativos, incluidas las autoridades del sector, están las siguientes:

• El recelo frente a evaluaciones que se visualizan más bien como auditorías, cuyos resultados pueden implicar costos de distinta naturaleza.
• El pragmatismo político de los funcionarios que desconfían de lo relacionado con la investigación y la academia.
• La falta de motivaciones e incentivos políticos, económicos, profesionales o simbólicos para que los responsables de las políticas y los programas evaluados promuevan innovaciones y mejoras.
• La carencia de competencias técnicas para usar los resultados en los procesos de planeación y formulación de políticas.

Algunas causas imputables a la organización y el funcionamiento del Sistema Educativo Nacional son:

• Las inercias del sector público en los procesos de planeación y presupuesto.
• La segmentación —y aun la fragmentación— de políticas y programas y, por lo tanto, de las competencias, responsabilidades y capacidades institucionales para atender a los cambios recomendados: mientras cada funcionario responde sólo por su área de responsabilidad, los problemas atraviesan distintas unidades administrativas, son más amplios y, por ende, generan recomendaciones articuladas.
• La carencia de espacios y mecanismos institucionalizados para captar y procesar las recomendaciones derivadas de los procesos de evaluación. Esto es similar a lo que pasa en diversas instituciones cuando deben atender recomendaciones provenientes de los organismos públicos de derechos humanos.

Entre las deficiencias que deben adjudicarse a factores sociales y culturales de índole más general, destaca:

• La precaria cultura de la evaluación, que la concibe como un instrumento punitivo y de control.

Y entre las que dependen de las propias instituciones evaluadoras:

• La excesiva producción de información técnicamente sólida en detrimento de quién la usa y para qué fines. Esta visión da por sentado que los destinatarios tienen la disposición, el interés y los incentivos para usarla y que, en consecuencia, todo lo que tiene que hacer la institución evaluadora es poner la información al alcance de los usuarios potenciales.
• La convicción de que el uso se resuelve con la sola difusión de los resultados, como si el problema fuera sólo de formatos y lenguajes.
• La pretensión de que el evaluador es el que mejor sabe qué y cómo evaluar, que lo lleva a tomar decisiones autosuficientes y unilaterales. Esto convierte a los actores educativos en sujetos pasivos, sin capacidad de interlocución sobre los aspectos interesantes de su labor que deberían incluir el diseño y la aplicación de la evaluación.
• El supuesto infundado de que las autoridades y los actores educativos tienen, por definición, las competencias técnicas para entender las evaluaciones.

Puentes e interlocutores

De los problemas identificados con el escaso o inapropiado uso de las evaluaciones por parte de los actores educativos, los especialistas destacan cinco principales:⁴

1. Falta de sincronía. Las evaluaciones se hacen a destiempo —cuando un programa está por cerrarse, por ejemplo—, o bien sus resultados se dan a conocer cuando algunos aspectos han cambiado y la información ha perdido parte de su vigencia.
2. Límite de facultades. Las recomendaciones de las instituciones evaluadoras no se atienden porque exceden las facultades de la autoridad educativa, el programa o la política evaluados.
3. Falta de claridad. Remite a informes que recurren a un lenguaje técnico poco accesible para el no especialista, pero también a recomendaciones genéricas o ambiguas, e informes que inducen a interpretaciones erróneas (por ejemplo, rankings de los que no se precisan alcances y límites).
4. Carencia de recursos. Las recomendaciones no se atienden porque la autoridad o el programa evaluado carecen de los insumos necesarios.
5. Falta de viabilidad. Las recomendaciones derivadas de las evaluaciones no se atienden porque no prevén factores políticos o del entorno.

A la vista de lo anterior, es evidente que los usos esperados no se producirán en forma natural y espontánea,⁵ por lo cual es indispensable generar las condiciones e incentivos adecuados para que ocurran.

Quienes han trabajado sistemáticamente estos temas consideran cuatro condiciones generales para fortalecer los usos de las evaluaciones (Pérez, 2016: 84-86):

1. Legitimidad. Implica que los actores reconozcan la importancia de la evaluación y la acepten como parte de la gestión gubernamental. Supone fomentar una nueva cultura de la evaluación educativa y generar tradiciones de transparencia, rendición de cuentas, responsabilidad y evaluación del servicio público sustentadas en la normativa correspondiente.
2. Calidad. Se refiere a que los actores acepten la validez y confiabilidad de las evaluaciones, lo robusto de los datos generados y, en general, los altos estándares técnicos seguidos.
3. Credibilidad. Conlleva que los actores adviertan que la evaluación no tiene sesgo y que el proceso ha sido transparente en todas sus fases. La credibilidad está positivamente correlacionada con la independencia de quienes evalúan. En ese sentido, el INEE tiene a su favor el estatuto de órgano constitucionalmente autónomo.
4. Participación. Significa que los actores educativos se involucren en la evaluación, empezando por la detección de las necesidades informativas y de los problemas a resolver antes de su diseño. Asimismo, deben conocer su propósito y alcance, ser informados de los resultados y tener la posibilidad de analizarlos y extraer conclusiones conjuntamente con las instituciones evaluadoras. La participación es, de los cuatro, el elemento decisivo: sin ella se reduce drásticamente la posibilidad de potenciar los usos de la evaluación.⁶

Además de estas condiciones generales, hay otras acciones que pueden contribuir a incentivar diversos empleos de las evaluaciones. Entre ellas:⁷

• Contar con una política que atienda el problema del uso escaso o deficiente de las evaluaciones y resignifique el tema, desplazándolo del ámbito puramente comunicacional al terreno de la “intervención de política pública” (Bracho, 2016: 39).
• Identificar los usos esperados y deseables de la evaluación desde su diseño. Esto permitirá definir el tipo de información a generar, sus usuarios potenciales y los problemas que se atenderán. Así, los resultados podrán fluir a través de los canales adecuados, en formatos y lenguajes acordes con la definición previa.⁸
• Procurar que las áreas evaluadoras conozcan el funcionamiento, los alcances y las limitaciones del sector público educativo y sus responsables.
• Identificar las responsabilidades de los encargados de atender las orientaciones y recomendaciones.
• Contar con espacios de encuentro, interlocución y acompañamiento donde las instancias evaluadoras y las autoridades educativas puedan analizar las evaluaciones y explicar las implicaciones y alcances de las recomendaciones. Si bien la LINEE prevé algunos —el Sistema Nacional de Evaluación Educativa (SNEE) y, dentro de él, la Conferencia (LINEE, art. 12, 2013)—, conviene establecer otros para atender asuntos puntuales.
• Hacer recomendaciones técnicamente factibles y políticamente viables.⁹
• Trabajar para que la evaluación sea vista por las autoridades y los actores educativos como una herramienta que contribuye al logro de las metas trazadas.
• Generar productos derivados de evaluaciones en medios, lenguajes y formatos adecuados a cada tipo de usuario. Para ello, es preciso valorar su ubicación en el sistema, sus ámbitos de competencia, sus posibilidades efectivas de acción, sus tradiciones y culturas profesionales.

El último punto amerita un desarrollo aparte, pero conviene adelantar aquí que las tareas de comunicación social, difusión, promoción del uso de resultados y fomento de la cultura de la evaluación —siempre que se enmarquen en el referido enfoque agerecéntrico— son cruciales para que las evaluaciones ayuden a mejorar el Sistema Educativo Nacional. Sin su mediación, carecerán de incidencia efectiva. Constituyen uno de los principales puntos de contacto entre la producción de la información y las decisiones de los actores educativos.

En el marco conceptual donde los actores educativos no sólo son objeto de evaluación, sino interlocutores privilegiados de las instituciones evaluadoras,

• la difusión de las evaluaciones entraña poner información significativa, focalizada, oportuna y pertinente al alcance de interlocutores estratégicos. Algunas orientaciones prácticas a este respecto son las siguientes:
• Al ofrecer los resultados se debe explicar su contexto para dimensionar el proceso: qué se evalúa y a través de qué instrumentos.
• Aclarar que las evaluaciones externas de gran escala son una fuente de información que se debe combinar con otras y con la información de la propia escuela.
• No se deben presentar los datos crudos, sino el producto del análisis y la interpretación.
• Evitar el manejo exclusivo o principal de estrategias de comunicación masiva. Son indispensables los formatos focalizados, insertos en una estrategia que provea apoyos directos y estructurados a las escuelas.
• la promoción del uso de esas evaluaciones implica desplegar un conjunto articulado de acciones orientadas a fomentar, en las instituciones y los actores educativos, el desarrollo de capacidades que les ayuden a comprender, interpretar y usar apropiadamente los resultados de las evaluaciones para acciones de mejora:

Algunas orientaciones prácticas en este rubro son las siguientes:

Es prioritario asociar directa e inmediatamente la presentación de resultados y las acciones de mejora. La generación de capacidades y habilidades actúa como bisagra entre ambas situaciones.

• Es indispensable generar capacidades para interpretar los resultados y formular hipótesis sobre las razones que los explican, así como diseñar intervenciones viables y con metas claras a fin de producir mejora y monitorear esas intervenciones.
• el fomento de la cultura de la evaluación consiste en generar un sustrato de legitimidad, confianza, credibilidad y sentido de utilidad para que la evaluación educativa sea aceptada, apreciada e incluso exigida por la sociedad, en especial por los actores educativos. Asumiendo que estas tareas son permanentes y sólo pueden tener impacto en el mediano y largo plazo, cabe enunciar algunas orientaciones prácticas:
• Es preciso legitimar la actividad evaluativa para que sea considerada válida, propia del ámbito educativo y útil para sus propósitos.
• Conviene que las evaluaciones externas, generalmente concebidas como ajenas al día a día de la escuela, se presenten como insumos que adquieren sentido al combinarlos con la información y experiencia del director, el docente y el asesor técnico pedagógico.
• Es necesario presentar la evaluación como una actividad digna de confianza en dos vertientes: primero, en tanto está encargada a un órgano autónomo y, por lo tanto, no comprometido partidariamente ni sujeto a designios que no sean los constitucionales; y segundo, con una pericia técnica acumulada y reconocida públicamente.
• Debe fomentarse la credibilidad de los resultados, afectados por el descreimiento general de la población en las instituciones públicas más que por indicios de sesgo o manipulación.
• Sobre todo, los actores educativos deben ver la evaluación como una herramienta práctica, capaz de acreditar de manera fehaciente, útil para diagnosticar problemas y detonar procesos de innovación y cambio.

En esta visión es estratégica la adecuada articulación de las tareas de difusión, la promoción del uso y el fomento de la cultura de la evaluación para contribuir a que las evaluaciones redunden en una mejora educativa que garantice a todas las personas el derecho a una educación de calidad. De eso se trata.

Como ha dicho la doctora Teresa Bracho

[…] para que se materialice la promesa que encierra la evaluación como instrumento de mejora, se requiere que no sólo se produzca en forma rigurosa, justa y oportuna, sino que es imprescindible garantizar su uso efectivo por todos los actores involucrados, cada uno en el nivel que le corresponda, con la intención clara y explícita de servir de guía y evidencia para sustentar decisiones de mejora dentro de cada ámbito particular de actuación […]. Tenemos un margen de maniobra muy importante desde la oferta para fomentar o estimular una demanda más amplia y reflexiva (2016: 42)

Es evidente, sin embargo, que incluso las mejores prácticas en materia de difusión, promoción del uso y fomento de la cultura de la evaluación sólo serán capaces de promover mejoras, si:

1. Los actores educativos tienen incentivos institucionalizados para conducir procesos de innovación y mejora, que no necesariamente deben ser de naturaleza económica, sino que pueden estar relacionados con el reconocimiento social y el desarrollo profesional.
2. Se diseñan apoyos directos y estructurados para que los actores y los centros educativos tengan la posibilidad de generar capacidades propias.
3. Se ponen a disposición de las escuelas, particularmente de las que más lo necesitan, los recursos para echar a andar acciones de mejora consistentes.

Referencias y notas

BRACHO, Teresa (2016). “Usos efectivos para la mejora: ¿cómo hacemos para que esto ocurra?”. Gaceta de la Política Nacional de Evaluación Educativa 2 (4) (marzo-junio):  38-42.

CEJUDO, Guillermo y Francisco Abarca (2016). “¿Cómo facilitar la utilización de las evaluaciones?”. Gaceta de la Política Nacional de Evaluación Educativa 2 (4) (marzo-junio): 76-81.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN-LXII Legislatura de la Cámara de Diputados (2015). Reforma Educativa: marco normativo. Ciudad de México: INEE.

LEY DEL INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN (2013, 11 de septiembre). Diario Oficial de la Federación. Ciudad de México.

MARTÍNEZ Rizo, Felipe (coordinador) (2015). Las pruebas ENLACE y EXCALE: un estudio de validación. Ciudad de México: INEE.

PÉREZ Yarahuán, Gabriela (2016). “El radar de la utilización”. Gaceta de la Política Nacional de Evaluación Educativa 2 (4) (marzo-junio): 82-86.

RAVELA, Pedro (2012). “La experiencia del INEE en la difusión de resultados para docentes”. En Alejandra Delgado, Annette Santos y Rebeca Reynoso (coordinadoras), INEE: una década de evaluación 2002-2012, 134-136. Ciudad de México: INEE.

REIMERS, Fernando y Noel McGinn (1997). Diálogo informado: el uso de la investigación para conformar la política educativa. Ciudad de México: Centro de Estudios Educativos.

[1] Esta clasificación se basa en la propuesta de Pérez Yarahuán (2016: 84).

[2] Se trata, según Ravela, de un enfoque centrado en los agentes: “Si la intención de la evaluación es lograr que ciertos agentes obren, actúen, hagan cosas y produzcan efectos de mejora en la educación, lo primero que debería hacerse es reconocer a esos agentes (maestros, estudiantes, padres y madres de familia, autoridades, tomadores de decisiones) y conocer sus modos de actuar en relación con la educación, sus percepciones sobre la misma, sus intereses y el tipo de decisiones que están en condiciones de tomar, para luego pensar la evaluación y el tratamiento de los resultados desde la perspectiva de los usos que aquéllos podrán y querrán darle a la información […]. Ya no se trataría de lograr que los destinatarios usen la información que los evaluadores producimos, sino que, a la inversa, los evaluadores deberíamos preocuparnos por producir información que pueda resultar relevante para los distintos tipos de acciones y decisiones que los actores toman normalmente, en el marco de su agencia en el sistema educativo” (Ravela, 2012: 134).

[3] Véase el iluminador texto de Reimers y McGinn, Diálogo informado: “Los problemas educativos, tal como son enfrentados por los formuladores de política, carecen de la precisión que ha de encontrarse en un estudio sistemático que pueda especificar con anticipación todas las variables relevantes. Hay dimensiones pedagógicas, económicas, legales, burocráticas, etcétera, en los problemas afrontados por los tomadores de decisiones y en las alternativas que pueden ser consideradas. Sacar a colación la experiencia altamente especializada en el análisis racional para examinar los problemas e identificar soluciones es un ejercicio útil, pero que, por definición, simplifica las dimensiones del problema. Por lo tanto, las alternativas deben considerarse no dentro del ambiente simplificado del analista, sino en el mundo real, donde las personas y los grupos concretos expresan estos múltiples intereses” (Reimers y McGinn, 1997: 51-52).

[4] Véase Cejudo, G. y Abarca, F. (2016: 79). Los autores hablan de cuatro factores; yo he añadido el quinto: la falta de viabilidad.

[5] Por lo general, los que se producen en forma espontánea suelen ser usos inapropiados, por ejemplo, uso de rankings para calificar la calidad educativa de planteles, sistemas educativos o países.

[6] Es importante, sin embargo, mantener el equilibrio entre involucramiento de actores educativos en su calidad de sujetos de evaluación y/o potenciales usuarios de la información, por un lado, y la independencia de la instancia evaluadora, por el otro.

[7] Parte de esta lista está basada en la propuesta por Cejudo, G. y Abarca, F. (2016: 80).

[8] A partir del análisis de la Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE) y el Examen para la Calidad y el Logro Educativo (EXCALE), el equipo coordinado por Martínez Rizo recomienda que las pruebas se fundamenten en un modelo lógico, conceptual y empíricamente documentado, que detalle: “a) usos previstos basados en necesidades y prioridades de distintos grupos de usuarios; b) contexto y criterios claros en relación con los recursos necesarios y disponibles, el proceso de desarrollo y aplicación de pruebas, diseminación de resultados y la capacidad de usuarios, entre otros; c) efectos y consecuencias esperadas a corto, mediano y largo plazos; y d) mecanismos y criterios de seguimiento para determinar el grado en que ocurren estos usos previstos en la práctica” (Martínez, 2015: 85-87).

[9] El modelo para la construcción y emisión de directrices del INEE prevé un proceso de diálogo con las autoridades e incluye expresamente la factibilidad como un criterio para valorar las posibilidades de ejecución de las directrices emitidas por el Instituto (INEE, 2015: 41-42).