Evaluación de políticas y uso de sus resultados: las directrices del INEE

inee_destacada05-directrices

El titular de la Unidad de Normatividad y Política Educativa del Instituto Nacional para la Evaluación de la Educación (INEE), Francisco Miranda, construye un balance de la labor que ha hecho el INEE en materia de resultados, recomendaciones y uso de las evaluaciones de políticas y programas orientados a la mejora educativa. Asimismo, traza líneas de trabajo futuro para fortalecer dichos procesos.

Francisco Miranda López

Titular de la Unidad de Normatividad y Política Educativa del INEE

Hacer que las evidencias derivadas de evaluaciones y estudios sistemáticos —rigurosos y objetivos— se usen para diseñar e implementar políticas debe ser, sin duda, una aspiración y un principio fundamental de todo gobierno que se diga democrático y que, además de representar al interés general de la nación, se comprometa con la transparencia y la rendición de cuentas de las acciones que desempeña.

La evaluación de políticas públicas puede entenderse como un ejercicio sistemático de análisis y valoración de un proyecto o programa, a efecto de determinar la pertinencia y el logro de sus objetivos, así como su eficiencia, eficacia, impacto y sostenibilidad para el desarrollo.
Desde la evaluación se aporta información relevante para valorar la magnitud y las dimensiones del problema público a resolver, identificar sus causas y reconocer la naturaleza de los contextos sociales en los que se expresan. Además, la evaluación permite identificar los alcances y limitaciones de las políticas o programas gubernamentales desarrollados con anterioridad; recupera las buenas prácticas internacionales de políticas similares a las puestas en marcha en el país; e identifica las características del diseño, instrumentación, resultados e impacto de las políticas o programas sujetos a evaluación.

Al aportar evidencias sólidas, la evaluación contribuye a que las decisiones de mejora no dependan de las actuaciones caprichosas, ideológicas, voluntariosas o irracionales de uno o pocos actores, sino, antes bien, de la medición objetiva a través de metodologías y técnicas pertinentes, válidas y confiables. Por tanto, de nada sirve instalar dispositivos de evaluación si no se asume la responsabilidad de utilizar sus resultados para tomar decisiones orientadas a mejorar su diseño, operación, eficiencia y eficacia.
Si bien la literatura sobre el tema indica que el uso ideal de las evaluaciones se da efectivamente cuando los hallazgos influyen en las decisiones de las personas con respecto a qué programas y políticas deben continuar (Weiss, 1998), es conveniente señalar que existen diversos tipos y modalidades de uso.

En ocasiones, los resultados de las evaluaciones sólo tienen un uso simbólico, que sirve para sustentar alguna decisión sin importar los hallazgos o el efecto encontrado; en otras, se usan de manera iluminativa, dado que sus fines son únicamente informativos; en situaciones menos comunes pero más relevantes, se utilizan con fines conceptuales que generan aprendizaje o clarifican temas entre los decisores. A contrapunto de estas tendencias, en contadísimos casos, la evaluación tiene usos instrumentales efectivos, es decir, influye directamente en las decisiones o en la distribución de recursos (Weiss, 1998; Mark y Henry, 2004; Fleischer y Christie, 2009; Ledermann, 2012).

Según diversos estudios, para que los resultados de las evaluaciones de políticas y programas gubernamentales sean empleados de manera adecuada, deben cumplir al menos tres requisitos importantes, estrechamente interrelacionados: ser técnicamente robustas, emitir recomendaciones factibles y que éstas cuenten con una fuerza normativa que impulse su aplicación.

Se concluye que la calidad y el rigor del trabajo técnico, si bien son fundamentales, no pueden desligarse de la necesidad de considerar en el proceso a los tomadores de decisiones. Es decir, el éxito de una recomendación está asociado con los factores cuándo, cómo, dónde y con quién, cuestiones sumamente importantes y que a menudo sólo se conocen a través de la experiencia. Igual peso tienen las capacidades normativas de la evaluación y los incentivos generados para que se apliquen los cambios sugeridos por ella. De acuerdo con lo señalado en la bibliografía de la materia, entre mayores sean los costos de no atender una recomendación o los beneficios de aplicarla, menores serán las posibilidades de que sea ignorada (Weiss, 1998; Hammersley, 2016).

Marco legal

La Reforma Educativa de 2013 estableció modificaciones importantes a los artículos 3° y 73 de la Constitución Política de los Estados Unidos Mexicanos. Entre las principales se encuentra el establecimiento del derecho a una educación de calidad para todos, así como el papel otorgado al Sistema Nacional de Evaluación Educativa (SNEE) como su garante, cuya coordinación es responsabilidad del Instituto Nacional para la Evaluación de la Educación (INEE).

Con el fin de cumplir cabalmente esta meta, la Constitución asignó al INEE diversas funciones, entre las que destaca la emisión de recomendaciones de mejora educativa a partir de los resultados de las evaluaciones, por medio de la figura jurídica de directrices.

A continuación, se reseñan los avances más importantes para concretar la compleja y difícil relación entre resultados, recomendaciones y uso de las evaluaciones de políticas y programas educativos, en el contexto de los aprendizajes generados por la experiencia del Instituto con la emisión de las directrices de política educativa.

Desde el INEE

En principio, debe subrayarse que los enfoques, marcos analíticos y debates —como los señalados— constituyen el referente fundamental del trabajo desarrollado por el Instituto, tanto en el terreno de la evaluación de políticas y programas educativos como en el relativo a la emisión de directrices.

En este contexto, el INEE construyó un Modelo de Evaluación de Políticas y Programas Educativos que estableció un marco de referencia para orientar el desarrollo de las evaluaciones, así como las consideraciones clave acerca de qué evaluar, para qué, para quién y cómo orientar la valoración de estas intervenciones educativas en el país.

El modelo plantea una serie de fases para su diseño y puesta en marcha, a saber: a) construcción; b) emisión; c) comunicación; d) respuesta de la autoridad educativa; e) implementación; f) monitoreo y seguimiento; y g) actualización.

A la fecha, se han implementado treinta y un estudios y evaluaciones de políticas y programas educativos, mismos que se ordenan en seis áreas temáticas:

  1. Modelo de evaluación de políticas y programas educativos.
  2. Políticas y programas en materia de equidad educativa, a partir de las cuales se valoró la acción pública dirigida a grupos en situación de vulnerabilidad.
  3. Estudios y evaluaciones de las políticas y programas de atención al abandono escolar en educación media superior.
  4. Estudios y evaluaciones de la política de infraestructura física educativa.
  5. Estudios y evaluaciones sobre la política de participación social en educación.
  6. Estudios y evaluaciones de política educativa que, a encargo del INEE, fueron llevados a cabo por organismos internacionales.

A partir de dichas evaluaciones, se han emitido cinco grupos de directrices:1 Directrices para mejorar la formación inicial de los docentes de educación básica; Directrices para mejorar la atención educativa de niñas, niños y adolescentes de familias de jornaleros agrícolas migrantes; Directrices para mejorar la atención educativa de niñas, niños y adolescentes indígenas; Directrices para mejorar la permanencia escolar en la educación media superior; y Directrices para mejorar las políticas de formación y desarrollo profesional de docentes en educación básica.

Las directrices buscan incidir en la política educativa con el fin de que las acciones del gobierno mejoren la calidad y equidad de la educación. Se elaboran a partir del análisis de los resultados de las evaluaciones y del desempeño de las autoridades para saber cómo deben atenderse las necesidades educativas de la población. En su construcción se consultan distintos actores sociales y educativos, entre los que destacan docentes, directivos escolares, servidores públicos, académicos y representantes de organizaciones de la sociedad civil. Se dirigen a las autoridades educativas, tanto del ámbito federal como del local, quienes son responsables de ejercer el presupuesto para atender dichas necesidades.

Si bien la emisión de directrices constituye un importante punto de partida de las propuestas de cambio o fortalecimiento de la educación, ésta resulta insuficiente para cumplir con los objetivos que se plantean. En tal virtud, y en cumplimiento de sus atribuciones y obligaciones en materia de transparencia y rendición de cuentas, el INEE ha puesto en marcha mecanismos orientados a dar seguimiento y acompañamiento a las acciones desarrolladas por parte de las autoridades educativas para lograr su consecución.

Conclusiones

Como he señalado en otras publicaciones (Miranda, 2013 y 2016), las decisiones y las políticas públicas tienen que caminar por la ruta de un esfuerzo articulado en favor de decisiones eficaces y, al mismo tiempo, legítimas. Esto es, las políticas y las decisiones que de ellas emanan son el resultado de un proceso combinado, tenso y potencialmente equilibrado entre la construcción y el uso de evidencias, aunado con la definición de sentido, significado y contenidos estructurales orientados por principios o valores sustantivos.

Las experiencias nacional e internacional demuestran que, a pesar de los indudables avances en materia de evaluación educativa, todavía existen retos por solventar: algunos de orden técnico y enfoque analítico, y otros de carácter político y de ejercicio de buen gobierno. A la par de una mejor evaluación —más pertinente y articulada técnica y políticamente—, habrán de fortalecerse los esfuerzos para usar, de manera oportuna, los resultados de la evaluación con el fin de fundamentar intervenciones de mejora, replantear políticas y modificar decisiones y recursos.

En el uso y emisión de recomendaciones de política, se identifican algunas líneas de trabajo futuro para fortalecer los marcos institucionales vigentes y desarrollar procesos de innovación en los ámbitos técnico, institucional y político. Entre otras, conviene señalar las siguientes:

  1. Garantizar la complementariedad entre los resultados de las evaluaciones de distintos componentes, procesos y evidencias del sistema y los estudios y evaluaciones de política propiamente dicha.
  2. Hacer un análisis de las implicaciones causales, tanto del comportamiento del problema público identificado y diagnosticado por las evaluaciones como del grado o nivel de eficacia de los programas o acciones gubernamentales que lo atienden.
  3. Avanzar en el fortalecimiento de esquemas legales e institucionales que permitan generar mayor fuerza y presencia de las recomendaciones o en las acciones gubernamentales.
  4. Fortalecer e impulsar sistemas de contrapeso (check and balance) entre evaluadores y decisores de política, pensando en beneficios laterales y horizontales para la sociedad y la ciudadanía.
  5. Hacer estudios de factibilidad a efecto de reconocer el grado e intensidad de las restricciones reales o potenciales de las propuestas de mejora derivadas de los resultados de las evaluaciones.
  6. Modelar las recomendaciones o directrices de mejora de las políticas y acciones gubernamentales desde diversos espacios de interlocución con actores de los campos académico, social y político, así como con las autoridades en los diferentes ámbitos de intervención dentro del sistema educativo.
  7. Desarrollar acciones de cabildeo e incidencia política en los procesos de conocimiento y asunción de las recomendaciones o directrices por parte de las autoridades gubernamentales.
  8. Desplegar estrategias de fortalecimiento de capacidades institucionales, en los ámbitos federal y local, que permitan a los actores involucrados hacerse cargo de los procesos de mejora de la política y los resultados educativos.
  9. Contar con un sistema de monitoreo y seguimiento de la atención de las directrices para reconocer el grado de efectividad, los cuellos de botella y las buenas prácticas.
  10. Generar espacios de deliberación y debate público en torno a las recomendaciones y directrices entre los actores políticos y sociales, lo cual supone vincular los ámbitos instrumentalistas clásicos de la acción gubernamental (o policy) con mecanismos dialógicos de construcción de agendas y definición de comunidades de políticas.
  11. Sostener lógicas de continuidad o cambio en las políticas basadas en la evidencia de los buenos o malos resultados obtenidos con cada programa o acción de política, desplazando las discusiones ideológicas, partidarias o electorales para fortalecer las decisiones de política pública.
  12. Introducir los esquemas de evaluación y directrices de los sistemas de trasparencia y rendición de cuentas en el ejercicio del gasto público. Para ello, es preciso establecer un nuevo marco de equilibrio entre la racionalidad económica y la atención a las necesidades de los sectores con mayor grado de vulnerabilidad social.

 

Referencias

FLEISCHER, Dreolin y Christina A. Christie (2009). “Results From a Survey of U.S. American Evaluation Association Members”. American Journal of Evaluation 30 (2): 158-175.

HAMMERSLEY, Martyn (2016). “Can Academic Freedom Be Justified? Reflections on the Arguments of Robert Post and Stanley Fish”. Higher Education Quarterly 70 (2): 108-126.

LEDERMANN, Simone (2012). “Exploring the Necessary Conditions for Evaluation Use in Program Change”. American Journal of Evaluation 33 (2): 159-178.

MARK, Melvin y Gary Henry (2004). “The Mechanisms and Outcomes of Evaluation Influence”. American Journal of Evaluation 10 (1): 35-57.

MIRANDA, Francisco (2013). “La evaluación a debate. Entre la calidad y la desafiliación de los jóvenes de la educación secundaria en América Latina”. Revista Latinoamericana de Educación Comparada 4 (4): 41-58.

MIRANDA, Francisco (2016). “Las decisiones de la política de evaluación: el necesario ensamblaje entre evidencias y valores”. Gaceta de la Política Nacional de Evaluación Educativa en México 2 (4): 23-28.

WEISS, Carol H. (1998). Evaluation: Methods for Studying Programs and Policies. Boston: Prentice Hall.

[1] Cada conjunto se integra por varias directrices y aspectos clave de mejora, los cuales son propuestas concretas del INEE para detonar la mejora educativa.

Hits
Tags: Gaceta No.12

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Facebook Twitter Linkedin WhatsApp Whatsapp
Ir al contenido