Las directrices del inee: construyendo puentes entre la evaluación, su uso y la mejora educativa

En 2015, el inee emitió sus primeras directrices, luego de que la Reforma Educativa de 2012 le confiriera esta nueva atribución, que vincula la evaluación con la mejora. En este texto, la autora describe de manera sucinta la ruta que el Instituto dibujó para su construcción, destacando como elementos clave las valoraciones de las políticas y programas destinadas a la atención del problema, el déficit o debilidad que se busca atender, y la reunión de voces de distintos actores.

Arcelia Martínez Bordón
Directora General de Directrices
para la Mejora de la Educación
Unidad de Normatividad y Política
Educativa del inee
amartinezb@www.inee.edu.mx

Toda política pública constituye una respuesta del Estado a un problema o situación social identifi­cada como insatisfactoria o inaceptable (Subirats, Knoepfel, Larrue y Varone, 2008). La agenda de políticas se construye de muchas formas, pero, sobre todo, por la presión que ejercen distintos actores para evidenciar que existe un problema público.

Esta agenda también se puede nutrir de la información que la evaluación y la investigación arrojan. Ésta es, sin duda, la mayor apuesta del Instituto Nacional para la Eva­luación de la Educación (INEE): que la evaluación educati­va contribuya a la toma de decisiones tendientes a mejorar la calidad de la educación.

La Reforma Educativa anunciada en diciembre de 2012 le otorgó autonomía al Instituto y la facultad para emitir recomendaciones de política, llamadas “directrices”, cuyo fin es orientar la toma de decisiones en materia de política educativa. Las directrices buscan ser, por tanto, el puente entre la evaluación y la mejora educativa.

En este artículo se presentan algunas reflexiones sobre la ruta para la construcción de las directrices del inee y su po­tencial para incidir en la toma de decisiones para la mejora. Primero se resume parte del debate que refiere a las dificul­tades para que la evaluación se use y se traduzca en política pública. Posteriormente se destacan dos elementos clave en el proceso de construcción de las directrices que buscan justo abonar en dicho sentido: la construcción participativa tanto de la definición del problema público al que se le busca dar respuesta como de las posibles soluciones, y la valora­ción de los alcances y déficits de acción pública estatal.

Dificultades en el binomio investigación-evaluación y su uso

Para Carol Weiss, el modelo lineal en donde la investiga­ción básica y aplicada se traduce en políticas tiene como supuesto la existencia de consensos entre los investigado­res y los hacedores de política, sobre los objetivos y metas a los que se quiere arribar. Nada más lejos de la realidad. Por lo general, la investigación y la política van en caminos paralelos. A veces se tocan, sí, pero de forma tangencial. Aunque los debates académicos ayudan a establecer los pa­radigmas sobre los que se definirán los marcos discursivos sobre los que se actuará en política, pocas veces definen la agenda de las políticas públicas.

Se asume que si la investigación y la evaluación cubren ciertos estándares, el resto es historia. Lo cierto es que la calidad de éstas es un factor indispensable para informar la toma de decisiones, pero no es garantía de que el co­nocimiento sea tomado en cuenta en algunos sectores de usuarios. Hay otros elementos de mayor peso en el uso de las evaluaciones; por ejemplo, las negociaciones políticas y la generación y búsqueda de consensos (Moreles, 2010).

Una limitante importante para que se dé el binomio in­vestigación-evaluación y su uso tiene que ver también con el hecho de que los tiempos que requiere la realización de un estudio o evaluación y la publicación de sus resultados exceden, la mayoría de las veces, los tiempos de la política. Esto es, ante la necesidad de actuación y de respuesta rápi­da, los tomadores de decisiones echan mano de la informa­ción disponible que les sirva para sustentar sus decisiones.

Otro factor que influye en la aceptación y posible uso de los estudios y/o evaluaciones es el perfil de los inves­tigadores que las realizan, el prestigio de las instituciones que las realizan, así como el tipo de estudio y/o evaluación. Es cierto, además, que aún gozan de más prestigio los estu­dios cuantitativos que los cualitativos o los meta-análisis y las síntesis de estudios que los trabajos monográficos. Ello tiene que ver también con los paradigmas vigentes.

Lo cierto es que un sistema de seguimiento y evaluación sólo será exitoso si las evaluaciones que produce son utili­zadas.1 Pero el uso de la información que arrojan no se da por mandato. Como ya se comentó, el buen diseño de una evaluación y el que ésta reúna altos estándares de calidad no garantizan su utilización para la toma de decisiones. Así, muchas evaluaciones y estudios se quedan en el estante.

A las dificultades antes expuestas también se puede sumar la falta de estrategias de difusión. Algunas evalua­ciones son muy técnicas y comunican poco a quienes pu­dieran usarlas para tomar decisiones; otras concluyen y re­comiendan cosas inviables o poco pertinentes o relevantes.

A partir de ello, se sostiene que para que las evaluaciones se usen, se deben cubrir ciertos requisitos mínimos, entre los que destacan la relevancia y calidad de la información que producen y la oportunidad de la misma. A lo que habría que agregar que en su diseño, implementación y socializa­ción se convoque a distintos actores clave que se apropien de ellas, estén de acuerdo con su utilidad y pertinencia y promuevan su utilización.

La evaluación educativa y la mejora de la calidad

De la discusión anterior se desprende entonces que no existe una relación lineal entre la evaluación educativa y la toma de decisiones, y por tanto, y quizá aún menos, entre la evaluación y la mejora de la calidad.

La evaluación tiene, a saber, un carácter doble: forma­tivo y sumativo. El primero alude a la posibilidad de lograr mejoras sobre la marcha, a partir de lo que ésta va encon­trando que es necesario transformar. El segundo busca emitir juicios sobre lo que ha o no funcionado, promovien­do con ello la rendición de cuentas.

Sea de una u otra forma, la evaluación no debe ser vista como la panacea para resolver todos los males o déficits del sistema educativo. Esta no es pues condición suficiente para la transformación, aunque sí puede ayudar a informar el proceso de toma de decisiones, sugerir modificaciones, ayudar a la rendición de cuentas y, en ese sentido, abonar a la mejora de la calidad.

Uso de la evaluación educativa en México

En nuestro país, la evaluación educativa parece haber te­nido un uso limitado tanto en los procesos de mejora de la práctica escolar como en los de formulación de la política educativa. Al respecto, resulta reveladora la información que arrojó el estudio El uso de los resultados de las eva­luaciones del INEE por las autoridades educativas (Silva, 2012). En éste se recogen opiniones muy diversas entre los actores entrevistados respecto a tres temas: el conocimien­to sobre la información generada por el INEE la valoración de ésta y el uso e impacto en la toma de decisiones. Así, por ejemplo, mientras que a nivel estatal la mayoría de los funcionarios educativos entrevistados sabía de la existen­cia del INEE, sólo una quinta parte dijo conocer la informa­ción generada por este. En el ámbito federal, en cambio, la mayor parte de los entrevistados dijo conocer y tener acceso a la información producida por el Instituto. A nivel de uso y valoración de la información, el estudio revela que el uso de la información que produce el INEE tiene más un carácter o uso discursivo y consultivo. Esto es, “usar el dato para construir un discurso” (Silva, 2012:101). De hecho, en el estudio citado se concluye que existe una “acotada inci­dencia del INEE en el proceso de política” (p.102), la cual depende también del conocimiento de las evaluaciones, su nivel de comprensión y su interpretación.

El uso limitado de los resultados de los distintos tipos de evaluación —no sólo las realizadas por el INEE, sino por otras autoridades educativas como la Secretaría de Educa­ción Pública (SEP) y las dependencias estatales— se revela también como uno de los hallazgos de los Estudios de In­ventarios Críticos de Instituciones que realizan evaluación educativa, tanto en el tipo de educación básica, como en media superior, y que fueron encargados por el INEE en el 2013. De hecho, en entrevistas realizadas en el marco del estudio de Inventario de evaluación en educación básica, distintos informantes señalaron que las evaluaciones, tan­to las que se aplicaban a nivel federal como las que se rea­lizaban a nivel local, tenían poca o nula repercusión en sus ejercicios de planeación institucional y/o en el rediseño de sus políticas y programas. También se detectó que, tanto en el nivel de educación básica como en media superior, la difusión de la mayoría de las evaluaciones locales no tras­cendía el ámbito de sus propios espacios institucionales y que las entidades carecían de un sistema de información de los resultados de las evaluaciones.

Para que la evaluación informe mejor la toma de deci­siones, debe, además, tener un carácter más integral que permita ver el bosque. Sin embargo, ésta no es una tarea sencilla. La evaluación educativa en México muestra un desarrollo dispar en la valoración de los distintos compo­nentes, procesos y resultados del Sistema Educativo Na­cional (sen), así como en los propósitos, tipos y métodos de evaluación utilizados. Ésta no ha podido mirar el bos­que porque se ha centrado en los componentes de alumnos y docentes, prestando menor atención a la evaluación de las políticas y programas educativos, los programas de es­tudio, los métodos y materiales educativos, y las escuelas.

Respondiendo a esta inquietud, el INEE autónomo está sumando nuevas evaluaciones. Con todo, el camino hacia una evaluación de carácter integral que valore los distintos componentes del SEN está aún pavimentándose.

Las directrices: una herramienta nueva

Como ya se señaló, las directrices del INEE son recomenda­ciones que buscan orientar la toma de decisiones en mate­ria de política educativa. En ellas se establecen propósitos específicos y se plantean aspectos clave de mejora educa­tiva. Ello a partir de definir las principales problemáticas, debilidades o riesgos que se deben atender para llenar un vacío o solventar un déficit educativo particular.

Su validez se fundamenta tanto en las conclusiones de las evaluaciones el conocimiento probado disponible sobre el tema en cuestión y la revisión de las decisiones del pa­sado que han mostrado su pertinencia y efectividad, como en la legitimidad de su construcción. Esto es último partir de la consulta con distintos actores clave, con quienes se socializan sus contenidos, alcances y viabilidad

Así, dos elementos clave del proceso de construcción de directrices, que buscan ayudar a tender puentes entre la evaluación, su uso, y la mejora, son: a) la valoración de los alcances y déficits de la acción pública; y b) la construcción participativa.

a) Valoración de los alcances y déficits de la acción pública

Un elemento muy importante para elaborar directrices es la evaluación de la acción pública, es decir, las políticas y programas que ha diseñado e implementado el Estado mexi­cano para atender la problemática en cuestión. En tanto que las directrices son recomendaciones de política que buscan incidir en la toma de decisiones, el espacio para la mejora se define a partir del análisis o valoración de las acciones públi­cas emprendidas, de sus alcances, déficits y retos.

Al respecto, se ha trabajado también en la definición de una ruta o modelo para la evaluación de políticas y pro­gramas educativos, que apuesta por la evaluación de po­líticas más que por la de programas aislados. Lo anterior en virtud de que la atención de las distintas problemáticas educativas involucra, la mayoría de las veces, a más de un programa. Por ejemplo, valorar los alcances de la acción pública emprendida para abatir el abandono escolar en la educación media superior implica analizar el diseño, im­plementación, resultados e impacto de los programas de becas de estudiantes, de los sistemas de alertas tempranas para detectar el riesgo de abandono, o de las acciones en­caminadas a fortalecer la participación y el trabajo colabo­rativo con padres de familia y comunidad.

Así, la primera evaluación de políticas realizada por el Instituto con miras a emitir directrices tuvo como fin valo­rar las acciones y programas educativos dirigidos a la aten­ción de las niñas, niños y adolescentes de familias jornaleras migrantes. En ésta se revisaron los alcances y déficits de las acciones en materia de política educativa realizadas por el Consejo Nacional de Fomento Educativo (CONAFE), el Pro­grama de Inclusión y Equidad Educativa (PIEE) de la Direc­ción General de Educación Indígena (DGEI) y el Instituto Nacional para la Educación de los Adultos (INEA). Además de revisar, a nivel local, mediante la selección de algunos ca­sos de estudio, cómo se implementan estos programas.

b) Construcción participativa

La ruta para la construcción de las directrices parte ade­más del hecho de que la mejor evidencia disponible no es suficiente para informar la política. Como lo señalan Weiss y diferentes autores, para que los resultados de la investigación se incorporen en la agenda política y en la toma de decisiones, hay que construir los consensos necesarios. Es decir, las directrices no sólo deben funda­mentarse en evaluaciones e investigaciones metodológi­camente sólidas y de calidad, sino contar con el mayor consenso posible y comunicarse adecuadamente. De ahí la necesidad de entablar un proceso de diálogo con dis­tintos actores clave.

Para que las directrices que emita el Instituto sean le­gítimas y viables, y tengan una mayor probabilidad de ocurrir, es necesario generar consensos. Por lo tanto, una de las principales características de estas herramientas es que se construyen de forma participativa. Así, el modelo o ruta para la emisión de directrices integra la interlocución permanente con distintos actores sociales y educativos como un elemento clave en su fase de construcción. Por ello, tanto en la configuración de la propuesta de Direc­trices para mejorar la formación inicial de los docentes de educación básica, emitidas en septiembre de 2015, como en la propuesta de Directrices para mejorar la política de atención educativa a niñas, niños y adolescentes de fami­lias jornaleras agrícolas migrantes (aún en versión borra­dor), se ha convocado a representantes de la sociedad civil organizada, académicos y funcionarios de gobierno, entre otros, quienes no sólo ayudaron a la definición del proble­ma educativo sobre el que se busca emitir directrices, sino a la exploración de las alternativas de solución.

Por medio de la consulta se ha buscado anticipar las diferentes restricciones legales, presupuestales, técnicas, políticas y administrativas que pueden obstaculizar tanto la aceptación de las directrices como su proceso de imple­mentación.

Comentarios finales

Teniendo como antecedente la dificultad de que evaluación se traduzca en acciones públicas, el Instituto ha definido una ruta de trabajo para construir y emitir directrices. Así, además de reunir la información relevante que arrojan las evaluaciones y los estudios que produce el Instituto y otras dependencias —las cuales ayudan a construir el diagnós­tico del problema, así como las posibles soluciones—, el INEE valora la acción pública emprendida, para justamen­te determinar los alcances y déficits. Es en esa valoración donde se puede abonar al rediseño de las políticas o a la implementación de otras acciones que antes no se hayan contemplado. Además, convoca a distintos actores para analizar, de manera conjunta, tanto el problema público al que se busca dar respuesta, como los aspectos clave de me­jora que necesitarán atenderse para resolverlo.

Las directrices representan una herramienta novedosa y un área enorme de oportunidad para conectar la evalua­ción con la mejora. De ahí la importancia de reflexionar continuamente sobre su proceso de construcción, y, en su momento, sobre las posibles modificaciones o adendos a dicha ruta. Otro reto no menor está relacionado con la estrategia de seguimiento y actualización que el Instituto defina en colaboración con organizaciones de la sociedad civil representadas en el Consejo Social Consultivo para la Evaluación Educativa, y otros actores que quieran su­marse, tomando como una base importante las acciones y compromisos de las autoridades educativas a quienes se dirigen las directrices. Esta también deberá diseñarse bus­cando abonar a la principal apuesta del inee: vincular la evaluación con su uso y con la mejora educativa.

—–

1 MacKay (2007) señala que otros elementos importantes para con­siderar exitoso a un sistema de evaluación son que existan meca­nismos de incentivos y sanciones para quienes no las utilicen y que los implementadores cuenten con las herramientas, capacita­ción y presupuesto necesario para realizar los ajustes sugeridos.

Referencias

Mackay, K. (2007). “Cómo crear sistemas de SyE que contribu­yan a un buen gobierno”. Grupo de Evaluación Independien­te. Banco Mundial. Recuperado el 26 de enero de 2016, de: http://goo.gl/W0Tird.

Miranda López, F., Martínez Bordón, A., Mendieta Melgar, G. (2013). “Inventario crítico de instituciones y organismos pú­blicos y privados de evaluación educativa para Educación Básica y Media Superior”. Estudio solicitado por el Instituto Nacional para la Evaluación de la Educación.

Moreles Vázquez, J. (2009). Uso de la investigación social y edu­cativa: Recomendaciones para la agenda de investigación. Perfiles educativos, 31(124), 93-106. Recuperado en 26 de enero de 2016, de. http://goo.gl/DpL3dg.

Silva Laya, M. (2012). “Seguimiento de uso de resultados de eva­luación del INEE por parte de autoridades educativas”. Estu­dio solicitado por el Instituto Nacional para la Evaluación de la Educación. De julio 2011 a julio 2012.

Subirats H., J, Knoepfel, P., Larrue, C., Varone, F. (2008). Aná­lisis y gestión de políticas públicas. Ariel, Ciencias Sociales. España.

Weiss, C. H. (1998). Have We Learned Anything New About the Use of Evaluation? American Journal of Evaluation, N° 1, 21-33.

Hits
Tags: Gaceta No.04

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Facebook Twitter Linkedin WhatsApp Whatsapp
Ir al contenido