Toda política pública constituye una respuesta del Estado a un problema o situación social identificada como insatisfactoria o inaceptable (Subirats, Knoepfel, Larrue y Varone, 2008). La agenda de políticas se construye de muchas formas, pero, sobre todo, por la presión que ejercen distintos actores para evidenciar que existe un problema público.
Esta agenda también se puede nutrir de la información que la evaluación y la investigación arrojan. Ésta es, sin duda, la mayor apuesta del Instituto Nacional para la Evaluación de la Educación (INEE): que la evaluación educativa contribuya a la toma de decisiones tendientes a mejorar la calidad de la educación.
La Reforma Educativa anunciada en diciembre de 2012 le otorgó autonomía al Instituto y la facultad para emitir recomendaciones de política, llamadas “directrices”, cuyo fin es orientar la toma de decisiones en materia de política educativa. Las directrices buscan ser, por tanto, el puente entre la evaluación y la mejora educativa.
En este artículo se presentan algunas reflexiones sobre la ruta para la construcción de las directrices del inee y su potencial para incidir en la toma de decisiones para la mejora. Primero se resume parte del debate que refiere a las dificultades para que la evaluación se use y se traduzca en política pública. Posteriormente se destacan dos elementos clave en el proceso de construcción de las directrices que buscan justo abonar en dicho sentido: la construcción participativa tanto de la definición del problema público al que se le busca dar respuesta como de las posibles soluciones, y la valoración de los alcances y déficits de acción pública estatal.
Dificultades en el binomio investigación-evaluación y su uso
Para Carol Weiss, el modelo lineal en donde la investigación básica y aplicada se traduce en políticas tiene como supuesto la existencia de consensos entre los investigadores y los hacedores de política, sobre los objetivos y metas a los que se quiere arribar. Nada más lejos de la realidad. Por lo general, la investigación y la política van en caminos paralelos. A veces se tocan, sí, pero de forma tangencial. Aunque los debates académicos ayudan a establecer los paradigmas sobre los que se definirán los marcos discursivos sobre los que se actuará en política, pocas veces definen la agenda de las políticas públicas.
Se asume que si la investigación y la evaluación cubren ciertos estándares, el resto es historia. Lo cierto es que la calidad de éstas es un factor indispensable para informar la toma de decisiones, pero no es garantía de que el conocimiento sea tomado en cuenta en algunos sectores de usuarios. Hay otros elementos de mayor peso en el uso de las evaluaciones; por ejemplo, las negociaciones políticas y la generación y búsqueda de consensos (Moreles, 2010).
Una limitante importante para que se dé el binomio investigación-evaluación y su uso tiene que ver también con el hecho de que los tiempos que requiere la realización de un estudio o evaluación y la publicación de sus resultados exceden, la mayoría de las veces, los tiempos de la política. Esto es, ante la necesidad de actuación y de respuesta rápida, los tomadores de decisiones echan mano de la información disponible que les sirva para sustentar sus decisiones.
Otro factor que influye en la aceptación y posible uso de los estudios y/o evaluaciones es el perfil de los investigadores que las realizan, el prestigio de las instituciones que las realizan, así como el tipo de estudio y/o evaluación. Es cierto, además, que aún gozan de más prestigio los estudios cuantitativos que los cualitativos o los meta-análisis y las síntesis de estudios que los trabajos monográficos. Ello tiene que ver también con los paradigmas vigentes.
Lo cierto es que un sistema de seguimiento y evaluación sólo será exitoso si las evaluaciones que produce son utilizadas.1 Pero el uso de la información que arrojan no se da por mandato. Como ya se comentó, el buen diseño de una evaluación y el que ésta reúna altos estándares de calidad no garantizan su utilización para la toma de decisiones. Así, muchas evaluaciones y estudios se quedan en el estante.
A las dificultades antes expuestas también se puede sumar la falta de estrategias de difusión. Algunas evaluaciones son muy técnicas y comunican poco a quienes pudieran usarlas para tomar decisiones; otras concluyen y recomiendan cosas inviables o poco pertinentes o relevantes.
A partir de ello, se sostiene que para que las evaluaciones se usen, se deben cubrir ciertos requisitos mínimos, entre los que destacan la relevancia y calidad de la información que producen y la oportunidad de la misma. A lo que habría que agregar que en su diseño, implementación y socialización se convoque a distintos actores clave que se apropien de ellas, estén de acuerdo con su utilidad y pertinencia y promuevan su utilización.
La evaluación educativa y la mejora de la calidad
De la discusión anterior se desprende entonces que no existe una relación lineal entre la evaluación educativa y la toma de decisiones, y por tanto, y quizá aún menos, entre la evaluación y la mejora de la calidad.
La evaluación tiene, a saber, un carácter doble: formativo y sumativo. El primero alude a la posibilidad de lograr mejoras sobre la marcha, a partir de lo que ésta va encontrando que es necesario transformar. El segundo busca emitir juicios sobre lo que ha o no funcionado, promoviendo con ello la rendición de cuentas.
Sea de una u otra forma, la evaluación no debe ser vista como la panacea para resolver todos los males o déficits del sistema educativo. Esta no es pues condición suficiente para la transformación, aunque sí puede ayudar a informar el proceso de toma de decisiones, sugerir modificaciones, ayudar a la rendición de cuentas y, en ese sentido, abonar a la mejora de la calidad.
Uso de la evaluación educativa en México
En nuestro país, la evaluación educativa parece haber tenido un uso limitado tanto en los procesos de mejora de la práctica escolar como en los de formulación de la política educativa. Al respecto, resulta reveladora la información que arrojó el estudio El uso de los resultados de las evaluaciones del INEE por las autoridades educativas (Silva, 2012). En éste se recogen opiniones muy diversas entre los actores entrevistados respecto a tres temas: el conocimiento sobre la información generada por el INEE la valoración de ésta y el uso e impacto en la toma de decisiones. Así, por ejemplo, mientras que a nivel estatal la mayoría de los funcionarios educativos entrevistados sabía de la existencia del INEE, sólo una quinta parte dijo conocer la información generada por este. En el ámbito federal, en cambio, la mayor parte de los entrevistados dijo conocer y tener acceso a la información producida por el Instituto. A nivel de uso y valoración de la información, el estudio revela que el uso de la información que produce el INEE tiene más un carácter o uso discursivo y consultivo. Esto es, “usar el dato para construir un discurso” (Silva, 2012:101). De hecho, en el estudio citado se concluye que existe una “acotada incidencia del INEE en el proceso de política” (p.102), la cual depende también del conocimiento de las evaluaciones, su nivel de comprensión y su interpretación.
El uso limitado de los resultados de los distintos tipos de evaluación —no sólo las realizadas por el INEE, sino por otras autoridades educativas como la Secretaría de Educación Pública (SEP) y las dependencias estatales— se revela también como uno de los hallazgos de los Estudios de Inventarios Críticos de Instituciones que realizan evaluación educativa, tanto en el tipo de educación básica, como en media superior, y que fueron encargados por el INEE en el 2013. De hecho, en entrevistas realizadas en el marco del estudio de Inventario de evaluación en educación básica, distintos informantes señalaron que las evaluaciones, tanto las que se aplicaban a nivel federal como las que se realizaban a nivel local, tenían poca o nula repercusión en sus ejercicios de planeación institucional y/o en el rediseño de sus políticas y programas. También se detectó que, tanto en el nivel de educación básica como en media superior, la difusión de la mayoría de las evaluaciones locales no trascendía el ámbito de sus propios espacios institucionales y que las entidades carecían de un sistema de información de los resultados de las evaluaciones.
Para que la evaluación informe mejor la toma de decisiones, debe, además, tener un carácter más integral que permita ver el bosque. Sin embargo, ésta no es una tarea sencilla. La evaluación educativa en México muestra un desarrollo dispar en la valoración de los distintos componentes, procesos y resultados del Sistema Educativo Nacional (sen), así como en los propósitos, tipos y métodos de evaluación utilizados. Ésta no ha podido mirar el bosque porque se ha centrado en los componentes de alumnos y docentes, prestando menor atención a la evaluación de las políticas y programas educativos, los programas de estudio, los métodos y materiales educativos, y las escuelas.
Respondiendo a esta inquietud, el INEE autónomo está sumando nuevas evaluaciones. Con todo, el camino hacia una evaluación de carácter integral que valore los distintos componentes del SEN está aún pavimentándose.
Las directrices: una herramienta nueva
Como ya se señaló, las directrices del INEE son recomendaciones que buscan orientar la toma de decisiones en materia de política educativa. En ellas se establecen propósitos específicos y se plantean aspectos clave de mejora educativa. Ello a partir de definir las principales problemáticas, debilidades o riesgos que se deben atender para llenar un vacío o solventar un déficit educativo particular.
Su validez se fundamenta tanto en las conclusiones de las evaluaciones el conocimiento probado disponible sobre el tema en cuestión y la revisión de las decisiones del pasado que han mostrado su pertinencia y efectividad, como en la legitimidad de su construcción. Esto es último partir de la consulta con distintos actores clave, con quienes se socializan sus contenidos, alcances y viabilidad
Así, dos elementos clave del proceso de construcción de directrices, que buscan ayudar a tender puentes entre la evaluación, su uso, y la mejora, son: a) la valoración de los alcances y déficits de la acción pública; y b) la construcción participativa.
a) Valoración de los alcances y déficits de la acción pública
Un elemento muy importante para elaborar directrices es la evaluación de la acción pública, es decir, las políticas y programas que ha diseñado e implementado el Estado mexicano para atender la problemática en cuestión. En tanto que las directrices son recomendaciones de política que buscan incidir en la toma de decisiones, el espacio para la mejora se define a partir del análisis o valoración de las acciones públicas emprendidas, de sus alcances, déficits y retos.
Al respecto, se ha trabajado también en la definición de una ruta o modelo para la evaluación de políticas y programas educativos, que apuesta por la evaluación de políticas más que por la de programas aislados. Lo anterior en virtud de que la atención de las distintas problemáticas educativas involucra, la mayoría de las veces, a más de un programa. Por ejemplo, valorar los alcances de la acción pública emprendida para abatir el abandono escolar en la educación media superior implica analizar el diseño, implementación, resultados e impacto de los programas de becas de estudiantes, de los sistemas de alertas tempranas para detectar el riesgo de abandono, o de las acciones encaminadas a fortalecer la participación y el trabajo colaborativo con padres de familia y comunidad.
Así, la primera evaluación de políticas realizada por el Instituto con miras a emitir directrices tuvo como fin valorar las acciones y programas educativos dirigidos a la atención de las niñas, niños y adolescentes de familias jornaleras migrantes. En ésta se revisaron los alcances y déficits de las acciones en materia de política educativa realizadas por el Consejo Nacional de Fomento Educativo (CONAFE), el Programa de Inclusión y Equidad Educativa (PIEE) de la Dirección General de Educación Indígena (DGEI) y el Instituto Nacional para la Educación de los Adultos (INEA). Además de revisar, a nivel local, mediante la selección de algunos casos de estudio, cómo se implementan estos programas.
b) Construcción participativa
La ruta para la construcción de las directrices parte además del hecho de que la mejor evidencia disponible no es suficiente para informar la política. Como lo señalan Weiss y diferentes autores, para que los resultados de la investigación se incorporen en la agenda política y en la toma de decisiones, hay que construir los consensos necesarios. Es decir, las directrices no sólo deben fundamentarse en evaluaciones e investigaciones metodológicamente sólidas y de calidad, sino contar con el mayor consenso posible y comunicarse adecuadamente. De ahí la necesidad de entablar un proceso de diálogo con distintos actores clave.
Para que las directrices que emita el Instituto sean legítimas y viables, y tengan una mayor probabilidad de ocurrir, es necesario generar consensos. Por lo tanto, una de las principales características de estas herramientas es que se construyen de forma participativa. Así, el modelo o ruta para la emisión de directrices integra la interlocución permanente con distintos actores sociales y educativos como un elemento clave en su fase de construcción. Por ello, tanto en la configuración de la propuesta de Directrices para mejorar la formación inicial de los docentes de educación básica, emitidas en septiembre de 2015, como en la propuesta de Directrices para mejorar la política de atención educativa a niñas, niños y adolescentes de familias jornaleras agrícolas migrantes (aún en versión borrador), se ha convocado a representantes de la sociedad civil organizada, académicos y funcionarios de gobierno, entre otros, quienes no sólo ayudaron a la definición del problema educativo sobre el que se busca emitir directrices, sino a la exploración de las alternativas de solución.
Por medio de la consulta se ha buscado anticipar las diferentes restricciones legales, presupuestales, técnicas, políticas y administrativas que pueden obstaculizar tanto la aceptación de las directrices como su proceso de implementación.
Comentarios finales
Teniendo como antecedente la dificultad de que evaluación se traduzca en acciones públicas, el Instituto ha definido una ruta de trabajo para construir y emitir directrices. Así, además de reunir la información relevante que arrojan las evaluaciones y los estudios que produce el Instituto y otras dependencias —las cuales ayudan a construir el diagnóstico del problema, así como las posibles soluciones—, el INEE valora la acción pública emprendida, para justamente determinar los alcances y déficits. Es en esa valoración donde se puede abonar al rediseño de las políticas o a la implementación de otras acciones que antes no se hayan contemplado. Además, convoca a distintos actores para analizar, de manera conjunta, tanto el problema público al que se busca dar respuesta, como los aspectos clave de mejora que necesitarán atenderse para resolverlo.
Las directrices representan una herramienta novedosa y un área enorme de oportunidad para conectar la evaluación con la mejora. De ahí la importancia de reflexionar continuamente sobre su proceso de construcción, y, en su momento, sobre las posibles modificaciones o adendos a dicha ruta. Otro reto no menor está relacionado con la estrategia de seguimiento y actualización que el Instituto defina en colaboración con organizaciones de la sociedad civil representadas en el Consejo Social Consultivo para la Evaluación Educativa, y otros actores que quieran sumarse, tomando como una base importante las acciones y compromisos de las autoridades educativas a quienes se dirigen las directrices. Esta también deberá diseñarse buscando abonar a la principal apuesta del inee: vincular la evaluación con su uso y con la mejora educativa.
—–
1 MacKay (2007) señala que otros elementos importantes para considerar exitoso a un sistema de evaluación son que existan mecanismos de incentivos y sanciones para quienes no las utilicen y que los implementadores cuenten con las herramientas, capacitación y presupuesto necesario para realizar los ajustes sugeridos.
Referencias
Mackay, K. (2007). “Cómo crear sistemas de SyE que contribuyan a un buen gobierno”. Grupo de Evaluación Independiente. Banco Mundial. Recuperado el 26 de enero de 2016, de: http://goo.gl/W0Tird.
Miranda López, F., Martínez Bordón, A., Mendieta Melgar, G. (2013). “Inventario crítico de instituciones y organismos públicos y privados de evaluación educativa para Educación Básica y Media Superior”. Estudio solicitado por el Instituto Nacional para la Evaluación de la Educación.
Moreles Vázquez, J. (2009). Uso de la investigación social y educativa: Recomendaciones para la agenda de investigación. Perfiles educativos, 31(124), 93-106. Recuperado en 26 de enero de 2016, de. http://goo.gl/DpL3dg.
Silva Laya, M. (2012). “Seguimiento de uso de resultados de evaluación del INEE por parte de autoridades educativas”. Estudio solicitado por el Instituto Nacional para la Evaluación de la Educación. De julio 2011 a julio 2012.
Subirats H., J, Knoepfel, P., Larrue, C., Varone, F. (2008). Análisis y gestión de políticas públicas. Ariel, Ciencias Sociales. España.
Weiss, C. H. (1998). Have We Learned Anything New About the Use of Evaluation? American Journal of Evaluation, N° 1, 21-33.
