Giulianna Mendieta Melgar
Directora
Magnolia Villarroel Caballero
Subdirectora
Itandehui Salmorán Bautista
Jefa de proyecto
Adscritas a la Dirección de Evaluación de Políticas y Programas Educativos del INEE
Introducción
La Reforma Educativa, promulgada en México en el año 2013, posiciona el derecho de todos a recibir una educación de calidad con equidad en el núcleo de los propósitos nacionales, coloca a la evaluación como un mecanismo central para avanzar en su cumplimiento y otorga autonomía constitucional al Instituto Nacional para la Evaluación de la Educación (INEE), organismo que adquiere nuevas atribuciones con las cuales busca impulsar y hacer efectiva la relación entre evaluación y mejora educativa.
Entre ellas se encuentran el diseño y la realización de mediciones y evaluaciones de las políticas y los programas educativos, incluidas en la Ley del Instituto Nacional para la Evaluación de la Educación (LINEE, art. 25, 2013), las cuales se deben regir por los criterios técnicos de objetividad, validez y confiabilidad (LINEE, art. 26, 2013). Esta encomienda puso de manifiesto la necesidad de definir para qué y cómo evaluar políticas y programas educativos, tarea que representó un reto de gran envergadura para el Instituto.
En este artículo se describen los propósitos que persigue el INEE mediante la evaluación de políticas y programas educativos, y su relación con la mejora de la calidad de la educación. Para ello, se presenta el marco de referencia que sustenta este tipo de evaluaciones, así como el concepto y las dimensiones de la calidad de la educación que orientan su elaboración. Destaca su relación con las directrices de mejora para la educación que emite el Instituto, los criterios que guían la conformación de la agenda de estas evaluaciones y la ruta para llevarlas a cabo.
Por último, se presentan las evaluaciones realizadas hasta la fecha en la materia y se plantea un conjunto de lecciones aprendidas que incrementan el potencial de posteriores evaluaciones de políticas y programas educativos para mejorar la calidad y equidad de la educación.
Marco de referencia del modelo de evaluación de políticas y programas educativos: el enfoque del derecho a una educación de calidad
Las evaluaciones de políticas y programas educativos que desarrolla el INEE toman como marco de referencia el enfoque del derecho a una educación de calidad con equidad, en virtud de que, en el ámbito de sus nuevas atribuciones como organismo constitucional autónomo, el Instituto ha reposicionado la perspectiva conceptual, metodológica y ética de la educación, basada en derechos humanos como eje integrador y orientador del desarrollo de sus tareas.
Desde esta perspectiva, el propósito de las evaluaciones de políticas y programas educativos que realiza el Instituto es identificar avances y brechas entre la titularidad de los derechos de niñas, niños, adolescentes, jóvenes y adultos; y el cumplimiento de la titularidad de las obligaciones a cargo del Estado mexicano para promover, respetar y garantizar el derecho de los educandos a recibir educación de calidad; con fundamento en el interés superior de la niñez, de conformidad con los artículos 1°, 3° y 4° de la Constitución Política de los Estados Unidos Mexicanos (LINEE, art. 2, 2013).1
Desde la titularidad del derecho a la educación destaca la necesidad de garantizar: a) el derecho de acceso a la educación; b) el derecho a la permanencia en la escuela y a tener trayectorias sin rezago; y c) el derecho al logro de aprendizajes significativos y relevantes para la vida presente y futura de las personas. Por su parte, desde la titularidad de las obligaciones sobresalen la definición de orientaciones estratégicas y de políticas públicas dirigidas a resolver problemas educativos de alta prioridad y relevancia social; el gasto público invertido en dichas intervenciones; los recursos humanos y materiales destinados a su ejecución, así como los componentes de organización y gestión puestos en marcha.
En el INEE se entiende que la evaluación de políticas y programas educativos es la valoración de la acción —sistemática y causal— que implementa el Estado para responder a un problema público en materia educativa. En esta evaluación se examinan los procesos, los factores contextuales y la cadena de resultados, a fin de determinar y comprender los logros o la ausencia de éstos; y se formula un juicio de valor sobre su adecuación a un conjunto de criterios que representan un valor aceptado, como base para la toma de decisiones oportunas que incidan en la mejora del problema que dio origen a la intervención.
La función de las evaluaciones de políticas y programas educativos es de dos vías: comprensiva y de mejora. Con la primera, se busca incrementar la comprensión del problema público que dio origen a la política en cuestión, así como el conocimiento sobre la complejidad de la implementación de la acción pública. Con la segunda, se busca identificar los vacíos, avances y áreas de oportunidad en la concepción, naturaleza, diseño, gestión, procesos y resultados de la política, con el objetivo de plantear rutas factibles de mejora que contribuyan a garantizar el derecho a una educación de calidad para todos.
El concepto de calidad que orienta las evaluaciones de políticas y programas educativos
El desarrollo de las evaluaciones de políticas y programas educativos retoma el concepto de calidad establecido en el artículo 3° de la Constitución Política de los Estados Unidos Mexicanos (CPEUM, 1917), que establece el derecho de toda persona a recibir educación y la responsabilidad del Estado de garantizar la calidad en la educación obligatoria, de manera que los materiales y métodos educativos, la organización escolar, la infraestructura educativa y la idoneidad de los docentes y los directivos garanticen el máximo logro de aprendizaje de los educandos. Asimismo, coloca a la evaluación y a la mejora educativa como partes de la respuesta a esta exigencia constitucional, al decretar la creación del Sistema Nacional de Evaluación Educativa (SNEE), cuya coordinación está a cargo del INEE.
Aunado a ello, las autoridades educativas deben tomar las medidas correspondientes para generar las condiciones necesarias con el objeto de fortalecer la equidad educativa, de manera que quienes pertenezcan a grupos y regiones con mayor rezago ejerzan plenamente este derecho.
En consecuencia, de la teoría de cambio planteada en el texto constitucional se desprenden las cinco dimensiones de calidad educativa que orientan la evaluación de políticas y programas que realiza el Instituto: a) materiales y métodos educativos; b) organización escolar: c) infraestructura educativa; d) idoneidad de docentes y directivos; y e) evaluación y mejora.
La evaluación de políticas y programas educativos que realiza el INEE plantea una valoración de los alcances y déficits de la acción pública desplegada por el Estado; orientada a mejorar los materiales y métodos educativos, la organización escolar, la infraestructura educativa, la idoneidad de docentes y directivos, así como de las acciones dirigidas a la evaluación y mejora del Sistema Educativo Nacional (SEN), tomando en consideración a la equidad como eje transversal de dichas valoraciones.
El propósito central de estas evaluaciones es ser insumo clave para la fundamentación y construcción de directrices; reorientar la toma de decisiones para la mejora de la educación por parte de autoridades educativas; y contribuir así a asegurar el ejercicio pleno del derecho a la educación de niñas, niños, adolescentes, jóvenes y adultos en México, en un marco de calidad con equidad.
La evaluación de la acción pública como un elemento central en la construcción de directrices para la mejora de la política educativa
A partir de la Reforma Educativa de 2013, al INEE le corresponde evaluar la calidad, el desempeño y los resultados del SEN en la educación preescolar, primaria, secundaria y media superior, para lo cual debe: a) diseñar y realizar las mediciones que correspondan a componentes, procesos o resultados del sistema; b) expedir los lineamientos a los que se sujetarán las autoridades educativas federal y locales para llevar a cabo las funciones de evaluación que les corresponden; y c) generar y difundir información y, con base en ella, emitir directrices que sean relevantes para contribuir a las decisiones tendentes a mejorar la calidad de la educación y su equidad, como factor esencial en la búsqueda de la igualdad social.
En este sentido, las directrices buscan ser el puente que conecta la evaluación y el uso de sus resultados con la mejora de la política educativa y, en consecuencia, con la de los componentes del SEN. Se trata de recomendaciones que propone el INEE para mejorar las políticas educativas orientadas a avanzar gradualmente en el cumplimiento del derecho a la educación de la totalidad de niñas, niños, adolescentes, jóvenes y adultos del país.
Se elaboran a partir de las evidencias que aportan las evaluaciones y la investigación educativa, así como de la revisión de la acción gubernamental en esta materia. Para su construcción se consultan actores sociales y educativos, entre los que destacan docentes, directivos escolares, servidores públicos, académicos, representantes de organizaciones de la sociedad civil, alumnos y padres de familia.
La atribución constitucional del INEE de emitir directrices que sean relevantes para contribuir a las decisiones tendentes a mejorar la calidad de la educación y su equidad, como factor esencial en la búsqueda de la igualdad social (CPEUM, art. 3, fracción IX, inciso c, 1917), ha representado una innovación en los ámbitos nacional e internacional, en virtud de que, si bien existía información sistematizada para su formulación, no se identificó una regulación y normativa técnica reconocida para la construcción de directrices de política educativa. Por tal razón, cumplir con este mandato constitucional ha representado un reto de gran envergadura.
El resultado del proceso de análisis, investigación y construcción se plasma en el Modelo para la construcción y emisión de directrices de mejora educativa (INEE, 2015), donde se reconoce que un aspecto fundamental en su formulación es el entendimiento comprehensivo de los problemas que se busca atender, así como de las acciones que ha emprendido el Estado para contribuir a su solución. Con ello, la evaluación de políticas y programas educativos se constituye en un elemento medular de las directrices que emite el INEE.
Esta propuesta deriva de la fuerza de la evidencia que se logra construir por esta vía para la toma de decisiones de mejora. Se parte de la consideración de que no es posible plantear rutas de intervención pública más pertinentes y efectivas si no se realizan el análisis y la valoración de la acción pública en curso para conocer y comprender qué intervenciones se han puesto en marcha, cómo se han instrumentado, qué resultados, efectos e impactos han obtenido y por qué razones.
La agenda de evaluaciones de políticas y programas educativos
Esta agenda está directamente alineada con la de directrices que emite el INEE, y se define con base en temáticas transversales relevantes a la política educativa, estrategias derivadas de la Reforma Educativa, grupos de población que enfrentan condiciones de vulnerabilidad y niveles o ciclos educativos del sistema.
Por tanto, la agenda de evaluación de políticas y programas se expresa, primero, en la definición de un conjunto de problemas públicos prioritarios; en función de una valoración sectorial acerca de la relevancia y magnitud de los problemas educativos; las prioridades de gobierno, y una apuesta política y ética que implica definir, desde la Junta de Gobierno, el orden de las áreas temáticas a evaluar y, en consecuencia, a atender en términos de emisión de directrices de mejora.
El foco de interés de este tipo de evaluaciones se encuentra en ámbitos, temáticas y problemas de alto nivel de prioridad para la política educativa; la atención educativa a grupos de población que enfrentan condiciones de mayor desventaja para el ejercicio pleno de sus derechos; estrategias de política sustantivas en el marco de la Reforma Educativa; niveles o modalidades educativas del SEN; políticas y programas que operan a través de instrumentos de política innovadores; y políticas o programas con mayor presupuesto o gasto público.
Ruta para realizar evaluaciones de políticas y programas educativos
El desarrollo de las evaluaciones de políticas y programas del INEE consta de siete fases para su ejecución: a) caracterización de la acción pública; b) diseño metodológico de la evaluación; c) elaboración de instrumentos para recolectar información; d) levantamiento de datos; e) procesamiento y análisis de información; f) elaboración de informe final; y g) difusión de los resultados de las evaluaciones.
El primer paso es la caracterización de la acción que el Estado mexicano diseña e implementa para atender un problema público educativo con el fin de conocer a profundidad el objeto de la evaluación; es fundamental para definir con precisión el diseño de la evaluación. Esta fase implica la realización de, al menos, cinco actividades: a) delimitación, descripción y análisis del objeto de la evaluación; b) definición del problema público al que responde la política a evaluar; c) caracterización de la población objetivo; d) identificación y análisis de la acción que el Estado ha diseñado e implementado para atender el problema; y e) explicitación de la ruta de cambio de la intervención pública.
La definición de la ruta de cambio es un elemento distintivo de la evaluación de políticas y programas educativos del INEE, ya que se parte del supuesto de que toda acción pública debe establecer con claridad cuál es el problema que busca atender, el cambio que desea generar, así como la ruta y los mecanismos causales para conseguirlo.
La segunda fase de este proceso es la elaboración del diseño metodológico de la evaluación, la cual está conformada por tres componentes clave: a) los referentes de mejora; b) el ciclo de las políticas; y c) los criterios de evaluación. Por un lado, los referentes de mejora de la evaluación representan la situación de deseabilidad con la que se contrastan los hallazgos de la evaluación en las fases de diseño, implementación y resultados de la política o programa evaluado. Estos referentes constituyen el deber ser de la acción pública y se construyen con base en la evidencia derivada de la investigación y evaluación educativa, y de experiencias nacionales e internacionales instrumentadas con éxito en la materia; con los marcos normativos nacional e internacional que rigen la política en cuestión y con los documentos de diseño de la política o programa evaluado (reglas de operación, lineamientos, entre otros).
Por otro lado, los criterios se conciben como el engranaje articulador de la evaluación, ya que en su núcleo se encuentra el componente de valoración de las políticas o programas educativos que se desean examinar. En estos ejercicios se pone énfasis en la valoración de la pertinencia, la coherencia en la política y entre políticas, y la equidad y efectividad de la acción pública desde un enfoque de derechos. Cada uno de los criterios de evaluación seleccionados se asocia con el ciclo de la política o programa en sus fases de diseño, implementación y generación de resultados.
A partir de estos tres componentes se elabora una matriz de diseño de la evaluación, esquema que detalla analíticamente las dimensiones, categorías de análisis, unidades de observación, metodologías y técnicas de recolección de información, fuentes de información y preguntas orientadoras de la evaluación. Su principal objetivo consiste en brindar coherencia, articulación y validez al diseño de la evaluación, así como al análisis de la información documental y de la recabada durante el trabajo de campo. Cabe mencionar que dicha matriz es de naturaleza dinámica y puede ser retroalimentada durante el proceso de evaluación.
La última actividad del diseño metodológico, una vez definida la metodología a utilizar —cuantitativa, cualitativa o mixta—, es la definición del subconjunto de individuos, grupos de individuos, casos o instituciones seleccionados para llevar a cabo la recolección de información.
A esta acción le sigue la elaboración de los instrumentos de evaluación, los cuales deben estar cabalmente alineados con la matriz de diseño metodológico. Posteriormente, se realiza la recolección de la información, conforme a un plan de trabajo de campo en el que se especifican los tiempos previstos para su realización, el número y perfil profesional de las personas involucradas, los mecanismos que se utilizarán para contactar y convocar a los informantes, así como la dinámica prevista para recabar la información. Finalmente, ésta se procesa y analiza, se elabora el informe de la evaluación y se difunden los resultados.
Avances en la evaluación de políticas y programas educativos
A la fecha, el Instituto ha realizado cinco evaluaciones de las siguientes políticas y programas educativos: a) de la atención educativa dirigida a niños de familias de jornaleros agrícolas migrantes; b) de la política educativa dirigida a la población indígena en educación básica; c) de la política para atender el abandono escolar en educación media superior; d) de la implementación de las tutorías a docentes de nuevo ingreso en el ciclo escolar 2014-2015; y e) del diseño de la formación continua en el marco del Servicio Profesional Docente 2016. Los resultados de estas evaluaciones se han constituido en insumos clave para la construcción de las directrices de mejora relativas a tales problemáticas.
En 2018, se encuentran en curso seis evaluaciones adicionales: a) del Programa Especial de Certificación con Base en Aprendizajes Adquiridos, equivalentes a los niveles primaria y secundaria del Instituto Nacional para la Educación de los Adultos (INEA); b) de la educación multigrado; c) del programa Escuelas al CIEN y del Fondo de Aportaciones Múltiples; d) de la política de participación social en educación; e) de los programas sectoriales de educación; y f) de las políticas educativas en el marco de la Reforma Educativa mexicana.
Reflexiones finales
A poco más de cuatro años de la promulgación dela Reforma Educativa y de la puesta en marcha de las acciones correspondientes para cumplir con el mandato constitucional de evaluar políticas y programas educativos, se pueden identificar diversas lecciones aprendidas.
La primera está relacionada con la oportunidad en la emisión de los resultados de las evaluaciones. Es claro que se necesita seguir trabajando para alinear el tiempo de realización que demandan las evaluaciones de políticas y programas con los tiempos de ejecución de la política educativa; específicamente con los relativos a la programación y presupuestación de las administraciones públicas federal y estatal, lo cual permitiría hacer viable la incorporación de las propuestas de rediseño y ajustes a la implementación que se derivan de las evaluaciones.
Asimismo, se confirma que la realización de las evaluaciones de políticas y programas educativos es indispensable para la construcción de las directrices, ya que se requieren valoraciones integrales del actuar gubernamental y recomendaciones de política con el mismo carácter.
Sin embargo, esta tarea ha enfrentado dificultades relacionadas con la disponibilidad y oportunidad de la información necesaria durante el proceso de la evaluación; ya sea porque no sea asequible públicamente en el nivel de desagregación que se requiere —por ejemplo, acceso a datos desagregados sobre temas relacionados con el gasto público o con las características de los sujetos de derecho atendidos—; o bien porque las instancias que poseen la información deciden no proporcionarla o hacerlo de manera parcial, siguiendo una tradición de opacidad y ocultamiento de la información.
Por otro lado, es necesario desarrollar valoraciones flexibles al contexto, que tomen en cuenta la multicausalidad de los problemas que atienden las intervenciones públicas educativas. En este sentido, no debe perderse de vista la complejidad que rodea aquello que se desea evaluar: las organizaciones y actores involucrados, la definición de los procesos y su adaptación a diversos contextos, la lógica de las cadenas causales para cambiar el statu quo, entre otros aspectos.
Por último, al existir diversas instancias que realizan o participan en la evaluación de políticas y programas educativos a nivel federal —Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL), Secretaría de Educación Pública (SEP), Auditoría Superior de la Federación (ASF)—, es indispensable identificar los espacios de concurrencia y complementariedad de acciones que coadyuven a la construcción y fortalecimiento de un sistema de evaluación de políticas y programas educativos integrado que —en el marco de la Política Nacional de Evaluación Educativa— también incluya la articulación con las evaluaciones realizadas por las autoridades educativas locales desde el ámbito de su competencia.
Referencias y nota
CEJUDO, Guillermo y Cynthia Michel (2014). Coherencia y políticas públicas: metas, instrumentos y poblaciones objetivo. Documento de trabajo 284, CIDE. Disponible en <goo.gl/fZpdkb> [Consulta: marzo de 2018].
CONSTITUCIÓN POLÍTICA DE LOS ESTADOS UNIDOS MEXICANOS (1917, 5 de febrero, última reforma 2017). Diario Oficial de la Federación. Ciudad de México.
LEY GENERAL DE EDUCACIÓN DE MÉXICO (1993, 13 de julio, última reforma 2018). Diario Oficial de la Federación. Ciudad de México.
LEY DEL INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN (2013, 11 de septiembre, última reforma 2017).
INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN (2015). Modelo para la construcción y emisión de directrices para la mejora educativa. Ciudad de México: INEE. Disponible en: <goo.gl/aUJic9> [Consulta: marzo de 2018].
INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN (2015b). Reforma Educativa: marco normativo. Ciudad de México: INEE.
SALAS, Iván y Favio Murillo (2010). “La evaluación de los programas públicos en México: una mirada crítica al CONEVAL”. Tribuna de Economía 857 (noviembre-diciembre), pp. 153-162.
SERRANO, Sandra y Daniel Vázquez (2013). Los derechos humanos en acción: operacionalización de los estándares internacionales de los derechos humanos. Ciudad de México: Facultad Latinoamericana de Ciencias Sociales.
SECRETARÍA DE HACIENDA Y CRÉDITO PÚBLICO, Secretaría de la Función Pública y Consejo Nacional de Evaluación de la Política de Desarrollo Social (2007). Lineamientos generales para la evaluación de los programas federales de la administración pública federal. Disponible en: <goo.gl/hTxV5r> [Consulta: marzo de 2018].
WEISS, Carol (1998). “Have We Learned Anything New About the Use of Evaluation?”. American Journal of Evaluation 1: 21-33.
[1] De acuerdo con Serrano y Vázquez (2013), la perspectiva que concibe a las personas como titulares de derechos entiende las obligaciones como conductas estatales y no como bienes transferibles. En ambos casos, se pone especial énfasis en el desarrollo de capacidades (aptitudes, recursos, habilidades, responsabilidades, autoridad, etcétera) tanto para habilitar a los titulares de derechos a acceder a información, reclamar, participar, proponer y obtener reparación ante el incumplimiento del derecho, como para fortalecer la capacidad del Estado de cumplir con estos derechos.
