Sin duda alguna, en el contexto de la Política Nacional de Evaluación de la Educación, es indispensable evaluar; sin embrago, usar los resultados para la mejora es crucial. ¿Cómo decidir? ¿Qué usos dar a las evidencias y recomendaciones? ¿Cuáles son las dimensiones fundamentales para que la evaluación sea utilizada? Pérez Yarahuán plantea cuatro componentes: reconocimiento, calidad, credibilidad y participación, en el perímetro de un “radar”.
Gabriela Pérez Yarahuán Profesora investigadora asociada, Centro para el Aprendizaje en Evaluación y Resultados de América Latina (clear, por sus siglas en inglés) gabriela.perez@cide.edu
En la mayor parte del mundo, las formas de adquisición de conocimiento han cambiado radicalmente en los últimos 20 años. En casi todos los aspectos de la vida humana —biológico, económico, cognitivo, social—, la ciencia posee hoy herramientas para adquirir datos e información específica a una velocidad nunca antes imaginada. No sólo ha aumentado esta facilidad, sino que la capacidad de procesamiento se ha incrementado sustancialmente a partir de los avances tecnológicos y su difusión masiva en las últimas décadas. Técnicas sofisticadas de análisis de información cuantitativa y cualitativa se han multiplicado y difundido, a partir de la posibilidad de colaboración de múltiples actores en una comunidad social y académica cada vez más interconectada. Hoy, la profesión científica tiene la capacidad instrumental de generar más evidencia sobre las explicaciones o los factores que afectan diversos aspectos de nuestra vida.
Sin embargo, la disponibilidad de dicha evidencia no garantiza que ésta sea pertinente para cambios socialmente deseables. Contar con evidencia robusta no es suficiente para que el conocimiento se traduzca en las decisiones necesarias para mejorar la vida de millones de personas que experimentan carencias fundamentales. Sin lugar a dudas, para generar evidencia que influya en la toma de decisiones sobre políticas o programas públicos, es necesaria la investigación científica rigurosa que demuestre que determinadas acciones provocan los cambios esperados en la población participante. Pero no basta con investigar si una determinada circunstancia es el producto de una acción o programa de gobierno en específico. La evidencia también se constituye a partir del análisis de los procesos de causalidad, desglosando los factores que inciden en la lógica de cambio. La cadena causal (teoría de programa) que deriva en un cambio deseable debe ser analizada desde las transformaciones en el comportamiento de las personas ante un factor o estímulo externo y la adecuada aplicación del estímulo, intervención o programa por parte de los agentes responsables. La evidencia, entonces, está conformada por la comprobación de la efectividad de la acción pública y la explicación lógica programática y de los procesos instrumentados (Rossi, Lipsey & Freeman, 2004). Es decir, la evidencia se adquiere fundamentalmente por medio de un proceso integral de evaluación que implica formas científicas de adquisición de conocimiento en los diversos aspectos lógicos y de implementación de la acción pública. Sin embargo, la evaluación no se convertirá en evidencia utilizada para la mejora si no se consideran de manera explícita elementos que puedan traducir el conocimiento en acción. Este texto propone por lo menos cuatro dimensiones al respecto. Ninguna de estas dimensiones por sí misma es suficiente para garantizar la utilización instrumental de la evaluación, pero conforman un conjunto que debe ser considerado para la toma de decisiones en la política de evaluación. Estas dimensiones son: la calidad, la credibilidad, el reconocimiento y la participación de actores en el proceso evaluativo. La utilización de la evaluación es producto de decisiones adecuadas en estas dimensiones. Para dar claridad a esta propuesta explicativa se utiliza, a manera de metáfora, un “radar de utilización”1 (ver figura 1) que oriente a tomar decisiones en la política de evaluación.
En los siguientes párrafos se explicarán estos cuatro elementos, cómo se relacionan, las razones por las que tienen influencia en lograr la utilización y algunos ejemplos que sirvan para la comprensión de los conceptos aquí señalados. Sin embargo, es necesario hacer dos breves anotaciones para clarificar los conceptos de evaluación y utilización.
Tipo de evaluación y tipo de uso
La evaluación a la que se refiere este texto principalmente es a la investigación que se hace de programas o intervenciones específicas, con la finalidad de conocer si las acciones emprendidas (nuevos currículos escolares, formación docente, otorgamiento de becas, dotación de materiales, construcción de infraestructura, extensión del horario escolar, etcétera) generan cambios en algún aspecto de la vida de las personas (por ejemplo, eficiencia terminal, inclusión educativa o desempeño escolar).
El término utilización, referido a la evaluación, tiene diferentes significados (Johnson et al., 2009; Leviton & Hughes, 1981). La evidencia adquirida mediante la evaluación se puede usar para legitimar o aprender sobre la acción instrumentada, pero también para realizar modificaciones específicas, como cambios en los tipos de bienes o servicios otorgados, en los criterios de incorporación de la población beneficiada o incluso en la cancelación de la intervención. Si hablamos de uso de la evaluación para mejorar, se tiene en mente este tipo de uso instrumental. Éste difiere de otros porque se espera que, a partir del proceso de evaluación, se generen acciones específicas que mejoren aspectos clave de las intervenciones o programas. Otros tipos de uso son el simbólico (o influencia) o el conceptual (Herbert, 2014), cuyas funciones pueden ser para legitimar decisiones o generar un proceso de aprendizaje, pero no derivan en acciones o modificaciones específicas en los programas públicos.
Para que la evaluación se utilice instrumentalmente, es necesario que los actores que toman las decisiones sobre el diseño y la implementación de los programas y políticas públicas estén convencidos de que es “utilizable”. Convencimiento posible sólo a partir de la existencia de un conjunto de atributos del proceso evaluativo, entre los que están el reconocimiento, la calidad, la credibilidad y la participación, dimensiones fundamentales para diseñar procesos o sistemas de evaluación que permitan un alto grado de utilización.
No toda evaluación resulta en cambios instrumentales, pues no todas están direccionadas a tener este tipo de impacto directo. Por ejemplo, en la academia, la investigación evaluativa tiene como finalidad la acumulación de evidencia científica que ayude a probar hipótesis sobre los factores que pueden afectar el comportamiento humano (Levitt & List, 2009). Se espera que esta acumulación en un determinado sector influya en el debate público y eventualmente apoye la conformación de políticas más efectivas y mejor rendición de cuentas y transparencia (Chelimsky, 2006).
Pero el modelo de gestión por resultados que ha cobrado auge como una nueva tendencia en la organización pública contiene un énfasis importante en la toma de decisiones basadas en evidencia. Esto implica el compromiso de basar las decisiones presupuestales y de conformación o eliminación de programas en los resultados de estudios y evaluaciones, y, por tanto, tiene un alto componente de utilización instrumental.
Para que la evaluación se utilice instrumentalmente, es necesario que los actores que toman las decisiones sobre el diseño y la implementación de los programas y políticas públicas estén convencidos de que es “utilizable”. Convencimiento posible sólo a partir de la existencia de un conjunto de atributos del proceso evaluativo, entre los que están el reconocimiento, la calidad, la credibilidad y la participación, dimensiones fundamentales para diseñar procesos o sistemas de evaluación que permitan un alto grado de utilización.
El reconocimiento de la evaluación
Para que la evaluación forme parte de las rutinas de la gestión gubernamental y sea utilizada para la mejora de políticas y programas, es necesario que sea reconocida y aceptada por el conjunto de actores involucrados. Por reconocimiento se entiende la inclusión de la evaluación en las reglas formales establecidas (leyes, decretos, reglamentos, etcétera) pero también que sea percibida como una responsabilidad, tanto por los encargados de la función de gobierno como por los ciudadanos. Esto es fundamental para la construcción de una “cultura de la evaluación”, por medio de la cual la evaluación de las políticas públicas se vuelve algo constante y necesario para el establecimiento de patrones de comportamiento y acción.
En América Latina existe hoy un amplio reconocimiento a la evaluación de los programas y la política pública, fenómeno que ha cobrado auge en los últimos 10 años. En un estudio reciente sobre los sistemas de evaluación en esta región se observa que la mayoría de los países ha incorporado la tarea de evaluación en leyes fundamentales que rigen las acciones de gobierno (Pérez Yarahuán & Maldonado Trujillo, en prensa). Sin embargo, a pesar de que la evaluación es ampliamente reconocida, el señalamiento sobre su baja utilización es reiterado.
El reconocimiento de la función evaluativa del Estado es fundamental para que sus resultados sean utilizados en la formulación y puesta en marcha de mejores y más efectivas políticas públicas. Sin embargo, como lo muestra el estudio mencionado, que exista reconocimiento no es suficiente para generar la utilización.
La importancia de la calidad de la evaluación
Para que los productos de la investigación deriven en el uso para la mejora, es indispensable que la evaluación esté basada en datos confiables y robustos, en metodologías adecuadas, en supuestos explícitos y en teorías sólidas. Estas características son indispensables para atribuirle calidad. Cuando ésta es pobre, el uso será muy limitado o tendrá graves riesgos de no conducir a la mejora de las acciones y, por tanto, de los resultados de las intervenciones. La calidad técnica es una condición necesaria pero no garantiza que la evaluación se utilice para le mejora de los programas. Un ejemplo de evaluación de alta calidad, pero con usos limitados para la mejora instrumental, es el caso de Progresa (el Programa de Educación, Salud y Alimentación), hoy Prospera (antes Oportunidades). No cabe duda de que la evaluación del programa, cuyos reportes comenzaron a circular a partir de 1999 (International Food Policy Research, 2001), ha sido una de las más reconocidas por su calidad técnica. Sin embargo, también es cierto que el uso que se le dio a la evaluación realizada en sus etapas iniciales fue la legitimación y continuación del programa, y no la mejora de su diseño o instrumentación. Si bien el propósito era permitir que el programa trascendiera a un cambio de administración en una etapa de incertidumbre en la vida política en México, es importante reconocer que su uso fue limitado a la decisión de continuarlo, y no tuvo efectos en el diseño del mismo que pudieran potenciar sus resultados por medio de la modificación de sus componentes.
La evaluación tendrá mayor probabilidad de ser usada para mejorar siempre y cuando los productos proporcionados por ésta sean percibidos por los actores relevantes como el resultado de un proceso que no posee sesgo alguno, que incorpora técnicas y prácticas de investigación adecuadas y que contempla y reúne toda la información pertinente en las recomendaciones.
Credibilidad como factor fundamental para la utilización
La evaluación tendrá mayor probabilidad de ser usada para mejorar siempre y cuando los productos proporcionados por ésta sean percibidos por los actores relevantes como el resultado de un proceso que no posee sesgo alguno, que incorpora técnicas y prácticas de investigación adecuadas y que contempla y reúne toda la información pertinente en las recomendaciones que se derivan de la información analizada.
Para que la evaluación tenga alta credibilidad, es necesario que sea percibida como parte de un proceso legítimo, transparente, que garantice la existencia de estándares profesionales adecuados, que sea clara. La credibilidad está conectada con la transparencia en su elaboración y en la información que se utiliza, y también con la independencia de los actores que la formulan.
Las evaluaciones externas de programas sociales, coordinadas por el Consejo Nacional para la Evaluación de la Política de Desarrollo Social (Coneval) desde 2007, son un claro ejemplo de credibilidad. Este organismo ha desempeñado un papel fundamental en la conformación de un sistema de evaluación legítimo, transparente y con altos estándares en la calidad de su información. En la última década, más de mil evaluaciones han sido elaboradas o coordinadas por el Coneval, incluyendo, por supuesto, las relativas a los programas educativos y a diversos aspectos programáticos (diseño, procesos, impacto, desempeño, etcétera). Gracias a él, hoy se cuenta con un cúmulo importante de datos e información respecto a indicadores clave de los programas sociales. ¿En qué medida ha sido utilizada esta evidencia para la mejora? Los resultados obtenidos en una investigación para los programas presupuestales de educación básica de 2000 a 2014 muestran que la utilización de la evaluación externa de programas para la modificación de su diseño (vía sus reglas de operación) ha sido en general baja (Pérez Yarahuán, 2015).
Los factores con mayor probabilidad de tener un efecto en el cambio de las reglas de operación de los programas son el diseño de la evaluación, y las variables contextuales de los programas y el entorno político.
Así, la credibilidad de la evaluación es importante, pero su diseño es una dimensión fundamental para influir en la utilización, no sólo por la materia misma de lo evaluado, sino porque ahí se definen cuestiones fundamentales como el papel de los actores involucrados (evaluados, evaluadores y decisores).
Participación En los estudios empíricos del tema de utilización se ha encontrado frecuentemente que la calidad de la evaluación y su relevancia, así como la credibilidad y reconocimiento, afectan su utilización (Johnson et al., 2009). Sin embargo, es necesario establecer un marco más general para la comprensión de los mecanismos de cambio. Se ha propuesto la formulación de teorías que vinculen diversos tipos de utilización y distintos niveles de análisis (individual, grupal o colectivo). Desde esta perspectiva, el cambio que genera una evaluación debe explicarse a partir de un mecanismo que afecta actitudes y acciones, y que tiene como propósito último generar un beneficio social (Mark & Henry, 2004).
La utilización instrumental de la evaluación no sucede de manera automática después de que se ha hecho una recomendación. La evaluación se lleva a cabo en contextos particulares que afectan las características de sus insumos. Para que ésta tenga influencia en el diseño y la instrumentación de los programas, es necesario implementar un mecanismo de aprendizaje, comprensión y socialización de sus productos. En este sentido, el diseño de la evaluación debe contemplar la dimensión de participación de los actores evaluados.
Las cuatro dimensiones de este radar de utilización —reconocimiento, calidad, credibilidad y participación— pueden orientar una política de evaluación efectiva. Para que la evaluación educativa sea usada para mejorar, es preciso reconocer que la generación de evidencia de calidad es fundamental, pero también lo son el reconocimiento y la credibilidad de la evaluación, así como los mecanismos de participación, apropiación y socialización.
(1) La idea del radar fue tomada del Radar de la confianza, de Diermier, 2011.
Referencias
Chelimsky, E. (2006). The Purposes of Evaluation in a Democratic Society. In The Sage handbook of Evaluation. London: sage.
Herbert, J. L. (2014). Researching Evaluation Influence: A Review of the Literature. Evaluation Review, 38(5), 388–419.
International Food Policy Research. (2001). Is progresa Working? Sumary of the Results of an Evaluation by ifpri. s.d.: ifpri.
Johnson, K., Lija O. Greenseid, Stacie A. Toal, Jean A. King, Frances Lawrenz & Boris Volkov. (2009). Research on Evaluation Use: A Review of the Empirical Literature From 1986 to 2005. American Journal of Evaluation, 30(3), 377–410.
Leviton, L. & Hughes, E. (1981). Research on the Utilization of Evaluation. Evaluation Review, 5(4), 525–548.
Levitt, S. D. & List, J. A. (2009). Field Experiments in Economics: The Past, The Present, and The Future. European Review, 53(1), 1–18.
Pérez Yarahuán, G. (2015). La influencia de la evaluación externa en los programas gubernamentales para la educación básica. Revista Mexicana de Investigación Educativa, xx (66), 685–710.
Pérez Yarahuán, G. & Maldonado Trujillo, C. (En prensa). Panorama de los sistemas nacionales de monitoreo y evaluación en América Latina. México d. f.: Centro de Investigación y Docencia Económicas/clear.
Rossi, P. H. Lipsey, M. W., & Freeman, H. E. (2004). Evaluation. A systematic Approach (Seventh). Thousand Oaks: sage
