“El supuesto comúnmente aceptado es que las evaluaciones no generan cambios debido al poco interés de los responsables de los programas o a la escasa cultura de la evaluación”, dicen los autores, quienes presentan en este texto tres razones por las que los resultados no se usan para la toma de decisiones, cuatro motivos por los cuales las recomendaciones son dejadas de lado y, finalmente, dos intervenciones para que las evaluaciones se utilicen».
Guillermo M. Cejudo Secretario académico del Centro de Investigación y Docencia Económicas (cide) guillermo. cejudo@cide.edu
Francisco Abarca Guzmán Maestro en Políticas Públicas por el cide fabaguz@gmail.com
¿Cuando un funcionario toma decisiones sobre una política pública, tiene que considerar muchos factores: las restricciones presupuestales, las oportunidades políticas, las capacidades administrativas, las expectativas ciudadanas y la evidencia disponible. Estas decisiones no suelen ser tomadas por una sola persona, en un proceso ordenado y racional en el que los propósitos no están en disputa. Más aún, la información disponible pocas veces es suficiente. ¿Cómo hacer para que, dadas estas condiciones, las decisiones permitan mejores políticas públicas, con mayores probabilidades de resolver eficazmente los problemas que buscan atender?
Desde hace varios años, una de las respuestas más frecuentes a esta pregunta se centra en generar evaluaciones que ofrezcan información que oriente las decisiones públicas. Por ello, se han desarrollado sistemas de monitoreo y evaluación, se han creado instituciones encargadas de evaluar políticas, se han aplicado evaluaciones e incluso, como en el caso de México, se han construido mecanismos específicos para conocer cómo las oficinas públicas dan seguimiento a las recomendaciones de los evaluadores. Pese a todo, la utilización sigue siendo un reto para todo este conjunto de reglas y procesos, y no uno menor. Todo sistema de evaluación está construido sobre la premisa de que las evaluaciones serán utilizadas. En este texto, tras una breve introducción sobre el problema, presentamos un análisis de cómo el gobierno federal mexicano suele usar los resultados de las evaluaciones y, a partir de ello, se exponen algunas ideas para facilitar su utilización. El problema de la utilización En materia de desarrollo social, en nuestro país se ha dado forma a un sistema de evaluación de carácter obligatorio, generalizado, sistemático y estandarizado. Tales características lo han constituido como un referente a nivel internacional, sobre todo para aquellas administraciones que buscan conocer el grado de efectividad de las intervenciones públicas con la finalidad de mejorarlas. De acuerdo con el Consejo Nacional para la Evaluación de la Política de Desarrollo Social (Coneval), a partir de las evaluaciones obligatorias realizadas a los programas presupuestarios federales, se emitieron más de 3300 recomendaciones a un promedio de 118 programas evaluados anualmente durante el periodo 2008-2013. Evaluar la política de desarrollo de nuestro país ha sido muy útil para generar información para la toma de decisiones, ya sea en materia presupuestal o en el rediseño de los programas. Sin embargo, uno de los supuestos más dañinos para la evaluación de políticas públicas es asumir la existencia de una conexión inmediata entre ésta y la mejora sustantiva de los programas. La preocupación por la utilización de los resultados existe en todos los sistemas de evaluación. Esto se explica por la dificultad de establecer mecanismos causales que hagan explícita, de manera coherente, la relación entre la información que se genera, los actores y procesos involucrados, y los resultados esperados a partir de la evaluación.
En nuestro país se ha dado forma a un sistema de evaluación de carácter obligatorio, generalizado, sistemático y estandarizado. Tales características lo han constituido como un referente a nivel internacional, sobre todo para aquellas administraciones que buscan conocer el grado de efectividad de las intervenciones públicas con la finalidad de mejorarlas.
El supuesto comúnmente aceptado de que las evaluaciones no generan cambios debido al poco interés de los responsables de los programas y unidades evaluadas, o debido a la escasa “cultura de la evaluación” resulta insuficiente para explicar la utilización en un sentido más amplio. Sin importar cuál sea el propósito por el que se realice una evaluación, existe un consenso en juzgar su éxito o fracaso a partir del grado de utilización de la información que ofrece. Todo ejercicio de evaluación debe estar pensado de tal manera que los hallazgos que arroje sean útiles para mejorar los resultados de determinada intervención social. La literatura especializada en el tema ha identificado principalmente dos tipos de evaluación según el uso de la información generada. Por un lado, la evaluación formativa hace énfasis en la retroalimentación, con la finalidad de mejorar el producto final de una política (Weiss, 1998). Por otro, la evaluación sumativa permite determinar el mérito o valor de una política y realizar un “juicio final” a partir de ello (Russ-Eft y Preskill, 2001). Así, la información generada por los ejercicios de evaluación puede llevar a reorientar los esfuerzos y recursos comprometidos, o a poner fin a un conjunto de acciones que no están dando resultados. En cualquier caso, la utilización implica adoptar acciones de política como resultado de la comprensión cada vez más amplia de la naturaleza causal de un problema público (Pawson, 2013; Cejudo y Maldonado, 2011).
Existen diversas razones por las cuales los resultados de una evaluación no culminan en la utilización para la toma de decisiones. La literatura sugiere desde factores institucionales y políticos hasta atributos individuales de los tomadores de decisión (González, 2016). En términos generales, las características del sistema de evaluación, la calidad de ésta y las características de los evaluados son los principales factores que pueden limitar el uso.
1. Características del sistema de evaluación. El proceso de gestión, diseño y contratación de la evaluación puede ocasionar defectos temporales (la contratación se hace en un momento en que el programa está siendo rediseñado) o de proceso (se contrata un evaluador malo o a modo).
2. Calidad de la evaluación. Si el evaluador hace un análisis de baja calidad, sus hallazgos probablemente serán poco útiles o relevantes. Si las conclusiones del evaluado son demasiado generales o abstractas, no podrán generarse recomendaciones utilizables. Si las recomendaciones no son factibles o no tienen responsables claros, es difícil que se vuelvan insumos para la toma de decisiones.
3. Características de los evaluados. Por parte del receptor de las recomendaciones, hay atributos que pueden explicar cómo y por qué se utilizan las evaluaciones: la institucionalización de la evaluación y la concurrencia entre capacidad de decisión, capacidad administrativa y disponibilidad presupuestal en los destinatarios de la evaluación. Se trata de capacidades organizacionales para responder a las evaluaciones, lo que incluye también la posibilidad de involucrar a agentes relevantes para hacer modificaciones sustanciales (no sólo operativas), y la articulación de normas y prácticas del sistema de evaluación con el resto de los sistemas de rendición de cuentas. En pocas palabras, se trata de que el destinatario de la evaluación quiera y pueda atender las recomendaciones generadas por el evaluador.
Existen diversas razones por las cuales los resultados de una evaluación no culminan en la utilización para la toma de decisiones. En términos generales, las características del sistema de evaluación, la calidad de ésta y las características de los evaluados son los principales factores que pueden limitar el uso.
¿Cómo se utilizan las evaluaciones en México?
Partiendo de los resultados publicados por Coneval en sus Informes de Seguimiento a los Aspectos Susceptibles de Mejora de Programas Federales, podemos afirmar (con base en Cejudo y Abarca, 2016) que los resultados de las evaluaciones, que se traducen en los denominados Aspectos Susceptibles de Mejora (asm), sí son utilizados por la unidades responsables de los programas presupuestarios. Desde 2008, la mayoría de los asm son catalogados por las mismas unidades como “específicos”, esto quiere decir que además de reconocer la necesidad de atenderlos, reconocen su responsabilidad directa para llevar a cabo esta tarea. Además, año con año, exceptuando el periodo 2012-2013, los responsables de utilizar la información han reconocido que, en la mayoría de los casos, las mejoras propuestas en las evaluaciones cuentan con una prioridad alta. En este sentido, hay evidencia de que la información generada por el sistema de evaluación es bien recibida por los responsables de los programas, quienes ven en él una fuente importante de información.
No obstante, la utilización es diferenciada. Por ejemplo, los programas más grandes en términos presupuestarios hacen mayor uso de aquella información que les permite mejorar aspectos relacionados con su operación o implementación. Por el contrario, los programas que cuentan con menos recursos aprovechan la información otorgada por las evaluaciones obligatorias para mejorar su diseño (Cejudo y Abarca, 2016). Esto es porque los primeros han sido capaces de llevar a cabo estudios y evaluaciones adi – cionales que les permiten contar con diagnósticos más pre – cisos sobre el problema público que enfrentan. Mientras que los programas con recursos más limitados encuentran en las evaluaciones obligatorias la única fuente de infor – mación. En estos últimos casos, la calidad de ésta y, por lo tanto, la calidad de las evaluaciones mismas, adquiere un rol fundamental para mejorar las intervenciones públicas (Abarca, 2014).
Además de comprender cómo se utilizan las evalua – ciones, es necesario indagar los motivos por los cuales las recomendaciones realizadas a partir de una evaluación son dejadas de lado por los responsables de los programas. En el caso mexicano, se ha encontrado que las recomendacio – nes no son utilizadas principalmente debido a cuatro mo – tivos (Cejudo y Abarca, 2016):
1. Falta de sincronía. Las recomendaciones realizadas ya habían sido contempladas por los responsables del pro – grama como resultado de evaluaciones previas, lo que apunta a un desfase entre los tiempos de la evaluación y los de la implementación.
2. Límite de facultades. Las recomendaciones no se pueden atender, pues exceden las facultades del programa, lo que evidencia desconocimiento por parte del evaluador.
3. Falta de claridad. Las recomendaciones son planteadas en términos ambiguos por parte de los evaluadores, o como resultado del formato de la evaluación.
4 . Falta de recursos. Las recomendaciones no se pueden llevar a cabo debido a que requieren de dinero, personal y tiempo con los que no cuenta el programa.
Todos estos aspectos pueden ser atendidos desde el mismo sistema de evaluación con la finalidad de incremen – tar, en primer lugar, la calidad de información ofrecida a los responsables de operar los programas y, en segundo lugar, la probabilidad de que esa información sea utilizada. Las recomendaciones encaminadas a lograr esto forman parte del siguiente apartado.
Los programas que cuentan con menos recursos aprovechan la información otorgada por las evaluaciones obligatorias para mejorar su diseño. Mientras que los programas con recursos más limitados encuentran en las evaluaciones obligatorias la única fuente de información.
¿Qué hacer para que las evaluaciones se usen más?
Quizá el mensaje más importante es que la utilización difícilmente puede ser impuesta. Es decir, si un funcionario público no conoce para qué le puede servir una evaluación, cómo se generó la información o qué relevancia pueden tener los hallazgos, será muy poco probable que adopte con entusiasmo las recomendaciones. En este sentido, se requieren intervenciones deliberadas en dos rubros:
a) La calidad de las evaluaciones
i) Mejorar los procesos de contratación de las evaluaciones, manteniendo un equilibrio entre el involucramiento de los responsables de las decisiones sustantivas (para que no perciban la evaluación como algo ajeno) y la independencia del evaluador (para que la cercanía no ponga en riesgo la imparcialidad de los hallazgos).
ii) Pensar en la evaluación desde el diseño del programa, para que la información recabada y la documentación de las decisiones generen un acervo de evidencia.
iii) Propiciar la contratación de mejores evaluadores, con conocimiento sustantivo y operativo de los programas, que combinen solidez metodológica y técnica con expertise sobre el funcionamiento del sector público.
iv) Exigir de los evaluadores, recomendaciones pertinentes, factibles, oportunas, precisas y con responsables claros. Esto requiere que el “control de calidad” no se reduzca a la entrega en tiempo y forma con base en los términos de referencia, sino que haya interacción para asegurar que las recomendaciones cumplen con estas características.
b) Las capacidades organizacionales para procesar las recomendaciones
i) Identificar a los responsables concretos de atender las recomendaciones es crucial para asegurar que la capacidad de decisión, la capacidad administrativa e, idealmente, la posibilidad de tomar las decisiones presupuestarias, coincidan.
ii) Comunicar a todos los involucrados en tomar decisiones, dentro y fuera de la organización, las recomendaciones y las implicaciones de su participación.
iii) Establecer espacios de interacción entre el evaluador y los decisores para explicar a cabalidad las recomendaciones, de forma que los funcionarios comprendan sus razones y las vinculen con sus actividades sustantivas. En otras palabras, lograr que el cumplimiento de las recomendaciones no sea visto por los funcionarios como un trámite, sino como una decisión que les ayuda a alcanzar resultados.
Conclusiones
El proceso de convertir hallazgos en recomendaciones requiere diálogo entre evaluador y responsable del programa. Esto sólo puede ocurrir si el primero cuenta con información confiable, si su análisis es sólido y sus recomendaciones son oportunas y relevantes, y si el segundo considera necesaria y útil la evaluación, si comprende las recomendaciones y si ve en ellas una oportunidad para mejorar su desempeño y alcanzar los resultados de la organización. Sin estas condiciones, aunque se opte por la obligatoriedad de atender las recomendaciones, se haga forzoso darles seguimiento y se generen reportes de aten – ción, la utilidad de las evaluaciones no será la esperada. En pocas palabras, utilizar las evaluaciones no puede ser un objetivo abstracto o una preocupación tras la eva – luación. Debe ser un componente central del proceso de decisión sobre las políticas y sus evaluaciones, para que, cuando las recomendaciones sean generadas, existan ya las condiciones que les permitan incidir en decisiones que mejoren el resultado de las políticas.
Bibliografía
Abarca, F. (2014). Evaluar con múltiples propósitos: efectos del sistema de evaluación mexicano en los programas de desarro – llo social. Tesis de Maestría. México: cide .
Cejudo, G. y Abarca, F. (2016). ¿Cómo se usan las evaluaciones? Un análisis de cómo los programas reaccionan a lo que reco – miendan las evaluaciones. México, manuscrito.
Cejudo, G. y C. Maldonado (2011). De las recomendaciones a las acciones. México: clear-cide-sfp.
González, D. (2016). Usos de la información de Seguimiento y Evalua – ción (sye) en las Políticas Públicas. México, tesis doctoral cide.
Consejo Nacional de Evaluación. (2009). Informe de Seguimiento a los Aspectos Susceptibles de Mejora de Programas Federales 2008. México.
_______ (2010). Informe de Seguimiento a los Aspectos Suscepti – bles de Mejora de Programas Federales 2009. México.
_______ (2011). Informe de Seguimiento a los Aspectos Suscepti – bles de Mejora de Programas Federales 2010. México.
_______ (2012). Informe de Seguimiento a los Aspectos Suscepti – bles de Mejora de Programas Federales 2011. México.
_______ (2013). Informe de Seguimiento a los Aspectos Suscepti – bles de Mejora de Programas Federales 2012. México.
_______ (2014). Informe de Seguimiento a los Aspectos Suscepti – bles de Mejora de Programas Federales 2013. México Pawson, R. (2013). The Science of Evaluation. A Realist Manifes – to. Londres: Sage. Russ-Eft, A., y Preskill, H. (2001). Evaluation in organizations. Nueva York: Basic Books. Weiss, C. (1998). Evaluation. Nueva York: Prentice Hall.
