Ghana e India: Evaluación temprana para una educación inclusiva: mejorar antes de que sea demasiado tarde

Una educación equitativa es el resultado de múltiples factores. “¿Cómo podemos nosotros, como evaluadores, ayudar a enfrentar los desafíos?”
Molly Jamieson Eberhardt
Directora superior de programa
Instituto de Resultados para el desarrollo (R4D por sus siglas en inglés) Washington, D.C., E.U.A

Una educación equitativa es el resultado de múltiples factores. “¿Cómo podemos nosotros, como evaluadores, ayudar a enfrentar los desafíos?”, se pregunta la autora, quien habla de dos estrategias llevadas a cabo en Ghana e India, como parte del programa Leer a los Niños, cuyo fin es promover la inclusión mediante la misión R4D, enfrentando los obstáculos al desarrollo que impiden que las personas con bajos o medianos ingresos mejoren sus vidas.

Cada vez que se propone una nueva política, los responsables concienzudos se preguntan “¿cómo sabemos que funcionará?”. En la evaluación educativa queremos saber si un programa logrará los resultados esperados en lo referente a incrementar las inscripciones y la asistencia o mejorar los resultados del aprendizaje, por ejemplo. Podemos diseñar estudios rigurosos para responder esta pregunta, pero en la realidad la respuesta rara vez será un simple sí o no.

Hay muchas razones de esto, pero dos en particular se refieren a cuestiones de contexto y diversidad: primero, el programa pudo haber sido efectivo en algunos sitios, pero no en otros; segundo, el programa pudo haber conducido a resultados positivos para algunos subgrupos, pero no para otros.

Las buenas evaluaciones son capaces de captar estos matices al analizar muestras representativas de los datos con el fin de ver dónde se logró un impacto y dónde no. Las mejores evaluaciones adoptan un enfoque mixto, utilizando datos tanto cuantitativos como cualitativos para ayudarnos a entender por qué los primeros muestran diferencias tan grandes en la efectividad para diferentes sitios o subgrupos, o por qué las diferencias eran de esperarse en los casos en los cuales tratamos de intervenir en un contexto diferente o con un grupo distinto de beneficiarios.

Por ejemplo, una prueba controlada aleatoria de la Iniciativa Comunitaria de Asistentes Docentes en la República de Ghana, ubicada al oeste de África, demostró tener efectos positivos significativos en las habilidades lectoras y aritméticas de los niños en términos generales, aunque su eficacia en las diferentes regiones del país varió mucho.[1] La evaluación descubrió que la intervención fue menos exitosa en las regiones que experimentaron problemas en lo que refiere a la implementación, tales como la remuneración irregular de los asistentes de los docentes comunitarios, la falta de supervisión, los bajos niveles de asistencia de dichos docentes, y su escaso cumplimiento en lo que refiere a la implementación de los métodos de enseñanza sobre los cuales habían sido capacitados.

Una prueba aleatoria controlada del Programa Nali Kali de Aprendizaje Basado en la Actividad, para niños en los niveles escolares 1-2 en Karnataka, India, representa otro ejemplo de una evaluación que muestra un impacto inconsistente. Ésta encontró que, en promedio, dicho programa tuvo efectos positivos significativos en los resultados de las pruebas de lenguaje y habilidades de liderazgo.[2] Sin embargo, esto se limitó a una mejora por debajo del nivel esperado para el nivel escolar del cual se trataba, en aquellos estudiantes cuyo desempeño correspondía a la mitad inferior de la muestra al inicio del estudio.

Por lo tanto, ¿qué se puede hacer cuando una evaluación pone de manifiesto que una intervención no tuvo el impacto esperado para un subgrupo en particular? En el Instituto de Resultados para el Desarrollo (R4D por sus siglas en inglés) estamos piloteando un enfoque para lograr precisamente eso.

Las primeras preguntas que hacemos a nuestros aliados cuando comenzamos a trabajar en conjunto con ellos son: “¿cuáles son los mayores retos que enfrentan en este momento?” y “¿cuáles son las actividades sobre cuya implementación más dudas tienen?”. Las siguientes son algunas de las respuestas que hemos recibido:

Proporcionamos servicios de desarrollo para la primera infancia en los barrios bajos urbanos y las comunidades temporales que habitan alrededor de las obras construidas para los trabajadores y sus familias. Nuestro programa destinado a las obras de construcción ha sido exitoso, pero nos está costando mucho trabajo lograr resultados similares en los barrios bajos urbanos en los cuales trabajamos.

Hemos sido muy exitosos en mejorar los resultados de lectura de nuestros estudiantes de nivel promedio y encima de él, pero no hemos logrado mejorar el rendimiento de los alumnos a los que se les dificulta la lectura.

Nuestros maestros están motivados y son apasionados, pero poseen poca educación o capacitación formal. Nuestro breve, pero intenso, programa de entrenamiento para docentes en potencia parece ser un buen comienzo, pero no estamos seguros de cómo estructurar la formación durante el ejercicio de la docencia para seguir desarrollando las habilidades y conocimientos de los profesores. Faltan oportunidades de promoción e incentivos para que permanezcan en sus puestos, pero ignoramos cuál es la mejor manera de proveerlos.

Nuestros centros de desarrollo de la primera infancia están logrando buenos resultados en provisión de comidas nutritivas, ambientes de aprendizaje centrados en los niños, e importantes servicios de salud como las vacunas, pero no hemos logrado inculcarlos en los padres. Nos preocupa no tener impacto si los niños sólo están expuestos a las prácticas positivas durante las horas que pasan en nuestros centros.

Sabemos que el aprendizaje semipresencial (que incorpora a las computadoras en el proceso de enseñanza) predominará en el futuro, pero, dado que no sabemos a ciencia cierta cómo implementarlo en nuestras escuelas, no queremos instituir un programa completo de tal aprendizaje sin saber cuáles son sus beneficios, costos y consecuencias operacionales.

Llevamos a cabo una evaluación de impacto que demostró que les va mejor a nuestros estudiantes que a los de las escuelas de referencia. Hemos empezado a tener éxito, pero sabemos que no estamos llegando a los más pobres de nuestras comunidades, y queremos encontrar la forma de mantener nuestros resultados y, a la vez, alcanzar a un mayor número de los niños que están ubicados en la parte inferior de la pirámide.

¿Cómo podemos nosotros, como evaluadores, superar estos desafíos? Ya que muchos de ellos giran en torno a cómo optimizar el diseño de una actividad existente o cómo diseñar otra nueva, puede que una evaluación de impacto tradicional no sea la respuesta, ya que este tipo de evaluación se vuelve más apropiada después de pilotear y refinar una intervención.

Sin embargo, puede ser que, en el caso de los tipos de desafío descritos arriba, sea más importante que una evaluación externa genere datos de alta calidad que resuelvan de manera rápida y específica las dudas de los evaluadores en cuanto a diseño y aspectos operativos, a que sea objetiva.

Nuestro trabajo reciente en la India consiste en pilotear un enfoque al que llamamos “aprendizaje adaptativo”, el cual incorpora una investigación estructurada sobre la implementación a lo largo del tiempo, y emplea técnicas de monitoreo y evaluación para tomar decisiones acerca del diseño y puesta en marcha con base en los resultados del experimento.

La lectura móvil para niños en Nueva Delhi, India

Estamos trabajando con Worldreader (Lector Mundial) en Nueva Delhi, India, para desarrollar un programa piloto llamado Read to Kids (Leer a los Niños), que alienta a los padres a utilizar una aplicación móvil gratuita para leer con sus hijos pequeños.[3] Según la teoría inicial, se lograría el cambio al dar a los padres acceso a una biblioteca de historias atractivas para los niños, pues pasarían más tiempo leyendo con sus hijos pequeños, lo que conduciría a mejores niveles de pre-alfabetización y preparación para la escuela en dichos niños.

Trabajamos con Worldreader, no para evaluar la intervención que se basa en esta teoría del cambio, sino para validar dicha teoría y diseñar una intervención óptima. El proyecto comenzó con una fase de investigación formativa que incluía la implementación de encuestas cuyo objetivo era entender mejor las características de la población meta, entrevistas con informantes clave, grupos de discusión y una revisión de la literatura sobre las mejores prácticas. Encabezada por el Centro para las Sociedades del Conocimiento en Nueva Delhi, esta fase fue fundamental para asegurar que el diseño de la eventual intervención diera prioridad a la equidad y la inclusión. Al involucrar a la población que pretendemos servir en el diseño de la intervención, aumentamos las posibilidades de que ésta última sea beneficiosa para ella.

De los hallazgos, aprendimos que:

Las personas más susceptibles de fungir como lectores para los niños pequeños son sus hermanos mayores y los jóvenes adultos, ya sean tíos o vecinos, que los cuidan. Este grupo no sólo pasa mucho tiempo con los niños pequeños, sino que también está acostumbrado a utilizar teléfonos móviles y está mucho más alfabetizado que los mismos padres.

Las madres mostraron gran interés en el uso de la aplicación móvil para leer con sus hijos, pero por lo general no tenían acceso a un teléfono móvil propio.

La mayoría de los cuidadores no son conscientes de la potencialidad de la lectura para educar y desarrollar a los niños pequeños que se encuentran en la etapa pre-verbal y de pre-alfabetización.

Esta investigación formativa reveló una brecha crítica en la teoría del cambio: no sólo fue la falta de acceso a los libros la que impedía que los padres leyeran con sus hijos pequeños, sino también la falta de conocimiento sobre el valor de la lectura con los niños. Además de brindar acceso a los materiales de lectura, cualquier intervención efectiva tendría que también cambiar las creencias y conductas actuales de los cuidadores al educarlos sobre los beneficios de la palabra oral y escrita con los niños pequeños, incluso antes de que estos últimos sepan hablar y leer.

Actualmente implementamos y evaluamos Worldreader con nuestros socios implementadores en Nueva Delhi para probar varias maneras de motivar a los padres de familia. Simultáneamente, piloteamos el uso de “campeones de la lectura” ubicados en las clínicas de salud, movilizadores comunitarios que sostienen reuniones directas con padres de familia en centros de desarrollo temprano, así como de jóvenes voluntarios que acogen a “ligas de lectura” para niños y padres de familia en sus comunidades, y de líderes de asociaciones de madres que llevan a cabo sesiones con grupos de mujeres. Mediante una supervisión cuidadosa que combina datos cuantitativos y cualitativos, vamos a averiguar cuál de estos mecanismos parece lograr el mayor nivel de uso sostenido de la aplicación de lectura móvil.

Por supuesto, el uso de esta aplicación no indica que la intervención haya alcanzado sus metas finales de mejorar las habilidades de pre-alfabetización y preparación de los niños de los usuarios para asistir a la escuela. Por lo tanto, optamos por centrarnos en el resultado proximal del uso sostenido de la aplicación móvil, el cual constituye un eslabón de la teoría del cambio que es necesario, mas no suficiente, para lograr nuestro resultado final a futuro.

Los datos que recogemos son esenciales para garantizar que nos familiaricemos, desde un inicio, con los problemas asociados con la equidad y la inclusión. ¿Existen algunos segmentos de nuestra población meta en los cuales no podemos incidir, ya sea porque las actividades que llevamos a cabo no los están alcanzando o porque algún aspecto de dichas actividades está disminuyendo su eficacia con ese grupo? Queremos averiguar esto antes para integrar la equidad y la inclusión en el diseño de la intervención, y evaluarlas durante esta fase piloto. En última instancia, ello debería promover el desarrollo de una intervención más impactante y más inclusiva. En esencia, podemos fortalecer la intervención mientras que la piloteamos, en vez de esperar que se lleve a cabo una evaluación tradicional para averiguar qué funciono y qué no, y diseñar mejores estrategias de política pública sobre esta experiencia para llegar a más niños con mayor eficacia.

Implicaciones para los responsables de la toma de decisiones

La evaluación del Enfoque de Aprendizaje Adaptativo que he expuesto aquí no siempre será apropiada para todo contexto educativo en situación de inequidad, depende del tipo de información que los responsables de la toma de decisiones necesiten. Cuando una intervención debe ser evaluada con fines de rendición de cuentas, se necesitan enfoques más tradicionales. No obstante, en las primeras etapas del diseño y piloteo de los programas, cuando se busca diseñar una intervención que fructificará en el diseño de políticas cuyo impacto deseado deberá mejorar las condiciones de la población meta, y hay incertidumbre sobre la manera más adecuada de generar ese impacto, este enfoque puede ayudar a los responsables de la toma de decisiones y a los implementadores a lograr mejores programas más rápido. También facilitará una comprensión más temprana de las influencias del contexto y de la diversidad: ¿dónde se detectan signos tempranos de éxito? ¿Con cuales subgrupos deberíamos preocuparnos? ¿Dónde se presentan obstáculos que hacen que un cambio de enfoque sea necesario?

Al seguir piloteando nuestro Enfoque de Aprendizaje Adaptativo, entenderemos y asimiláremos más acerca de sus fortalezas y debilidades, y de cómo se puede complementar con métodos de evaluación tradicional una vez que logremos un diseño de intervención prometedor. Mientras tanto, seguimos buscando formas innovadoras de incorporar la mejor evaluación, el pensamiento con enfoque de diseño y los métodos de investigación formativa en nuestro trabajo.

¿Le gustaría conocer más acerca de la estrategia en Ghana e India del r4d? Visite: http://www.resultsfordevelopment.org/

[1] Duflo, Annie and Jessica Kiessel. 2015. “Evaluating the Teacher Community Assistant Initiative in Ghana.” Innovations for Poverty Action. http://www.poverty-action.org/study/evaluating-teacher-community-assistant-initiative-ghana

[2] Gowda, et al. 2013. “Curriculum Change and Early Learning: An Evaluation of an Activity-based Learning Program in Karnataka, India.” Stanford Center for International Development. http://scid.stanford.edu/sites/default/files/publications/475wp_0.pdf

[3] Leer a los Niños es financiado por Pearson Education.

Hits

Deja una respuesta

Tu dirección de correo electrónico no será publicada.

Facebook Twitter Linkedin WhatsApp Whatsapp
Ir al contenido