El Instituto Nacional para la Evaluación de la Educación (INEE) firmó un convenio con la Universidad Autónoma de Aguascalientes (UAA) para que especialistas de la UAA convocaran a un grupo de 10 expertos de México y de otros países realizaran un estudio de validez de las pruebas ENLACE y Excale para la educación básica. Dicho estudio se dividió en tres apartados: 1) el estudio de validez de ENLACE, cuyos resultados se programaron entregar el 31 de marzo de 2014; 2) el estudio de validez de Excale, cuyos resultados se entregarán el 30 de junio y 3) conclusiones y recomendaciones de ambos estudios, cuyos resultados se entregarán el 30 de septiembre.
En cumplimento de estos compromisos, el último día de marzo la UAA entregó puntualmente el informe del estudio de validez de la prueba ENLACE.
La metodología consiste en buscar las evidencias existentes de cinco tipos de validez: de contenido, calidad técnica, sesgo cultural, de administración y de usos y consecuencias de los resultados. Cada tipo de evidencia de validez fue analizada por un par de especialistas en el tema: uno nacional y otro extranjero. En algunos casos, se realizaron entrevistas a las autoridades educativas y usuarios de las pruebas.
Del informe de este estudio destacamos algunos resultados sobre la validez detectados en la prueba ENLACE:
Validez de Contenido, entendida como su alineación con el currículo de la educación básica. Los documentos normativos contienen elementos que permiten decir que la prueba está alineada a currículum, pero podrían ganar en precisión.
Validez Técnica, entendida como solidez técnica de su diseño y construcción. Los manuales técnicos de ENLACE revisados son adecuados. No obstante, hay ausencia de documentos que sustenten con detalle y precisión los procesos 2 involucrados en el desarrollo de la prueba, por ejemplo: faltan manuales u otros documentos donde se sustente con detalle los procesos involucrados en el desarrollo de la prueba, por ejemplo: manuales de diseño de reactivos, de validación de reactivos y de piloteo; documentación sobre métodos de equiparación, anclaje y definición de puntos de corte.
Validez cultural, entendida como la equidad con que se evalúan a poblaciones que pertenecen a culturas minoritarias, como las indígenas. La prueba ENLACE no cumple con los criterios de validez cultural.
Validez de administración o aplicación, entendida como la forma correcta de llevar a cabo el proceso de evaluación. Los manuales muestran una idea correcta de cómo se deberían hacer las aplicaciones, pero que no existen controles para asegurlo. No se dispone de reportes integrados de las irregularidades típicas, luego de cada aplicación.
Validez de usos y consecuencias, entendida como la alineación entre los propósitos de una evaluación y los usos y consecuencias que se le dan a los resultados. Las evidencias disponibles no sustentan la variedad de usos que se le han dado a ENLACE, de acuerdo a sus propósitos y características técnicas. Se detectaron usos importantes para el desarrollo de programas e intervenciones organizados a partir de sus resultados, pero también usos injustificados y perniciosos, como el otorgamiento de incentivos económicos a los docentes y la publicación de ordenamientos de escuelas con base en puntuaciones crudas.
Asimismo, se identificó una inflación de los resultados de ENLACE a través del tiempo, cuando se les compara con resultados de pruebas muestrales controladas, como Excale. Es probable que esta inflación se explique por los usos indebidos de la prueba.
Con base en estas evidencias de validez y la experiencia ganada a lo largo de los años, la Junta de Gobierno del INEE analizará las modificaciones necesarias en el diseño de pruebas que se apliquen en el futuro, que aseguren se cumpla con el propósito para el cual se diseñaron y que sus resultados sean válidos, confiables, justos y útiles para la mejora de la calidad de la educación en el país.
En breve se darán a conocer los propósitos y características de una nueva generación de evaluaciones que en su caso sustituyan a ENLACE de educación básica a partir del ciclo 2015-2016.
Comunicado de prensa No. 17
