Se trata de un estudio dirigido por la Organización para la Cooperación y Desarrollo Económicos (OCDE), apoyado por un consorcio internacional integrado por tres organizaciones con amplia experiencia en evaluación educativa: RAND Corporation, Educational Testing Service (ETS) y The German Institute for International Educational Research (DIPF, por sus siglas en alemán). El estudio es totalmente nuevo y en esta primera edición los ocho países o economías participantes son: Alemania, Chile, Colombia, Inglaterra, Japón, Madrid (España), México y Shanghái (China). [2]
El objetivo principal de TVS es investigar cuáles aspectos de la práctica docente se relacionan con el aprendizaje de los alumnos, junto con otros componentes motivacionales y actitudinales. Adicionalmente, el estudio permitirá documentar las prácticas docentes en diferentes países y contextos, y proporcionará insumos para ampliar el conocimiento acerca de la validez de los tipos de instrumentos usados en la investigación educativa y en la evaluación de la práctica docente. De este modo, apoyará al desarrollo metodológico de posteriores investigaciones internacionales sobre la efectividad de la enseñanza y su impacto en el aprendizaje.
Para llevar a cabo lo anterior, el estudio se apoyó de diversos instrumentos: cuestionarios para docentes y alumnos, pruebas de matemáticas para alumnos, así como análisis de la práctica docente a través de la observación del maestro en el aula a través de videograbaciones y recolección de evidencias de trabajo (como planes de clase, exámenes, hojas de actividades, material didáctico, etcétera), aplicados en un diseño longitudinal.
Todo ello encierra un amplio potencial para ofrecer a los países participantes información útil al desarrollo de políticas públicas, a partir de una mejor comprensión de la cultura nacional de enseñanza en sí misma y contrastarla con la de otros países; de la exploración del grado en el que se aplican prácticas pedagógicas específicas; de una mayor comprensión acerca del vínculo entre prácticas pedagógicas y el aprendizaje de los estudiantes; así como de la influencia de las variables contextuales y el aprendizaje de los alumnos.
El estudio inició con un trabajo de conceptualización sobre docencia eficaz, para construir pautas o rúbricas de observación, tanto de videograbaciones de clase como de artefactos (diferentes documentos didácticos que utiliza el docente como parte de su trabajo). También se analizaron las retículas de los programas de matemáticas de nivel secundaria de los países participantes, para determinar un contenido focal que permitiera controlar el estudio, y se elaboraron cuestionarios de percepción de prácticas docentes y pruebas de matemáticas para su aplicación antes y después de llevar a cabo las videograbaciones. Todo este trabajo preparatorio se llevó a cabo por el personal responsable del proyecto en cada país, bajo la coordinación del consorcio internacional.
Beneficios para México
La participación de México, a través del INEE, en la primera edición de este proyecto, tuvo como principal propósito aprender sobre la observación de prácticas docentes a escala internacional, así como del diseño y desarrollo de pautas o rúbricas de evaluación formativa. La idea de tomar videograbaciones de clase y reunir otras evidencias del trabajo de los maestros, estuvo orientada a identificar prácticas relacionadas con buenos resultados de aprendizaje.
La aproximación del estudio abarca dominios de docencia empíricamente documentados desde la investigación educativa y las aportaciones que los países participantes hicieron como parte de la metodología de trabajo para llegar a una conceptualización común. A partir de ésta, se desarrollaron las rúbricas de observación de videos y de artefactos. Las dimensiones de la práctica docente se concretaron en componentes e indicadores, como se muestran en la tabla 1, a partir de los cuales el consorcio internacional desarrolló las rúbricas de observación con las que se codificarán los videos y los artefactos de clase.
El hecho mismo de tomar videos de clases y de codificarlos a partir de las rúbricas desarrolladas sobre la base de una conceptualización de buenas prácticas docentes tiene valor para la formación de profesores, además de su enorme potencial para la investigación educativa. Por ello, parte del proyecto incluye la creación de una videoteca que integre todos los videos producidos durante el estudio. Este material, permitirá seleccionar segmentos para ejemplificar los grados de cumplimiento de indicadores y componentes en las dimensiones de prácticas docentes, además de la exploración que se puede hacer sobre la materia en otros países.
Tabla 1. Dimensiones de la práctica docente del estudio TALIS Video
| Dimensión | Componentes | Indicadores |
| Manejo de Clase | • Rutinas • Monitoreo del grupo • Manejo de interrupciones |
• Tiempo dedicado a la instrucción • Estructura de las actividades y frecuencia |
| Apoyo socioemocional | • Respeto • Empoderamiento y calidez • Toma de riesgos |
• Persistencia • Demanda a los estudiantes compartir en público su pensamiento |
| Discurso | • Naturaleza del discurso • Preguntas de reflexión • Explicaciones |
• Oportunidades de discusión entre el profesor y los alumnos y entre éstos |
| Calidad del dominio conceptual | • Conexiones explícitas • Patrones o generalizaciones explícitas • Claridad conceptual |
• Resultados de aprendizaje explícitos • Exactitud conceptual • Conexiones con el mundo real • Tipos de representaciones • Organización de la información procedimental |
| Involucramiento cognitivo del estudiante | • Involucramiento en tareas que implican demanda cognitiva de alto orden • Múltiples aproximaciones o perspectivas de razonamiento • Comprensión de la racionalidad de los conceptos, procesos y procedimientos |
• Metacognición • Oportunidades de repetición o práctica • Tecnología para la comprensión • Tecnología de clase • Tecnología para el estudiante • Software para el aprendizaje |
| Evaluación para la comprensión del estudiante | • Promoción del pensamiento del estudiante • Retroalimentación del profesor • Alineamiento de la instrucción al pensamiento de los estudiantes. |
Fuente: elaboración propia con información derivada de TVS.
Avances del proyecto
El estudio TVS se encuentra en la fase análisis e interpretación de la información. Se han desarrollado los instrumentos y los manuales para su uso. En 2017 se llevó a cabo un piloto que permitió mejorar tanto los protocolos como los instrumentos para el estudio principal, el cual se llevó a cabo a principios de 2018, con una muestra aleatoria a partir de la información proporcionada por cada país. En México se tomaron dos videograbaciones de clase de ciento tres docentes de escuelas de nivel secundaria, uno en etapas iniciales y el segundo en etapas finales, en las que se abordó el contenido focal; se recolectaron artefactos utilizados por los profesores para estas clases. Como parte del proyecto se desarrollaron dos exámenes acerca del contenido focal seleccionado para el estudio, los cuales se aplicaron antes y después de la toma de los videos. También se generaron y aplicaron antes y después de la toma de videos dos cuestionarios: uno para estudiantes y otro para los profesores, sobre su percepción en torno a la enseñanza del contenido focal.
Para la codificación de los videos, se llevó a cabo el entrenamiento, calibración y certificación de personal encargado de los procesos de codificación, a fin de estandarizar las interpretaciones en el análisis de las evidencias aportadas por las videograbaciones y los artefactos. La codificación de los videos se encuentra en curso, por lo que en 2019 se podrá iniciar con la fase de análisis de la información obtenida en el estudio en México. En 2020 el consorcio presentará el informe del estudio comparado a escala internacional.
Aportaciones del estudio a la formación y evaluación docente
La principal aportación de este estudio consiste en contribuir con herramientas e instrumentos útiles a la formación y el desarrollo profesional de los docentes; además de generar evidencia de cómo son las prácticas de docentes mexicanos, en comparación con las de los demás países participantes.
Entre las experiencias y herramientas que ya se pueden utilizar están:
- Protocolo y manual para la toma de videograbaciones de clase con una cámara fija y dos micrófonos (equipo de bajo costo).
- Rúbricas de observación de clase para identificación de indicadores y de componentes de la práctica docente (se tienen que traducir al español y adaptar a los tipos, niveles y campos formativos o asignaturas).
- Manuales para el entrenamiento en la codificación, análisis e interpretación de prácticas docentes (se tienen que traducir y adaptar).
- Videograbaciones de clase de docentes mexicanos (206), las cuales se codificarán de acuerdo con las rubricas de observación para fines de investigación y formación de docentes.
- Conjuntos de artefactos de la práctica de ciento tres docentes de veintiocho entidades del país.
- Resultados de los cuestionarios de percepción y de las pruebas de matemáticas aplicadas a los participantes del estudio, con el fin de identificar relaciones entre percepción y práctica docente.
Toda esta información se enriquecerá aún más cuando sean codificados los videos y artefactos, lo cual está previsto para marzo de 2019. A partir de esta fecha, se podrán seleccionar segmentos codificados que ilustren para cada componente e indicador buenas prácticas docentes. Con ello será posible desarrollar materiales valiosos orientados a la formación continua. Si bien en el cronograma del proyecto se tiene previsto que el consorcio internacional difunda el reporte final del estudio comparado a principios de 2020, los resultados del estudio en México, con la información hasta ahora colectada y analizada, estarán disponibles antes de esta fecha. Con ello, estaríamos también en condiciones de llevar a cabo la adaptación de las rúbricas para otros niveles educativos, campos formativos y disciplinares, que contribuyan a evaluación formativa de docentes en servicio.
Las experiencias y el aprendizaje desarrollados en el INEE, junto con las herramientas generadas y la información colectada en el estudio principal, abren la posibilidad de enriquecer la estrategia de portafolios de evaluación para la práctica profesional que se propone como alternativa a la evaluación de desempeño con fines formativos desde el Instituto, propuesta que se presentará en su oportunidad a las nuevas autoridades educativas.
Lo anterior se sustenta en el hecho de que los métodos y el plan de análisis del proyecto proveerá información relevante para un mejor entendimiento de diferentes aproximaciones al trabajo docente en nuestro país, y en comparación con otros países; también nos permitirá entender mejor cómo se relacionan ciertas prácticas magisteriales con los resultados de aprendizaje de los alumnos, así como con aspectos del contexto que las afectan y con la percepción de los propios profesores en torno a lo que consideran una buena docencia.
Adicionalmente, se podrá tener una mejor comprensión de la validez y relevancia política de los resultados obtenidos en los proyectos internacionales de TALIS Survey3 y del Programa para la Evaluación Internacional de Alumnos (PISA), en virtud de que sus resultados se podrán contrastar con los de TVS, a partir del análisis de las videograbaciones de clase y los artefactos, todas ellas evidencias directas de la práctica docente en una gran diversidad de contextos.
[1] TALIS Video Study, por sus siglas en inglés.
[2] Inicialmente se integraron nueve países; sin embargo, en 2017 Estados Unidos de Norteamérica decidió no seguir en el estudio.
[3] Teaching and Learning International Survey (TALIS).
