Florentino Castro López y Oscar Daniel del Río Serrano
El Programa Internacional de Evaluación de Estudiantes (PISA, por sus siglas en inglés) diseña y aplica pruebas de lectura, matemáticas y ciencias orientadas a valorar los conocimientos y las habilidades de estudiantes de 15 años, que son necesarios para la participación plena de lo que PISA denomina “la sociedad del saber”. Además, incluye otra gama amplia de instrumentos para valorar temáticas clave relacionadas con la motivación de los alumnos por aprender, el pensamiento creativo, habilidades digitales, la concepción que éstos tienen sobre sí mismos y sus estrategias de aprendizaje. Adicionalmente, PISA suele incluir algunos instrumentos adicionales para docentes y directores de escuela que tienen la finalidad de obtener información sobre los contextos y factores que influyen en los procesos de enseñanza y aprendizaje.
Al tratarse de una evaluación internacional, PISA tiene especial cuidado de que todas las pruebas e instrumentos utilizados sean consistentes con los contextos nacionales en los que se aplica. Por ello, tiene previstos diversos procedimientos de verificación y ajuste para garantizar su pertinencia y consistencia. Asimismo, tiene protocolos rigurosos para garantizar la validez y la confiabilidad de cada uno de los procedimientos previstos en su desarrollo, que abarcan la planeación de actividades; la organización de los equipos nacionales participantes; los procesos de muestreo (cuántas y cuáles escuelas participarán); los operativos (toda la gestión que ello involucra) de levantamiento de información (fase piloto y aplicación definitiva); el uso de equipos de cómputo en la aplicación de los instrumentos; la integración de las base de datos y el flujo de información de cada país a la sede central de PISA, así como la emisión de reportes y la integración del informe final de resultados.
Hacerse cargo de PISA requiere de importantes capacidades técnicas y experiencia en la coordinación y gestión institucional. Mejoredu cuenta con la Unidad de Evaluación Diagnóstica, en la que trabaja el equipo técnico que coordinó 6 de las 8 ediciones de PISA en México (de 2003 a 2018) y que elaboró los informes de resultados correspondientes a México. Este equipo está conformado por especialistas que son clave para el desarrollo de esta evaluación y tiene habilidades probadas en los siguientes ámbitos técnicos y operativos:
- Diseño de instrumentos (entender, coordinar y supervisar la adaptación de las pruebas PISA en lectura, matemáticas y ciencias).
- Muestreo estadístico (definición de las escuelas y estudiantes que participan a partir de los criterios de representatividad estadística establecidos).
- Logística de operativos de campo (coordinación con entidades federativas, preparación de materiales, validación en campo de escuelas, docentes y alumnos, reclutamiento y capacitación de aplicadores, coordinadores de aplicación y supervisión de aplicadores).
- Procesamiento y análisis estadístico de datos (tareas relacionadas con el manejo de la información, en las aplicaciones piloto y definitiva).
- Tecnología e informática (garantizar la instalación adecuada de las aulas de cómputo y el funcionamiento de los equipos a utilizar durante la aplicación de las pruebas).
- Análisis cualitativo de respuestas de las y los estudiantes de las pruebas (a partir de la información de la aplicación piloto y definitiva).
- Traductores especializados (inglés y francés) para adaptaciones nacionales de las pruebas e instrumentos.
- Reclutamiento y selección de capacitadores, aplicadores y técnicos de apoyo informático; y
aplicación de los protocolos de seguridad y resguardo de la información.
Para estar en condiciones de llevar a cabo la aplicación de las pruebas PISA se requiere, adicionalmente, de un equipo responsable que debe mantener una coordinación estrecha con la dirección general de PISA, para desarrollar cada una de las actividades previstas. Mejoredu tiene una valiosa experiencia en esta coordinación al cumplir con las funciones del representante de país (PISA Governing Board ) y del enlace técnico principal (PISA National Project Manager), cuyas tareas son fundamentales para conocer los procedimientos actualizados, contar con los instrumentos validados para su aplicación (fase piloto y aplicación definitiva) y la verificación de la muestra de escuelas, así como en la conformación de un equipo de trabajo de tiempo completo para participar en las actividades relacionadas con el desarrollo conjunto de la prueba.
A lo anterior se suma la vinculación y coordinación interinstitucional que Mejoredu tiene con las autoridades educativas de las entidades federativas del país, lo que, sin duda, permitiría obtener los apoyos complementarios que se necesiten en aspectos técnicos, organizativos y operativos que pueden ser muy valiosos para la implementación de PISA.
Asimismo, es importante destacar, que además del desarrollo de las tareas de coordinación técnica y operativa de PISA, el equipo técnico que aún conserva Mejoredu, ha sido el encargado de elaborar el informe de resultados correspondientes a México en el que -a diferencia de la nota que PISA elabora y envía a los países participantes- se aprovecha de mayor y mejor manera la información, al contextualizarla y establecer con mucha mayor precisión puntos de conexión con la realidad educativa de nuestro país con una perspectiva de uso y apoyo a las políticas educativas y a las comunidades escolares.
El equipo técnico de Mejoredu se ha nutrido paralelamente de otras experiencias de evaluación internacional similares a las de PISA, como el Estudio Internacional de la Enseñanza y del Aprendizaje, a partir de videograbaciones de clase (TALIS VIDEO, auspiciado por la OCDE); el Estudio Internacional de Educación Cívica y Ciudadana (CIVICA), auspiciado por la International Association for the Evaluation of Educational Achievement, IEA); y el Segundo y Tercer Estudio Regional Comparativo y Explicativo, auspiciados por el Laboratorio Latinoamericano de Evaluación de la Calidad adscrito a la Oficina Regional de Educación de la UNESCO para América Latina y el Caribe (OREALC/UNESCO-Santiago de Chile), lo que le provee a este grupo de especialistas de una amplia visión sobre las evaluaciones a gran escala y su complejidad técnica y operativa.
Finalmente, vale la pena mencionar que Mejoredu ha desarrollado las evaluaciones diagnósticas de aprendizaje del Sistema Educativo Nacional en educación primaria y secundaria en las áreas de Lectura, Matemáticas y Formación Cívica y Ética que le han permitido consolidar su capacidad y experiencia técnica en este tipo de evaluaciones de gran escala, pero que además ha hecho posible desarrollar una estrategia muy relevante de devolución y uso pedagógico de resultados a través de diversos materiales de apoyo didáctico para las y los docentes, orientados a mejorar aquellos aprendizajes que requieren más apoyo de acuerdo con los resultados arrojados por la evaluación. Esto puede ser considerado como un importante valor agregado para desarrollar estrategias de uso pedagógico de los resultados de PISA que, a pesar de los esfuerzos realizados, no ha sido posible concretar adecuadamente en nuestro país.
La experiencia y capacidad de los equipos técnicos, así como la capacidad de gestión institucional de Mejoredu, no solo dan sustento a la posibilidad de hacerse cargo de la coordinación de PISA en México, sino que abren un abanico de posibilidades para complementar sus resultados con otras estrategias nacionales de evaluación y ponerlos al servicio de la mejora educativa del país. De este modo, se podrá avanzar en una visión más integral y articulada del aprendizaje en toda la educación básica, que no solo sirva para monitorear los progresos del sistema en su conjunto sino, especialmente, para desarrollar estrategias puntuales de fortalecimiento de los procesos de desarrollo de los aprendizajes de los estudiantes, considerando su edad, nivel educativo y la diversidad de los contextos educativos del país.
Finalmente se debe mencionar que la decisión respecto a quien se hará cargo de la aplicación de PISA depende de la Secretaría de Educación Pública, ya sea Mejoredu o el CENEVAL, lo importante es México siga participando en esta y en otras pruebas internacionales.
Florentino Castro López y Oscar Daniel del Río Serrano
Comisionados de la Junta Directiva de Mejoredu