Cada vez que se publican los resultados de PISA, el debate suele concentrarse en los puntajes, los rankings y las comparaciones entre países. Sin embargo, pocas personas se preguntan qué ocurre mucho antes de que un estudiante responda una sola pregunta. ¿Quién decide qué texto leerán los jóvenes de distintos países? ¿Cómo se construyen los ítems? ¿Qué criterios determinan que una pregunta forme parte de una de las evaluaciones educativas más importantes del mundo?
Esas fueron algunas de las interrogantes que nos acompañó a los profesionales de la medición educativa durante nuestra participación en el PISA 2029 Reading Item Development Workshop, celebrado recientemente en Santiago de Chile, donde especialistas de distintos países iberoamericanos nos reunimos para profundizar en el proceso de desarrollo de materiales para el dominio de Lectura.
Llegamos pensando que aprenderíamos a redactar preguntas bajo los preceptos de PISA. Regresamos a nuestros países comprendiendo que un buen ítem comienza mucho antes: con la selección de un buen texto.
Durante intensas jornadas de trabajo analizamos el nuevo marco de evaluación de Lectura de PISA, estudiamos los criterios para seleccionar estímulos, elaboramos preguntas de respuesta seleccionada y respuesta construida, discutimos aspectos relacionados con la accesibilidad y la comparabilidad lingüística, y participamos en procesos de revisión colaborativa similares a los que siguen los materiales antes de incorporarse al banco internacional de la evaluación.
Una de las lecciones más valiosas fue descubrir que el punto de partida nunca es la pregunta. Todo comienza con el estímulo, un texto cuidadosamente seleccionado por su autenticidad, pertinencia, riqueza conceptual y capacidad para movilizar distintos procesos de comprensión lectora.
Ese texto puede ser un ensayo, una noticia, un artículo de divulgación científica, un fragmento literario, una infografía o cualquier otro formato que permita evaluar cómo un estudiante comprende, interpreta, integra, reflexiona y evalúa la información que lee. La pregunta aparece después.
También profundizamos sobre la enorme responsabilidad que implica construir un instrumento destinado a millones de estudiantes pertenecientes a contextos culturales, sociales y lingüísticos muy diversos. Cada palabra, cada imagen y cada referencia cultural son analizadas cuidadosamente para garantizar que el instrumento evalúe la competencia lectora y no el grado de familiaridad con una realidad específica.
Precisamente por esa razón, las discusiones sobre comparabilidad lingüística ocuparon un lugar central durante el taller. Aunque compartimos un mismo idioma, el español presenta variantes léxicas, expresiones y referentes culturales que obligan a revisar cuidadosamente cada propuesta para asegurar que pueda ser comprendida en diferentes países sin alterar el constructo que se pretende evaluar.
Uno de los aspectos que más llamó mi atención fue el trabajo colaborativo. Ningún ítem nace terminado. Cada propuesta es discutida, revisada, cuestionada y perfeccionada mediante procesos de panel técnico en los que distintos especialistas analizan tanto la calidad del estímulo como la pertinencia de las preguntas y de las guías de codificación.
Este proceso demuestra que detrás de una evaluación internacional existe mucho más que un conjunto de preguntas. Hay investigación, metodología, evidencia, revisión entre pares y un riguroso trabajo técnico que pocas veces llega a ser conocido fuera de los equipos especializados.
Como educador e investigador, regresar de esta experiencia me permitió valorar aún más la importancia de fortalecer las capacidades nacionales en el desarrollo de instrumentos de evaluación y comprender que espacios como este no solo contribuyen a mejorar la calidad técnica de las pruebas, sino que también favorecen el intercambio de conocimientos entre países que comparten desafíos educativos comunes.
Con frecuencia hablamos de PISA únicamente cuando se publican sus resultados. Quizá ha llegado el momento de mirar también aquello que ocurre mucho antes de la prueba, me refiero al silencioso y meticuloso trabajo de quienes, desde distintos países, colaboran para construir instrumentos cada vez más pertinentes, rigurosos y representativos de la diversidad de contextos en los que serán aplicados.
Antes de responder una pregunta, alguien tuvo que pensar cuidadosamente qué valía la pena leer, un estímulo pensado cuidadosamente.
Compartir esta nota