Lecciones de más de cinco décadas de estudios internacionales a gran escala sobre el logro educativo

Lecciones de más de cinco décadas de estudios internacionales a gran escala sobre el logro educativo. Por Andrés Sandoval-Hernández y Oliver Neuschmidt Asociación Internacional para la Evaluación del Logro Educativo (IEA)

"This is an Author's Original Manuscript of an article published in a slightly modified form in the Journal Organización y Gestión Educativa: Revista del Fórum Europeo de Administradores de la Educación (2014). [Copyright Wolters Kluwer España, S.A]. The published article is available online at http://educacion.wke.es/ebiblox/oge.htm"

“Si dentro de una nación la costumbre y la ley definen lo que es permisible en términos educativos, los sistemas educativos fuera de nuestras fronteras sugieren lo que es posible” Arthur W. Foshay

La génesis de la estadística escolar está unida a la formación de los sistemas educativos nacionales. Desde la creación de los sistemas educativos nacionales se comenzaron a realizar evaluaciones de su calidad. En un principio dichas evaluaciones se llevaban a cabo utilizando información relacionada con la extensión y características de los sistemas educativos: tasas de cobertura, proporción de maestros por alumno, número de años promedio en el sistema educativo, tasas de graduación en diferentes niveles, etcétera. En la década de los 60 se comenzaron a realizar evaluaciones internacionales que permitieron valorar por primera vez los conocimientos de los estudiantes de manera comparativa entre países. Desde entonces, a través del trabajo de organizaciones como la Asociación Internacional para la Evaluación del Logro Educativo (IEA), la Organización para la Cooperación y el Desarrollo Económicos (OCDE), la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), entre otras, estas evaluaciones internacionales han ganado cada vez mayor influencia en la política educativa alrededor del mundo. En este artículo queremos hablar sobre la labor de una de estas organizaciones: la IEA. Para ello dividiremos el texto en tres secciones principales. En la primera haremos una breve reseña histórica sobre el trabajo de la IEA, en la segunda revisaremos los retos que imponen la sociedad actual y futura a

la educación, y en la sección de conclusiones discutiremos la contribución de la IEA para hacer frente a estos retos.

IEA: Más de 55 años de investigación educativa La IEA se convirtió en una entidad jurídica en 1967, pero sus orígenes datan de 1958 cuando un grupo de académicos, psicólogos educativos, sociólogos y psicometristas se reunieron en el Instituto para la Educación de la UNESCO en Hamburgo, Alemania, para discutir problemas relacionados con la evaluación escolar y educativa. Los fundadores de la IEA veían al mundo como a un laboratorio educativo natural, donde diferentes sistemas educativos experimentaban diferentes formas y métodos para obtener resultados óptimos en la educación de sus jóvenes y niños. Su supuesto era que si se podía obtener evidencia de un gran número de sistemas, la variabilidad sería suficiente para identificar importantes factores asociados a los logros educativos, que sería imposible identificar si se contaba con información de un solo sistema educativo. Los fundadores de la IEA se oponían categóricamente a las afirmaciones sobre el mérito relativo de los sistemas educativos que no estuvieran respaldadas por datos empíricos, y aspiraban a identificar factores que influenciaran significativa y consistentemente los resultados educativos. El primer estudio de la IEA, conocido como el Estudio Piloto en Doce Países, se enfocó en investigar la viabilidad de realizar evaluaciones educativas internacionales. Este estudio se llevó a cabo en 1960 para estudiantes de 13 años de edad e incluyó las áreas de matemáticas, comprensión lectora, geografía, ciencias, y habilidades no verbales. Además de producir importantes hallazgos de valor práctico y académico, el estudio cumplió su principal objetivo al demostrar la posibilidad de conducir estudios internacionales a gran escala. Esta experiencia demostró que varios centros de investigación distribuidos en diferentes países podían trabajar de manera conjunta, y que era posible construir pruebas y cuestionarios que funcionaran adecuadamente en diferentes países y en diferentes culturas. Estos prometedores resultados dieron soporte para el nacimiento del Primer Estudio Internacional de Matemáticas (FIMS). FIMS recolectó información en 12 países e incluyó dos poblaciones: estudiantes de 13 años de edad y estudiantes del último año de educación secundaria. Este estudio fue uno de los primeros en proveer evidencia acerca de la falta de equidad de los sistemas educativos. Algunos años después el Estudio de las Seis Materias expandió el alcance de FIMS al evaluar ciencias (también conocido como el Primer Estudio Internacional de Ciencias), comprensión lectora, educación literaria, inglés como lengua extranjera, Francés como lengua extranjera y educación cívica. Este estudio ayudó a identificar nuevos predictores del logro académico relacionados con intereses y motivaciones de los estudiantes, así como métodos de enseñanza y prácticas escolares. A finales de los 70 surgió la idea de medir cambios en logro educativo a través del tiempo. Esto llevó al desarrollo del Segundo Estudio Internacional de Matemáticas (SIMS), que se llevó a cabo en 20 países entre 1980 y 1982; y al Segundo Estudio Internacional de Ciencias (SISS), que se aplicó en 24 países

entre 1983 y 1984. La estrategia de repetir los estudios en intervalos regulares permitió a los países obtener importante información sobre las tendencias del desempeño promedio de sus estudiantes en matemáticas y ciencias. Los 90 trajeron consigo nuevos retos. Por ejemplo, las computadoras comenzaron a tener un rol protagónico en los sistemas educativos de varios países. Por ello, entre 1989 y 1992, se condujo el Estudio Sobre Computadoras en la Educación (COMPED). Esta iniciativa fue seguida por el Segundo Estudio de Tecnología de la Información en Educación Modulo 1 (SITES-M1), que recogió información sobre el uso de computadoras en procesos de enseñanza y aprendizaje en 26 países entre 1998 y 1999; y por el Segundo Estudio de Tecnología de la Información en Educación Modulo 2 (SITES-M2), que utilizó 174 estudios de caso para investigar prácticas pedagógicas innovadoras en 28 países. En la misma década, cambios políticos resultantes del colapso del comunismo en la Unión Soviética y Europa Central y del Este promovieron cuestionamientos acerca de la educación de los “buenos ciudadanos”. Para responder a estos cuestionamientos, el Segundo Estudio sobre Educación Cívica (CIVED) se enfocó en el conocimiento y compromiso cívico de los estudiantes. 31 países participaron en una o ambas fases del estudio entre 1996 y 1999i. En la actualidad muchos estudios de la IEA se llevan a cabo en intervalos regulares. Esta tendencia comenzó también en los 90, con el Tercer Estudio Internacional de Matemáticas y Ciencia que fue el primero en un ciclo de 4 años. Hoy en día este estudio es conocido como el Estudio Internacional de Tendencias en Matemáticas y Ciencias (TIMSS). Con 46 países participantes y más de medio millón de estudiantes en cinco grados escolares, TIMSS fue también el más grande y más ambicioso estudio comparativo de educación de su tiempo. Desde entonces, TIMSS se ha repetido cada cuatro años (1999, 2003, 2007, 2011) en cuarto y octavo grados. Otros ejemplos de estudios que se realizan en intervalos regulares son el Estudio Internacional de Progreso en Comprensión Lectora (PIRLS) que comenzó en 2001 y desde entonces se ha llevado a cabo cada cinco años (2006, 2011); y el Estudio Internacional de Educación Cívica y Ciudadana (ICCS), cuyo primer ciclo tuvo lugar en 2009. Además de los nuevos ciclos de TIMSS (2015), PIRLS (2016) e ICCS (2016), la IEA actualmente conduce el Estudio sobre la Educación de la Primera Infancia (ECES) y el Estudio Internacional sobre Competencias Informáticas y Computacionales (ICILS) ii.

Retos para la evaluación educativa a gran escala Los estudios descritos anteriormente son sólo una muestra del trabajo de la IEA, sin embargo, desde su fundación en 1958 esta organización ha llevado a cabo más de 30 estudios comparativos en educación con la participación de casi 100 países. Por supuesto los sistemas educativos no son los mismos de entonces y la IEA ha tenido que ajustarse a las necesidades de un mundo cambiante. Como lo mencionaba Tjeerd Plomp en una conferencia dictada recientemente en la ciudad de Porto “[…] estamos preparando a nuestros estudiantes para trabajos que aún no existen, en los que utilizarán tecnologías que aún no se han inventado para resolver problemas que aún no sabemos que son un

problemaiii” (Plomp, 2014). Nuestros sistemas educativos tienen que reflejar los cambios de nuestra sociedad, nuevos contenidos tienen que ser enseñados en las aulas y nuevas técnicas de enseñanza deben ser empleadas para ello. Siguiendo a Plomp (ídem), la educación enfrenta sus retos principales en tres áreas: currículum, evaluación, y la implementación de dichos cambios (en el currículum y en la evaluación). La discusión sobre cómo enfrentar los retos curriculares ha comenzado, y autores como Voogt y Roblin (2010) han identificado tres tendencias. La primera consiste en añadir nuevas materias al currículum o nuevos contenidos a las materias existentes. La segunda se centra en integrar competencias croscurriculares a través del énfasis en la adquisición de competencias clave. La tercera propone la creación de un nuevo currículo transformando completamente las materias tradicionales e identificando a las escuelas como comunidades de aprendizaje. Con respecto a los retos de la evaluación educativa, varios países han comenzado a coordinar acciones para enfrentarlos. Dos ejemplos son el Assessment Reform Group (ARG) en el Reino Unido y la Gordon Commission on Future of Assessment (GCFA) en los Estados Unidos. El ARG es un grupo voluntario de investigadores, que se reunión entre 1989 y 2010, para asegurarse de que la evaluación de la política y práctica educativa que se realiza en este país tome en cuenta la evidencia que ofrece la investigación. Aunque su trabajo ha concluido, las publicaciones de ARG continúan siendo un referente importante para el desarrollo de la práctica de evaluación en el Reino Unidoiv. La GCFA está formada por un grupo de líderes educativos que se ha dado a la tarea de crear lineamientos para prácticas de evaluación educativa que contribuyan a mejorar la calidad de la educación en los Estados Unidos. La GCFA contempla que dichas prácticas contribuyan también para mejorar las tecnologías de medición y evaluación del logro educativov. Entre sus conclusiones y recomendaciones, estas dos organizaciones coinciden en al menos dos puntos: por un lado, que la evaluación educativa tiene que contribuir no sólo a que los sistemas educativos se responsabilicen de sus resultados, sino también a mejorar las competencias de los estudiantes que son necesarias en la actualidad. Por otro lado, estas dos organizaciones concuerdan en que la evaluación educativa que necesitaremos en el futuro aún no existe, y que investigación y desarrollo en esta área tendrá que informar a la nueva generación de evaluaciones educativas. Finalmente, los retos en la implementación de estos cambios (en el currículum y en la evaluación) tienen que ver con nuevas materias o áreas de conocimiento, nuevos métodos de enseñanza, y nuevas creencias sobre lo que debe definirse como educación de calidad. Las computadoras y el uso de internet están cada vez más ligados al proceso educativo, como consecuencia el rol del maestro está cambiando rápidamente, y con ello las creencias sobre lo que debe ser enseñado en las escuelas y los métodos más adecuados para ello. Estas cambiantes circunstancias han transformado sin duda el contexto en que los estudiantes acceden, crean, y comparten información. Muchos países han reconocido la preponderancia de la tecnología digital en todas sus formas, y han identificado la necesidad de educar a sus ciudadanos en esta área para que sus sociedades puedan asegurar los beneficios del uso competente de las nuevas tecnologías.

A modo de conclusiones Los retos descritos anteriormente han generado muchas preguntas relacionadas con la eficacia de nuestros sistemas educativos en la era de las competencias digitales. Para contribuir a responder este tipo de preguntas la IEA tiene ya algunas iniciativas funcionando, por ejemplo, el Estudio Internacional sobre Competencias Informáticas y Computacionales (ICILS); y ePIRLS, una extensión del Estudio Internacional de Progreso en Comprensión Lectora (PIRLS) que evalúa lectura en línea. Adicionalmente ICCS está planeando ampliar su marco de referencia en 2016 para incluir una evaluación del papel de las nuevas redes sociales en la participación cívica entre los estudiantes; y TIMSS están planeando el pilotaje de una prueba de matemáticas basada en medios electrónicos para su ciclo 2017. ICILS representa en primer estudio comparativo a nivel internacional sobre cómo los estudiantes están desarrollando el conjunto de conocimientos, actitudes, disposiciones y habilidades que componen las competencias informáticas y computacionales. En ICILS las competencias informáticas y computacionales se refieren a la habilidad de los individuos para utilizar computadoras con la finalidad de investigar, crear y comunicar para participar efectivamente en el hogar, la escuela, el trabajo y la sociedad. El objetivo principal de ICILS es reportar el logro de los estudiantes en dos áreas principales: la obtención y manejo de la información, y la producción e intercambio de la información. Para poder explicar variaciones en estas competencias informáticas y computacionales entre países, y para poder informar a los encargados de la política educativa sobre los factores que tienen impacto en dichas competencias, ICILS también recoge información sobre los contextos escolares y extra-escolares en que se desenvuelven los estudiantes. ICILS evalúa estudiantes de octavo grado. Por su parte, ePIRLS utiliza un ambiente simulado de internet para medir el logro en lectura de estudiantes de cuarto grado. La evaluación asigna a los estudiantes tareas que se alinean con lecturas escolares típicas. Para completar las tareas exitosamente los estudiantes no solo tienen que navegar en el ambiente simulado de internet y discriminar entre la información que encuentran; los estudiantes deben también construir significados para la información, así como obtener datos, hacer inferencias e integrar toda la información. De este modo, la IEA está tomando medidas para ayudar a los sistemas educativos a enfrentar los retos de las nuevas y cambiantes condiciones sociales. Volviendo a los retos que Plomp (2014) ha identificado para la educación, estudios como ICILS y ePIRLS permitirán no sólo evaluar áreas de reciente inclusión en el currículum (e.g. uso de computadoras y software educativo), sino que también harán posible evaluar nuevas competencias desarrolladas por los estudiantes y prácticas educativas llevadas a cabo por docentes y directores de escuela (retos curriculares). Al mismo tiempo, su carácter internacional permitirá la comparación del estado actual de estas cuestiones en diferentes países, así como la comparación de lo que ya se está haciendo en términos de política educativa para enfrentar estos retos. Por otro lado, apoyándose en su extensa red de expertos en evaluación educativa, la IEA ha desarrollado nuevos métodos para evaluar nuevas habilidades y competencias (retos de evaluación). Por ejemplo, el ambiente dinámico computarizado utilizado para evaluar diferentes competencias en ICILS, o el ambiente cerrado de internet creado para evaluar qué tan bien leen textos en línea los estudiantes de

cuarto grado. La siguiente figura muestra un ejemplo de lo que los estudiantes verán en pantalla cuando contesten los ítems de ePIRLS.

Ventana del navegador de Internet Los estudiantes buscan, navegan a través de y leen contenido en múltiples sitios web en un entorno de Internet simulado.

Lectura de fragmentos en línea Al visitar varios paneles de texto y páginas, los estudiantes leen el contenido que ayuda a completar su tarea en línea.

Navegación en línea no-lineal Múltiples pestañas e hipervínculos proporcionan una auténtica experiencia de lectura en línea, complementada con fotografías y gráficos.

Ventana de Evaluación Guía a los estudiantes a través de ePIRLS y captura información relacionada con la navegación, las respuestas y las marcas de tiempo.

Avatar Maestro Establece el marco para la tarea de evaluación, hace preguntas a los estudiantes, y mantiene al estudiante en la pista durante la evaluación.

Las respuestas de los estudiantes Los alumnos responden las preguntas de opción múltiple y de respuesta construida sobre los textos en línea.

Figura 1. Ejemplo de ventana de navegación en ePIRLS. Fuente: www.iea.nl

Los estudios de la IEA están a la vanguardia en la producción de información para dirigir la implementación de los cambios en el currículum y en las prácticas de evaluación que demanda la

sociedad de hoy. ICILS, por ejemplo, permitirá responder a preguntas como: ¿Qué diferencias existen en los niveles de competencias informáticas y computacionales entre países? ¿Qué pueden hacer los sistemas de educación para mejorar las competencias informáticas y computacionales de sus estudiantes? ePIRLS, por su laso, permitirá a los países participantes generar datos para establecer objetivos de logro para sus estudiantes relacionados con lectura en línea, o bien, para monitorear el progreso en la consecución de este tipo de objetivos (retos de implementación). Los países miembros de la IEA están conscientes de que retos tan serios y objetivos tan ambiciosos no se pueden enfrentar sólo a través de la producción de información. Por ello, la IEA lleva a cabo una serie de actividades enfocadas en el desarrollo de investigación basada en el uso de los datos que generan sus estudios, así como en la diseminación de los resultados correspondientes. Desde 2004 la IEA organiza una conferencia internacional de investigación donde investigadores, académicos, estudiantes de posgrado y encargados de política pública comparten los resultados de sus trabajos. Esta conferencia se lleva a cabo cada tres años y la próxima tendrá lugar en Junio de 2015 en Cape Town, Sudáfricavi. En 2007 se estableció la Unidad de Investigación y Análisis de la IEA (RandA), y en el mismo año se creó el IERI Institute en colaboración Educational Testing Service (ETS). Una de las principales funciones de ambos organismos es proveer un punto de encuentro para investigadores interesados en las comparaciones de sistemas educativos a través del análisis de datos de gran escala. Con tal fin, RandA y el IERI Institute ofrecen estancias académicas en sus instalaciones en Hamburgo, Alemania y, varias veces al año, dictan talleres en temas como “Análisis Secundario de Bases de Datos”, “Modelos Multinivel y/o Ecuaciones Estructurales”, “Teoría de Respuesta del Ítem y Modelos Poblacionales en Evaluaciones a Gran Escala “, “Elaboración de Reportes Temáticos y/o Informes para la Política Educativa con base en Datos de la IEA”, entre otrosvii. Finalmente, para apoyar la diseminación de resultados de investigación en esta área, la IEA mantiene una Serie de Informes para la Política Educativa, y en colaboración con el IERI Institute edita una revista arbitrada: Large Scale Assessments in Educationviii. Sin embargo, la principal lección aprendida luego de más de cinco décadas de estudios internacionales a gran escala sobre el logro educativo, ha sido que los retos que impone la educación de nuestros estudiantes en la sociedades actuales y futuras requieren del esfuerzo coordinado de todos los involucrados (e.g., estudiantes, maestros, directores, padres de familia, encargados de la política educativa, organizaciones civiles, organismos transnacionales, etc.), y de perspectivas y experiencias tan variadas como sea posible. De acuerdo con esto, la IEA cuenta con centros de estudios ubicados en cuatro continentes, y su Asamblea General tiene representantes de organismos nacionales de casi 70 países. Además, como organización sin fines de lucro, la IEA cuenta con el apoyo de muchas otras organizaciones. Algunos recientes co-financiadores de proyectos de la IEA incluyen: La Comisión Europea, La Fundación Ford, el Banco Interamericano de Desarrollo, el Banco Mundial, agencias de investigación y evaluación educativa en los Estados Unidos, los Países Bajos, Taipei China, Japón, Noruega, Chile, México. Otros socios con los que la IEA mantiene diversas colaboraciones son: la OCDE, ETS, UNESCO, la Organización de los Estados Iberoamericanos (OEI), Programme d’Analyse des Systémes Educatifs des Etats de la CONFEMEN (PASEC), The Southern and Eastern Africa Consortium for Monitoring Educational Quality (SACMEQ), entre otros. Con este respaldo y en el espíritu de

cooperación que ha caracterizado siempre a la IEA, estamos orgullosos de decir que ¡estamos listos para las siguientes cinco décadas!

Referencias Plomp, T. (2014, September 4). Education in the Information Society –Assessment, Evaluation and other Challenges. Presented at the European Educational Research Association Conference, Porto, Portugal. Voogt, J., & Roblin, N. P. (2010). 21st Century Skills – Discussion Paper (p. 62). Enschede, The Netherlands: Kennisnet / The University of Twente.

i

Información detallada sobre todos los estudios concluidos se puede encontrar en: www.iea.nl/completed_studies.html ii Ver: www.iea.nl/current_studies.html para más detalles iii Traducción propia. iv Ver: www.aaia.org.uk/afl/assessment-reform-group/ para mayor información. v Ver: www.gordoncommission.org/ para mayor información. vi Mayor información en: www.iea.nl/irc-2015.html vii Mayor información en: www.iea-dpc.de/fields-of-work/research-and-analysis-unit-randa.html y en http://www.ierinstitute.org/ viii Ver www.iea.nl/policy_briefs.html para mayor información sobre los Informes para la Política Educativa, y www.largescaleassessmentsineducation.com/ para información sobre la revista arbitrada.