El peso de la evaluación. Reflexionar a través del tiempo

El peso de la evaluación. Reflexionar a través del tiempo

En la segunda mitad del S. XX se ha ido precisando progresivamente una dimensión de la investigación evaluativa centrada en la capacidad de los sistemas de educación formal de conseguir los resultados deseados. Se han desarrollado modelos y procesos que podían ofrecer elementos para la evaluación según un criterio comparativo: en otras palabras, una vez establecido el ámbito general de un estudio, el criterio de evaluación consistiría en tomar en consideración las indicaciones derivadas de una serie de elaboraciones estadísticas de carácter didáctico así como organizativo. En los años sesenta la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA) elaboró un primer programa de investigación con esa orientación. El estudio Six Subject, efectuado a principios de la siguiente década, dio inicio a líneas de investigación en cuyo desarrollo participó, además de la IEA, la OCDE (Organización para la Cooperación y el Desarrollo Económico) ya a finales de siglo. En la primera década del nuevo siglo, la asociación IEA prosiguió aún en una línea de trabajo orientada mayormente a alumbrar aspectos del funcionamiento de los sistemas educativos relativos sobre todo a decisiones didácticas y culturales. Los principales proyectos de los que más se ocupó la asociación IEA son testimonio de esa decisión cuyo objeto era arrojar luz sobre cuestiones relativas a la operatividad de las escuelas. Por citar solo los estudios de mayor interés, continúa la serie de estudios TIMSS1 (Estudio Internacional de Tendencias en Matemáticas y Ciencias) y se ha dado inicio a los PIRLS (Estudio Internacional de Progreso en Comprensión Lectora) e ICCS (Estudio Internacional sobre Educación Cívica y Ciudadana). Los intereses de la OCDE parecen dirigirse en mayor medida hacia el análisis de políticas escolares y a la organización de sistemas educativos. Los estudios que ha llevado a cabo esta organización han asumido una función de referencia en el debate internacional sobre educación desde los años noventa, cuando empezó la publicación de un informe anual sobre el funcionamiento de los sistemas escolares (Panorama de la Educación). El informe da cuenta de indicadores relativos al gasto que destina cada país al funcionamiento de sus respectivos sistemas educativos, indicadores relativos a los resultados de aprendizaje, y, por último, indicadores descriptivos del entorno (por ejemplo, porcentajes de población 1

El acrónimo TIMSS correspondía hasta 1999 a Third International Mathematics and Science Study; desde 2003, para no repetir Third, a Trends in International Mathematics and Science Study.

escolarizada a distintos niveles, número de escuelas, número de profesores, equipamiento instrumental, etc.). Al menos en una primera fase, los informes de la OCDE estaban basados en su mayor parte en datos que proporcionaban los gobiernos de los países miembro o de otras instituciones de carácter internacional (por ejemplo, la Asociación IEA ya mencionada). Un primer estudio importante de cuya recogida de información se ocupó la OCDE fue la Encuesta Internacional de Alfabetización de Adultos (EIAA; IALS en inglés), llevada a cabo en 1994 en un primer grupo de países y posteriormente ampliada a algunos otros seis años después (SIALS, acrónimo correspondiente a Second IALS). Los estudios IALS y SIALS centraron el foco de atención del debate educativo en los países industrializados en el problema de la regresión de la competencia alfabética en la población adulta, un fenómeno en estrecha relación con la actividad del sistema educativo, aun cuando no se puede establecer un nexo secuencial entre lo que hacen las escuelas y el grado de competencia que queda pasado un tiempo en quien completó sus estudios escolares. Para explicar la regresión de la competencia alfabética se han de tomar en consideración variables que conciernen a la vida social, el marco cultural, la organización económica y los sistemas de comunicación. La puesta en marcha de un proyecto de estudio periódico de los niveles de competencia que manifiesta la población de 15 años en tres sectores de aprendizaje –comprensión de lectura, competencia matemática y competencia científica– supuso un salto de calidad en el compromiso de la OCDE. El proyecto, designado con el acrónimo PISA (Programa Internacional para la Evaluación de Estudiantes) prevé que cada tres años se lleve a cabo una recogida de datos en los países participantes, aplicando la misma metodología y utilizando los mismos instrumentos, adaptados a lo local en lo relativo a la lengua. Cada estudio tiene como fin establecer los niveles de competencia alcanzados en un sector, con alusiones a los otros dos. Así, el primer estudio, realizado en 2000, se centró en la comprensión de lectura, y se completaba el estudio con partes dedicadas a la matemática y las ciencias. Se dedicaron a la matemática y las ciencias los informes de 2003 y 2006, con complementos para las competencias de los otros dos sectores. En 2009, volvió a comenzar el ciclo. Varios países disponen, además de los datos obtenidos gracias a la participación en los informes de IEA y la OCDE, de cuadros descriptivos del funcionamiento de los sistemas escolares que se obtienen mediante programas de monitoreo periódico que desarrollan autonómamente. Esos programas retoman, a veces, con adaptaciones e integraciones, metodologías e instrumentos que provienen de la IEA y la OCDE; en otros casos, siguen líneas de trabajo elaboradas específicamente a nivel local y emplean instrumentación que recoge solo en parte las tipologías que se adoptan generalmente en los estudios internacionales. No cabe duda de que el cuadro evaluativo que nace de los estudios comparativos internacionales así como los efectuados a nivel local han brindado una contribución de suma importancia al conocimiento de los fenómenos educativos. Mas cabe también reconocer que ha comenzado un proceso de adecuación imitativa de modelos y procedimientos que reflejan el estado de las interpretaciones, metodologías e instrumental alcanzado en los años

noventa. Resulta útil, sin lugar a dudas, proseguir los estudios de carácter cíclico, pero convendría asimismo revisar las interpretaciones de conjunto y elaborar modelos de investigación sensibles a dimensiones descuidadas tradicionalmente, o que se han vuelto más y más relevantes en los últimos años. También convendría volver a definir el conjunto de las variables que toma como objeto la investigación evaluativa, prestando atención a aspectos que antes eran demasiado intrincados de analizar. A continuación se proponen una serie de primeras respuestas a la exigencia de considerar los problemas de la evaluación en una perspectiva en rápida transformación. Son respuestas que parten de que haya consenso acerca de algunas proposiciones preliminares que, por lo demás, no son exclusivas del conocimiento educativo, pero que sí pueden aplicarse correctamente a muchos otros campos del conocimiento. Para empezar, se hace necesario librarse del lastre ideológico que condiciona en distinto grado y modo tanto la observación de los fenómenos como su interpretación. Asumamos, pues, que los fenómenos educativos han de situarse en el espacio y en el tiempo. Definir el espacio es necesario para hacer explícito el compromiso que se ha producido y sigue produciéndose entre la naturaleza y la educación. La atención al tiempo, a su vez, permite reconocerle a la educación el carácter de recurso concurrente en la evolución de la especie humana. En otras palabras, la educación es una condición para la vida. Indicar dónde y cuándo tiene lugar un fenómeno concreto es la premisa para evitar que las interpretaciones caigan en esquematismos de sentido común, o sea, en inducciones de escasa consistencia centradas en el principio de la confirmación. En la educación, aún más si cabe que en otros campos del conocimiento, para reconocer un fenómeno hace falta estar dispuestos a renunciar, en todo o en parte, a interpretaciones que, por el hecho de estar ya disponibles, han dado lugar a una especie de naturalización, que consiste en conferir carácter de necesidad y dependencia de la naturaleza a fenómenos que, en cambio, podrían presentar un desarrollo distinto. La tendencia a la naturalización produce una limitación en la capacidad de ver los fenómenos: se ven, de hecho, los fenómenos que se está dispuesto a ver. Sin embargo, ¿qué es lo que estamos dispuestos a ver? En la historia del conocimiento se han constatado progresos cuando alguien renunció a seguir usando esquemas interpretativos ya afianzados, desplazando la formulación de un juicio del antes al después del cumplimiento del hecho determinado. Ello equivale a rechazar los pre-juicios (es decir, los juicios que preceden a los hechos), modificando así actitudes evaluativas y, al mismo tiempo, las concepciones generales que se suelen asociar a las actividades educativas. Desde un punto de vista lógico, el origen del prejuicio puede explicarse como una inversión del tiempo de la experiencia. La naturalización nace, en efecto, de experiencias contrastadas con la observación de fenómenos acerca de las cuales se expresa un juicio que en la tradición medieval, luego retomada por John Stuart Mill, se definía como juicio por confirmación. Tratándose de una inducción, el juicio por confirmación sucede a posteriori, es decir, sigue a la observación de los fenómenos. De seguir interviniendo en la misma secuencia temporal (fenómenojuicio), la modificación de los fenómenos comportaría, antes o después, la

exigencia de revisar los juicios que ya no resultan confirmados. En cambio, lo que ocurre es que la generalización del juicio realizado mediante la inducción por confirmación lo vuelve disponible independientemente de que se haya verificado o no el fenómeno: el juicio ya no constituye un modo para entender los fenómenos que se han observado, sino que adquiere un significado predictivo, anticipando fenómenos que aún no se han comprobado, determinando la espera de que se produzcan, y, a menudo, su efectivo cumplimiento. En resumen: nos hallamos ante juicios que no interpretan las variables independientes de un proceso, sino que asumen la función de variables independientes. El origen de muchos malentendidos en el conocimiento de los fenómenos en la educación, un sector de actividad ligado estrechamente al tiempo en que se sitúan estos, está en la persistencia inalterada de los juicios y sus modos de expresión. Ante todo, nos encontramos ante la necesidad de suponer su invariabilidad en el espacio y el tiempo. Lo que equivale a afirmar que las condiciones (formales y físicas) como se realiza la educación y los efectos que se consiguen no cambian con el paso de las generaciones. Aun a sabiendas de que eso no es cierto, se acepta la presuposición de la estabilidad en la conformación de los fenómenos, puesto que de ahí nace el sentido común, es decir, las representaciones ampliamente compartidas, pero rácanas de interpretación. Para huir de ese sentido común hace falta liberarse de la sugestión de la sencillez de las inducciones por confirmación y buscar interpretaciones más complejas, que den significado a los fenómenos en relación con contextos espaciales y temporales en los que se presentan. En la investigación evaluativa ello implica que no nos limitemos a acumular nuevas series de datos referidos a las mismas variables, sino que nos preocupemos también de ampliar la atención a los cambios que intervienen en el espacio y el tiempo. De esa preocupación depende el que se pueda considerar la evaluación como una forma de los conocimientos educativos. El ritmo de la transformación de los escenarios educativos se ha ido acelerando a la vez que se han producido otras transformaciones en la vida social. No hay duda de que, por ejemplo, los procesos de industrialización que han caracterizado la historia social europea en los últimos dos o tres siglos han cumplido una función de aceleración de los cambios en las concepciones y las prácticas educativas, lo que, a su vez, ha determinado una abreviación progresiva del tiempo que imponía la necesidad de revisar o sustituir los repertorios interpretativos debido a que se manifestaban contradicciones inmersas en concepciones educativas naturalizadas. Obviamente se ha tratado solo de una aceleración, porque es cierto que también antes afloraban las contradicciones. La cuestión es que eso sucedía mucho más despacio, y ello consistía ajustes secuenciados en el tiempo. He aquí la principal diferencia entre una actividad evaluativa orientada a la continuidad de las interpretaciones (y por tanto incompatible con las contradicciones) y otra que considere el surgimiento de contradicciones como una condición estructural. En este último caso, la evaluación tiene como tarea prioritaria explicar los cambios que intervienen en el eje del espacio (se trata sobre todo de cambios culturales) y en el eje del tiempo (cambios sociales), de ahí

que haga falta sostener la actividad evaluativa con elementos tomados de tres tipos distintos de análisis: - análisis antropológicos. Los estudios sincrónicos revelan las diferencias existentes entre las culturas en términos cognoscitivos, sapienciales y valoriales; - análisis biológicos. Las características biológicas de la especie humana están descritas en su historia evolutiva. La educación ha constituido un factor determinante en el proceso de adaptación; - análisis diacrónicos. Su intento es destacar los cambios producidos a lo largo del tiempo. La investigación evaluativa ha interpretado, a partir de la segunda mitad del S. XX (aunque no ha de olvidarse el insigne precedente del estudio sobre los exámenes finales de la escuela secundaria en la Carnegie Corporation de Nueva York) la dimensión espacial sobre todo en términos de comparación, en tanto que la temporal, o diacrónica, en términos de producción en serie en intervalos más o menos distantes (como los informes TIMSS o PISA). La producción en serie constituye, por el momento, la respuesta más comprometida respecto a la exigencia de considerar los cambios en el eje del tiempo. Este procedimiento refleja la convicción de que las contradicciones afloren de la distribución de variables registradas a lo largo del tiempo. No obstante, el límite de la producción en serie lo constituye el hecho de que cada una de las variables examinadas se ha definido al comenzar la serie. Además, cada elemento de la serie refleja una concepción sincrónica de los fenómenos. En conclusión: si ya está difundida la convicción de que la conciencia del cambio es el punto desde donde ha de partir la investigación educativa, el diseño de los estudios evaluativos del sistema, si bien se atreve con ampliaciones del alcance temporal, refleja modelos sustancialmente sincrónicos y deja todavía demasiado margen para que se sigan dando interpretaciones de sentido común. Pese a los pasos adelante dados, conviene seguir planteándose cómo registrar los cambios. Considerando que la actividad evaluativa se identifica por la diversidad de contextos en que se expresa, si se sitúa esa actividad en una línea temporal o se considera en relación con la vastedad de los conjuntos de variables considerados (de la dimensión didáctica a la de sistema), se obtienen cuatro contextos que dan lugar a otras tantas exigencias evaluativas: 1) si el espacio está circunscrito y el tiempo es breve, la evaluación se califica como sincrónica de microsistema (es el caso de gran parte de la evaluación que acompaña la actividad didáctica, destinada a apreciar los resultados conseguidos gracias a la actividad de instrucción); 2) si el espacio está circunscrito y el tiempo es largo, tenemos una evaluación diacrónica de microsistema, que acompaña el proceso educativo (por ejemplo, sería una actividad tal aquella destinada a reconstruir cómo una escuela concreta ha desarrollado su tarea educativa en relación con el territorio, tomando en consideración el tiempo de dos o más generaciones sucesivas); 3) si el espacio es vasto y el tiempo breve, la evaluación es sincrónica de macrosistema, y tiende mayormente a efectuar comparaciones entre las

poblaciones relativas a los distintos niveles que presentan determinadas variables (es el caso de los estudios comparativos internacionales, pero también de los estudios de carácter periódico que toman como objeto determinados sistemas escolares); 4) por último, si el espacio es vasto y el tiempo largo, la evaluación es diacrónica de macrosistema (sería el caso de los estudios repetidos en intervalos de tiempo que tienden a ofrecer una historia comparada de los sistemas educativos). Aun admitiendo que los cuatro tipos de actividad evaluativa que acabamos de enumerar tengan una consistencia que permite considerarlos por separado, cabe plantearse si no sería oportuno proceder hacia una interpretación más comprensiva. En concreto, a propósito de la evaluación de sistema, ¿las comparaciones entre poblaciones no podrían efectuarse en el contexto de la reconstrucción de la historia comparada de los respectivos sistemas escolares? En términos más generales, ¿se pueden poner en la misma balanza elementos de juicio que ocupan distinto lugar en el eje del tiempo? Se podría observar, con toda razón, que si se plantean estas cuestiones es porque se cree que se puede responder positivamente. Es lo que se ha tratado de hacer en el ámbito de un proyecto (MIVaS, Metodi Inferenziali per la Valutazione di Sistema) fruto de una colaboración entre el Dipartimanto di Progettazione Educativa e Didattica dell’Università Roma Tre y la Amministrazione Provinziale de Bolzano. El fin del proyecto era definir modelos para la evaluación de sistema y desarrollar soluciones que fueran funcionales para ello. La decisión adoptada consistió en centrar la actividad evaluativa en una variable que reflejara contemporáneamente la evolución de la cultura de la escuela (educación formal) y la externa a la escuela (educación informal). Se indicó entonces que esa variable sería la competencia léxica, ya que se presuponía que a medida que el aprendizaje aumentara de nivel, aumentaría la riqueza léxica. La variable se midió a través de análisis de la productividad cultural del alumnado que había asistido al último curso de la escuela secundaria de primer grado desde 1966 hasta 2006. La realización del proyecto MIVaS se tradujo en la elaboración de una teoría interpretativa, la realización de archivos de datos ordenados en sentido diacrónico, la puesta a punto de una metodología para las recogidas de datos sobre el terreno, la proyección y elaboración de instrumental, la definición de modelos de elaboración de datos cuyo fin sería servir de sostén de las inferencias en las que se basaba la evaluación. Un ejemplo puede aclarar el enfoque adoptado. En la mayor parte de los países industrializados, a pesar de las diferencias que reflejan bien los datos IEA y OCDE, se echa de menos un nivel no satisfactorio del aprendizaje en matemática y ciencias. Si nos limitásemos a explicar lo que está sucediendo usando argumentos sincrónicos solamente, deberíamos concluir que los alumnos están desarrollando actitudes de cerrazón cognitiva hacia la matemática y las ciencias. Sin embargo, se trataría de una conclusión totalmente tautológica de la que no se obtendrían elementos útiles para entender las razones de la dificultad que afecta a áreas del aprendizaje que representan de todos modos partes significativas de las tradiciones culturales de los países industrializados. Si se tratase de interpretar las

dificultadas detectadas en el aprendizaje matemático y científico prestando atención a las alteraciones que ha mostrado el alumnado en el dominio de las competencias lingüísticas durante las últimas décadas, se podría llegar a expresar evaluaciones menos parciales: se podría comprobar si el empobrecimiento del léxico, el cambio de los usos sintácticos, la distinta consistencia en el discurso de la hipotaxis y la parataxis no son sino aspectos de la dificultad de aprendizaje que ha ido notándose en relación con la matemática y las ciencias. Igual que la matemática requiere una sintaxis especialmente rigurosa y un uso no ambiguo del léxico, así las ciencias exigen precisión en las descripciones y capacidad para establecer relaciones entre los distintos aspectos de la realidad: en ambos casos se puede considerar que el nivel de la competencia lingüística es una condición para la calidad de las enseñanzas que se pueden aprender en esos sectores. El proyecto MIVaS se propuso contribuir al avance del conocimiento educativo de varios modos: - el primero lo constituyó la revisión crítica de las interpretaciones centradas impropiamente en la asociación sincrónica de los datos a la actividad educativa (pars destruens); - el segundo consiste en la proposición de nuevos modelos interpretativos, que hacen referencia a asociaciones diacrónicas (pars adferens). En ambos casos se trata de una adecuación de la teoría relativa a los fenómenos educativos del que derivan implicaciones importantes en el plano operativo. Para empezar, ha sido posible identificar variables independientes en un lapso temporal largo, que de otro modo no se habrían tenido en cuenta, en tanto que se habrían considerado como independientes variables, que, por el contrario, en una perspectiva temporal más adecuada, muestran su condición evidente de dependientes. Eso explica que a menudo las intervenciones educativas oscilen entre dos líneas de intervención, ambas escasamente eficaces: por un lado, se consideran “características” de los alumnos (por tanto, variables independientes) aspectos de su perfil que habrían de considerarse “efectos” de las experiencias vividas anteriormente; por el otro, se descuida el examen del mejoramiento de las condiciones educativas debido a las intervenciones para cualificar aspectos de la cultura de contexto. La investigación (efectuada en las escuelas de la provincia de Bolzano) sobre las pruebas de composición escrita de los exámenes finales de la enseñanza secundaria de primer grado realizados en un arco de cuarenta años ofreció la posibilidad de darle un vuelco al eje interpretativo señalado antes. El diseño del estudio, que se centró en las pruebas escritas realizadas desde 1966 hasta 2006, consideraba esas dos fechas como t0 y tn respectivamente. Si l0 era el nivel de competencia lingüística en t0 y ln en tn, era posible observar que: - l0 = ln (obviamente tenían que considerarse también los niveles registrados en los tiempos intermedios t1 y t2); - l0 > ln - o bien l0 = ln. De haberse demostrado la relación l0 = ln, nos habríamos hallado ante una situación absolutamente estable, no tanto y no solo en el plano de la educación

escolar, sino también en el de la cultura difusa. De hecho, si se considera lx (donde x es un alumno determinado que se somete a las pruebas de fin del ciclo secundario de primer grado) como la resultante de la interacción entre las experiencias lingüísticas completadas, tendríamos que esa variable proviene en parte de experiencias formales (o bien de la enseñanza de la lengua italiana en la escuela, del uso de la lengua en el contexto del aprendizaje, de los intercambios cognitivos, afectivos y relacionales con los profesores y con los otros alumnos), y en parte de experiencias informales (uso de la lengua italiana en la familia y en el ambiente próximo de vida cotidiana: este último está en buena medida condicionado por los mensajes aprendidos de los medios de comunicación). Por tanto, lx ofrecerá una síntesis entre lf (competencias lingüísticas derivadas de experiencias formales) y li (competencias derivadas de experiencias informales). Como resulta improbable que lf y li (ambas variables se podrían especificar más a fondo) no hayan sufrido variaciones en el arco de cuarenta años, se trata de establecer de qué modo se ha modificado en el tiempo la relación entre l0 y ln y qué aspectos de lf y li han incidido en esa modificación. Una hipótesis que merece mención en varios estudios sobre los efectos de la exposición de los niños y jóvenes a los mensajes de los medios de comunicación (en concreto de la televisión) es que los valores de lx se resienten en una medida creciente enseguida (y con efectos acumulativos, debido a las interacciones lingüísticas entre individuos de edades distintas) pasando de t0 a tn. Si dicha hipótesis se demostrara, se dispondría de un criterio evaluativo para las medidas que afectan al sistema escolar: se debería llegar a la conclusión de que los mejores resultados en las pruebas de composición escrita no están relacionadas con actividades que influyen en el nivel de lf sino más bien con intervenciones destinadas a modificar li: en otros términos, cabe esperar una mejora de los resultados de la educación escolar actuando, antes que sobre aspectos de su funcionamiento, sobre las condiciones de contexto en que se desarrolla la educación formal. Además de fomentar el avance del conocimiento en lo relativo a las interpretaciones, el proyecto MIVaS aportó la elaboración de propuestas metodológicas y de soluciones técnicas e instrumentales cuyas metas eran: - organizar archivos para la documentación de las producciones verbales escritas; - definir procedimientos para la adquisición de textos y la conservación de las tipicidades significativas contenidos en estos (incluidas variantes dialectales, errores ortográficos, etc.); - establecer procedimientos para la elaboración estadística de los datos relativos a las producciones verbales (incluido el cálculo de indicadores descriptivos de la organización del discurso); - producir escalas para la medición de aspectos de la producción verbal escrita con fines comparativos; - realizar repertorios de apoyo a la interpretación de los fenómenos del aprendizaje, como los repertorios léxicos de frecuencia relativos a periodos distintos;

-

desarrollar procedimientos para el cálculo de la consistencia del léxico disponible con referencia a un producto escrito determinado.

El decálogo del estudio MIVaS La teoría que ha permitido el estudio MIVaS se sintetiza en los diez puntos siguientes: 1. La educación es un sistema cultural. 2. El sistema educación se identifica mediante un número enorme de variables. 3. Cada variable interacciona con las demás alterando el sistema. 4. La distribución de cada variable puede ser analizada en momentos distintos en el eje del tiempo. 5. La distribución de cada variable puede ser analizada en extensiones distintas en el eje del espacio. 6. Los factores de variación son tanto internos (organización, didáctica, recursos) como externos a las escuelas (valores y cultura social, etcétera). 7. La evaluación de sistema ha de tomar en consideración las variaciones externas e internas al ejercicio de la educación formal. 8. El equilibrio en el tiempo de la variación interna y externa ofrece los elementos para el expresión del juicio. 9. La competencia verbal es una variable dependiente cuya distribución deriva de factores tanto internos como externos a los sistemas de educación formal. 10. El análisis diacrónico de la distribución de la competencia verbal permite expresar juicios de sistema sensibles que se manifiestan en el tiempo y el espacio.