Efectos de diferentes tipos y formatos de preguntas en la evaluación continua de la comprensión lectora en inglés: Diseño de pruebas y análisis de resultados

© LOS AUTORES. © UNIVERSIDAD DE GRANADA INNOVACIÓN DOCENTE Y BUENAS PRÁCTICAS EN LA UNIVERSIDAD DE GRANADA (VOLUMEN 1). ISBN: 978-84-338-5416-2 (Obra completa). ISBN: 978-84-338-5400-1 (Volumen 1). Depósito legal: Gr./2.131-2012 Edita: Editorial Universidad de Granada, Campus Universitario de Cartuja. Granada. Diseño gráfico: TADIGRA, S.L. Granada Diseño de cubierta: José María Medina Alvea. Printed in Spain

Impreso en España

Cualquier forma de reproducción, distribución, comunicación pública o transformación de esta obra sólo puede ser realizada con la autorización de sus titulares, salvo excepción prevista por la ley. Diríjase a CEDRO (Centro Español de Derechos Reprográficos www. cedro.org), si necesita fotocopiar o escanear algún fragmento de esta obra.

EFECTOS DE DIFERENTES TIPOS Y FORMATOS DE PREGUNTAS EN LA EVALUACIÓN CONTINUA DE LA COMPRENSIÓN LECTORA EN INGLÉS: DISEÑO DE PRUEBAS Y ANÁLISIS DE RESULTADOS (PID 9-205) ÁNGELES LINDE LÓPEZ, CELIA WALLHEAD, PILAR VILLAR ARGÁIZ y EUGENIA ESPERANZA NÚÑEZ NOGUEROLES (CPEP)

1. ANTECEDENTES La necesidad de cambio propuesta por el Espacio Europeo de Educación Superior y la implantación de los nuevos planes de estudios de Grado en Estudios Ingleses requieren una reflexión profunda en el ámbito específico de la evaluación. Para ello, se hace imprescindible indagar de forma progresiva en el complejo campo de la evaluación con el fin de elaborar criterios fiables y métodos idóneos en consonancia con los contenidos y objetivos de las diversas materias. El Proyecto de Innovación propuesto continúa con la necesidad de llevar a cabo acciones desarrolladas anteriormente en el Departamento de Filologías Inglesa y Alemana en esta misma dirección. De estas acciones, unas estuvieron dirigidas a obtener información de los estamentos implicados en los estudios de Filología Inglesa, cuyos resultados se contemplan en el “Informe de Evaluación de la Licenciatura en Filología Inglesa” (2001); otras acciones proporcionaron información actualizada para los alumnos que cursan dichos estudios, finalidad del Proyecto de Mejora “Revisión y difusión del programa formativo” (2006-2007).

814

EFECTOS DE DIFERENTES TIPOS Y FORMATOS DE PREGUNTAS´...

Finalmente, el Proyecto de Mejora “Criterios y Métodos de Evaluación en la Titulación de Filología Inglesa (2007-2008) estableció líneas de actuación concretas con respecto a la evaluación de las asignaturas del primer ciclo de la Licenciatura de Filología Inglesa (Linde López, A. 2008). Es este último proyecto, sin duda, la fuente directa de inspiración de la que se nutre el presente Proyecto de Innovación. Sus resultados y conclusiones vinieron a ratificar la importancia que la evaluación tiene en el marco educativo, así como la necesidad de trabajar en un objetivo común en el ámbito de los estudios de Filología Inglesa. La puesta en práctica de unos criterios de evaluación y los instrumentos pertinentes para su consecución es un proceso complejo que requiere de compromisos y negociaciones para su seguimiento y posterior análisis razonado de los resultados; por lo que es necesario un tiempo de experimentación y maduración para ver realmente los frutos. Es, pues, a partir de esta experiencia de la que arranca la propuesta de este proyecto de innovación, con el objetivo de profundizar en el diseño de pruebas fiables en el marco de una evaluación continua con respecto a una disciplina en concreto: Inglés Instrumental III, cuya docencia corre a cargo del equipo de trabajo de este proyecto. Esta asignatura, obligatoria en la actual Licenciatura de Filología Inglesa, consiste fundamentalmente en un curso práctico a nivel avanzado de las técnicas de lectura, las estructuras gramaticales y el vocabulario del inglés. Los alumnos llegan a cursar esta asignatura con un bajo nivel de comprensión lectora en inglés, debido en gran parte a la falta de un proceso de aprendizaje enfocado en el desarrollo de estrategias conducentes a la adquisición de esta competencia. La deficiente habilidad lectora es reconocida generalmente como una de las debilidades del sistema educativo español como así lo han demostrado estudios llevados a cabo de ámbito internacional. Para mejorar esta situación y considerando la evaluación un instrumento de enseñanza y aprendizaje en sí misma: “[Authentic assessment] uses such forms of assessment that reflect student learning, achievement, motivation and attitudes on instructionally-relevant classroom activities ... Authentic assessment also emphasizes the importance of the teacher’s professional judgement and commitment to enhancing student’s learning” (Kohonen 1997:13), nos proponemos estudiar el diseño de pruebas desde una perspectiva multidimensional, en concordancia con los criterios de evaluación establecidos en el proyecto de mejora anteriormente mencionado así como con las competencias descritas para la comprensión lectora en el modulo de

INNOVACIÓN EN LA EVALUACIÓN DE LOS ESTUDIANTES

815

Lengua Inglesa I de la nueva Titulación de Grado en Estudios Ingleses. Por tanto, creemos que el proyecto es innovador y sus resultados redundarán beneficiosamente no solamente en el proceso de evaluación de la competencia lectora, sino en las implicaciones metodológicas que se podrán derivar para la enseñanza de esta competencia. Además, las conclusiones alcanzadas podrán ser de gran utilidad en otras asignaturas que desarrollen competencias semejantes, no solamente en nuestra especialidad, sino muy especialmente en las distintas filologías.

2. DESCRIPCIÓN El modelo de evaluación que proponemos está ampliamente documentado en una serie de estudios realizados en este campo así como en trabajos previos de la propia coordinadora (Linde López, A. 2008). Abundantes trabajos de investigación han demostrado que los métodos que usamos para medir la habilidad lingüística influyen en la realización de las pruebas (Bachman 2000, Brantmeier 2005, 2009, Riley y Lee 1996, Shohamy 1984, Trites y McGroarty 2005, Upshur y Turner 1999, Wolf 1993), por lo que son numerosos también los autores que convergen desde diferentes perspectivas en la importancia que tiene el diseño de las pruebas de evaluación para anticipar, prever y paliar posibles inconvenientes (Alderson, 2000). Si el principal objetivo de las pruebas (tests) es proporcionar una medida válida y fiable de la competencia lectora de los alumnos, los profesores deberíamos tratar de minimizar lo más posible la influencia de aquellos factores que puedan intervenir en los resultados de las mismas, aún cuando se trate de un proceso tan complejo como el de la habilidad lingüística que nos ocupa. Bachman (1990:156) reconoce que es necesario prestar atención a las diferentes dimensiones o facetas de los instrumentos de medida, test method facets, que clasifica en cinco categorías. Este proyecto se centra concretamente en la naturaleza de la respuesta que se espera del alumno y su relación con los tipos de preguntas. En él participaron un total de 118 alumnos pertenecientes a los tres grupos (A, B y C) de la asignatura de Inglés Instrumental III, durante el curso académico 2009-2010, generando un total de 472 pruebas corregidas. Tanto la docencia como el diseño y corrección de las pruebas corrió a cargo del profesorado integrante del equipo del proyecto.

816

EFECTOS DE DIFERENTES TIPOS Y FORMATOS DE PREGUNTAS´...

3. OBJETIVOS Teniendo en cuenta lo anteriormente expuesto, el objetivo fundamental de este proyecto es analizar la comprensión lectora de los alumnos de la asignatura de Inglés Instrumental III mediante una evaluación continua basada en el diseño de diferentes tipos de preguntas y formatos, con el fin de investigar hasta qué punto las pruebas utilizadas afectan a los resultados y en qué modo el proceso de retroalimentación puede potenciar el aprendizaje de esta habilidad lingüística. Para ello, nuestros objetivos se centraron en: 1. Comparar los efectos de diferentes formatos y tipos de preguntas en la evaluación de la comprensión lectora en inglés. 2. Analizar la influencia del tipo de texto, ya sea fundamentalmente informativo y/o argumentativo, así como su temática, atendiendo a un contenido académico o general, en los resultados/calificaciones de las pruebas. 3. Involucrar al alumno en un proceso responsable de auto-evaluación y aprendizaje autónomo mediante la evaluación continua y la utilización de la plataforma Swad. 4. Homogeneizar los niveles de exigencia de la asignatura de Inglés Instrumental III basados en criterios serios de evaluación y en métodos fiables. 4. ACTIVIDADES REALIZADAS Con el objetivo de comparar los efectos de diferentes formatos y tipos de preguntas en la evaluación de la comprensión lectora en inglés, se realizaron cuatro pruebas que se administraron a los alumnos durante los meses de diciembre y enero. Para cada una de estas pruebas, se diseñaron cuatro versiones con tipos distintos de formatos de preguntas, aunque todas ellas estaban orientadas a obtener la misma información independientemente del tipo de formato utilizado. En su conjunto, estas preguntas requerían del alumno fundamentalmente identificar, sintetizar y evaluar el contenido de los textos. — Versión A Multiple-choice questions. — Versión B Complete the sentences using your own words. — Versión C Fill the gap with a suitable word or phrase.

INNOVACIÓN EN LA EVALUACIÓN DE LOS ESTUDIANTES

817

— Versión D Identify paragraphs by assigning them to suggested titles and match names and concepts. Para la elaboración de las pruebas, se eligieron textos escritos (Readings) de dos tipos de fuentes: Artículos de prensa para las pruebas 1 y 3 fundamentalmente de carácter informativo, y ensayos académicos para las pruebas 2 y 4 fundamentalmente de carácter argumentativo, con diferente temática, teniendo en cuenta los intereses generales y propios del entorno académico. Una vez corregidas las pruebas (1, 2, 3 y 4), diseñadas en cuatro formatos diferentes (A, B, C y D), con el fin de dar respuesta a los objetivos planteados, se realizaron diversos tipos de análisis, fundamentalmente a) un procedimiento de comparación de las medias por versión y reading y b) un análisis multifactorial. (Véase Brantmeier, 2004 para mayor información sobre los procedimientos estadísticos en la investigación de la comprensión lectora y Bachman, 2004 sobre el análisis estadístico para la evaluación de la lengua).

5. RESULTADOS A) Para el primer análisis se aplicó un procedimiento de comparación múltiple para determinar las medias que eran significativamente diferentes unas de otras según versión y según reading. I. Tabla 1. Contraste Múltiple de Rangos para Marks según Versión. Versión Frecuencia Media --------------------------------------------B 118 5,18 C 118 5,83 D 118 6,33 A 118 6,79 --------------------------------------------Contraste Diferencias --------------------------------------------A-B * 1,60302 A-C * 0,954064 A-D 0,455564 B-C * - 0,64896 B-D * - 1,14746 C-D * - 0,498501 ---------------------------------------------

* indica una diferencia significativa a un nivel de confianza 95,0%.

818

EFECTOS DE DIFERENTES TIPOS Y FORMATOS DE PREGUNTAS´...

II. Tabla 2. Contraste Múltiple de Rangos para Marks según Reading. Reaging Frecuencia Media --------------------------------------------4 118 4,57 1 118 6,26 2 118 6,46 3 118 6,84 --------------------------------------------Contraste Diferencias --------------------------------------------1-2 - 0,19431 1-3 * - 0,575097 1-4 * 1,69148 2-3 - 0,380787 2-4 * 1,88579 3-4 * 2,26657 --------------------------------------------* indica una diferencia significativa a un nivel de confianza 95,0%.

B) Se llevó a cabo un análisis factorial para identificar qué factores explican lavariedad de resultados en las diferentes pruebas. Análisis de varianza, Anova factorial: Variable dependiente: puntos (marks) Factores: versión y reading.

Tabla 3. Análisis de Varianza para Marks - Sumas de cuadros de tipo III. Fuente

Suma de GL Cuadrado Cociente-F P-Valor cuadrados Medio ---------------------------------------------------------------------------------------------------Efectos principales A Versión

165, 739

3

B Reading

341, 116

3

55, 2464 113, 705

15,75

0,0000

32,41

0,0000

RESIDUOS 1631, 4 465 3, 50839 ---------------------------------------------------------------------------------------------------TOTAL (corregido)

2130, 74

472

Dado que 2 p-valores son inferiores a 0,05, estos factores tienen efecto estadísticamente significativo en Marks para un 95,0%.

INNOVACIÓN EN LA EVALUACIÓN DE LOS ESTUDIANTES

819

Finalmente, tratamos de averiguar cuáles fueron las combinaciones de formatos de preguntas (versiones) y textos (readings) que tuvieron como resultado las mejores o peores calificaciones. Como se observa en los gráficos de interacción, la versión D (n° 4 en el gráfico) del reading 3 obtuvo la media más alta, mientras que la versión B (n° 2 en el gráfico) del reading 4 dio lugar a la media más baja.

!"# $% & ' () *+,)"-& & % .+ 72 3

< )- (%+= : ; 1 4

8 - "90

62 3 32 3 52 3 42 3 12 3 :

;

1

4

/ )"0 %'+

!" #$ % &'() '*+,)!-% % $ .+ = )! :$&+ ; < 1 4

72 3

8 - ! 9:

62 3 32 3 52 3 42 3 12 3 ;

<

1

/)-($ +0

4

820

EFECTOS DE DIFERENTES TIPOS Y FORMATOS DE PREGUNTAS´...

Los datos obtenidos (véase tabla 1) avalan la veracidad del objetivo principal de proyecto, cual es, que el tipo de formato de pregunta afecta a los resultados evaluación de la comprensión lectora, ya que las medias de las calificaciones versiones de las pruebas A y D fueron superiores a las medias de las versiones B y C, siendo estas diferencias estadísticamente significativas a un nivel de confianza 95,0%, excepto entre las versiones A y D. Tabla 4. Escala de dificultad de las versiones Más difícil ↓ versión B : Complete the sentences using your own words. ↓ versión C : Fill the gap with a suitable word or phrase. ↓ versión D : Identify paragraphs by assigning them to suggested titles and match names and concepts. versión A : Multiple-choice questions. Más fácil

Del análisis de los distintos formatos, se podrían deducir, en principio, dos causas fundamentales: 1) La primera es que posiblemente sea debido a que para contestar las versiones A y D, los alumnos solamente necesitan una comprensión superficial, mientras que para los otros formatos requieran una comprensión más profunda. Ello indica que nuestros estudiantes tienen facilidad para identificar información específica en el texto, siempre y cuando dispongan de una serie de posibilidades entre las que elegir, corroborando la conclusión alcanzada, entre otros, por Trites y McGroarty (2005:200). 2) La segunda razón apunta a que los estudiantes, aun cuando sean capaces de encontrar en el texto las respuestas a las preguntas, tienen problemas a la hora de expresarse en inglés y verbalizar el contenido del mismo. De ahí que tengan dificultad al tener que responder a preguntas sobre el texto utilizando sus propias palabras (actividad fundamental en la que se basa la versión B del examen). Sin embargo, al evaluar las respuestas, tuvimos en cuenta fundamentalmente comunicación del contenido más que la corrección del inglés. De esta manera, tratamos de evitar en la medida de lo posible que la puntuación se viera afectada por la interferencia de la destreza de la escritura. En cuanto al tipo de texto: Artículos de prensa para las pruebas 1 y 3 fundamentalmente informativos, y ensayos académicos para las pruebas 2 y 4 fundamentalmente argumentativos, los resultados obtenidos (véase tabla 2) arrojaron luz en dos direcciones: 1) por un lado,

INNOVACIÓN EN LA EVALUACIÓN DE LOS ESTUDIANTES

821

no confirman que esta variable (tipo de texto) haya sido determinante para la mejor o peor comprensión de los textos. Como se aprecia en la escala de dificultad (tabla 4): Readings 4, 1, 2 y 3, los textos resultaron más o menos difíciles independientemente del tipo de texto, habiendo una leve diferencia significativa entre textos del mismo tipo (textos 1 y 3) y resultando el 4 significativamente más difícil que el resto a un nivel de confianza 95,5%. Tras una lectura minuciosa, consideramos que la dificultad encontrada por los alumnos texto de la prueba 4 pueda deberse principalmente a la complejidad lingüística del autor para llevar a cabo su argumentación. No siendo éste el objetivo principal del proyecto, consideramos, no obstante, que esta cuestión plantea interesantes interrogantes que quedan abiertas a futuras indagaciones. 2) Por otro lado, resaltar, sin embargo, que el texto utilizado (reading), independientemente de la tipología establecida (“tipo de texto”), sí fue un factor estadísticamente significativo en las puntuaciones de los alumnos. Además, en nuestros análisis pudimos constatar cuáles fueron las combinaciones de formatos de preguntas (versiones) y 1 textos (readings) que tuvieron como resultado las mejores o peores calificaciones, siendo la versión D del reading 3 la que obtuvo la media más alta, mientras que la versión B del reading 4 dio lugar a la media más baja. Para la consecución del tercer objetivo: Involucrar al alumno en un proceso responsable auto-evaluación y aprendizaje autónomo mediante la evaluación continua (Cassiddy 2007) y la utilización de la plataforma Swad, se llevó a cabo el siguiente procedimiento. Después de cada prueba, los alumnos en grupos de cuatro, cada uno con una versión distinta del examen, realizaron una clase práctica, confrontando, argumentando y reflexionando sobre las respuestas requeridas. Asimismo, se utilizó la plataforma Swad para que los alumnos pudieran acceder a los resultados de las pruebas y a las respuestas correctas. Finalmente, con respecto a nuestro cuarto objetivo: Homogeneizar los niveles de exigencia de la asignatura de Inglés Instrumental III basados en criterios serios de evaluación y en métodos fiables, se acordó un conjunto de especificaciones para cada una de las pruebas con respecto al contenido, formatos, duración de la prueba, niveles de exigencia y procedimiento de puntuación. Con el fin de contrastar los resultados por grupo, A, B y C, se hallaron las notas medias de las cuatro pruebas para cada grupo. Los datos (véase tabla 5) muestran la ausencia de discrepancias significativas entre

822

EFECTOS DE DIFERENTES TIPOS Y FORMATOS DE PREGUNTAS´...

los tres grupos. Aunque sí se aprecian ciertas diferencias, éstas pueden deberse fundamentalmente al nivel de los alumnos. El grupo A suele estar integrado en general por los mejores alumnos del curso y por la mayoría de alumnos de Erasmus que cursan esta asignatura. Tabla 5. Medias con 95,0 intervalos LSD

Frecuencia Media Límite inf. Límite sup. -------------------------------------------------------------------------------------------Grupo A 196 26,09 25,56 26,63 Grupo B 76 23,69 22,84 24,55 Grupo C 200 22,17 21,64 22,70 -------------------------------------------------------------------------------------------Total 472 24,04 23,70 24,39

6. VALORACIÓN GLOBAL Consideramos que el presente proyecto de innovación contribuye al conocimiento y desarrollo del complejo campo de la evaluación de la comprensión lectora en inglés, aportando resultados obtenidos mediante análisis estadísticos fiables. Sus conclusiones redundarán beneficiosamente no solamente en el proceso de evaluación de la competencia lectora en inglés, sino en las implicaciones metodológicas que se podrán derivar para la enseñanza de esta competencia fundamentalmente, la utilización de distintos formatos y tipos de preguntas para fomentar la lectura desde una perspectiva multidimensional. Además, las conclusiones pueden ser de gran utilidad en otras asignaturas de nuestra especialidad que desarrollan competencias semejantes e, incluso, en otras filologías. La comprobación individualizada de los errores así como de los aciertos pretendía involucrar al alumno en un proceso responsable de autoevaluación y aprendizaje autónomo, en coherencia con nuestro concepto de evaluación continua como instrumento de aprendizaje. Todo ello ha redundado muy satisfactoriamente en el elevado porcentaje de alumnos que aprobaron la comprensión lectora en la evaluación continua, 83%, lo cual avala la eficacia de la metodología. La labor coordinada de todos los profesores que impartimos esta asignatura repercutió muy favorablemente en la homogeneización de los niveles de exigencia de la asignatura de Inglés Instrumental III basados

INNOVACIÓN EN LA EVALUACIÓN DE LOS ESTUDIANTES

823

en criterios serios de evaluación y en métodos fiables. Por tanto, en nuestra opinión, la metodología diseñada en este proyecto beneficia el proceso de evaluación, evitando que los alumnos sean calificados con distintos parámetros y niveles de exigencia. Finalmente, en cuanto a las posibilidades de mejora de este proyecto, consideramos que la realización del proceso de evaluación continua debería abarcar al menos seis meses completos. De este modo, el alumno tendría más tiempo para experimentar, madurar y desarrollar su competencia lectora así como para familiarizarse con los diferentes tipos de formatos diseñados. Creemos también que es necesario un estudio riguroso del tipo de texto que se utilizará en la elaboración de las pruebas, con el fin de obtener resultados fiables con respecto a la influencia de esta variable en la comprensión lectora en inglés. Además, para subsanar aspectos subjetivos que puedan interferir en las calificaciones, sería deseable una doble o triple corrección.

7. BIBLIOGRAFÍA Alderson, J.C. (2000). Assessing reading ability. Cambridge: Cambridge University Press. Bachman, L.F. (1990:156). Fundamental considerations in language testing. Oxford: Oxford University Press. Bachman, L.F. (2000). Modern language testing at the turnof the century: assuring that what we count counts. Language Testing 17, 1-42. Bachman, L.F. (2004). Statistical analyses for language assessment. Cambridge: Cambridge University Press. Brantmeier, C. (2004). Statistical procedures for research on L2 reading comprehension: An examination of ANOVA and Regression Models. Reading in a Foreign Language 16 (2), 51-69. Brantmeier, C. (2005). Effects of reader’s knowledge, text type and test type on L1 and L2 reading comprensión. The Modern Language Journal 89 (1), 37-53. Brantmeier, C. (2009). Crossing languages and research methods: analyses of adult foreing language reading. Book Series entitled Research in Second Language Learning. Greenwich CT: Information Age Publishing. Cassidy, S. (2007). Assessing `inexperienced´ students’ability to self-assess: exploring links with learning style and academic personal control. Assessment and Evaluation in Higher Education 32 (3), 313-330. Informe de Evaluación de la Licenciatura en Filología Inglesa (2001). Secretariado de Evaluación de la Calidad Docente Universidad de Granada.

824

EFECTOS DE DIFERENTES TIPOS Y FORMATOS DE PREGUNTAS´...

Kohonen, V. (1997). Authentic assessment as an integration of language learning, teaching, evaluation and the teacher’s professional growth. En Huhta, A., Kohonen, V. Kurki-Suonio, L. y Luona, S. (eds.) Current developments and alternatives in language assessment: Proceedings of LTRC 96. Jyväskyla: University of Jyväskyla. Linde López, A. (ed.). 2008. Criterios y métodos de evaluación en la Titulación de Filología Inglesa (2007-2008). Granada: Ediciones copicentro S.L. Riley, G.L. y Lee, J.F. (1996). A comparison of recall and summary protocols as measures of second language reading comprehension. Language Testing 13 (29), 173-90. Shohamy, E. (1984). Does the testing method make the difference? The case of reading comprehension. Language Testing, 1, 47-170. Trites, P. y McGroarty, M. (2005). Reading to learn and reading to integrate: new tasks reading comprehension tests? Language Testing 22 (2), 174-210. Upshur, J.A. y Turner, C.E. (1999). Systematic effects in the rating of second language speaking ability: test method and learner discourse. Language Testing, 16, 82-111. Wolf, D. (1993). A comparison of assessment tasks used to measure FL reading comprehension. Modern Language Journal, 77, 473-489.

VOLVER AL ÍNDICE