DIVERSIDAD EN LOS INSTRUMENTOS DE EVALUACIÓN: CASO PRÁCTICO Y VALORIZACIÓN ESTUDIANTIL

DIVERSIDAD EN LOS INSTRUMENTOS DE EVALUACIÓN: CASO PRÁCTICO Y VALORIZACIÓN ESTUDIANTIL Rodrigo F. Herrera V. Escuela de Ingeniería Civil, Facultad de Ingeniería, Pontificia Universidad Católica de Valparaíso [email protected]

Resumen: El artículo presenta, a partir de un caso práctico, la importancia de diversificar los instrumentos para la evaluación del aprendizaje en cursos universitarios, específicamente, en carreras de ingeniería. El caso práctico que se presenta se enmarca en la ejecución del curso “Planificación y Control de Proyectos” realizado a treinta y siete estudiantes de la carrera de Ingeniería Civil de la PUCV. Se planificó, diseño y ejecuto un sistema que contiene diversos instrumentos de evaluación del curso, los cuales buscan evidenciar el logro de los resultados de aprendizaje (RA) plasmados en el programa de la asignatura. Luego, durante el curso se diseñó una encuesta de percepción, en donde los estudiantes debían valorizar el logro de cada RA y el aporte de cada instrumento de evaluación para la consecución del RA (o del aprendizaje esperado) específico. Los resultados obtenidos muestran que la diversidad de instrumentos de evaluación produce mejoras en la percepción de logro de los resultados de aprendizaje en los propios estudiantes, siendo las tareas aplicadas y proyectos las herramientas más valorizadas y las pruebas y controles las menos valorizadas. Esto no quiere decir que la recomendación sea realizar sólo actividades tipo proyectos, sino que diversificar los instrumentos, ya que el aporte de cada uno es distinto para la consecución final del resultado de aprendizaje. Palabras claves: diversidad de instrumentos de evaluación, educación superior, resultados de aprendizaje, proyectos, valorización estudiantil INTRODUCCIÓN Según el modelo de alineamiento constructivo, el diseño de enseñanza alineada, ubica los objetivos curriculares en el centro y de estos objetivos se toman decisiones acerca de cómo enseñarlos y evaluarlos (Biggs y Tang, 2007). En base a esto la tarea fundamental del profesor consistirá en lograr que sus alumnos realicen actividades de aprendizaje que, con mayor probabilidad, les lleven a alcanzar los resultados esperados. Lo que hace el estudiante es, en realidad, más importante para determinar lo que aprende, que lo que hace el profesor (Shuell, 1986). En muchas Escuela de Ingeniería se tiene la concepción del evaluación como una actividad que sólo permite calificar, sin responder necesariamente a los cambios en los procesos formativos orientados al desarrollo de competencias y conocimientos. Algunas características de esta visión son: el énfasis en lo cualitativo, el castigo ante el error, la orientación al resultado y además es considerada un fin en sí misma. Desde el punto de vista de los estudiantes la evaluación define siempre el currículo real (Ramsden, 1992). Los estudiantes aprenden lo que creen que se les propondrá en la prueba o en un examen. En un sistema no alineado, en el que los exámenes no reflejan los objetivos, esto se traduce en un aprendizaje superficial e

inadecuado. Los conocimientos de los estudiantes adoptan la forma que creen que les bastará para satisfacer las exigencias del instrumento de evaluación planteado por el profesor (Biggs y Tang, 2007). Hoy en día ya no se habla sólo de evaluación, sino de evaluación para el aprendizaje. Esto quiere decir que ya no se enmarca sólo en la medición y pasa de lo cuantitativo a lo cualitativo, constituyendo la evaluación formativa como el punto de encuentro entre el enseñar y el aprender. La evaluación es un proceso sistemático y continuo que ayuda a determinar el grado de consecución de los objetivos, con la finalidad de retroalimentar el proceso de enseñanza aprendizaje. Según Sanmartí (2007) es necesario diversificar los instrumentos de evaluación. Dado que cualquier aprendizaje contempla diversos tipos de objetivos, es preciso que los instrumentos de recogida de información sean múltiples y variados. Dentro de los instrumentos de evaluación se pueden clasificar según el tipo de contenido que evalúa (Tabla 1) y también según el momento que se realiza y los objetivos que corresponden (Inicial o diagnóstica, Continua o formativa, Final o sumativa) Tabla 1: Contenidos y Herramientas de Evaluación (Fuente: Centro de Tecnología Educativa, 2013) Contenidos Detalle Herramientas de Evaluación Mapas conceptuales Conceptos, datos y Pruebas objetivas Declarativos hechos Ensayos Videos Ejecución de Prueba de casos Procedimientos, Simuladores Procedimentales técnicas, habilidades, Juego de Roles destrezas y métodos Proyectos Autoevaluación Actitudes Reflexiones Actitudinales Valores Encuestas Normas Entrevistas Colectivas

DESARROLLO El caso de estudio se enmarco en el curso de primer semestre del año 2015 de la asignatura “Planificación y Control de Proyectos”, realizado en la Escuela de Ingeniería Civil de la Pontificia Universidad Católica de Valparaíso. Según el programa de estudio de la asignatura, ésta se define como teórica y práctica, ubicándose en el noveno semestre de la carrera. Asimismo, se enmarca en el eje de formación profesional, específicamente en el área de asignaturas complementarias. El conocimiento de las mejores prácticas y la aplicación de una metodología de dirección de proyecto apuntan a desarrollar en los estudiantes las competencias, que le aseguren el éxito en los proyectos que dirijan, es decir, que cumplan con la triple restricción: desempeño, costo, y tiempo. Los principales resultados de aprendizaje se exponen en la Tabla 2. Tabla 2: Resultados de Aprendizaje del Curso. (Fuente: Programa de asignatura, 2014) Los estudiantes serán capaces de: RA1 Definir el objetivo y alcance de un proyecto y elaborar la estructura de desglose del trabajo. RA2 Definir los roles y responsabilidades del director del proyecto y de los miembros del equipo RA3 Elaborar cronogramas de actividades y presupuestos para la ejecución de proyectos.

RA4

Aplicar habilidades de trabajo en equipo, liderazgo y comunicación.

Los instrumentos de evaluación que son considerados para el curso son variados y cada uno tiene una ponderación con respecto a la nota de presentación al examen. Los instrumentos de evaluación, sus características y ponderación en la nota de presentación se detallan en la Tabla 3 y se representan de acuerdo a su temporalidad en la Figura 1.

Figura 1. Temporalidad instrumentos de evaluación. (Fuente: Elaboración propia)

Tabla 3: Instrumentos de evaluación curso CIV 551. (Fuente: Elaboración propia) Tipo de Evaluación

Instrumento

Evaluaciones sumativas

Tres Pruebas de Cátedra

Foros

Evaluaciones Intermedias

Tareas

Controles

Proyecto Semestral

Dos Informes de avance

Características Las pruebas de cátedras [más adecuados para evaluar el conocimiento declarativo (Biggs, 2005)] tienen tres tipos de reactivos: selección múltiple, verdadera y falsa, desarrollo. Los estudiantes deben investigar acerca de un tema particular y aplicarlo a un caso específico. El objetivo es que todos los estudiantes puedan aprender de forma cooperativa, además de fomentar competencias de investigación, análisis y aplicación. Los estudiantes deben realizar tareas de aplicación de casos de estudios, tales como, desarrollo de presupuestos, matrices de comunicación, aplicación de metodología de earn value, entre otros Controles durante de clase de carácter sumativo y formativo, que tienen como objetivo identificar falencias de los estudiantes, retroalimentarlos, ocupar como oportunidades de aprendizaje sus errores, para que ellos lograr de mejor forma los resultados de aprendizaje Los estudiantes deben plasmar en un informe escrito los documentos más relevantes relacionados con la

Ponderación

40%

30%

30%

Tipo de Evaluación

Instrumento

Informe final

Presentación oral Evaluación Final

Examen

Características

Ponderación

planificación de proyectos. Estos información son contienen los avances relacionados temporalmente con los resultados de aprendizaje abordados durante el trascurso del curso. Además, cada informe debe contener los planes nuevos y los planes del informe anterior corregidos. Los estudiantes deben plasmar en un informe escrito los documentos más relevantes relacionados con la planificación y control de proyectos, y que a la vez estén relacionados con los resultados de aprendizaje del curso. Entrega al final del semestre. Los estudiantes deben realizar una presentación oral del proyecto que ellos planificaron durante todo el curso, abordando los planes más importantes que se relacionan con los resultados de aprendizaje. Los estudiantes deberán demostrar el dominio de los resultados de aprendizaje del curso a partir de un examen final.

Metodología Si bien, el curso se evalúa en casi su totalidad a partir de una hetero evaluación, ocupando como instrumentos de evaluación los que se presentan en la Tabla 3, para efectos de este estudio se realizó una encuesta de percepción en donde los estudiantes en primera instancian debían realizar una autoevaluación valorizando el logro percibido por ellos mismos de los resultados de aprendizaje más relevantes que se plantean en el programa del curso (Tabla 2). La escala de valorización es de 1 a 5, en donde 1 significa que el resultado de aprendizaje (RA) no fue logrado y 5 implica que el RA fue completamente logrado. En una segunda parte de la encuesta, se les solicitó a los estudiantes valorizar el aporte de cada uno de los instrumentos de evaluación (Tabla 3) con respecto a cada uno de los resultados de aprendizaje del curso (Tabla 2). La escala de valorización es de 1 a 5, en donde 1 significa que el instrumento de evaluación no tiene ningún aporte en el resultado de aprendizaje en particular, mientras que 5 implica que el instrumento es un aporte realmente significativo para el estudiante, para que éste puede lograr el resultado de aprendizaje. Finalmente, la encuesta contaba con una sección abierta en donde los estudiantes podían realizar cualquier comentario relacionado con el uso de los instrumentos de evaluación. Análisis y Resultados La encuesta fue contestada voluntariamente por 36 estudiantes de la asignatura, es decir un 97.29% de los participantes del curso del año 2015.

Con respecto a la autoevaluación del curso, es decir, la percepción personal que tienen los estudiantes con respecto al logro de los resultados de aprendizaje planteados en el curso, se obtuvieron los resultados que se presentan en la Figura 2.

Figura 2: Autoevaluación. (Fuente: Elaboración Propia)

Dentro de los resultados de aprendizaje planteados en la Tabla 2, los primeros tres tienen características de contenidos declarativos y procedimentales y el último RA tiene características puramente actitudinales. Como se observa en la Figura 2, todos los resultados de aprendizajes muestran una percepción de logro promedio, entre alta y muy alta, siendo incluso el más alto el RA4 que tiene que ver con la aplicación de habilidades de trabajo en equipo, liderazgo y comunicación. Por otro lado, también se puede apreciar que la percepción de los estudiantes es bastante homogénea, ya que en todos los resultados de aprendizaje se generan coeficientes de variación menores a 0.18. Estos valores son optimistas y por cierto algo mayores a los porcentajes de logro medidos durante el curso, es decir, que si estos datos se contraponen con los resultados de los instrumentos de evaluación aplicados en el curso, en éstos últimos se obtienen porcentajes de logro del 81% en promedio entre todos los instrumentos aplicados (pruebas de cátedra 69%, controles y tareas 88%, proyecto semestral 89%) En la segunda parte de este estudio se recopiló la información acerca del aporte de cada instrumento de evaluación para la consecución del logro de los resultados de aprendizaje planteados en la Tabla 2, con respecto a esto se obtuvieron los resultados que se presentan en la Figura 3.

Figura 3: Aporte de los instrumentos de evaluación para el logro de los resultados de aprendizaje (Fuente: Elaboración Propia)

En los primeros tres resultados de aprendizaje (procedimentales), se puede observar una forma similar con respecto a la valorización promedio de cada instrumento en cada RA. Siendo claramente percibidas con una valorización mayor las herramientas que se ajustan mucho más a los contenidos procedimentales, tales como, tareas y foros de casos prácticos y el proyecto semestral, tal y como se indica en la Tabla 1. Si bien, en estos primeros tres RA las pruebas de cátedra y controles tienen una valorización menor que los otros instrumentos, su valor es igual a superior en promedio a 3.9 en la escala de valorización de 1 a 5, es decir, la percepción de los estudiantes acerca de las herramientas de evaluaciones tradicionales como pruebas y controles es positiva, considerando que éstas herramientas son mayormente utilizadas para medir contenidos declarativos. El resultado de aprendizaje cuatro (RA4) tiene como objetivo medir contenidos actitudinales. Este tipo de contenidos pueden ser medidos con herramentales, tales como, autoevaluaciones, coevaluaciones, entrevistas individuales y grupales o encuestas, entre otras. Si bien este resultado de aprendizaje es parte de la asignatura, en base a la evidencia histórica del curso, éste RA no es calificado por parte de los académicos que lo dictan, lo que no quiere decir, que no sea evaluado. En este caso en particular, el RA4 fue evaluado a través de entrevistas individuales y grupales, encuestas, y coevaluaciones. Ninguno de los cuatros instrumentos de evaluación presentados en el estudio son instrumentos que permiten evaluar directamente este resultado de aprendizaje, el cual busca que los estudiantes sean capaces de aplicar habilidades de trabajo en equipo, liderazgo y comunicación. Ahora bien, los estudiantes si pueden valorizar el aporte que entrega cada uno de los instrumentos en el desarrollo y potenciamiento de este resultado de aprendizaje. En este RA se logra evidenciar la gran diferencia entre los instrumentos prueba/controles y los instrumentos tareas/proyectos, siendo éstos últimos y con una mayor preponderancia la herramienta del proyecto semestral, la que es más valorizada por parte de los estudiantes al momento de declarar la percepción de aporte de cada instrumento. Una variable interesante de analizar es el coeficiente de variación que presentan las respuestas de los estudiantes, ya que ésta medida indica la dispersión de la percepción de aporte de cada

uno de los instrumentos a cada uno de los resultados de aprendizaje. La tendencia es similar en cada uno de los RA en distintos órdenes de magnitud, mostrando mayores diferencias en el RA4 que mide contenidos actitudinales. En los primeros tres resultados de aprendizaje (contenidos procedimentales) la forma y la magnitud del coeficiente de variación es similar, en donde esta medida de dispersión es cercana a 0.25 para los instrumentos prueba y controles, cercana a 0.18 en los instrumentos tareas y foros y 0.11 en la herramienta proyecto semestral y sus respectivos avances. Esto se debe principalmente a que los instrumentos tareas/proyectos son más adecuados para este tipo de contenidos que las herramientas pruebas/controles y es por este motivo que la percepción de aporte en éstos últimos tiene una mayor dispersión que en los instrumentos tareas/proyecto. Por otro lado, en el último resultado de aprendizaje (RA4), la diferencia de la medida de dispersión entre los 4 instrumentos es mucho mayor (Pruebas 0.48; Controles 0.42; Tareas 0.28; Proyecto 0.10). Esto se debe, en primer lugar a que el proyecto semestral era un trabajo de carácter obligatoriamente grupal, por lo tanto, es en aquellas instancias donde los estudiantes logran una percepción mayor de la aplicación de habilidades de trabajo en equipo, liderazgo y comunicación. En el caso de las tareas y foros el trabajo era grupal o individual, cada estudiante elegía voluntariamente, mientras que en el caso de las pruebas y controles el proceso de ejecución del instrumento era obligatoriamente individual. CONCLUSIONES Y RECOMENDACIONES De acuerdo a los resultados obtenidos es posible extraer las siguientes conclusiones: La utilización de diversos instrumentos de evaluación con respecto al tipo de contenido que se busca evaluar, a la intencionalidad y la temporalidad de la herramienta, produce en los estudiantes una percepción de mayor logro de los resultados de aprendizaje planteados, que además se condice con los resultados obtenidos a partir de la heteroevaluación de los mismos instrumentos. Si bien los proyectos y tareas son herramientas fundamentales en el logro de los resultados de aprendizaje del curso, ya que fomenta el “decir y el hacer” según la pirámide de Dale (1969), los instrumentos tradicionales, pruebas/controles, son valorizados como un aporte medianamente alto en el logro de los resultados de aprendizaje. Incluso varios comentarios de los propios estudiantes declaran que, si bien el proyecto semestral es el que tiene el aporte más significativo en el logro de los RA, las pruebas y controles cumplen una función inicial de manejo de conceptos básicos. Todos los instrumentos de evaluación presentados aportan de forman indirecta en el logro de resultados de aprendizaje actitudinales. En este caso específico los proyectos y tareas aportan en mayor medida debido a su naturaleza grupal, mientras que las pruebas y controles aportarán según la técnica de estudio del alumno, es decir, en el caso que estudie de forma grupal el aporte será alto y en el caso contrario, si el alumno tiene una forma de estudio individual el aporte no serán tan significativo. AGRADECIMIENTOS

La investigación fue realizada gracias al aporte sistemático y voluntario de los estudiantes del curso de Planificación y Control de Proyectos en su versión 01/2015 de la Escuela de Ingeniería Civil de la Pontificia Universidad Católica de Valparaíso. REFERENCIAS Biggs, J. and Tang, C. (2007): Teaching for Quality Learning at University. Open University Press/Mc Graw-Hill Education. Centro de Tecnología Educativa (2013): Evaluación. Instituto Politécnico Nacional/ Secretaría Académica/ Centro de Tecnología Educativa Disponible en http://www.cibatlaxcala.ipn.mx/contenido/ute/recursoscpv/Instrumentacion_files/13_Evaluacion.p df [fecha de consulta: junio 28 de 2015] Dale, E. (1969): Audiovisual Methods in Teaching. New York: Dryden Press, 108. Escuela de Ingeniería Civil – PUCV (2014): Programa de asignatura: Planificación y Control de proyectos. Página web scuela de Ingeniería Civil, Pontificia Universidad Católica de Valparaíso Disponible en: http://www.eic.ucv.cl [fecha de consulta: julio 06 de 2015]. Ramsden, P. (1992): Learning to Teach in Higher Education. London: Routledge. Sanmartí, N. (2007): 10 ideas clave: evaluar para aprender. Barcelona: GRAÓ, de IRIG, S.L. Shuell, T.J. (1986): Cognitive conception of learning. Review of Educacional Research, 56: 41136