En busca de la reflexión. Una rúbrica para portafolios digitales Searching reflection. A rubric for digital portfolios Mª Ángeles Llopis Nebot Universitat Jaume I
[email protected] Jordi Adell Segura Universitat Jaume I
[email protected] María Luisa Sanchiz Ruiz Universitat Jaume I
[email protected]
Resumen Entre los principales objetivos de la educación superior está fomentar la capacidad del alumnado para pensar de forma crítica sobre sus experiencias y aprendizajes. Para docentes e investigadores, el instrumento que mayor consenso suscita respecto a su relevancia para favorecer la reflexión es el portafolio digital, que permite al estudiantado organizar ideas, reflexionar sobre lo aprendido y finalmente autoevaluar el aprendizaje. Sin embargo, con frecuencia el docente encuentra en los portafolios, contenido esencialmente descriptivo, donde se detalla la recopilación de artefactos y la satisfacción personal que la tarea proporciona. Esta ausencia de profundidad, cuestiona la utilidad de la herramienta para, por sí sola, favorecer la reflexión. En este trabajo, se presenta una rúbrica reflexiva para facilitar al docente la detección de pensamiento reflexivo al evaluar las producciones del alumnado. Para probar su utilidad, la rúbrica se ha aplicado a los portafolios digitales de la asignatura Nuevas Tecnologías Aplicadas a la Educación, en el Grado en Magisterio Educación Primaria, curso 2013-2014. Los resultados muestran una alta coincidencia de criterio entre profesionales en la identificación de pensamiento reflexivo mediante la rúbrica. También se constata la necesidad de mejorar los recursos del docente para que el eportfolio sirva como instrumento real de reflexión.
Mª Ángeles Llopis Nebot, Jordi Adell Segura y María Luisa Sanchiz Ruiz
Abstract The main objective of higher education is to foster the ability of students to think critically about their experiences and learning. For teachers and researchers, the instrument that raises greater consensus regarding their relevance to foster reflective thinking is the digital portfolio, which allows the students to organize ideas, reflect on lessons learned and finally perform a self-assessment of learning. However, the teacher usually finds in portfolios, essentially descriptive content, about the collection of artifacts and personal satisfaction that provides the task. This lack of depth, questions the usefulness of the tool by itself, to encourage reflection. In this paper, a reflective rubric is presented to enable the teacher to identify the students ability to think reflectively and to assess what the student has produced. To test its usefulness the rubric has been applied to digital portfolios of the subject “New Technologies Applied to Education in Degree in Primary Education”, year 2013-2014. The results show a high coincidence of opinion between professionals in identifying reflective thinking by the rubric. Also, aligned to this, there is a need to improve teachers educational resources to ensure the eportfolio serves as a real instrument to identify reflection.
Palabras clave reflexión, rúbrica, portafolio, nuevas tecnologías, educación
Keywords reflection, rubric, eportfolio, new technologies, education
2 Congreso Internacional EDUTEC – Noviembre 2014,
El hoy y el mañana junto a las TIC ISBN: 978-84-15881-91-9
En busca de la reflexión. Una rúbrica para portafolios digitales
1. Introducción Los autores de la presente comunicación se proponen desarrollar una herramienta pedagógica en forma de rúbrica que facilite a los docentes la evaluación la capacidad reflexiva plasmada en las producciones escritas del alumnado universitario a través de portafolios digitales. El estudio está basado en alumnado que cursa la asignatura Nuevas Tecnologías Aplicadas a la Educación, del Grado en Magisterio de Educación Primaria. Desde la incorporación de las universidades al proceso de Bolonia y más concretamente a través de la Orden ECI/3857/2007 de 27 de diciembre, se establece para el estudiantado de magisterio, como competencia a adquirir, la capacidad de reflexionar sobre las prácticas de aula así como la adquisición de hábitos y destrezas para el aprendizaje autónomo y cooperativo. Lograr esta competencia requiere un cambio en la metodología pedagógica docente, que potencie el papel activo del estudiante y favorezca la adquisición del pensamiento crítico (Esteve, 2009). Los teóricos Dewey (1933) y Schön (1987) fueron pioneros en reconocer la importancia de la reflexión como aspecto esencial en el desempeño profesional y particularmente en la práctica docente. Dewey resaltó varios elementos centrales que caracterizaban a la reflexión. En primer lugar, describía la reflexión como un proceso de pensamiento deliberado, aplicado a una experiencia o idea. En segundo lugar, para este autor, cuanto más tiempo se dedica a reflexionar sobre un hecho, mayor es el aprendizaje potencial que se adquiere sobre éste. En tercer lugar, la reflexión permite el crecimiento cognitivo al realizar nuevas apreciaciones sobre el entorno. Finalmente, al reflexionar se adquiere un compromiso ético personal respecto a la cuestión reflexionada. Por su parte, Schön aplica el concepto de reflexión a disyuntivas que se presentan con la práctica y cuya solución no puede ajustarse a estándares prefijados. Esta necesidad convierte al sujeto en un investigador del contexto práctico o de reflexión en la acción y lo diferenciaría del término reflexión sobre la acción, es decir, tras suceder dicha acción. Con posterioridad, numerosos autores han tratado de establecer categorías o niveles de reflexión (Hatton y Smith, 1995; Kember, 1999; Larrivee, 2008; 3 Congreso Internacional EDUTEC – Noviembre 2014,
El hoy y el mañana junto a las TIC ISBN: 978-84-15881-91-9
Mª Ángeles Llopis Nebot, Jordi Adell Segura y María Luisa Sanchiz Ruiz
Mezirow, 1998). Larrivee por ejemplo, estableció tres niveles de reflexión que halló coincidentes en todas las categorizaciones revisadas: 1. Un primer nivel inicial o de reflexión superficial, donde se consideran los hechos de forma aislada, sin establecer relaciones entre sí, de carácter descriptivo y/o emocional. 2. Un segundo nivel, más profundo, donde el estudiante es capaz de establecer
relación
entre
teoría
y
práctica,
denominado
reflexión
pedagógica. 3. Un tercer nivel, de reflexión crítica, en el que se examinan las consecuencias éticas, sociales y políticas de las experiencias vividas. En el ámbito educativo, existe consenso entre los autores y cada vez más entre docentes, en considerar el portafolio digital como una de las herramientas pedagógicas de mayor utilidad para favorecer el pensamiento reflexivo crítico (Falls, 2001; Lansari y Al-Rawi, 2009; Tubaishat, López-Fernández y RodríguezIllera, 2009; Wang, 2009). De alta difusión son también los trabajos de Barrett (2009) respecto a la necesidad de establecer un equilibrio entre aspectos sumativos y aspectos formativos en la evaluación de portafolios. Cuando el docente centra su atención en los aspectos formativos, siguiendo a esta autora, se está utilizando la tecnología como un medio facilitador de la reflexión (Barret, 2000). En esta comunicación, el foco de estudio se sitúa precisamente en la evaluación del contenido reflexivo del portafolio. Autores como Sulzen (2011) o Parker y Kajder, (2010), elaboraron rúbricas reflexivas aplicadas a la evaluación de portafolios digitales en el ámbito de la educación. En ellas, categorizan diversos indicadores partiendo de las clasificaciones de niveles de reflexión realizadas por otros autores como la ya mencionada Larrivee (2008) o Hatton y Smith (1995). Dichas rúbricas, se consideraron válidas para identificar indicios de pensamiento reflexivo en la disciplina que les ocupaba (educación) así como para otras disciplinas, realizando los ajustes pertinentes para adaptarlas. Estudios como los de Tur y Urbina (2012), sostienen que para el alumnado, la dificultad del eportafolio no reside en los aspectos formales o técnicos sino más bien en los relacionados con la faceta reflexiva de la herramienta y en la creación de textos complejos por parte del alumnado. 4 Congreso Internacional EDUTEC – Noviembre 2014,
El hoy y el mañana junto a las TIC ISBN: 978-84-15881-91-9
En busca de la reflexión. Una rúbrica para portafolios digitales
Estos resultados están en consonancia con los hallazgos de Wade y Yarbrough (2006) o Strampel y Oliver (2008), ambos concluyen que el mero hecho de realizar un portafolio digital no es suficiente en sí mismo para suscitar reflexión sino que debe ser acompañado de cierta instrucción y entrenamiento previo del alumnado para que éste aprenda cómo reflexionar de forma crítica y cómo utilizar adecuadamente el eportafolio para este menester. El objetivo del presente trabajo es diseñar una rúbrica para evaluar el pensamiento reflexivo en e-portafolios de estudiantes de la asignatura Nuevas Tecnologías Aplicadas a la Educación.
2. Metodología Esta investigación describe un estudio de casos respecto a la evaluación del pensamiento reflexivo en portafolios digitales a través de una rúbrica realizada exprofeso para ello. Con ese fin, se ha realizado un análisis cualitativo de la información mediante la técnica del análisis de contenido. Para ello, se han utilizado categorías e indicadores, establecidos previamente mediante la rúbrica y se han reducido los datos recogidos, mediante la categorización, la síntesis y el agrupamiento (Tójar, 2006). Se utilizó “el párrafo” como unidad de análisis para la valoración del contenido de los portafolios digitales.
2.1. Muestra La muestra está compuesta por los portafolios de 12 alumnos y alumnas elegidos de forma intencional, representando todo el espectro posible de calificaciones, de entre todo el alumnado que cursa la asignatura de Nuevas Tecnologías Aplicadas a la Educación, de Grado de Magisterio en Educación Primaria en la Universitat Jaume I de Castellón, curso 2013/2014.
2.2 Procedimiento En primer lugar se desarrollaron dos sesiones de formación y entrenamiento del alumnado en reflexión y en portafolios reflexivos de una hora de duración: a) Sesión 1: Cómo elaborar un eportfolio reflexivo. Se pretende familiarizar al alumnado con esta herramienta a través de explicaciones, definiciones, descripción de sus apartados, ejemplos prácticos, etc. 5 Congreso Internacional EDUTEC – Noviembre 2014,
El hoy y el mañana junto a las TIC ISBN: 978-84-15881-91-9
Mª Ángeles Llopis Nebot, Jordi Adell Segura y María Luisa Sanchiz Ruiz
b) Sesión 2: Qué es la reflexión. Se verbaliza de forma explícita el concepto de reflexión, antecedentes teóricos, niveles de reflexión y se proponen varios temas diferentes para realizar debates grupales practicando “en vivo” formas de reflexionar desde las más superficiales a las más críticas. El paso siguiente consistió en la elaboración de la rúbrica reflexiva partiendo de indicadores ya validados anteriormente por modelos teóricos existentes y categorizados en reflexión superficial, reflexión pedagógica y reflexión crítica (Larrivee, 2008; Parker and Kajder, 2010; Sulzen, 2011) y adaptando cada indicador a las características propias de la asignatura de Nuevas Tecnologías Aplicadas a la Educación. Finalmente, para el análisis de los datos, los portafolios seleccionados fueron divididos en párrafos numerados y revisados de forma independiente por dos profesionales
del
campo
de
la
educación,
aplicando
la
rúbrica
y
comprobando posteriormente la existencia de coincidencias en el criterio de categorización.
3. Resultados Los resultados obtenidos al aplicar la rúbrica reflexiva a los portafolios indican que de los 354 párrafos analizados, correspondientes a los 12 portafolios digitales, se han hallado evidencias tanto de reflexión superficial como de pensamiento reflexivo crítico y pensamiento reflexivo pedagógico. El nivel de acuerdo entre los jueces es muy alto para cada uno de los niveles de reflexión, en concreto existe un 99,2 % de coincidencia para la reflexión superficial, un 87,7 % de coincidencia para la pedagógica y un 90,7 % en el caso de la reflexión crítica. Respecto a la cantidad de indicios encontrados en cada uno de los niveles examinados, como se puede ver en la figura 1, hay una diferencia notable entre las evidencias de reflexión superficial (entre el 70,6 % y el 78,1 % de los párrafos analizados) y las evidencias de reflexión pedagógica (entre un 16,1 % y un 18,4 %) y crítica (entre un 13,2 % y un 11 %).
6 Congreso Internacional EDUTEC – Noviembre 2014,
El hoy y el mañana junto a las TIC ISBN: 978-84-15881-91-9
En busca de la reflexión. Una rúbrica para portafolios digitales
100
Juez A 78,1
Porcentaje
80
Juez B
70,6
60 40 16,1
20
18,4
13,2
11
0 Reflexión superficial
Reflexión pedagógica
Reflexión crítica
Niveles de reflexión en los eportafolios
Figura 1. Niveles de reflexión hallados en los portafolios digitales. Fuente: elaboración propia
A través de la figura 2, observamos que la reflexión pedagógica aparece la totalidad de los portafolios (100 %) mientras que la crítica aparece en el 83,3 % de éstos. 40 35
34,5
32,4
Porcentaje
30 25
26,1
24,3
25,9 20 17,1 16,1
20 20,7
20
13,3
13,3
15
14,8
16,7
8,9
10 5
0
2,2
3,3
3,8 3,8
5,5
3,2
4,2
0
0 1
2
3
4
5
6
7
8
9
10
11
12
Resultados Juez A Reflexión Pedagógica
Reflexión Crítica
Figura 2. Pensamiento reflexivo en cada portafolio (juez A). Fuente: elaboración propia
La cantidad de espacio dedicado a contenido reflexivo pedagógico en los eportfolios oscila entre un 32,4% y un 3,8%. En el caso de la reflexión crítica, se dedica entre un 34,5 % y un 0% del espacio total de cada portafolio.
4. Conclusiones Una vez analizados los datos, podemos afirmar que la rúbrica reflexiva ha sido útil para identificar evidencias de reflexión en los portafolios digitales. Los indicadores seleccionados para cada nivel de reflexión, a su vez, han 7 Congreso Internacional EDUTEC – Noviembre 2014,
El hoy y el mañana junto a las TIC ISBN: 978-84-15881-91-9
Mª Ángeles Llopis Nebot, Jordi Adell Segura y María Luisa Sanchiz Ruiz
resultado facilitadores de la tarea. El nivel de acuerdo entre profesionales a la hora de asignar categorías reflexivas a los párrafos analizados ha sido más que aceptable, existiendo algunas discrepancias en algunos párrafos posiblemente debidas al contacto previo de uno de los investigadores con el grupo del estudio que ha compuesto la muestra. Se ha evidenciado, por otro lado, que la cantidad y la calidad de las reflexiones pedagógicas y críticas, no son todo lo satisfactorias que cabría esperar. El pensamiento superficial es necesario y actúa tanto para situar la tarea como para facilitar la reflexión, pero con frecuencia, no se profundiza más allá de descripciones y expresiones emocionales. Resulta llamativo que en varios portafolios no se hallara ni una sola evidencia de reflexión crítica pese a que en las sesiones de formación se especificó que su presencia era importante. La reflexión pedagógica, en cambio, aparece en todos los portafolios, planteando si ello puede deberse a la mayor familiaridad de este tipo de reflexión con sus propios estudios y motivaciones profesionales. La idea de que el portafolio, por sí mismo, no es suficiente para fomentar la reflexión, tal y como sugerían autores como Tur y Urbina (2012) o Strampel y Oliver (2008) se confirma igualmente mediante los resultados obtenidos. En consecuencia, es necesario analizar dónde se halla la dificultad del alumnado para identificar la esencia reflexiva del portafolio. La primera sugerencia, siguiendo a Barret (2009), es considerar el uso de la propia rúbrica reflexiva como un elemento formativo en futuros portafolios. Utilizar la rúbrica con una doble función, como un instrumento evaluativo y como una herramienta de aprendizaje formativo. La segunda propuesta está relacionada con la necesidad de construir una identidad crítica en el futuro docente y contempla el diseño de entornos educativos reflexivos en las aulas, a través de la introducción de metodología específica dentro del marco de las nuevas tecnologías. Finalmente, para concluir la comunicación, retomamos a Dewey (1933), quien considera como elemento fundamental de la reflexión, el hecho de tener tiempo
para
ello.
Los
tiempos
universitarios,
especialmente
los
correspondientes al Grado de Magisterio, resultan con toda probabilidad insuficientes debido a la ingente cantidad de tareas exigidas, incompatible en 8 Congreso Internacional EDUTEC – Noviembre 2014,
El hoy y el mañana junto a las TIC ISBN: 978-84-15881-91-9
En busca de la reflexión. Una rúbrica para portafolios digitales
ocasiones con la calidad de éstas. Los propios autores de éste trabajo, no podemos dejar de contraer un compromiso ético con la formación de nuestro alumnado, no sólo enseñando a reflexionar sino también respetando los tiempos necesarios para hacerlo de manera adecuada.
Referencias Barrett, H. (2009). Equilibrio entre los distintos elementos del ePortfolio. Disponible el 15/06/2014 en http://electronicportfolios.org/balance Barrett, H. (2000). Electronic teaching portfolios: Mulitmedia skills + portfolio development=powerful professional development. [Fecha de consulta: 15
de
junio
de
2014].
www.electronicportfolios.com/portfolios/site2000.html Dewey, J. (1933). How we think: A restatement of the relation of reflective thinking to the educative process. Boston: D.C. Heath. Esteve, F. (2009). Bolonia y las TIC: de la docencia 1.0 al aprendizaje 2.0. La cuestión universitaria, 5, 59-68. Falls, J. A. (2001). Using a reflective process to implement electronic portfolios. Unpublished
doctoral
dissertation.
Blacksburg,
VA:
The
Virginia
Polytechnic Institute and State University. Hatton, N., & Smith, D. (1995). Reflection in teacher education: towards definition and implementation. Teaching and Teacher Education, 11(1), 33–49. Kember, D. (1999). Determining the level of reflective thinking from students’ written journals using a coding scheme based on the work of Mezirow. International Journal of Lifelong Education, 18(1), 18-30. Mezirow, J. (1988). On critical reflection. Adult Education Quarterly, 48(3), 185198. Larrivee, B. (2008). Development of a tool to assess teachers’ level of reflective practice. Reflective Practice, 9(3), 341-360. Lopez-Fernandez, O., & Rodriguez-Illera, J. L. (2009). Investigating university students’ adaptation to a digital learner course portfolio. Computers & Education, 52(3), 608-616. ORDEN ECI/3857/2007, de 27 de diciembre, por la que se establecen los requisitos para la verificación de los títulos universitarios oficiales que 9 Congreso Internacional EDUTEC – Noviembre 2014,
El hoy y el mañana junto a las TIC ISBN: 978-84-15881-91-9
Mª Ángeles Llopis Nebot, Jordi Adell Segura y María Luisa Sanchiz Ruiz
habiliten para el ejercicio de la profesión de maestro en Educación Primaria (BOE de 29 de diciembre). Parkes, K. A. & Kajder, S. (2010). Eliciting and Assessing Reflective Practice: A Case Study in Web 2.0 Technologies. International Journal of Teaching and Learning in Higher Education, 22 (2), 218-228. Schön, D. A. (1987). Educating the reflective practioner. San Francisco: JosseyBass. Strampel, K. & Oliver, R. (2008). We've thrown away the pens, but are they learning? Using blogs in higher education.
Proceedings ascilite,
Melbourne, pp. 992-1001. Sulzen, J. T. (2011). Identifying Evidence of Reflective Ability in Preservice Teacher Electronic Portfolios. Jl. of Technology and Teacher Education, 19(2), 209-237. Tójar, J. C. (2006). Investigación cualitativa: comprender y actuar. Madrid: La Muralla. Tubaishat, A., Lansari, A., & Al-Rawi, A. (2009). E-portfolio assessment system for an outcome-based information technology curriculum. Journal of Information Technology Education: Innovations in Practice, 8, 1-15. Tur, G., y Urbina, S. (2012). Documentando el aprendizaje en portafolios electrónicos: una experiencia con herramientas de la Web 2.0. En Congreso Internacional Edutec (pp. 656-669). Wang, S. (2009). E-Portfolios for integrated reflection. Issues in Informing Science and Information Technology, 6, 449-460. Wade, R. C. & Yarbrough, D. B. (1996). Portfolios: a tool for reflective thinking in teacher education?. Teaching & Teacher Education, 12(1), 63-79.
10 Congreso Internacional EDUTEC – Noviembre 2014,
El hoy y el mañana junto a las TIC ISBN: 978-84-15881-91-9
Anexo: Rúbrica pensamiento reflexivo en eportfolio. Basada en los niveles de reflexión e indicadores propuestos por Larrivee (2008), Parkes and Kajder (2010) y Sulzen (2011). INDICADORES DE DESEMPEÑO REFLEXIÓN SUPERFICIAL Utiliza retórica vacía y frases tópicas, Narra el plan de actuación sin motivarlo. Describe el artefacto, elemento o actividad de forma aséptica. Comenta emociones no vinculadas a procesos cognitivos. REFLEXIÓN PEDAGÓGICA Establece relación entre conocimiento pedagógico previo (teórico, o experiencial) con el nuevo conocimiento. Analiza el impacto de la tarea en el propio aprendizaje. Revisa críticamente su ejecución: reconoce y analiza sus limitaciones, identifica causalidades, propone mejora futuras. Justifica formas originales, creativas y arriesgadas de desarrollar la actividad. REFLEXIÓN CRÍTICA Identifica consecuencias o implicaciones del aprendizaje en diferentes contextos; social, cultural, histórico, económico, político, éticos, etc. Revisa y compara la nueva información respecto a sus propias asunciones, creencias, señala cambios realizados en éstas. Realiza planteamientos que desafían o cuestionan el estatus quo establecido, adopta un rol de investigador activo. Existe autoobservación y metapensamiento. Mediante los indicadores de desempeño cada docente puede construir su propia rúbrica adaptándola al contenido de su materia,
