Introducción del portafolio formativo como instrumento de tutorización de residentes de Medicina Interna: revisión de una experiencia piloto, 2005-2006

REVISIÓN

Introducción del portafolio formativo como instrumento de tutorización de residentes de Medicina Interna: revisión de una experiencia piloto, 2005-2006 J. Arnau i Figuerasa, P. Torán Monserratb, J. M. Martínez-Carreteroc †, J. Forteza-Reyd, B. Pinilla Llorentee y C. A. Brailovskyf a Servicios Territoriales en el Vallès Occidental. Departament d’Educació. Sabadell. España. Equipo de Atención Primaria Mataró 6 (Gatassa). Institut Català de la Salut. Unitat de Suport a la Recerca del Barcelonès Nord i Maresme. IDIAP Jordi Gol. Mataró. España. cÁrea de Definición, Evaluación y Acreditación de las Competencias Profesionales. Institut d’Estudis de la Salut. Barcelona. España. d Hospital Universitario Son Dureta. Palma de Mallorca. España. e Medicina Interna. Hospital General Universitario Gregorio Marañón. Madrid. España. f Departamento de Medicina Familiar. Universidad Laval. Québec. Canadá. b

Experiencias recientes en nuestro país tratan de introducir los portafolios profesionales como herramientas de evaluación-aprendizaje, tanto a nivel de pregrado como en la formación especializada de posgrado. La aprobación del nuevo programa de la especialidad de Medicina Interna, en un esfuerzo de adaptación a las necesidades de la atención sanitaria actual, ofrece la oportunidad para la aplicación de estas metodologías docentes y de evaluación formativa del proceso de aprendizaje de los futuros internistas. Durante el curso 2005-2006, el Grupo de Formación de la Sociedad Española de Medicina Interna (SEMI) se propuso desarrollar una experiencia piloto demostrativa de la aplicación del portafolio como instrumento para la evaluación formativa y la tutorización. Este artículo describe dicha experiencia de diseño, desarrollo, implantación y evaluación de un portafolio en soporte electrónico para residentes de Medicina Interna de primer año de la especialidad, realiza un análisis de las fortalezas y las debilidades del Portafolio SEMI y, por último, propone recomendaciones para su futuro desarrollo. PALABRAS CLAVE: educación médica, tutores, portafolio, aprendizaje reflexivo, residentes de Medicina Interna, evaluación de las competencias clínicas.

Introducing formative portfolio as a tool for Internal Medicine residents mentoring: review of a pilot project, 2005-2006 Recent educational projects in our country have been trying to introduce professional portfolios as assessment/learning tools on the undergraduate and specialized post-graduate education levels. The approval of a new formative program for the Internal Medicine specialty in an effort to adapt to the present health care needs offers an opportunity to apply these formative and evaluative methodologies in the learning process of future internists. During the 2005-2006 academic year, the Formative Work Group of the Spanish Internal Medicine Society (SEMI) developed a pilot study on portfolio application as a tool for formative assessment and mentoring. This article describes the project of designing, developing, applying and assessing an electronic portfolio for first year Internal Medicine residents. It presents an analysis of the SEMI Portfolio strengths and weaknesses and finally makes suggestions for future development. KEY WORDS: medical education, mentors, portfolio, reflective learning, Internal Medicine residents, assessment of clinical competences.

Arnau i Figueras J, Torán Monserrat P, Martínez Carretero JM, Forteza-Rey J, Pinilla Llorente B, Brailovsky CA. Introducción del portafolio formativo como instrumento de tutorización de residentes de Medicina Interna: revisión de una experiencia piloto, 2005-2006. Rev Clin Esp. 2008;208(9):447-54.

Introducción La necesidad de desarrollar instrumentos evaluativos capaces de evidenciar las competencias consolidadas Correspondencia: B. Pinilla. C/ Doctor Esquerdo, 45. 28030 Madrid. España. Correo electrónico: [email protected] †

Fallecido mientras se ha publicado el trabajo.

y las áreas de mejora profesional, nace del compromiso moral con los ciudadanos por asegurar las buenas prácticas de los profesionales de la salud a lo largo de toda su trayectoria1. En los últimos años se vienen desarrollando en nuestro país diversas experiencias innovadoras en la introducción y desarrollo de metodologías docentes y evaluativas de la práctica clínica, tanto en los estudios de pregrado y posgrado como en el ejercicio profesional. No nos resultan extraños conceptos o términos como

Rev Clin Esp. 2008;208(9):447-54

447

ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006

aprendizaje, o de su consecución, reunida con un objetivo específico durante un tiempo determinado. El portafolio es un ejercicio de autodisciplina que consiste en la práctica de una reflexión permanente sobre los problemas que surgen en nuestro trabajo diario. Se trata de anotar y de registrar de una forma estructurada estas situaciones que nos permiten aprender y, una vez anotadas, obligarnos a pensar qué podemos aprender, de qué manera y con qué mecanismos, a fin de resolver el problema de aprendizaje que haya surgido e incrementar así nuestra pericia profesional (Portafolio SEMI 2007)9. Experiencias recientes en nuestro país tratan de introducir los portafolios como herramientas de evaluaciónaprendizaje en la formación especializada de posgrado10-13, y como elementos catalizadores del análisis reflexivo y de la autoevaluación de la propia práctica profesional. El objetivo del presente artículo ha sido analizar la experiencia de desarrollo e implantación demostrativa de un portafolio en soporte electrónico para residentes de Medicina Interna.

(in vivo) Portafolio Hace Muestra cómo Sabe cómo Sabe

(in vitro) ECOE, pruebas basadas en pacientes simulados Preguntas de elección múltiple, preguntas abiertas, oral...

Fig. 1. Pirámide de Miller. Adaptada de: Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine. 1990;65 (Suppl):S63-7. ECOE: evaluación clínica objetiva estructurada.

evaluación formativa, evaluación de la práctica clínica, competencia profesional, evaluación clínica objetiva estructurada (ECOE), que cada vez están más presentes en nuestro quehacer cotidiano, tanto en la esfera clínicoasistencial como en las tareas docentes y de tutorización de médicos especialistas en formación2,3. El portafolio, como construcción procedente de las artes plásticas, pretende recoger las pruebas demostrativas de aquellas habilidades y técnicas que su autor ha ido desarrollando, en una área o período de tiempo determinados, con la finalidad de dar a conocer su obra. Su aplicación para la evaluación formativa o sumativa en ciencias de la salud es relativamente reciente4,5. Se trata de una herramienta basada en la observación y el análisis reflexivo de la práctica real de los propios profesionales como fuente permanente de aprendizaje y de superación6,7. Esta posibilidad de analizar aquello que el profesional hace (más que los conocimientos o aquello que «es capaz de hacer») en su práctica habitual, mostrando competencias consolidadas y áreas de mejora, nos permite situar el portafolio entre los instrumentos capaces de evidenciar competencias ubicadas en el vértice de la pirámide de Miller (fig. 1). Conceptualmente, un portafolio es la recopilación de evidencias o pruebas que demuestran que el aprendizaje personal necesario ha sido realizado8. Según Challis4, es la colección longitudinal de la evidencia del

Descripción de la experiencia Objetivo El Grupo de Formación de la Sociedad Española de Medicina Interna (SEMI) se planteó, para el curso 20052006, introducir elementos de evaluación formativa de los residentes de primer año de Medicina Interna bajo el formato de un portafolio en soporte electrónico. Metodología Se constituyó un grupo de trabajo que, con el apoyo de técnicos del Institut d’Estudis de la Salut (Departament de Salut de la Generalitat de Catalunya), definió, por un lado, los componentes competenciales y, por otro, los elementos o tareas constitutivas del portafolio que debían desarrollar los residentes y tutores (tabla 1). Se realizó una experiencia piloto demostrativa a lo largo del curso 2005-2006 con residentes de primer año de Medicina Interna, acompañados por sus tutores, de diversos hospitales españoles. Se definieron también los elementos evaluativos que permitirían demostrar la presencia de las competencias trabajadas en los elementos aportados al portafolio.

TABLA 1 Elementos competenciales y tareas definidas para su evaluación en el portafolio SEMI 2005-2006 de residentes de primer año Tareas propuestas Elementos competenciales

Anamnesis Exploración física Comunicación con el paciente e interprofesional Manejo diagnóstico Manejo terapéutico Manejo psicosocial

448

Incidente crítico

Resumen clínico

Auditoría/autoauditoría de historias clínicas

Valoración de 360º

** ** * * *

* * *

Rev Clin Esp. 2008;208(9):447-54

* *

*** * * *

00

ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006

Tabla de selección de competencias (tabla 1). Se seleccionaron los elementos o componentes competenciales sobre los que trabajar con el portafolio formativo para los residentes de primer año, a partir de las competencias nucleares de la especialidad de Medicina Interna (anamnesis, exploración, comunicación y manejo), contempladas en el programa oficial de la especialidad, y que el grupo de trabajo consideró como metas imprescindibles para un residente de primer año. De esta manera, en cada una de las competencias se consideró la capacidad del residente para: 1) Anamnesis: realizar y registrar la anamnesis estructurada para un proceso en un paciente concreto. 2) Exploración física: realizar y registrar una exploración física sistematizada de un paciente con un problema de salud concreto. 3) Comunicación: obtener y dar información, tanto en la relación médico paciente como en la relación interprofesional. 4) Manejo diagnóstico: planificar y priorizar una secuencia diagnóstica para un proceso concreto, realizando un diagnóstico diferencial según su nivel de responsabilidad. 5) Manejo terapéutico: establecer un plan terapéutico adecuado para un proceso concreto valorando sus riesgos y beneficios según su nivel de responsabilidad. 6) Manejo psicosocial: incorporar elementos de la esfera psicológica y del entorno social-familiar de los pacientes en su abordaje asistencial. Tareas asociadas al portafolio: 1) Registro de incidentes críticos: entendiendo por incidentes críticos aquellos hechos de la práctica profesional que nos han trastornado, nos han creado dudas, nos han causado sorpresa, o nos han molestado o inquietado por su falta de coherencia o por haber presentado resultados inesperados. Son aquellas situaciones en las cuales una intervención personal implicó una diferencia en los resultados para el paciente, un proceso se desarrolló particularmente bien, las cosas no ocurrieron tal como se había previsto, se aprehendió cuál es la esencia global de la práctica médica o se planteó un reto particularmente intenso para el profesional. En resumen, son episodios con un desarrollo particularmente positivo o negativo, que proporcionan la oportunidad de reflexionar sobre la propia práctica y, por ello, de mejorarla14-16. 2) Resumen narrativo del abordaje clínico de un paciente pluripatológico: resumen clínico del proceso de atención a pacientes con procesos patológicos múltiples e ingresos hospitalarios repetidos, con incorporación de elementos de reflexión sobre las intervenciones y abordajes efectuados en la atención del caso seleccionado a lo largo del tiempo. 3) Auditoría de historias clínicas y autoauditoría de registros clínicos: se puede definir la auditoría médica como la evaluación retrospectiva de la práctica asistencial, mediante la revisión de las historias clínicas, realizada por los propios profesionales responsables de la asistencia y encaminada a encontrar soluciones prácticas de los déficits que se detectan. Puede ser externa o interna y, en el segundo caso, puede ser realizada por el propio médico (autoauditoría) o por sus colegas (revisión por pares)17,18. 4) Valoración de 360°: se trata de un instrumento que permite que el residente sea evaluado por todo su entorno profesional, ya que recoge información obtenida de todas las personas, sanitarias o no, con las que el residente se relaciona en su práctica como médico en formación especializada (tutores, otros residentes, enfermería, pacientes o familiares)19-22. Se realizó mediante cuestionarios estandarizados, anónimos y confidenciales, en relación a dos competencias globales básicas que, para cada año de residencia, debían completar: el propio residente, otro médico residente compañero, dos enfermeras o auxiliares de enfermería, ocho pacientes atendidos por el residente (o sus familiares) y el adjunto de cada rotación por la que pasaba el residente.

00

5) Revisión global del aprendizaje: valoración global del rendimiento educativo de un período determinado a partir de la revisión de todos los elementos incorporados al portafolio durante ese período. Se propone un análisis crítico tanto de la consecución de los objetivos de aprendizaje planteados como de las nuevas necesidades de aprendizaje detectadas y la planificación de nuevos objetivos para el período siguiente. Es necesario trabajar alrededor de los siguientes ejes: a) Conocimientos adquiridos (¿Qué he aprendido?) b) Metodología y procedimientos utilizados (¿Cómo lo he aprendido?) c) Detección de necesidades de aprendizaje (¿Qué me falta por aprender?) d) Planificación del aprendizaje (¿Qué haré para aprenderlo?) Una vez definidos los elementos competenciales sobre los que trabajar mediante el portafolio y las tareas asociadas al mismo, se establecieron las normas básicas de funcionamiento: 1) La participación era voluntaria y el objetivo del portafolio se centró en la evaluación formativa, esto es, se planteaba como un instrumento de apoyo al desarrollo competencial de los residentes que facilitara alcanzar los objetivos formativos del programa de la especialidad de Medicina Interna en el primer año de residencia. Interesaba, fundamentalmente, la identificación de áreas de aprendizaje consolidado y la detección de áreas de mejora. No se utilizaría, en ningún momento, para una evaluación sumativa. Tampoco se trataba de un instrumento cuya finalidad fuera facilitar la valoración sumativa del residente por parte de su tutor. 2) Confidencialidad. El material volcado en el portafolio debía gozar del mismo nivel de confidencialidad que la historia clínica. Se procuraría no detallar información que permitiera la identificación de los pacientes o situaciones clínicas analizadas y se aseguraba el tratamiento confidencial de las opiniones, juicios o comentarios expresados por el residente. El portafolio era visto únicamente por el tutor del residente y en el momento en que éste lo autorizaba informáticamente. 3) Acceso nominal, mediante un sistema informático de registro previo y encriptamiento mediante contraseñas. El portafolio de cada residente únicamente era accesible para el propio residente y para su tutor. Al tratarse de una prueba piloto se solicitó a los residentes la autorización para que el administrador del sistema permitiera la extracción anónima de los datos con el fin de que pudieran ser utilizados por los evaluadores externos con finalidades formativas, de análisis del conjunto de la experiencia piloto y de mejora del propio portafolio. 4) El portafolio era propiedad de cada residente y únicamente podían realizar anotaciones o comentarios el residente y su tutor. El tutor no podía modificar lo introducido por su residente, sino simplemente hacer los comentarios que considerara orientativos para cada uno de los elementos del portafolio completados por su residente. 5) El portafolio se realizaba en soporte electrónico, al que se accedía a través de un portal alojado en una página web del Departamento de Salud de la Generalitat de Catalunya, que cumplía los requisitos y garantías de seguridad y confidencialidad de la información. 6) Los cuestionarios de la valoración de 360° se editaban en papel y de su distribución entre los otros profesionales se encargaba el tutor, excepto los de los pacientes o familiares, de los cuales se encargaba el propio residente. El residente asumía la grabación de los cuestionarios referidos a él en el portal informático. 7) Se consensuaron las funciones del tutor en el Portafolio SEMI (tabla 2) y se desarrollaron actividades formativas específicas de portafolio para los tutores con residentes de primer año a su cargo. 8) Compromiso de evaluación de la experiencia tanto a nivel global como a nivel individual de cada uno de los participantes

Rev Clin Esp. 2008;208(9):447-54

449

ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006

TABLA 2 Funciones del tutor del residente en el portafolio de la Sociedad Española de Medicina Interna (SEMI) Explicar al residente la filosofía del instrumento, el proyecto de Portafolio SEMI, su implementación práctica y el manejo del portal del proyecto Señalar elementos que se deben incorporar en el trabajo del portafolio, proveer feedback a los elementos y comentarios incorporados por el residente al portafolio Ayudar a elaborar el portafolio, a resolver dudas y dificultades y supervisar la construcción del mismo Apoyar en el proceso reflexivo del residente, registrar y transmitir al residente las consideraciones pertinentes (feedback) Hacer de interlocutor entre el residente y el Grupo de Evaluación Facilitar la participación de los distintos profesionales implicados en la valoración de 360°

en la prueba piloto. Se asumió también el compromiso de favorecer el retorno de la evaluación a todos los que, de un modo u otro, participaran o contribuyeran al desarrollo de la misma. Desarrollo de la experiencia Durante el primer semestre de 2005 se trabajó en los elementos de definición del Portafolio SEMI (priorización de competencias, definición de tareas y criterios evaluativos), en la guía de trabajo y en el diseño de los contenidos de apoyo al despliegue de la experiencia. En paralelo se fue desarrollando el portal informático que permitiera alojar el portafolio, ya que se había tomado la decisión estratégica de desarrollar íntegramente el proyecto en soporte electrónico (e-portafolio). En junio y en noviembre de 2005 se realizaron sendos talleres formativos a los que se invitó a participar a los tutores que, de manera voluntaria, quisieran implicarse en la experiencia piloto de desarrollo del primer portafolio formativo para residentes de Medicina Interna en España. Esta formación en metodología evaluativa se centró en la definición y evaluación de competencias profesionales, así como en la necesidad de conocer los distintos niveles e instrumentos de evaluación de las mismas. A cada edición del taller asistieron 15 tutores. En estos talleres formativos se introdujo a los tutores en la filosofía y metodología del portafolio como instrumento para la formación de los residentes y se les presentaron los distintos elementos constitutivos del portafolio, así como el portal informático que lo alojaba. A partir de ese momento los tutores pudieron registrarse en el portal del proyecto y practicar en su manejo para poder detectar deficiencias, proponer mejoras de la aplicación informática y, posteriormente, explicar su funcionamiento a los residentes. A partir del 1 de septiembre de 2005 los residentes de primer año que voluntariamente quisieron utilizar el Portafolio SEMI, y que habían recibido formación por parte de sus tutores, pudieron empezar a registrarse como usuarios. Se realizaron reuniones de seguimiento por parte del Grupo de Formación de SEMI y de los técnicos docentes del portafolio con el objeto de analizar el desarrollo de la experiencia e implementar elementos de mejora. El sistema de evaluación se planteó en dos ámbitos. Por un lado, se procedió a la valoración de los portafolios individuales de cada residente y, por otro, se diseñaron cuestionarios evaluativos de la experiencia para los tutores y residentes que participaron en ella.

450

TABLA 3 Participantes y hospitales de procedencia Hospital

Complejo Hospitalario de Albacete Hospital de Cruces. Barakaldo Hospital Universitario de Bellvitge. Hospitalet Hospital Santa Creu i Sant Pau. Barcelona Hospital del Sagrat Cor. Barcelona Hospital Reina Sofía. Córdoba Hospital Virgen de las Nieves. Granada Hospital Insular de Gran Canaria Complexo Hospitalario Xeral-Calde. Lugo Hospital Gregorio Marañón. Madrid Hospital Costa del Sol. Málaga Hospital Son Dureta. Palma de Mallorca Hospital Virgen del Camino. Pamplona Hospital Sierrallana. Santander Hospital Virgen del Rocío. Sevilla Hospital General de Vic. Barcelona Hospital Meixoeiro. Vigo Hospital Virgen de la Concha. Zamora TOTAL

Residentes

Tutores

3 1 1 3 1 1 1 1 1 5 1 2 1 1 2 2 1 1 29

1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 19

Para la valoración de los portafolios individuales se extrajo la información, sin datos identificativos, del material volcado en cada portafolio. Se diseñó un cuestionario evaluativo que contenía una parte cuantitativa (número de elementos incorporados al portafolio) y una parte cualitativa, que valoraba la presencia de las diferentes competencias que se pretendían observar con cada una de las tareas incorporadas al portafolio, así como la presencia de elementos de autoevaluación y planificación del propio aprendizaje. Finalmente, se emitía un informe global del portafolio con observaciones, comentarios y sugerencias de mejora por parte del evaluador. Esta valoración era realizada por evaluadores externos y el informe evaluativo era remitido al residente propietario del portafolio. Como evaluación global de la experiencia se realizó un vaciado de la información obtenida con las encuestas a tutores y residentes. Dicha encuesta planteaba a los usuarios que emitieran un juicio crítico (aspectos positivos, aspectos negativos y propuestas de mejora) de cada una de las tareas del portafolio, del portal on line que lo alojaba y de la experiencia global de su participación en el proyecto. El mecanismo de retroalimentación entre los participantes y el Grupo de Formación fue la presentación y discusión de la evaluación. Esta parte del trabajo se realizó en la II Reunión de Tutores de Residentes de Medicina Interna organizada por la SEMI en Sevilla, el 25 de noviembre de 2006. A partir de las conclusiones obtenidas en esta reunión se abrió un foro virtual de debate en RedIRIS (www.rediris.es) que se mantuvo operativo hasta finales de enero de 2007.

Resultados Participaron 29 residentes y 19 tutores, distribuidos en 18 hospitales de España durante el curso 20052006 (tabla 3). Todos los residentes realizaron al menos una tarea vinculada al portafolio. En cuanto a la utilización de las diferentes tareas propuestas en la prueba piloto del portafolio (tabla 4), observamos una cumplimentación desigual. La tarea más aceptada fue el registro de incidentes críticos, utilizado por el 100% de los residentes. Las tareas con menos cumplimentación fueron la valoración de 360° (14% de los residentes realizaron el análisis conjunto de los cuestio-

Rev Clin Esp. 2008;208(9):447-54

00

ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006

narios) y la revisión global del aprendizaje, sólo realizada por el 10% de los residentes. En cuanto a la valoración por parte de los dos evaluadores externos, 2 portafolios (7%) fueron considerados de nivel muy bueno, 4 (14%) de un nivel claramente suficiente, 10 (34%) de nivel aceptable pero con algunos aspectos mejorables y 13 (45%) fueron considerados de nivel claramente insuficiente, por no aportar un mínimo de tareas que permitieran la valoración global del trabajo. De los 29 portafolios se emitió un informe evaluativo que era remitido a los residentes. Estos informes, además de la valoración global, aportaban comentarios, observaciones y sugerencias del evaluador como guías de aprendizaje. Así, por ejemplo, el evaluador en relación al portafolio de uno de los 29 residentes comenta: «Se han abordado dos de los aspectos nucleares de la formación del residente de primer año (R1): la obtención y clarificación del motivo de consulta mediante anamnesis y la exploración física. Como sugerencia: intentar concretar más (con tareas específicas) el plan de trabajo y las estrategias para implementarlo incluyendo los mecanismos de monitorización». O en la valoración del portafolio de otro de los residentes: «Incidentes críticos bien planteados con temas que, además, permiten explorar múltiples dimensiones: dilemas éticos (reanimación cardiopulmonar), replantear la propia práctica (fiebre de origen no infeccioso), implicación del entorno familiar (analgesia en paciente terminal). Sugerir una MAYOR CONCRECIÓN en el momento de plantearse la cuestión de aprendizaje: diseñar estrategias y metodologías concretas para una pregunta concreta». Se obtuvieron 16 cuestionarios de evaluación de la experiencia procedentes de tutores y residentes («Encuesta para mejorar el Portafolio SEMI»). Las propuestas de mejora más generalizadas se articulaban en torno a los siguientes ejes: 1) Mejorar la página web y el funcionamiento del portal. 2) Hacer más comprensibles los apartados de las diferentes tareas propuestas. 3) Dar la posibilidad de una cumplimentación más libre de las diferentes tareas del portafolio. 4) Reservar espacios de tiempo no asistencial para que los tutores puedan dedicarse a la tutorización de los residentes. 5) Reconocer en el currículum de los residentes y de los tutores que participen en el portafolio su dedicación al mismo. Todas las encuestas plantearon elementos positivos que debían reforzarse y elementos negativos para mejorar; 6 expresaron un juicio global positivo y 4 emitieron un juicio global negativo; en las 6 restantes no se identificó claramente ninguno de estos dos posicionamientos. Durante el mes que estuvo abierto el foro en RedIris se produjeron 19 aportaciones o juicios críticos: 6 (31,5%) fueron claramente favorables a seguir y desarrollar la experiencia; otros tantos eran posicionamientos claramente en contra por no verle la utilidad 00

TABLA 4 Utilización de las diferentes tareas propuestas en la prueba piloto del Portafolio SEMI Tareas asociadas al Portafolio

N* (rango)

%

Incidente crítico Resumen del caso clínico pluripatológico Autoauditoría Auditoría externa Cuestionarios de 360° Autoanálisis de cuestionarios de 360° Valoración global del aprendizaje

29 (1-5) 19 (1-2) 11 (1-2) 4 (1) 11 (1-8) 4 (1) 3 (1)

100% 65% 38% 14% 39% 14% 10%

*Número de residentes que cumplimentaron al menos una vez esa tarea propuesta. El rango se refiere al número de tareas aportadas en cada categoría.

y considerarla de excesiva dificultad y con escaso rendimiento formativo, y los 7 restantes (36,8%) no emitieron un juicio claramente favorable o desfavorable, pero aportaban propuestas concretas de mejora para avanzar en la aceptabilidad del Portafolio SEMI. Discusión No existe un método claro de cómo evaluar las experiencias formativas con portafolio. Se trata de un instrumento que maneja fundamentalmente información cualitativa, desde una aproximación holística al comportamiento profesional de quien lo utiliza. Por tanto, tenemos, inevitablemente, un importante componente de subjetividad y el desarrollo de la evaluación en términos de fiabilidad, reproducibilidad y validez puede resultar complicado23,24, discusión que queda fuera del propósito del presente artículo. En general, la valoración del núcleo reflexivo del portafolio fue muy positiva, y la participación fue aceptable, ya que todos los residentes utilizaron al menos una de las tareas propuestas. Los mayores inconvenientes identificados fueron la escasez de tiempo de los residentes y tutores para las actividades formativas específicas, la complejidad del instrumento y las deficiencias tecnológicas del portal informático que alojaba el Portafolio SEMI. Las tareas con mayor aceptación fueron, con diferencia, el registro de incidentes críticos y el desarrollo narrativo de un caso de paciente con pluripatología crónica. Seguramente esto sea atribuible a la mayor vinculación de estas dos actividades con el trabajo asistencial cotidiano, así como a su orientación a la resolución de «necesidades reales» sentidas por los residentes. Además, estas dos tareas fueron más intensamente trabajadas durante los talleres formativos y son las que, en principio, aceptaban más libertad metodológica. Sin embargo, las críticas por el consumo de tiempo para la ejecución de estas tareas, la complejidad de los formularios excesivamente dirigidos y las dudas en torno a la necesidad de escribir sobre la reflexión, son comunes a otras experiencias publicadas25. La tarea menos utilizada fue el cuestionario de 360°, desarrollado en su totalidad por sólo 4 residentes,

Rev Clin Esp. 2008;208(9):447-54

451

ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006

los cuales expresaron un elevado grado de satisfacción con la misma, ya que valoraban el feedback que les aportaba el análisis de las diversas perspectivas de la manera de actuar en su trabajo habitual. La variabilidad en la aceptación de esta tarea estaba en consonancia con la mostrada en otras experiencias20. De todas formas, creemos que habría que considerar la importancia de este tipo de tareas ya que parece ser que son instrumentos fiables para la evaluación de competencias del área de la comunicación, de las relaciones interpersonales en equipos multidisciplinares de trabajo y del profesionalismo26,27. De la experiencia piloto y del análisis de contenido de los portafolios examinados, extraemos ejemplos —transcritos de manera literal— que (siguiendo el esquema sugerido por Miriam Friedman5) ilustran algunas de las utilidades del portafolio como instrumento de tutorización: 1) Evaluar el progreso y los resultados del aprendizaje, proporcionando pruebas de la práctica del residente a lo largo del tiempo: «Conocer la situación basal de un enfermo es una información básica que nos va a condicionar el llevar a cabo medidas más o menos agresivas, dependiendo de su calidad de vida previa. Dentro de unos meses volveré a realizar un nuevo self audit para ver si se han cumplido o no los objetivos marcados». 2) Orientar la formación en función de las caracterísitcas del que aprende: «Los nuevos conocimientos los he aplicado racionalizando mis decisiones de acuerdo a mi criterio clínico propio y mis conocimientos, a sabiendas de mis limitaciones como profesional. Todavía me faltan por aprender las medidas extraordinarias y/o agresivas de tratamiento en pacientes con....» 3) Mejorar las interacciones entre el tutor y el residente: «La labor quizá más difícil de un médico es “saber cuándo parar” en la utilización de pruebas diagnósticas y actitudes terapéuticas “agresivas”. La disparidad de criterios obedece a consideraciones éticas personales, difíciles de analizar y criticar. En mi opinión, una vez probada la nula posibilidad de recuperación clínicamente significativa, el aspecto que debe primar en la atención es el alivio del dolor y el sufrimiento...» (comentario del tutor al incidente crítico presentado por el residente). 4) Estimular la utilización de estrategias de reflexión y autoaprendizaje: «Tras una respuesta agresiva inesperada conviene dejar hablar. Posteriormente, en frío, reflexionar sobre si mi actuación personal no ha sido del todo correcta. La prevención es importante; crear un ambiente relajado, cordial, sin prisas. El paciente debe percibir que sus intereses se anteponen a cualquier otra cosa». 5) Expandir la comprensión de la competencia profesional: «Me falta aprender a manejarme en situaciones difíciles de características diferentes a ésta que seguro me encontraré a lo largo de los años de residencia, y que me permitirán adquirir experiencia para manejar relaciones delicadas con pacientes». Son pequeñas pinceladas que muestran cómo el esfuerzo dedicado a la elaboración del portafolio per452

sonal del residente puede ayudar en su proceso formativo y en la generación de ciclos de aprendizaje28 (experiencia-observación reflexiva-conceptualización abstracta-experimentación activa) centrados en la experiencia diaria y en la manera de aprender de los adultos 29. También creemos que el trabajo con portafolio permite reflejar aspectos y valores vinculados al profesionalismo que están en el núcleo de algunas propuestas de renovación del aprendizaje de la Medicina30. En diversos talleres y foros de formación realizados sobre portafolio, tanto previos como posteriores a la experiencia piloto, una de las objeciones más generalizadas que hemos encontrado ha sido la concepción por parte de algunos profesionales de que la reflexión («que ya se hace cotidianamente») espontánea, informal, sobre la marcha, comporta los mismos beneficios, a un coste mucho menor, que registrar por escrito el proceso de reflexión sobre nuestro aprendizaje. No hemos encontrado estudios publicados que contrasten estas dos estrategias («reflexión informal» frente a «reflexión registrada»). Entendemos que los costes, en dedicación de tiempo y esfuerzo, de realizar el portafolio son inferiores a los que genera la redacción de un artículo científico, y similares a lo que supone preparar una comunicación a un congreso o una sesión clínica o bibliográfica. Sin embargo, el rendimiento educativo, que no curricular, de estas actividades, sin estar tampoco contrastado, no es cuestionado con tanta intensidad ni por los residentes ni por los tutores. Otra divergencia común consiste en suponer que el portafolio es un instrumento que ha de servir para facilitar al tutor la valoración del esfuerzo, del progreso y del nivel alcanzado por sus residentes. Sin negar que pueda aportar información complementaria a los tutores sobre estos aspectos, desde nuestra perspectiva, el portafolio es, básicamente, una herramienta de trabajo para ayudar a los residentes en su proceso formativo. El esfuerzo, el contenido, los resultados y los beneficios son del residente y para el residente, con el acompañamiento de sus tutores. En esta dialéctica entendemos que mientras no haya una experiencia suficientemente extensa que haya permitido verificar su validez formativa y su eficiencia, el portafolio sólo debería ser usado de forma voluntaria por aquéllos que, convencidos de su potencial e impacto educativos, se sientan cómodos y motivados con este método de aprendizaje. Entendemos que el proceso ha generado algunas resistencias y cierto escepticismo en cuanto a su futuro desarrollo; sin embargo creemos que ha servido para generar una de las primeras experiencias de campo en el desarrollo de portafolios formativos para residentes en España. Creemos, asimismo, que permite evidenciar algunos elementos clave en el proceso formativo y en el progreso profesional de los residentes, como pueden ser la generación y consolidación de hábitos de aprendizaje basados en el análisis de la propia experiencia, la autorreflexión y el pensamiento crítico. Hay experiencias que muestran que estas resistencias pueden ser vencidas31, creemos que merece la pena intentarlo.

Rev Clin Esp. 2008;208(9):447-54

00

ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006

TABLA 5 Fortalezas y debilidades del Portafolio SEMI como elemento de tutorización de residentes, identificadas en la prueba piloto Fortalezas

Aspectos mejorables

Debilidades del entorno

Núcleo reflexivo: promoción de un aprendizaje reflexivo

Simplificar formularios, tareas y contenidos

Poca disponibilidad de tiempo para la tutorización

Sistematización de procesos de aprendizaje

Formación recibida por tutores y residentes usuarios del portafolio

Escepticismo sobre la utilidad de registrar los procesos de aprendizaje y reflexión

Promueve la observación de la propia práctica

Concreción de objetivos docentes

Facilitación de la relación tutor-residente

Funcionamiento del portal informático Procurar valor añadido al portafolio: optimizar tareas, evidenciar o certificar formación Orientación a las necesidades reales de los residentes

Conclusiones y recomendaciones A partir de las diferentes fuentes de información generadas por la experiencia piloto con portafolio (valoración de los portafolios individuales, encuestas de mejora, reuniones de tutores de residentes de Medicina Interna, foro virtual en RedIris y sesiones del Grupo de Formación de la SEMI), podemos concluir (tabla 5) que la introducción de este instrumento formativo en la tutorización de residentes puede ser considerada de interés para tutores y residentes, identificándose como una de sus principales fortalezas la sistematización de un aprendizaje reflexivo a partir de la propia práctica y el ser un marco para la facilitación y fortalecimiento de la relación tutor-residente. Asimismo se han identificado aspectos mejorables tanto en el diseño del Portafolio SEMI (complejidad de las tareas propuestas, deficiencias en el funcionamiento del portal informático, poca concreción de objetivos docentes, formación a tutores y residentes en el manejo y filosofía educativa del portafolio) como en el propio entorno en el que se desarrolla la formación de los futuros internistas (sobrecarga asistencial, escasez de tiempo específicamente reservado para la tutorización, reconocimiento de la función del tutor, desarrollo profesional en metodología docente, etc.). Como recomendaciones para mejorar el desarrollo del Portafolio SEMI en un futuro habría que considerar: 1) Mejorar la formación sobre el instrumento: ofrecer la formación conjuntamente a tutores y residentes, incorporar a residentes que hayan utilizado el portafolio como formadores en los talleres, promover una estrategia de formación de formadores en cada centro, incorporar a tutores con formación más avanzada como dinamizadores de la utilización del portafolio en cada hospital. 2) Revisar el diseño y contenidos del portafolio: imprescindible mejorar la correlación entre competencias y tareas o instrumentos propuestos para la valoración de dichas competencias, vincular las competencias sobre las que trabajar con el diseño del nuevo programa de la especialidad32, mejorar y simplificar los formularios de registro de las diferentes tareas. 00

3) Mejorar elementos de ayuda para la realización del portafolio: completar la guía de trabajo del portafolio, poner a disposición de los usuarios varios ejemplos de cada una de las tareas, disponer de un espacio para las preguntas más frecuentes y disponer de una consultoría vía electrónica. 4) Mejorar y agilizar el funcionamiento del portal informático: simplificar el diseño y mejorar la navegación en el portal, disponer de ayudas, mejorar la seguridad, inlcuir la posibilidad de anexar documentos, permitir la impresión de informes y memorias. 5) Dotar de valor añadido al Portafolio SEMI: certificar la participación con equivalencia en créditos de formación, optimizar la realización de las tareas incorporadas al portafolio (por ejemplo la memoria anual), asegurar la retroalimentación de una valoración externa a cada residente. BIBLIOGRAFÍA 1. General Practitioners Committee. Good medical practice for general practitioners. London: Royal College of General Practitioners; 2002. 2. Asociación de Redes de Comisiones de Docencia y Asesoras (AREDA). La evaluación de la formación especializada como garantía de la calidad del sistema de salud. Educ Méd. 2007;10(1):16-25. 3. Epstein RM. Assessment in Medical Education. N Engl J Med. 2007;356: 387-96. 4. Challis M. AMEE Medical Education Guide Nº 11 (revised): portfoliobased learning and assessment in medical education. Med Teacher. 1999;21: 370-86. 5. Friedman Ben David M, Davis MH, Harden RM, Howie PW, Ker J, Pippard MJ. AMEE Medical Education Guide Nº 24: portfolios as a method of student assessment. Med Teacher. 2001;23:535-51. 6. Plack MM, Greenberg L. The reflective practitioner: reaching for excellence in practice. Pediatrics. 2005;116:1546-52. 7. Roma Millán J. La reflexión como eje central del desarrollo profesional. Educ Méd. 2006;9:30-6. 8. Working Group on Higher Professional Education. Portfolio-based learning in general practice. Occasional Paper num. 63. London: Royal College of General Practitioners; 1993. 9. Grupo de Trabajo Portafolio SEMI. Guía de Trabajo Portafolio SEMI: Curso académico 2007-08. Sociedad Española de Medicina Interna-Institut d’Estudis de la Salut. Disponible en: http://www.fesemi.org/cuaderno/public/. 10. Torán Monserrat P, Arnau Figueras J. El portfolio como instrumento de valoración del residente. Aten Primaria. 2006;37(7):371-3. 11. Ruiz Moral R, Loayssa Lara JR. El portafolio de ética en la formación del médico de familia: argumentación teórica y ejemplificación práctica. Aten Primaria. 2007;39(9):491-4. 12. Arnau J, Torán P, Forés D, Cots JM, Fornells JM, Martínez-Carretero JM. Pilot portfolio project for final year Family and Community Medicine residents. Catalonia 2004. Educ Méd. 2004;7(3):62.

Rev Clin Esp. 2008;208(9):447-54

453

ARNAU I FIGUERAS J ET AL. INTRODUCCIÓN DEL PORTAFOLIO FORMATIVO COMO INSTRUMENTO DE TUTORIZACIÓN DE RESIDENTES DE MEDICINA INTERNA: REVISIÓN DE UNA EXPERIENCIA PILOTO, 2005-2006

13. Arnau J, Torán P, Pujol R, Martínez-Carretero JM, Pinilla B. Portafolio de residentes de Medicina Interna, 2005-2006. Educ Méd. 2007;10(3): 169. 14. Flanagan JC. The critical incident technique. Psychol Bull. 1954;51: 327-58. 15. Caraccio C, Englander R. Evaluating competence using a portfolio: a literature review and web-based application to the ACGME competencies. Teach Learn Med. 2004;16(4):381-7. 16. Challis M, Mathers NJ, Howe AC, Field NJ. Portfolio-based learning: continuing medical education for general practitioners –a mid-pont evaluation. Med Educ. 1997;31:22-6. 17. Ezquerra Lezcano M. El self audit como instrumento de valoración formativa. Aten Primaria. 2005;35(3):121. 18. Ogilvie G, Walsh A, Rice S. The problem-based medical audit program: influence on family practice residents’ knowledge and skills. Fam Med. 1998;30(6):417-20. 19. Joshi R, Ling FW, Jaeger J. Assessment of a 360-degree instrument to evaluate residents competency in interpersonal and communication skills. Acad Med. 2004;79(5):458-63. 20. Potter TB, Palmer RG. 360-degree assessment in a multidisciplinary team setting. Rheumatology. 2003;42(11):1404-7. 21. Sargeant JM, Mann KV, Ferrier SN, Langille DB, Muirhead PD, Hayes VM, et al. Responses of rural family physicians and their colleague and coworker raters to a multi-source feedback process: a pilot study. Acad Med. 2003;78(10):S42-4. 22. Rees Ch. The acceptability of 360-degree judgements as a method of assessing undergraduate medical students’ personal and professional behaviours. Med Educ. 2005;39:49-57.

454

23. Driessen E, van der Vleuten C, Schuwirth L, van Tartwijk J, Vermunt J. The use of qualitative research criteria for portfolio assessment as an alternative to reliability evaluation: a case study. Med Educ. 2005;39:214-20. 24. Webb C, Endacott R, Gray MA, Jasper MA, McMullan M, Scholes J. Evaluating portfolio assessment systems: what are the appropriate criteria?. Nurse Educ Today. 2003;23:600-9. 25. Grant AJ, Vermunt JD, Kinnersley P, Houston H. Exploring student’s perceptions on the use of significant event analysis, as a part of a portfolio assessment process in general practice, as a tool for learning how to use reflection in learning. BMC Med Educ. 2007;7:5. 26. Violato C, Lockyer J, Fidler H. Multisource feedback: a method of assessing surgical practice. BMJ. 2003;326:546-8. 27. Lockyer JM, Violato C, Fidler H. A multi source feedback program for anesthesiologists. Can J Anaesth. 2006;53:33-9. 28. Curry L. Cognitive and learning styles in medical education. Acad Med. 1999;74(4):409-13. 29. Schön DA. La formación de profesionales reflexivos. Hacia un nuevo diseño de la enseñanza y el aprendizaje en las profesiones. Barcelona: Paidós; 1992. 30. Weinberger SE, Smith LG, Collier VU. Redesigning Training for Internal Medicine. Ann Intern Med. 2006;144:927-32. 31. Sprigge JS, Higgins J, Rice B, Tofield L, Graham D. Appraisal, assessment and career development for doctors in training: the Mersey Deanery personal development portfolio. J R Soc Med. 2006;99:521-6. 32. Orden SCO/227/2007, de 24 de enero, por la que se aprueba y publica el programa formativo de la especialidad de Medicina Interna. (BOE nº 33 de 7 de febrero de 2007;5755-9).

Rev Clin Esp. 2008;208(9):447-54

00