Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
NEUROCIRUGÍA www.elsevier.es/neurocirugia
Artículo de opinión
El método de selección de los residentes en ˜ Análisis del examen MIR y propuesta Espana. de una nueva metodología Ramiro D. Lobato a,b,∗ , Alfonso Lagares a,b , Victoria Villena a,c , José F. Alen a,b , Luis Jiménez-Roldan a,b , Pablo M. Munárriz a,b , Antonio Blanco a , Lucía Jorge a y Jorge García Seoane a a b c
˜ Facultad de Medicina, Universidad Complutense de Madrid, Madrid, Espana ˜ Servicio de Neurocirugía, Hospital Universitario 12 de Octubre, Madrid, Espana ˜ Servicio de Neumología, Hospital Universitario 12 de Octubre, Madrid, Espana
información del artículo
r e s u m e n
Historia del artículo:
Introducción: El método para seleccionar a los graduados que acceden a los puestos de resi-
Recibido el 2 de febrero de 2015
dencia condiciona decisivamente el funcionamiento curricular en las escuelas de medicina,
Aceptado el 2 de febrero de 2015
incluyendo la manera de estudiar y aprender del estudiante y la actitud docente del profe-
On-line el xxx
˜ puede ser fácilmente mejorada, por lo sorado. La metodología usada actualmente en Espana que tomando como referencia las metodologías multicriterio empleadas en el Reino Unido
Palabras clave:
y los EE. UU. proponemos una similar para ser aplicada en nuestro país.
Examen MIR
Objetivos del estudio: Analizar las limitaciones del método para la selección de los residentes
Grado de medicina
˜ y proponer uno nuevo que mejore el ordenamiento de los candidatos y utilizado en Espana
Selección de residentes
evite la distorsión producida por el actual sobre la dinámica curricular. Aparte de proponer la
Posgrado en medicina
˜ modificación del examen MIR, se comenta la necesidad de mejorar las ensenanzas prácticas
Residencia
y evaluar el nivel de competencia clínica de los estudiantes.
Tests de conocimientos
˜ basado fundamentalmente en un Conclusiones: El método de selección aplicado en Espana,
Competencia clínica
test teórico, resulta inapropiado y debería ser sustituido por otro que evalúe mejor la capacidad la contextualización clínica de los conocimientos y el nivel de competencia clínica y que tenga en cuenta el rendimiento global del estudiante a lo largo del grado de forma ponderada. ˜ © 2015 Sociedad Espanola de Neurocirugía. Publicado por Elsevier España, S.L.U. Todos los derechos reservados.
∗
Autor para correspondencia. Correo electrónico:
[email protected] (R.D. Lobato). http://dx.doi.org/10.1016/j.neucir.2015.02.001 ˜ 1130-1473/© 2015 Sociedad Espanola de Neurocirugía. Publicado por Elsevier España, S.L.U. Todos los derechos reservados.
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
2
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
The method of selection of the residents in Spain. Analysis of the examination MIR and offer of a new methodology a b s t r a c t Keywords:
Introduction: The method for selecting medical graduates for residency positions has a strong
MIR examination
influence on teaching and learning strategies in medical schools. The methodology currently
Medical grade
used in Spain does not seem appropriate for ranking the candidates or improving curriculum
Selection for residency
development. Thus, and taking into account the most consistent methodologies used in the
Postgraduate specialization
United Kingdom and USA, we have designed a new method to be used in our country.
Clinical competence
Objectives: To analyze the limitations of the methodology used in Spain, and propose a new
Knowledge testing
one aimed to improve the accuracy of selection itself and avoiding the negative influence of
Assessment
the current method on curricular development. In addition, we emphasize the necessity of improving teaching and learning in the clinical context to assure that graduating students reach an adequate level of clinical competence. Conclusions: The method for selecting candidates to residency post currently used in Spain, which relies mainly on testing theoretical knowledge, should be changed for an alternative methodology taking into account student,s performance through the course and assessing his/her ability for clínical contextualization of knowledge and level of clinical competence. ˜ de Neurocirugía. Published by Elsevier España, S.L.U. All © 2015 Sociedad Espanola rights reserved.
Introducción En un artículo previo1 revisamos las metodologías para la selección de los residentes utilizadas en diferentes países y analizamos más en detalle las aplicadas en el Reino Unido ˜ (RU) y los Estados Unidos (EE. UU.) con el propósito de disenar ˜ un método que mejore el utilizado actualmente en Espana que además de ser inapropiado ejerce una influencia negativa sobre el funcionamiento curricular2–6 . El nuevo método descrito en este artículo utiliza la nota del expediente académico, 2 test teóricos que miden la capacidad del estudiante para la contextualización clínica de los conocimientos y el razona˜ para evaluar la capacidad miento clínico, y un test disenado de enjuiciamiento de situaciones comúnmente encontradas en la práctica clínica diaria. ˜ del nuevo método topamos con la falta Al abordar el diseno de datos objetivos sobre los criterios incluidos en el mismo. En ˜ contra de lo que ocurre en el RU y los EE. UU.7,8 , en Espana no disponemos de información contrastada sobre la variabilidad de los métodos de instrucción y evaluación en las diferentes facultades necesaria para recomendar el uso del expediente académico por lo que recurrimos a una fórmula de ponderación del expediente que equilibre las diferencias atribuibles a las facultades (ver Anexo 1). Por otra parte, y en relación con el examen MIR (Médico Interno Residente), tampoco disponemos de análisis de consistencia interna, validez, poder discriminativo, generalización y otros parámetros que determinan la calidad de un test. Finalmente, solo algunas facultades realizan evaluación secuencial de la competencia clínica del estudiante a lo largo del grado, o utilizan un examen clínico objetivo estructurado (ECOE) de final de grado para medirla. En el presente estudio hacemos un análisis crítico de las limitaciones del método para la selección de los residen˜ tes aplicado actualmente en Espana, describimos la nueva
metodología para llevarla a cabo, y enfatizamos la necesidad ˜ de mejorar las ensenanzas teóricas y prácticas en nuestras facultades.
El método de selección de los residentes en ˜ Espana El método actual para generar el listado de acceso a la residencia en las 47 especialidades existentes en nuestro país utiliza como criterios: a) las notas del expediente académico del Grado (10% del peso); y, b) la puntuación en el examen MIR (90% del peso). A continuación analizamos la valoración otorgada a estos criterios y las limitaciones de los mismos.
El valor del expediente académico En contra de lo que ocurre en otros países1 , en el nuestro no disponemos de análisis comparativos de la variabilidad en los métodos de instrucción y las calificaciones que se otorgan durante el grado en las diferentes facultades de medicina. Así, ante la presumible heterogeneidad del funcionamiento curricular y el «inflado» de las notas, los estudiantes aplaudieron el último recorte del valor del expediente del 25 al 10% manifestando que «es la única forma viable de reducir las diferencias entre facultades en al acceso al posgrado» (Consejo Estatal de Estudiantes de Medicina – CEEM; Diario Médico, 4 abril, 2011). Más recientemente, los estudiantes han propuesto eliminar por completo el peso del expediente, sin considerar en qué medida ello agravia a quienes demuestran un mejor rendimiento académico a lo largo del grado, o los posibles efectos adversos sobre la motivación del alumno para el autoaprendizaje, por un lado, y sobre la dedicación docente del profesorado y las estrategias de innovación curricular que deben ser perseguidas en todas las facultades, por otro lado. El control y la mejora del curriculum compete, entre otros agentes
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
implicados, a los estudiantes, cuya actitud acomodaticia y evasiva en este importante asunto refleja falta de formación y profesionalismo. Aun admitiendo que no son responsables ˜ del desalineamiento entre la ensenanza recibida en el grado y la evaluación a que son sometidos en el examen MIR, se les podría reclamar una posición más decidida para defender el mejor funcionamiento curricular y perseguir la valoración de ˜ prácticas que aseguran el alcance de un nivel las ensenanzas de competencia clínica adecuado al final del grado. Los portavoces de la Conferencia Nacional de Decanos de Medicina (CNDFM) lamentan que las notas de la carrera pierdan influencia para acceder al posgrado y apuntan que la devaluación del expediente «. . .supone en la práctica la desconfianza de Sanidad en la labor formativa de las facultades.... que favorece a las academias MIR en detrimento de la mejora de la calidad docente en las facultades», proponiendo «homogenizar las supuestas diferencias entre facultades con respecto a las notas». Sin embargo, ni el CEEM, ni la CNDFM, ni la Agencia Nacional para la Evaluación de la Calidad (ANECA), encargada del control de calidad y el desarrollo de los curriculum, promueven encuestas nacionales sobre la operatividad de los métodos de instrucción y evaluación, o análisis de comparabilidad de los resultados obtenidos en nuestras facultades, que resultan más necesarios aún en un momento en que se crean nuevas facultades de manera incontrolada. En un artículo previo comentamos la utilidad de los análisis del funcionamiento curricular de ámbito nacional, como los realizados en el RU o los EE. UU., que facilitan la utilización del expediente académico como criterio para el acceso a la residencia (cuyo peso es casi del 50% para la entrada al Foundation Programme en el RU)1 . La resignación del sector académico ante el control unilateral del examen de acceso a la residencia por parte del Ministerio de Sanidad en nuestro país, y la aceptación fatalista ˜ de que las ensenanzas impartidas en las facultades no sean adecuadamente evaluadas en el examen MIR, cierra una espiral de desmotivación creciente entre el discente y el docente que no favorece la mejora del funcionamiento curricular. Aunque el Libro Blanco de la ANECA apuntó directrices para que cada universidad organizara con amplia libertad su programa sobre el marco de un curriculum de base común adaptado a Bolonia, la variedad de normativas aprobadas por los Consejos de Gobierno de las Universidades para la elaboración del Grado, los intereses espurios de los departamentos y áreas de conocimiento en cada facultad, las imposiciones particulares en algunas comunidades autónomas, y el silencio de la propia ANECA sobre la operatividad real de curricula ˜ hacen sospechar que el funcionaimplantados hace ya 8 anos, miento de estos podría ser insatisfactorio en algunos aspectos, y que probablemente exista un grado amplio de dispersión de las notas otorgadas en las facultades que podría ser utilizado por quienes rechazan la utilización del expediente académico como criterio para la selección de los residentes.
Conclusión sobre la propuesta de cambio en la valoración del expediente El nuevo método para la selección de los residentes en nuestro país debería incrementar la valoración del expediente académico que podría hacerse sin faltar a la equidad recurriendo a una fórmula que neutralice o disminuya los disbalances entre
3
las calificaciones otorgadas en las diferentes facultades (ver Anexo 1). También debería incrementarse el peso del nivel de competencia clínica adquirido por el estudiante en las rotaciones clínicas, porque el aumento relativo del valor de este rendimiento en relación con el resto de asignaturas favorece˜ ría la reducción del actual disbalance entre las ensenanzas ˜ un desateóricas y las prácticas en el curriculum espanol, juste que se ve constantemente reforzado por la existencia de un examen como el MIR que no evalúa bien el nivel de competencia clínica del estudiante. La consideración de que ˜ funla evaluación dirige el aprendizaje y mejora la ensenanza damenta la estructura curricular en países líderes en docencia médica, donde se evalúan los niveles de competencia clínica de manera longitudinal a lo largo del grado con test teó˜ ricos específicamente disenados, ECOEs, portafolios y otros instrumentos1 . La utilización de esta estrategia evaluadora ˜ en nuestra unidad docente desde hace varios anos demuestra que es aplicable con el actual curriculum a pesar de que este otorga tan solo alrededor del 16% del total de los ECTS a la práctica clínica.
La valoración del examen MIR Analizamos las limitaciones de este examen para clasificar a los candidatos que acceden a los puestos de residencia, y ˜ para medir la calidad de la ensenanza impartida en las facultades. Además, se considera el papel de las academias en la preparación para el examen MIR.
Utilidad del examen MIR para ordenar a los residentes Coincidimos con la mayoría de expertos en docencia médica en que fundamentar la oportunidad de acceso a los puestos de residencia sobre un único examen («disparo único») como el MIR, que se limita a medir conocimientos, es inapropiado1 . La formación del estudiante en las buenas escuelas de medicina incluye la adquisición de conocimientos integrados que se aplican en el contexto clínico usando el razonamiento analítico y deductivo, y de una serie de habilidades y actitudes profesionales englobadas en los «constructos» que llamamos competencia clínica y profesionalismo que no pueden ser medidos con el examen MIR9–11 . De ahí la conveniencia de sustituir este examen por otro, u otros, que garanticen realmente la equidad y la justicia en el proceso de selección (atribuidas al MIR sin juicio crítico), y refuercen la instrucción práctica y la evaluación de la competencia clínica en nuestras facultades. El examen MIR no alcanza el propósito para el que fue ˜ i. e., medir los conocimientos del candidato y su disenado capacidad para contextualizarlos en relación con la práctica clínica porque su validez de contenido, que incluye la extensión de la muestra y la calidad de las preguntas (ítems), es baja. El uso de 225 preguntas es insuficiente para evaluar el ˜ contempladas en alcance de los objetivos de las ensenanzas ˜ los 6 anos del grado. Aparte de la escasez de preguntas sobre ciencias básicas (solo se incluyen 2 o 3) y tópicos mayores como emergencias y cuidados críticos, medicina ambulatoria y enfermedad crónica o salud comunitaria, las patologías más relevantes están infrarrepresentadas. Un 10-12% del total de las preguntas son de epidemiología y estadística, cuando estas materias tienen adjudicados 6 créditos europeos (ECTS),
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
4
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
mientras que la proporción es solo de un 5% en pediatría (con 12 ECTS adjudicados) y alrededor de un 9% en cardiología y gastroenterología. La muestra de un test que decide sobre la graduación o el acceso a la residencia ha de ajustarse a los objetivos de adquisición de conocimiento y el mapa de competencias clínicas explicitados en el programa docente («blueprint»). Así, para medir adecuadamente los conocimientos en relación con las ciencias básicas y clínicas y los dominios más importantes de la experiencia clínica, el examen MIR debería incluir una muestra como mínimo doble de la actual (ver más adelante). En cuanto a la calidad de los ítems, solo una parte de las preguntas de elección múltiple y respuesta única (multichoice questions – MCQ) incluidas en el MIR permiten medir procesamiento cognitivo complejo (interpretación, síntesis y aplicación del conocimiento), o utilizan un contenido rico y claramente formulado relacionado con los problemas más comunes encontrados en la práctica clínica. Los expertos en psicometría advierten que resulta difícil encontrar 4 distractores realmente operativos (homogéneos y plausibles o «equiprobables», en relación con la respuesta correcta) cuando se utilizan MCQ de 5 opciones, y que esto ocurre con el MIR se comprueba analizando las preguntas de neurología˜ neurocirugía incluidas en los test de los últimos 4 anos, de las que las 2 terceras partes incluían de 1-4 distractores no funcionales. Por otra parte, predominaron las preguntas de «reconocimiento» de datos frente a las que miden capacidad de razonamiento clínico y manejo diagnóstico-terapéutico del paciente, por lo que su validez para evaluar el aprendizaje del bloque de neurociencias es muy limitada. Además, el MIR sigue incluyendo preguntas relacionadas con problemas «exóticos» en detrimento de las de orientación ˜ sucesiy contenido práctico, preguntas que se repiten en anos vos cambiando tan solo el orden de las respuestas, y preguntas concatenadas (entre 15-17 en cada test) mal construidas al no poder contestarse sus 2 partes de manera independiente. Finalmente, la calidad de las imágenes presentadas es con frecuencia deficiente, lo que podría subsanarse con la digitalización u otro tipo de presentación. Las academias consideran ˜ se podrían anular alrededor de 60-70 preguntas que cada ano por defectos de construcción, pero un psicometrista moderadamente exigente eliminaría aún más. Algunos expertos aconsejan utilizar preguntas MCQ de 3 opciones en vez de las 5 clásicas porque resulta siempre factible encontrar 2 distractores «equiprobables», y porque ˜ de la muestra evaluada para permiten aumentar el tamano un mismo tiempo de examen sin disminuir la validez y el poder discriminativo del test, que incluso se incrementan12,13 . Por otra parte, el formato MCQ no es el único, ni quizás el más apropiado para medir razonamiento clínico y habilidades cognitivas de alto rango, o la capacidad para la resolución de problemas clínicos, que para muchos expertos se evalúan mejor recurriendo a preguntas del tipo «extended matching» (EMQ) de apareamiento entre una lista de opciones y una serie ˜ clínicas). Las EMQ, que desplazan cada vez de ítems (vinetas más a las MCQ, tienen mayor fiabilidad, son más difíciles y discriminantes (las contestan mejor los alumnos con mejor formación clínica) y no son más difíciles de construir11,14–21 ; además, al incrementar el número de opciones disminuyen el efecto del azar16,20,21 y permiten reducir el tiempo del examen
(o colocar una muestra mayor en el mismo tiempo). Diferentes estudios han comprobado que los test basados en EMQ son más fiables (reproducibles) que los apoyados en MCQ para medir juicio clínico14 , e identifican mejor a los estudiantes excelentes que las MCQ de 5 opciones que son, en cambio, más discriminantes para identificar a los que tienen rendimientos más bajos18 . De aplicar la ecuación que mide la calidad de un test, que viene determinada por el sumatorio de validez, fiabilidad, impacto educacional, aplicabilidad (coste-efectividad) y aceptabilidad, del MIR sólo resultaría aceptable su aplicabilidad, si bien hay que decir que el formato en papel plantea limitaciones y fallos reportados por los estudiantes en diversos blogs relacionados con la calidad deficiente de las imágenes que podrían subsanarse con recursos electrónicos que permiten más versatilidad, claridad y agilidad en la presentación de los materiales sin incrementar el coste del examen. En relación con la fiabilidad, ya se ha dicho que no disponemos de análisis de consistencia interna; los responsables del Ministe˜ hicieron un análisis del examen rio de Sanidad, que hace anos aplicando la Teoría Clásica de los Test, quizás hayan realizado otros ulteriores para consumo interno, pero estos no han sido publicados. En cuanto a la aceptabilidad del test por profesores y alumnos hay que lamentar también la escasez de análisis serios; en realidad, y exceptuando las reiteradas críticas de los estudiantes en diferentes blogs y foros (GangasMIR), y las escasísimas publicaciones sobre el tema, solo se recogen opiniones aisladas en contra de la calidad del examen por parte de estudiantes y profesores.
Conclusión sobre la propuesta de cambio del examen MIR ˜ del test MIR ha mejorado en los últimos Aunque el diseno ˜ anos sigue mostrando defectos estructurales serios que exigen su sustitución por otro, u otros, de mayor validez. El Ministerio de Sanidad, cuya falta de transparencia ha sido criticada por el CEEM y otras instituciones académicas, debería aportar análisis de la fiabilidad (un examen de graduación ha de superar idealmente el 0,8 de coeficiente alfa) y validez del examen22 , y datos que permitan establecer correlaciones entre la nota obtenida en este examen y otros rendimientos de los candidatos, bien previos al examen (global del expediente y competencias particulares), o bien posteriores al mismo (rendimiento del candidato durante la residencia). El actual examen MIR no mide bien los conocimientos del graduado, ni su capacidad para el razonamiento clínico y el manejo diagnóstico-terapéutico del paciente. Además, y al no ˜ para ello, tampoco mide la capacitación para estar disenado ˜ clínico (nivel de competencia). el desempeno En consecuencia, este test debería ser mejorado y representar tan solo uno de los criterios de selección para los puestos de residencia. La mejora incluiría un aumento de la muestra evaluada (conocimientos de básicas y clínicas) y el uso combinado de los formatos de pregunta más adecuados para medir la capacidad de contextualización clínica de dichos conocimientos. La escasez y los disbalances de la muestra del examen ha llevado a los estudiantes, que echan de menos el impres˜ cindible alineamiento entre las ensenanzas impartidas en el grado y la evaluación de las mismas en el MIR, a solicitar que el Ministerio de Sanidad edite un «temario oficial MIR» que
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
debería además estar consensuado con los temarios vigentes en las facultades. Pero los estudiantes piden también que ˜ se mejoren las ensenanzas teóricas impartidas en la facultad y que los profesores del grado les ayuden de algún modo en la preparación específica del examen MIR mientras este siga existiendo (ver más adelante).
Utilidad del examen MIR para medir la calidad de la ˜ ensenanza impartida en las facultades y predecir el rendimiento del candidato durante la residencia Para superar el MIR hay que adquirir abundantes conocimientos y una técnica de estudio eficaz, pero no existe evidencia definitiva de que el resultado obtenido por el candidato en este ˜ recibida en test se correlacione con la calidad de la ensenanza las facultades. De hecho, el resultado podría depender más de factores endógenos relacionados con el propio estudiante, que de ser inteligente y tenaz lo es habitualmente desde la escuela secundaria y continúa siéndolo durante la carrera y en su trabajo de preparación intensiva en la academia MIR23 . Estos estudiantes sacan notas altas en la selectividad y, entre otras razones, tienden a elegir las facultades más demandadas porque saben que sus egresados obtienen mejores números en el MIR (a esta elección se le ha llamado autoselección del estudiante). Así, pudiera ocurrir que las mejores puntuaciones MIR no se relacionen tanto con la calidad de la instrucción recibida como con el hecho de que los estudiantes más esforzados y capaces son aceptados en ellas. Otro sesgo de endogeneidad que puede alterar la relación entre la nota obtenida en el MIR y la supuesta calidad de la facultad en la que estudió es que el egresado decida evitar el esfuerzo de preparación del examen (sin o con academia incluida) al decantarse de entrada por una especialidad de baja cotización a la que se puede acceder con números bajos. En cualquier caso, el resultado del examen MIR no debe ser utilizado para catalogar la calidad de las facultades. Un representante del CEEM afirma en el 2014 que «al día de hoy el MIR es uno de los pocos indicadores fiables para valorar las diferencias en la formación de los estudiantes», cuando debería hablarse de diferencias en la capacitación para contestar al test y nada más. Como apuntan Clauser et al.24 , cada test mide lo que ˜ mide (aquello para lo que fue disenado), y el MIR no es válido para evaluar la «formación de los estudiantes» de una manera global y apropiada y, por ende, tampoco lo es para medir la ˜ impartida en las facultades. La comcalidad de la ensenanza parabilidad entre facultades no puede establecerse sobre la ˜ cuyos base de un test de conocimiento pobremente disenado resultados son interpretados a veces de modo sesgado por facultades y academias que utilizan diversos artificios contables para erigirse como las mejores (al «exhibir» los resultados no se tienen en cuenta los egresados del curso que no se presentan al examen, ni las tasas de recirculación de candidatos). Diferentes estudios muestran que algunas facultades ocu˜ tras ano ˜ los mejores o los peores puestos en el ranking pan ano MIR, y se habla de «bolsas de ineficiencia»23 ; sin embargo, y aunque pudiera ocurrir que este ranking no variara utilizando otros criterios más apropiados para medir la verdadera ˜ calidad de la ensenanza, esta no ha sido determinada todavía con ninguno que pueda considerarse válido. Clasificar las
5
facultades exige medir bien los conocimientos y el nivel de competencia clínica alcanzado por sus estudiantes a lo largo y al final del grado, e idealmente hacer un seguimiento de su ˜ («performance») durante la residencia25 . Habiéndesempeno dose demostrado que un examen multifunción como el United States Medical Licensing Examination (USMLE)26 , que incluye, entre otros, tests de tipo teórico similares al MIR, pero bien ˜ no sirve para medir la calidad de las escuelas en disenados, EE. UU.1 , menos probable es que sirva nuestro MIR para este propósito. Tampoco hay ninguna evidencia de que el resultado del examen MIR prediga o se correlacione con la calidad del ˜ del candidato durante la residencia. Dos estudesempeno dios realizados en los EE. UU. evidenciaron una correlación positiva27 , o falta de correlación28 entre el rendimiento en el grado, o el resultado obtenido en un test de conocimiento ˜ durante la residencia, de ámbito nacional, con el desempeno pero en nuestro país no disponemos de datos en este sentido. Otra vez más, el rendimiento del residente podría ser manifestación de una calidad intrínseca situada de antemano por encima de la media y demostrada por él/ella en rendimientos previos como el expediente del grado o el propio examen MIR. De nuevo, establecer esta correlación requeriría un seguimiento de cohortes de egresados, pero la dispersión de estos al acceder a la residencia hace muy difícil realizarlo. Por otra parte, la evaluación del residente es deficitaria en nuestro país, donde no se aplican los instrumentos al uso para medir la ˜ clínicos, y ni siquiera se pasa un competencia o desempeno examen final de conocimientos (tipo Board) para otorgar el título de especialista. Es claro que los residentes que obtienen números altos en el MIR «son generalmente buenos, o muy buenos en la residencia» pero, como ya se apuntó, esta «bondad» podría deberse sobre todo a la calidad intrínseca del individuo.
Conclusión sobre la utilidad del examen MIR para valorar ˜ la calidad de la ensenanza impartida en las facultades ˜ La calidad de la ensenanza en las facultades no puede definirse sobre la base de los resultados obtenidos por sus egresados en el examen MIR, que podrían relacionarse sobre todo con la calidad intrínseca del estudiante y la eficiencia de ˜ en conseguir una puntuación alta. La pertenensu empeno cia de este tipo de estudiante a una «buena» facultad podría deberse a la autoselección para acceder a la misma, quedando así por demostrar que sea el tránsito por ella lo que le lleva a conseguir un mejor resultado. El examen MIR ˜ ni sirve, para establecer un ranking de ni está disenado, facultades que solo se podría establecer utilizando otras estrategias e instrumentos para determinar la operatividad del ˜ currículum aplicado en ellas (test teóricos bien disenados, evaluaciones objetivas del nivel de competencia clínica, y encuestas externas, internas o ambas). La recogida mediante ˜ y una encuesta nacional de datos sobre las ensenanzas evaluaciones, tanto teóricas como prácticas, en las diferentes facultades, y la administración de los 3 test incluidos en el nuevo método de selección propuesto en este estudio (ver más adelante) darían una idea más ajustada de la calidad de la formación impartida en las diferentes facultades.
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
6
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
El papel de las academias MIR Algunos informes emanados de las academias indican que estudiantes con tasas de acierto de 66-70 preguntas en los primeros simulacros a su llegada a la academia pueden llegar a doblarlas tras el entrenamiento intensivo con ˜ «testing-retesting». Otro senuelo es que la preparación ofrecida puede mejorar entre 10-20 puestos la posición final del candidato en el listado de acceso a la residencia, lo cual puede resultar determinante para acceder a la especialidad deseada, sobre todo si se trata de una muy demandada. Sin embargo, no existen datos contrastados que sustenten estas afirmaciones. Es muy probable que el paso por la academia incremente de manera decisiva los conocimientos necesarios para superar el examen en la franja de los peores estudiantes, pero ni siquiera esto está demostrado. Aunque en algunos blogs se han reportado diferencias muy marcadas entre los porcentajes de candidatos que superan la nota de corte u obtienen plaza tras asistir o no a la academia, no disponemos de datos sobre los atributos personales o el nivel de conocimiento de base de las poblaciones de asistentes y no asistentes, ni las razones por las que unos desecharon la opción. Ya hemos hablado de los factores endógenos que llevan a muchos estudiantes a perseguir con extremado ˜ y determinación la superación de cualquier exaempeno men. En cuanto a la calidad del entrenamiento en las academias, algunos análisis muestran porcentajes similares de alumnos de una misma facultad en las diferentes franjas de resultados (e. g. los 100, 500 o 2.000 primeros) tras el paso por academias diferentes. Así, los porcentajes de alumnos de la facultad de la UCM que asistieron a las academias CTO y AMIR alojados entre los 100 primeros fue del 3% (6 de 207) y 4% (3 de 73) respectivamente, y el de los alojados entre el 1-2.100 fue de 59% (122 de 207) y 55% (40 de 73), también respectivamente, diferencias que no son estadísticamente significativas. Lo que nunca sabremos es qué resultados habrían obtenido los mismos alumnos pasando el mismo test justo al acabar el grado. Al no existir análisis rigurosos de qué aportan las academias en cuanto a incremento de conocimientos y la habilidad para de utilizarlos durante la resolución del examen (técnica ˜ de mejora de respuesta), y carecer de estudios bien disenados que comparen el rendimiento de asistentes y no asistentes (que serían de poco valor porque la gran mayoría asisten a la academia), tenemos que remitirnos otra vez más a manifestaciones vertidas en diferentes blogs, o a encuestas aisladas que no despejan las dudas planteadas. Una encuesta personalizada pasada por los autores a residentes del hospital que obtuvieron números muy altos en el MIR, y a estudiantes de 6.◦ curso de nuestra facultad con los mejores expedientes cuando estaban preparándose en las academias, recogió juicios muy similares sobre la utilidad y las limitaciones del entrenamiento recibido, que según ellos «tiene luces y sombras». En relación con la valoración positiva la mayoría de los encuestados coincidieron en que «. . .las clases recibidas y el ejercicio de ‘testing-retesting’ incrementaron el monto de los conocimientos. . .» y en que «. . .la técnica de estudio utilizada ayudó a sedimentar y ordenar los adquiridos previamente durante el grado y a utilizarlos mejor en la resolución del test. . .». Algunos
consideraron «. . .mejor ordenada y más eficiente la transmisión de conocimientos en las clases de la academia que en las recibidas en la facultad. . .» y que «. . . las clases del grado deberían ser igualmente ordenadas, siguiendo un guión único que evite vacíos, solapamientos y repeticiones generados por la intervención de numerosísimos profesores que no hablan entre sí. . .» «. . . los profesores hablan de la evaluación del alumno pero no de la del profesorado y la del propio programa en cada facultad». Además valoraron muy positivamente el entrenamiento específico para facilitar la identificación de la respuesta correcta y la orientación sobre los contenidos inesperados (lo que llaman «los caprichos del examen MIR»). Hablan también de la calidad de los profesores a la hora de transmitir los conocimientos que. . . «con frecuencia superan a los de la facultad. . .»; y algunos se preguntan «. . .por qué es más eficiente la academia en seleccionar y motivar la excelencia de su plantilla de profesores, o por qué no cuenta la universidad con ellos». Además destacan la organización «compacta» del material de estudio que les permite preparar el examen en 6 meses, y que las academias sean más novedosas en tecnología respecto a las facultades (páginas web con multimedia, aplicaciones para móviles, pizarra digital, etc.). Algunos alumnos parecen «descubrir» en la academia cómo se da bien un programa teórico y consideran que «. . .se debería utilizar la ˜ estrategia docente de las academias para mejorar las ensenanzas teóricas en las facultades. . .». Finalmente, sugieren que la facultad debería proporcionar materiales de estudio similares a los que facilitan las academias para preparar el examen, al modo que se hace en los EE. UU. con los libros de preparación del examen nacional USMLE que evitan la asistencia masiva a las academias que se da en nuestro país. Los juicios sobre las limitaciones de las academias fueron también coincidentes, y se expresaron con opiniones tales como: «. . .la diferencia no es la academia sino el propio alumno y el material de que dispone... un buen estudiante en la facultad solo necesita un temario enfocado al MIR (manuales de cada materia y test) y tiempo para estudiarlo», «. . . solo algunos estudiantes necesitan que alguien esté encima de ellos para trabajar el temario», «. . .el examen MIR desmotiva al alumno durante la carrera y desmotiva también al profesor. . .», «. . .el resultado del examen depende más del potencial intrínseco del alumno y su capacidad de memorizar y su esfuerzo», «. . .lo único que obtuve en la academia fue el ‘material’ para hacer simulacros y corregir las respuestas erróneas.... así, deje muy pronto de asistir a las clases y en ellas no aprendí nada que hubiera podido aprender en la facultad». Las opiniones anteriores dejan clara la ambivalencia del juicio sobre el «fenómeno academia» de un grupo seleccionado de estudiantes excelentes, la mayoría de los cuales se ˜ teórica del grado sienten «atrapados» entre una ensenanza claramente mejorable y un examen teórico (el MIR) pobre˜ que determina su empleabilidad en el sistema mente disenado nacional de salud. En las actuales circunstancias el paso por la academia se siente como una necesidad porque contribuye a ordenar los conocimientos adquiridos y mejora el rendimiento en el test. Parece claro también que la instrucción teórica orientada al examen en la academia y la competencia de quienes la imparten supera a las disponibles en las facultades. Los estudiantes consideran que el «repaso» sistematizado de conocimientos ofertado en las academias debería ser
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
asumido por las facultades, que podrían además editar un manual orientador para preparar el examen, e incluso impartir un cursillo específico de entrenamiento en la técnica de respuesta con la realización de 2-3 simulacros. En cualquier caso, las opiniones de los estudiantes acerca de la mayor eficiencia de las clases teóricas en las academias (sistematización, integración y coherencia interna) denotan un defecto de nuestro curriculum en este apartado de la instrucción (carga teórica excesiva y pobremente integrada y estructurada) que tendría que ser corregido. Siendo el objetivo ˜ central de la ensenanza del pregrado entrenar al estudiante en el contexto clínico para que acabe siendo un buen médico general, los profesores deberían abandonar la transmisión de conocimientos desconectados de la realidad clínica, en favor ˜ que los integre y oriente hacia la adquiside una ensenanza ción de la máxima competencia clínica y los evalúe de manera sistemática. El alcance de este objetivo se facilitaría modificando el currículum y creando Unidades Docentes similares a las existentes en otros países8 con potestad para ordenar y equilibrar con una perspectiva transversal o transdeparta˜ mental las ensenanzas teóricas y prácticas.
Conclusión sobre el papel de las academias en la preparación del examen MIR ˜ Aun cuando nuestras facultades mejoren las ensenanzas teóricas en los cursos clínicos, y acepten proporcionar un entrenamiento específico para el examen MIR durante el 6.◦ curso que podría sustituir al aportado en la academia, no se debe perder de vista que, al igual que ocurre en otros países, el actual grado permite adquirir conocimientos y competencias clínicas suficientes para iniciar y completar una buena formación durante la residencia1 . Debemos preguntarnos también si es realmente necesario ordenar a los egresados para el acceso a la residencia, algo que se rechaza en muchos países con excelentes niveles de docencia médica como Holanda, Alemania o los países nórdicos, donde consideran «tóxico» el efecto de los exámenes de ámbito nacional tipo MIR sobre el funcionamiento curricular y las estrategias docentes. La eliminación o la transformación del actual examen MIR y la aplicación de un método multicriterio para el acceso a la residencia eliminaría el dispendio de tiempo y dinero que supone asistir a la academia y el factor de inequidad ligado a que no todos los estudiantes pueden asumir el coste de matrí˜ o disponen de ellas en sus cula (entre 1.500-3.900 euros/ano), lugares de residencia. Asumiendo que se estudia siempre en función del sistema de evaluación es fácil de entender que los estudiantes sientan la necesidad de acudir a las academias para aprender MIRICINA y recibir entrenamiento en la técnica de respuesta a un examen que no mide todo lo que hay que ˜ – contenidos y pregunmedir y que está pobremente disenado tas – para medir lo que pretende. Asumiendo también que las autoridades ministeriales mantendrán la exigencia de ordenar a los candidatos con un examen nacional, la cuestión se reduce a mejorar dicho examen y el método de selección y ˜ esperar que esta modificación ayude a mejorar la ensenanza en las facultades.
7
Propuesta de un método alternativo para la ˜ selección de los residentes en Espana ˜ el examen MIR es «patrimonio» del Ministerio de En Espana, Sanidad que lo utiliza como instrumento de gestión intermedio entre el numerus clausus de las facultades, fijado por el Ministerio de Universidades, y la disponibilidad de puestos de especialista en el Sistema Nacional de Salud financiados actualmente por las comunidades autónomas. La falta de sincronía entre las políticas de ambos ministerios impone cambios recurrentes en las ratios de candidatos por plaza ofertada, y en las llamadas notas de corte y los cupos, que han impedido alcanzar la deseable continuidad entre la oferta de puestos de pregrado y posgrado, un objetivo que, como ya se ha dicho, se consigue en países con un excelente nivel de docencia médica sin necesidad de realizar un examen nacional. Sin embargo, en los países mediterráneos se considera ineludible la utilización de este tipo de examen para ordenar de manera «equitativa» a los candidatos. Por ello, parece imprescindible un acuerdo entre las universidades y el sector sanitario para adoptar un nuevo método multimodal de selección que mejore el aplicado actualmente en nuestro país y que podría incluir los siguientes criterios: 1) La valoración del expediente académico utilizando o no un instrumento similar al «Medical Student Performance Evaluation»1 americano que compara el rendimiento del estudiante en las asignaturas teóricas y en las rotacio˜ de curso; podrían nes clínicas con el de sus companeros incluirse méritos menores como publicaciones, trabajo de investigación, participación en ONG y algún otro. El peso total otorgado a este componente podría ser de un 20% del total, y dentro de este el peso del expediente normalizado daría cuenta del 90 y el 10% para los méritos menores. El Anexo 1) contiene un algoritmo para normalizar la calificación de los expedientes compensando los desequilibrios de puntuación debidos a las facultades que considera la relación de las calificaciones en el o los exámenes comunes (MIR) y las calificaciones de los expedientes de las distintas facultades. Utiliza una normalización con la mediana que sería fácil de aplicar y facilita y mejora el análisis de la influencia de las distintas universidades en el aprendizaje real de los alumnos. 2) Un test de conocimientos de ámbito nacional que mejore al ˜ de la muestra actual MIR aumentando al doble el tamano (número de preguntas) y utilizando formatos apropiados para medir la contextualización clínica de los conocimientos y la capacidad analítica y de razonamiento clínico. La utilización de recursos electrónicos permitiría incorporar simulaciones y resolución de casos ricamente iconografiados sin aumentar los costes del examen. Este test se podría pasar en 2 sesiones sucesivas hacia la finalización del grado, o mejor aún, en 2 momentos alejados en el tiempo como se hace en los EE. UU. con los Steps 1 y 2 de Conocimiento Clínico del USMLE1,26 ; el primer test, relacionado con ciencias básicas, se administraría en el 3 er curso, dejando el segundo, relacionado con ciencias clínicas, para el final del 6.◦ curso. Idealmente, la administración de los test correría a cargo de una agencia externa que
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
8
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
interaccionase con los responsables del currículo del pre y el posgrado, e implicase a expertos en psicometría para la elaboración y control sistemático del funcionamiento de la prueba. El peso de este componente podría ser del 60%. Al igual que se hace en los EE. UU., el alumno podría repetir estos exámenes cuando el resultado fuera insatisfactorio e incluso se le podría dar la opción de realizarlos en el curso que desee, lo cual llevaría a muchos a pasarlos en el 5.◦ curso en lugar del 6.◦ curso. 3) Un test de aptitud para el trabajo clínico del tipo del «Situational Judjement Test» (test de juicio situacional) similar al aplicado en el RU, que mide una variedad de atributos no académicos especialmente relevantes en la práctica clínica, tales como profesionalismo, capacidad para afrontar la presión, comunicación efectiva con el paciente y el personal docente y sanitario, relación con el paciente, trabajo efectivo en equipo, capacidad de organización, utilización del tiempo, resolución de problemas, toma de decisiones, autocrítica y cuidado personal que solo se pueden adquirir con el ejercicio de la práctica clínica1,29 . Este test no mide «valores éticos» propiamente dichos, sino la capacidad de juicio del estudiante en situaciones del trabajo real diario y la conciencia de hasta qué punto se es competente en el contexto clínico y en las relaciones inter˜ personales. Hay que senalar que los atributos, habilidades y actitudes profesionales evaluadas con este test sólo se adquieren con el ejercicio de la práctica clínica. Este test se pasaría en una sesión independiente justo antes de terminar el grado y al resultado obtenido se le otorgaría un peso del 20%. Quedaría por decidir la posible utilización de un examen ECOE similar al Step 2 de Habilidades Clínicas del USMLE, que de acuerdo con el proyecto de implementación por parte de ˜ la CNDFM, se pasaría el mismo día en 6-8 ciudades espanolas garantizando la homogeneidad de contenidos (estaciones clínicas) y la equidad en su administración y corrección por un comité de examen común para todas las autonomías. De incorporar el resultado de este ECOE, que podría clasificarse en inadecuado (que conlleva repetición)/adecuado/destaca, al listado de acceso a la residencia habría que restringir su peso a un 5% como máximo teniendo en cuenta que los candidatos no serían expuestos exactamente al mismo examen; otra alternativa es utilizarlo sólo para decidir el pasa-no pasa que otorga el grado. En cualquier caso, la introducción de un ECOE de grado obligatorio de ámbito nacional permitiría esperar una sustancial mejora del funcionamiento curricular, como ya ocurrió en los EE. UU. y Canadá30 . Consultar una entrevista para conocer la adecuación del perfil del futuro residente a la especialidad elegida resulta laborioso y costoso, pero no es incompatible con el uso de un examen nacional como de demuestra en EE. UU., donde están perfeccionando la metodología para la valoración de la misma1,31 . No hay que olvidar que la entrevista es una parte esencial del criterio de selección en muchos países, y que la gran mayoría de los directores de programa reclaman conocer a sus potenciales residentes. En nuestro caso quizás pudiera articularse alguna forma de entrevista en el contexto de la troncalidad si el candidato eligiera especialidad, pero no el servicio al acceder al periodo troncal.
Comentario final Tras analizar los métodos de selección de los residentes en diferentes países1 nos decantamos por una metodología multimodal que, en la línea de las empleadas en el RU y los EE. UU., tenga en cuenta el rendimiento del estudiante a lo largo del grado (expediente académico), y valore mejor su capacitación para la contextualización clínica de los conocimientos y el nivel de competencia clínica que alcanza al finalizarlo. De hacerse así, mejoraría la equidad del método pues se otorgaría una puntuación más alta a los estudiantes mejor preparados o más capacitados para la práctica clínica en el momento de acceder a la residencia, y desaparecería la influencia negativa del método aplicado en le actualidad sobre el funcionamiento curricular. La sustitución del actual examen MIR por el examen bimodal de conocimientos que proponemos exige un acuerdo entre los Ministerios de Sanidad y universidades que garantice el ˜ alineamiento entre las ensenanzas impartidas en el grado y su evaluación con el examen nacional que no se da en la actualidad. La orientación hacia la contextualización clínica de los conocimientos en los 2 test de ciencias básicas y clínicas, unida al entrenamiento del estudiante para la resolución de estos test mediante la utilización de exámenes de asignatura de estructura similar, y la edición de folletos de contenidos que permitan conocer el peso de las diferentes materias y patologías y de manuales preparatorios como los utilizados en los EE. UU. para preparar los test del examen nacional USMLE, disuadiría a los estudiantes, al menos en principio, de acudir a las academias. Quedaría por decidir la conveniencia de traspasar a una agencia externa la elaboración, administración, corrección y análisis de los resultados de estos test, tal como se hace en los EE. UU. y el RU1 . Al resultado del test de juicio situacional, cuya superación garantiza la exposición sistemática y prolongada del graduado al contexto clínico durante el grado, se otorgaría el 20% del peso total. La utilización de este test, y eventualmente también del ECOE de grado (con el control externo del Ministerio de Universidades y otorgándole un porcentaje de peso no más del 5%), para contribuir a la puntuación final tendría un efecto motivacional para lograr que los estudiantes se centren en la práctica clínica y adquieran una experiencia como residentes «cero» que podría permitir la equiparación de la práctica ˜ de tronclínica del grado con la contemplada en el primer ano calidad. La aplicación del modelo de selección aquí propuesto permitiría reducir o anular el intervalo de 8 meses de retardo entre la finalización del grado y el paso por el examen MIR que supone un dispendio de tiempo y esfuerzo en un periodo crítico de la formación profesional del nuevo médico, y no parece aventurado asegurar que la adopción de este método, o de otro parecido, mejoraría el funcionamiento curricular (instrucción y resultados docentes) en nuestras facultades, y aumentaría la satisfacción y adherencia de los estudiantes y residentes a los programas formativos del pregrado y el posgrado. Sin embargo, para conseguir este objetivo no basta con cambiar el método de selección para la residencia, sino que habría que ˜ prácticas y la repercusión mejorar al tiempo las ensenanzas de las evaluaciones de las rotaciones clínicas en el expediente
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
tal como se hace en los EE. UU.32,33 . La introducción de las asignaturas de Práctica Clínica en la última reforma curricular en nuestro país, aunque trascendente, no ha bastado para cambiar la mentalidad de alumnos y profesores porque el número de créditos adjudicados a ellas y el peso repercutido en el expediente resultan aun desproporcionadamente bajos en relación con el resto de asignaturas, o al menos así se percibe por los estudiantes. Que la existencia de este examen impulsa a supeditar la adquisición de la competencia clínica al estudio dirigido a acumular conocimientos se evidenció en nuestra facultad, donde la introducción de rotaciones clínicas de 17 meses de duración provocó el temor de los estudiantes a un descenso en la mediana MIR respecto al periodo previo a la exigencia de este tipo de aprendizaje, o a la obtenida en otras facultades que no lo contemplaban; el sentido de amenaza se expresaba con opiniones tales como: «antes de estar internalizado me iba a casa a estudiar». . . «. . .ahora tengo que quedarme en la sala y tras revisar los casos del día llego a casa reventado, y esto hace que estudie menos aún. . .» «. . .la introducción de la práctica clínica bajará nuestro rendimiento en el MIR y limitará la oportunidad de elegir las especialidades más demandadas»... De este modo, y paradójicamente, una innovación curricular largo tiempo esperada generó la aversión de algunos estudiantes porque sentían que «al distraerse con el ejercicio de la práctica clínica» se jugaban su empleabilidad. Esta percepción sigue afligiendo a los estudiantes en mayor o menor grado, aunque ello no se refleje en los resultados del examen MIR, que han sido, como poco, similares a los anteriores. La mejora de la docencia de la medicina en nuestro país pasa por que las autoridades académicas y sanitarias y, sobre todo, el propio profesorado, asuman finalmente que ˜ la mayor parte de la ensenanza ha de hacerse en el contexto clínico. Los nuevos paradigmas pedagógicos basados en el constructivismo social y el «situated learning», que definen al aprendiz como un «participante periférico» que se desplaza progresivamente hacia una posición más central en el lugar de trabajo, identifican el contexto clínico con el curriculum propiamente dicho («the work-place is the curriculum»)34 , un enfoque que convierte a los médicos y el resto de profesionales sanitarios en depositarios de la instrucción y la evaluación del pregrado y el posgrado sin solución de continuidad9–11 . La tendencia reciente a colocar a los estudiantes en el contexto clínico (centros de atención primaria y la práctica totalidad de los hospitales que forman residentes) puede ˜ hacer finalmente realidad la continuidad de la ensenanza ˜ prácticas pre-posgrado y la entronización de las ensenanzas recomendada por Bolonia. Sin embargo, este objetivo exige extender el reconocimiento docente a todos los profesionales implicados en la asistencia que deberían recibir la formación ˜ adecuada para ensenar y evaluar la competencia clínica en ambos periodos. En todo caso, parece necesario un cambio de discurso en la planificación del contexto docente en medicina, en los criterios de acreditación para la carrera académica, y en la manera tradicional de definir y defender del llamado hospital universitario. Un ejemplo de giro copernicano en este discurso es la creación de nuevas escuelas de medicina partiendo de un sistema asistencial que contrata la colaboración de una universidad y transforma, simplificándola, la vieja
9
estructura departamental considerada un obstáculo para la modernización curricular35 .
Conclusión Asumiendo que resulta necesario ordenar a los graduados en medicina para el acceso a la residencia proponemos un método multimodal que mejoraría la eficiencia del actual MIR para hacer la selección y eliminaría el efecto negativo de este examen sobre el aprendizaje de la medicina (interrumpido ˜ por la necesidad de estudiar MIRICINA durante casi un ano). Se enfatiza, sin embargo, que el cambio de método de selección no garantiza por sí mismo la necesaria mejora de la ˜ ensenanza en nuestras facultades que requiere un nuevo cambio curricular que, a la postre, dependerá más de la intención y profesionalidad del profesorado que de cualquier otro factor.
Anexo 1. Algoritmo para la ponderación de la calificación de los expedientes de los estudiantes de medicina que optan a los puestos de residencia, que permitiría compensar los desequilibrios de puntuación debidos a las facultades La Nota Final del Expediente Corregido (NFEC), que sería el cri˜ terio a anadir a los restantes para establecer el n. de orden en el listado final de acceso a la residencia, se determinaría con la fórmula NFEC = NE x FG, donde NE (nota expediente) es la Nota del Expediente de la Facultad calculada ponderando la calificación de las asignaturas por los ECTS correspondientes expresada en valor de 0-10 (según exige la legislación actual; Real Decreto 1125/2003), y FG (factor general) es el factor de conversión general que se calcularía a partir de 2 factores basados en la mediana de los alumnos presentados al examen MIR por primera vez (el factor se calcularía sin tener en cuenta los alumnos recirculantes, que introducirían un sesgo debido a la rotación previa, pero sería el mismo para los alumnos nuevos y recirculantes de esa universidad). FG sería igual a FDF x FDE, donde FDF (factor dependiente de las facultades) se calcula dividiendo la mediana del expediente del total de los presentados por primera vez (MET) entre la mediana del expediente de la facultad (MEF), de acuerdo con la fórmula FDF = MET/MEF. El FDF penalizaría a los alumnos de facultades con una calificación mediana más elevada que el resto (que obtendrían un factor menor que la unidad), y beneficiaría a los de las facultades con calificación mediana inferior al resto (que obtendrían un factor superior a la unidad), eliminando así el efecto de la posible inflación de las calificaciones. El factor dependiente del examen MIR (FDE) se calcularía dividiendo la mediana del examen MIR de los alumnos de la facultad (MEMF) entre la mediana del examen MIR del total de los presentados por primera vez (MEMT), según la fórmula FDE = MEMF/MEMT. Este factor penaliza a los alumnos de facultades con calificación mediana en el examen MIR inferior a la mediana general (que obtendrían un factor menor que la unidad) y beneficiaría a los de las facultades con calificación mediana superior al resto (que tendrían un factor superior a la unidad). Teniendo en cuenta que la calificación del examen
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
10
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
MIR debería incluir todos los factores con su peso correspondiente y no solo la parte del examen test. Es esperable que ninguno de los factores mencionados se aleje mucho de la unidad y que puedan servir, adicionalmente, para monitorizar el comportamiento de las distintas facultades. Con este algoritmo las facultades que puntúen alto y tengan buenos alumnos, o las que puntúen bajo y tengan alumnos con peores notas en el examen común tendrán un factor cercano a uno y la nota de cada alumno sería la que ha conseguido en su expediente. Los alumnos con mejores puntuaciones en el examen común y que han acudido a una universidad que puntúa bajo (o que tiene una alta proporción de buenos alumnos) verían corregido su expediente al tener un factor mayor que uno y por tanto no serían perjudicados por haber acudido a esta universidad. Por otra parte las universidades que puntúen alto y tengan alumnos con bajo rendimiento en el examen común tendrían un factor menor que uno y por tanto se corregiría la inflación de notas que preocupa a muchos alumnos actualmente.
Conflicto de intereses Los autores declaran no tener ningún conflicto de intereses.
bibliograf í a
1. Lobato RD, Lagares A, Villena V, García Seoane J, Jiménez-Roldán L, Munarriz P, et al. Neurocirugía. 2015;26:3-12. 2. Aspa Marco FJ, Rodriguez de Castro F. Evaluación final: ¿sirve el examen MIR? Educ Med. 2010;13 Suppl1:S73–7. 3. Peinado JM. Desigualdades en el MIR, un examen que no se ajusta a la ley. Diario Medico, 15 Febrero, 2011. 4. Saz Perez JV. Bolonia: una oportunidad perdida. La ˜ Rev heterogeneidad de los estudios de medicina en Espana. Clin Esp. 2013;213:440–1. 5. Vázquez G, Murillo-Cabezas F, Gómez J, Martin C, Chaves J, Peinado JL. El examen MIR, su cambio como una opción estratégica. Educ Med. 2008;11:203–6. 6. Lorusso N, López-Valcarcel BG. Variabilidad de los procesos selectivos para el acceso a las especialidades médicas en Europa: entre convergencia y divergencia. Educ Med. 2013;16:215–8. 7. McCrorie P, Boursicot KA. Variations in medical school graduating examinations in the United Kingdom: Are clinical competence standards comparable? Med Teach. 2009;31:223–9. 8. Anderson MB, Kanter SL. Medical education in the United States and Canada, 2010. Acad Med. 2010;85 Supl 9:2S–18S. 9. Boursicot KAM, Roberts TE, Burdick W. Structured assessment of clinical competence. En: Swanwick T, editor. Understanding Medical Education. Evidence, theory and practice. 2nd ed. Oxford: Wiley Blackwell; 2014. p. 293–304. 10. Frank JR, Snell L, ten Cate O, Holmboe ES, Carraccio C, Swing SR. Competency-based medical education: Theory and practice. Med Teach. 2010;32:638–45. 11. Holmboe ES, Hawkins RE, editores. Practical guide to the evaluation of clinical competence. Philadelphia: Mosby Elsevier; 2008. 12. Haladyna TM, Downing SM. How many options is enough for a multiple-choice test item? Educational Psychological Measurements. 1993;53:999–1010.
13. Schneid SD, Armour C, Park S, Yudkowsky R, Bordage G. Reducing the number of options on multiple choice questions: Response time, psychometrics and standard setting. Med Educ. 2014;48:1020–7. 14. Case S, Swanson D. Constructing written test questions for the basic and clinical sciences (3rd edition). National Board of Medical Examiners. [consultado Nov 2014]. Disponible en: http://www. nbme.org/publications/item-writing-manual.html 15. Al-Rukban MO. Guidelines for the construction of multiple choice questions tests. J Family Com Med. 2006;13:125–33. 16. Case SM, Swanson DB. Extended matching ítems: A practical alternative to free response questions. Teach Learn Med. 1993;5:107–15. 17. Beullens J, van Damme B, Jaspaers H, Janssen PJ. Are extended-matching multiple-choice items appropriate for a final test in medical education? Medi Teach. 2002;4:390–5. 18. Eijvogels TM, van der Brand TL, Hopman MT. Multiple choice questions are superior to extended matching questions to identify medicine and biomedical sciences students who perform poorly. Perspect Med Educ. 2013;2:252–63. 19. Van der Vleuten CP, Newble DI. How can we test clinical reasoning? Lancet. 1995;345:1032–4. 20. Fenderson BA, Damjanov I, Robeson MR, Veloski JJ, Rubin E. The virtues of extended matching and uncued test alternatives to multiple choice questions. Hum Pathol. 1997;28:526–32. 21. Veloski JJ, Rabinowitz HK, Robeson MR, Young PR. Patients don’t present with five choices: An alternative to multiple-choice tests in assessing physicians, competence. Acad Med. 1999;74:539–46. 22. Tavakol M, Dennick R. Post-examination analysis of objective tests. Med Teach. 2011;33:447–58. 23. Lopez Valcarcel BG, Ortun V, Barber P, Harris JE, Gracia B. Ranking Spain’s medical schools by their performance in national residency examination. Rev Clin Esp. 2013;213:428–34. 24. Clauser BE, Margolis MJ, Swanson DB. Issues of validity and reliability for assessment in medical schools. En: Holmboe ES, Hawkins RE, editores. Practical guide to the evaluation of clinical competence. Philadelphia: Mosby Elsevier; 2008. p. 10–3. 25. Lewington K. Changes to medical education. Student BMJ. 2012;20, e 3504. 26. United States Medical Licensing Examination. (USMLE). 2007. USMLE website: Canada Medical Council website [consultado Dic 2013]. Disponible en: http://www.mcc.ca 27. Tamblyn R, Abrahamowicz M, Dauphinee WD, Wenghofer E, Jackes A. Association between licensure examination scores and practice in primary care. JAMA. 2002;288:3019–26. 28. McGaghie WC, Cohen E, Wayne D. Are United States Medical Licensing Exam Step 1 and 2 scores valid measures for postgraduate medical residency selection decisions? Acad Med. 2011;86:48–52. 29. Patterson F, Ashworth V, Zibarras L, Coan P, Kerrin MO, Neill P. Evaluations of situational judgement tests to assess non-academic attributes in selection. Med Educ. 2012;46:850–68. 30. Hauer KE, Teherani A, Kerr KMO, Sullivan PS, Irby DM. Impact of the United States Medical Licensing Examination Step 2 clinical skills exam on medical school clinical skills assessment. Acad Med. 2006;81 10 Suppl:13S–6S. 31. Ross DA, Moore EZ. A quantitative experimental paradigma to optimize construction of rank order lists in the National Resident Matching Program. The ROSS-MOORE approach. Acad Med. 2013;88:1281–6. 32. Alexander EK, Osman NY, Walling JL, Mitchell VG. Variation and imprecision of clerkship grading in U.S. medical schools. Acad Med. 2012;87:1070–6.
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
Documento descargado de http://www.revistaneurocirugia.com el 03/03/2015. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
NEUCIR-180; No. of Pages 11
ARTICLE IN PRESS n e u r o c i r u g i a . 2 0 1 5;x x x(x x):xxx–xxx
33. Hawkins RE, Swanson DB. Using written examinations to assess knowledge and its application. En: Holmboe ES, Hawkins RE, editores. Practical guide to the evaluation of clinical competence. Philadelphia: Mosby Elsevier; 2008. p. 42–59.
11
34. Morris C, Blaney D. Work-based learning. En: Swanwick T, editor. Understanding Medical Education. Evidence, theory and practice. 2nd ed. Oxford: Wiley Blackwell; 2014. p. 97–100. 35. Davies E. A shot in the arm for medical education. BMJ. 2013;347, f6756.
˜ Análisis del examen MIR y propuesta de una Cómo citar este artículo: Lobato RD, et al. El método de selección de los residentes en Espana. nueva metodología. Neurocirugia. 2015. http://dx.doi.org/10.1016/j.neucir.2015.02.001
