Proceso de Calificación y Evaluación de Resultados de la Medición

FACULTAD DE PSICOLOGÍA DE LA UNAM CU

TEORÍA DE LA MEDIDA: Proceso de Calificación y Evaluación de Resultados de la Medición Asesor: David R. Reyes Alumna: Raquel Arias Moreno SUA 1971

2015-1

TEORÍA DE LA MEDIDA: Proceso de Calificación y Evaluación de Resultados de la Medición Asesor: David R. Reyes Alumna: Raquel Arias Moreno SUA 1971

RESUMEN 1) Calificación de pruebas de ensayo Las pruebas de ensayo pueden hacerse más efectivas al estructurar la tarea con claridad, de modo que la interpretación de una pregunta no varíe mucho de una persona a otra. La calificación puede basarse entonces en la calidad de la respuesta. De manera similar, el procedimiento de calificación para los reactivos de ensayo deberá estar tan estructurado y ser tan objetivo como sea posible, de forma tal que las calificaciones dependan menos de factores ajenos al contenido o de impresiones y más del nivel de conocimiento y comprensión demostrado. Calificar con base en la destreza caligráfica más que en la calidad de las respuestas, generalizar demasiado (error de indulgencia) y asignar una calificación alta a una respuesta simplemente porque el examinado obtuvo una buena calificación en otros reactivos (efecro de halo), se encuentran entre los errores que pueden alterar las calificaciones en reactivos de ensayo. Pueden tomarse varias medidas para que las calificaciones de las pruebas de ensayo sean más objetivas y confiables. Para empezar, el examinador debe decidir ya sea calificar la pregunta en conjunto o asignar pesos distintos a cada componente. La calificación completa (global u holísrica) es común, pero tal vez sea más significativo emplear un procedimiento analírico en el que se asignen puntos para cada reactivo de ¡nfonnación o habilidad incluido en la respuesta. La cantidad máxima de puntos asignados a un reactivo debe determinarse no sólo por el juicio del examinador sobre la importancia del reactivo, sino también por la extensión asignada a la respuesta. Cualesquiera que sean los pesos de calif:ración asignados a preguntas y respuestas específicas, es aconsejable que el diseñador de la prueba prepare de antemano respuestas ideales para las preguntas. También se recomienda que se bloqueen los nombres de los examinados antes de revisar las pruebas, de modo que puedan evaluarse en forma anónima. Los programas de cómputo para calificar ciertos tipos de reactivos de ensayo ya están disponibles para usarse vía red en un formato de escribir-evaluar-reescribir. Se determinan y evalúan la inclusión de conceptos clave, la estructura semántica y la orientación de los argumentos del alumno. Los programas disponibles en la actualidad para asignar grados a ensayos no determinan la medida en que la escritura resulta creativa o compleja, sino más bien están orientados bacia ensayos que exponen temas objetivos (Murray, 1998).

TEORÍA DE LA MEDIDA: Proceso de Calificación y Evaluación de Resultados de la Medición Asesor: David R. Reyes Alumna: Raquel Arias Moreno SUA 1971

2) Calificación de pruebas objetivas Una ventaja exclusiva de las pruebas objetivas es la eficiencia y precisión con que pueden calificarse. Un empleado puede calificar una prueba objetiva de manera rápida y precisa mediante una plantilla o una máquina. De modo que es posible regresar las pruebas a los estudiantes cuando aún tienen en mente el material visto en ellas. Es posible preparar con gran facilidad tiras de claves o plantillas para calificar a mano los cuadernillos de prueba o las bajas de respuestas. Puede elaborarse una tira de claves funcional usando una tira de cartón donde las respuestas correctas se ubiquen en los sitios que corresponden a los espacios de la prueba donde se escriben las respuestas. Calificaciones a máquina. Aunque la mayoría de las hojas de respuestas para pruebas distribuidas comercialmente pueden calificarse a mano o a máquina, las que distribuyen ciertas organizaciones sólo se califican a máquina. Después de que se aplica una prueba, las hojas de respuestas se envían por correo a un servicio especial o se regresan al distribuidor para que las califiquen a máquina. La programación requerida para usar un lector óptico de escritorio es bastante sencilla e incluye un rango amplio de funciones, tales como ponderar reactivos, calificar parcialmente, analizar reactivos, marcar acienos y errores e imprimir diversos tipos de información, estadísticas y gráficas. Adicionalmente a las calificaciones sin depurar y a las convenidas, se registran distribuciones de frecuencia e histogramas, estadísticas de pruebas (medias aritméticas, desviaciones estándar, coeficientes de consistencia interna) y estadísticas de reactivos (índices de dificultad y de discriminación, distribución de las respuestas a opciones y conceptos similares). Errores humanos de calificación. La calificación de pruebas por computadora no es un proceso totalmente exento de errores, por ello se recomienda que los servicios de calificación de pruebas revisen la frecuencia de errores y emitan informes con las correcciones adecuadas cuando se encuentren tales fallas. No obstante, en comparación con la calificación a mano, las tasas de errores de la cali.ficación por computadora son reducidas. Considerando el hecho de que las instrucciones para calificar muchas pruebas individuales de inteligencia y personalidad no siempre son claras y objetivas, no es sorprendente que lleguen a asignarse distintas puntuaciones a la misma respuesta. Aunque b variabilidad en las calificaciones tal vez sea mayor en el caso de evaluadores con poca experiencia (Slalc y 10ncs, 1990), incluso los más experimentados cometen errores.

TEORÍA DE LA MEDIDA: Proceso de Calificación y Evaluación de Resultados de la Medición Asesor: David R. Reyes Alumna: Raquel Arias Moreno SUA 1971 Ponderación de calificaciones para reactivos de opción múltiple y de falsoverdadero. Parece razonable esperar que en pruebas objetivas, como en reactivos de ensayo, la cantidadde puntos asignada a una respuesta varíe de acuerdo con el tipo de reactivo y la calidad de la respuesta. Se han llevado a cabo muchos estudios sobre los efectos de la ponderación previa de las respuestas a reactivos de pruebas objetivas convencionales, es decir, asignar distinta cantidad de puntos a tipos de reactivos diferentes y a diversas respuestas. Algunas investigaciones han concluido que la ponderación previa es más definida y confiable que la calificación convencional (Hsu, Moss y Khampalikit, L984; Serlin y Kaiser, 1978; Willson, 1982). Sin embargo, las ventajas de la ponderación diferencial de las respuestas a reactivos no parecen justificarse por el aumento en el costo y el tiempo de calificar (Kansup y Hakstian, 1975). En pruebas de 20 o más reactivos, asignar simplemente una calificación de 1a cada respuesta correcta y a las incorrectas resulta tan satisfactorio como usar pesos diferenciales. Así, las calificaciones posibles en una prueba de 50 reactivos de opción múltiple que haya sido calificada en forma convencional o de otra de falso-verdadero calificada mediante este procedimiento varían de caso. Asignar pesos diferenciales a distintas respuestas puede ser más efectivo si el tipo de respuesta requerida fuese cambiado. Una variante interesante del fornlato de falso-verdadero es pedir a los examinados que indiquen qué tan seguros se sienten de sus respuestas.

Aunque este procedimiento represente una mejora sobre la calificación convencional de 0-1 para reactivos de falso-verdadero, tal vez dicha calificación es satisfactoria para la mayoría de las pruebas de aula formarlas por 30 o más reactivos.

TEORÍA DE LA MEDIDA: Proceso de Calificación y Evaluación de Resultados de la Medición Asesor: David R. Reyes Alumna: Raquel Arias Moreno SUA 1971 Calificación de reactivos de clasificación. Asf como con los reactivos de falso-verdadero y de opción múltiple, los reactivos de respuesta breve y de aparejamiento pueden calificarse asignando 1 punto a las respuestas correctas y O puntos a las erróneas y las omisiones. Debido a la gran cantidad de órdenes distintos en que puede colocarse un grupo de reactivos, la calificación de reactivos de clasificación presenta un problema especial. Por ejemplo, el error de asignar el segundo lugar a un reactivo al que de hecho corresponde el primero, no es tan grave como colocar dicho reactivo en cuarto lugar. Las dos fórmulas que pueden usarse para calificar reactivos de clasificación son:

En estas fórmulas, se representa la cantidad de cosas clasificadas, las d son valores absolutos de las diferencias entre las posiciones asignadas por el examinado y las posiciones predeterminadas, yj ::: Ocuando e es par y 1 si e es non. Corrección por adivinación. Es frecuente que las personas adivinen en pruebas objetivas, y las probabilidades de mejorar sus calificaciones de esa manera, en especial tratándose de reactivos con pocas opciones, pueden ser elevadas. Si la persona no conoce la respuesta correcta y todas las opciones son igualmente atractivas, la probabilidad de seleccionar la opción correcta adivinando es de lOO/k, donde k es el número de opciones por reactivo. Así, la posibilidad de adivinar la respuesta correcta es de SO sobre 100 en un reactivo de falso-verdadero,

TEORÍA DE LA MEDIDA: Proceso de Calificación y Evaluación de Resultados de la Medición Asesor: David R. Reyes Alumna: Raquel Arias Moreno SUA 1971

pero sólo de 25 sobre 100 en un reactivo de cuatro opciones. Obviamente, adivinar las respuestas de una gran cantidad de reactivos puede tener un efecto mucho más grave en una prueba de falso-verdadero que en una de opción múltiple. Corregir los efectos de adivinación en ciertas pruebas estandarizadas (por ejemplo, la SAT y la ORE) conlleva restar una porción de la cantidad de respuestas erróneas a la cantidad de respuestas acertadas. La fórmula de corrección por adivinar más común es:

donde R es la cantidad de reactivos que el examinado acierta, Wla cantidad de reactivos en que el examinado se equivoca, k la cantidad de opciones por reactivo y 5 la calificación corregida. Esta fórmula se ha criticado por producir resultados que son demasiado bajos cuando los examinados están menos familiarizados con el malerial de la prueba y muy elevados cuando están más familiarizados con dicho material (Liule, 1962, 1966). Una fórmula alternativa propuesta por Little (1962) es:

s = R – w /2(k - 1)

(3.3)

Los profesionales que administran pruebas están de acuerdo, por lo general, en que las fórmulas de corrección por adivinación en realidad no corrigen los efectos de adivinar y suelen tener poca influencia en el orden de las calificaciones. Hay excepciones cuando la cantidad de reactivos sin contestar varían mucho entre las personas y cuando algunos

TEORÍA DE LA MEDIDA: Proceso de Calificación y Evaluación de Resultados de la Medición Asesor: David R. Reyes Alumna: Raquel Arias Moreno SUA 1971 reactivos tienen más probabilidades de ser conlestados que aIras. Por lo regular, estas fórmulas, que suponen procedimientos similares a asignar pesos diferenciales a distintos reactivos, no se recomiendan para calificar pruebas de aula. Probablemente son más útiles para revisar pruebas de falso-verdadero y de velocidad, en las cuales el factor de adivinación interviene mucho más que en otro tipo de exámenes. Las calificaciones negativas, que en general se originan cuando se aplica la fórmula 3.2 en pruebas de falso-verdadero (5 = R - W), usualmente se cambian por cero.

3) Calificación de pruebas orales Aunque es más probable que ocurran errores al calificar respuestas orales que escritas, hay formas especiales de evaluar el desempeño que mejoran la objetividad de la calificación en pruebas orales. Otras maneras de reducir los errores en este tipo de pruebas consisten en prestar atención al diseño de las preguntas, elaborar modelos de respuestas a las preguntas antes de administrar la prueba, recurrir a varios evaluadores y capacitar a los examinadares para evitar favoritismos y otros sesgos. Si el tiempo asignado a la calificación no es crítico, puede mejorarse su precisión si se graban las respuestas y vuelven a evaluarse más tarde.

CONCLUSIONES Todo Instrumento debe tener las instrucciones precisas y claras de cómo debe calificarse e interpretarse.

APRENDIZAJES Jamás pensé que calificar una prueba, conllevara tantas opciones. Hace poco tuve que aplicar y calificar pruebas de inteligencia y de personalidad y calificarlas no fue sencillo. Tuve que buscar mucha literatura para entender cómo debía de calificarse la prueba de 16 PF y el hecho de que haya como 4 versiones distintas, entorpeció mucho la actividad. Sin embargo, mientras leía el apartado de “Calificar con Máquinas” recordé las peripecias que pasé y entendí por qué la dificultad tanto en el sistema de calificación como en el proceso de hacerlo. Culmino este trabajo con un buen sabor de boca y siendo más sabia que ayer. Gracias por ayudarme a entender mejor mi carrera y el propósito de la Evaluación Psicométrica.

TEORÍA DE LA MEDIDA: Proceso de Calificación y Evaluación de Resultados de la Medición Asesor: David R. Reyes Alumna: Raquel Arias Moreno SUA 1971

CUESTIONAMIENTOS 1. ¿Cuántos tipos de pruebas hay? 2. ¿Cuál es la Clasificación de Calificación en las Pruebas Objetivas? 3. ¿En qué consiste la Ponderación? 4. ¿Qué son los Reactivos de Clasificación? 5. ¿Qué se representa en las Fórmulas de los Reactivos de Clasificación? 6. ¿Qué es la Adivinación dentro de las Pruebas Objetivas? 7. ¿Cuáles son las Fórmulas para corregir la Adivinación? 8. ¿El uso de las Fórmulas ayuda a corregir la adivinación? Sí/No y Por qué

BIBLIOGRAFÍA ADMINISTRACION, APLICACIÓN y CALIFICACIÓN DE LOS TESTS; Capítulo 3. Guatemala. http://biblio3.url.edu.gt/Libros/tests_p/2.2.pdf