Interpretación de las Puntuaciones de la Prueba de Orientación y Medición Académica

Titulillo: INTERPRETACIÓN PRUEBA ORIENTACIÓN Y MEDICIÓN ACADÉMICA













Interpretación de las Puntuaciones de la Prueba de Orientación y Medición
Académica

Carlos B. Ruiz-Matuk[1]

Secretaría de Estado de Educación Superior, Ciencia y Tecnología
Interpretación de las Puntuaciones de la Prueba de Orientación y Medición
Académica

Por primera vez, en la República Dominicana existe un plan a gran
escala de evaluación diagnóstica para los estudiantes que ingresan a la
educación superior. El proyecto de la Prueba de Orientación y Medición
Académica (POMA) constituye hasta ahora, el mejor ejemplo de un esfuerzo a
nivel nacional que busca implicar a numerosos actores relacionados a la
educación universitaria dominicana. La ley 139-01 de la República
Dominicana, en el artículo 59, establece la creación y aplicación de dicha
prueba.

De acuerdo con la línea de investigaciones que durante varios años ha
realizado el Doctor José Vicente Díaz (Díaz et al, 2004a, 2004b) en la
Universidad de Valencia, España, la Secretaría de Estado de Educación
Superior, Ciencia y Tecnología (SEESCYT) da inicio al proyecto de
evaluación del constructo "Inteligencia Académica," para aproximarse así a
una estimación de la aptitud académica de los candidatos a estudiar en la
educación superior. La evaluación de la aptitud académica ya está siendo
utilizada por los departamentos de admisiones de algunas universidades
dominicanas. La prueba de evaluación de la "Inteligencia Académica"
busca, no sólo evaluar la capacidad de los estudiantes para seguir los
estudios universitarios dentro de una determinada carrera, sino también,
ser un instrumento de medición apropiado que ofrezca información a los
departamentos de orientación de estos centros educativos sobre los perfiles
de desarrollo de algunas funciones mentales básicas y los estilos de
aprendizaje de los estudiantes.

Este proyecto se enmarca dentro de los esfuerzos de la Secretaría de
Estado de Educación Superior, Ciencia y Tecnología para mejorar la
educación superior del país, hasta llegar a que esta pueda igualar los
estándares aceptados mundialmente.

Todo proyecto que involucre una población completa y, más aún, pruebas
psicológicas, tiene sus defensores y detractores. Es posible que existan
pocos temas que superen el potencial que tiene el de las pruebas
psicológicas de producir controversias filosóficas y hasta políticas. Uno
de los principales meollos de estas controversias lo constituye la
interpretación que puede hacerse a partir de los puntajes que ofrece
cualquier prueba.

A esto se le agrega el problema de que, para una correcta
interpretación de las puntuaciones de una prueba psicológica, es necesario
dominar algunos conceptos estadísticos básicos, ligados a la labor de
orientación profesional y evaluación psicométrica. El propósito de este
artículo es difundir algunos de los fundamentos relacionados a la
interpretación de las puntuaciones de una prueba psicológica para ampliar
el nivel de comprensión de las calificaciones de la Prueba de Orientación y
Medición Académica.

El equipo del Centro de Información de Recursos Educativos
(Educational Resources Information Center, ERIC) de los EE UU ha propuesto
cinco importantes destrezas que los orientadores deben dominar acerca de la
interpretación de las pruebas (Monetti & Hinkle, 2003):

1. Entender qué son las pruebas referidas a normas y qué se busca con su
aplicación.

2. Entender qué es la curva normal.

3. Conocer las propiedades de los tipos más comunes de puntuaciones
estándar.

4. Reconocer la diferencia entre porcentaje y percentil.

5. Ser capaz de traducir de una puntuación estándar a otra.




Pruebas referidas a normas

Las pruebas de aptitud, dentro de las que se encuentra la de aptitud
académica, son generalmente pruebas referidas a normas. Una prueba
referida a normas es una evaluación que se aplica al estudiante para
compararlo con los resultados de otros estudiantes que pertenecen a un
grupo que se denomina "muestra de estandarización".

Una prueba referida a normas se distingue de la prueba referida a un
dominio en que esta última utiliza como su marco interpretativo de
referencia a un dominio de contenidos, mientras que la primera utiliza un
grupo comparativo. Es decir, mientras en una prueba referida a normas la
ejecución de un estudiante se compara con la de un grupo representativo de
estudiantes al que se le ha aplicado previamente la prueba, en una prueba
referida a un dominio la ejecución del estudiante es comparada con la que
ha sido establecida como apropiada para un área curricular.

Una instancia en el área local referida a esta diferencia entre estos
tipos de pruebas se encuentra si observamos las discrepancias entre las
"Pruebas Nacionales" aplicadas por la Secretaría de Estado de Educación, a
estudiantes de 8vo grado y a los bachilleres dominicanos, y la Prueba de
Orientación y Medición Académica (POMA). Las primeras son pruebas
referidas a varios dominios del conocimiento, que deben obedecer a los
estándares del currículo educativo que hasta el nivel medio ha establecido
la Secretaría de Estado de Educación. La suposición implícita para
interpretar las calificaciones de los estudiantes tiene como criterio el
70% de respuestas correctas. La POMA, sin embargo, es una prueba referida
a normas. Estas normas se han venido estableciendo a nivel nacional con la
participación de varias universidades en diferentes regiones y abarcando la
mayoría de las carreras que se ofrecen en el país. Las puntuaciones de un
estudiante, en este caso, deben ser interpretadas tomando como criterio el
promedio del grupo y viendo que tan distante se encuentra éste con respecto
a ese promedio. Por ejemplo, se establece el porcentaje de estudiantes que
están por debajo de la puntuación de ese estudiante. Por lo tanto, las
interpretaciones que se pueden hacer sobre las puntuaciones no son
arbitrarias, ni dependen estrictamente de lo difícil que sea la prueba,
sino de cómo le ha ido a los demás al responder a ella.

Las pruebas referidas a normas son ampliamente usadas en la selección
de estudiantes que se integran a los programas de educación superior y para
tomar decisiones sobre el otorgamiento de becas o ayudas financieras. Por
ejemplo, para un estudiante ser seleccionado en determinada carrera, no se
asume que el candidato debe conocer todo lo concerniente al ejercicio de
esa carrera -para lo cual se necesitaría una cantidad exuberante de pruebas
referidas a un sinnúmero de dominios-, sino que éste estudiante debe ser
evaluado en términos de su potencial para aprender esos dominios, para lo
cual es más útil compararlo con otros que han tomado la misma evaluación.

Las normas pueden ser locales y de varias poblaciones. Como
instancia, en 1961 fueron normalizadas y publicadas las Pruebas
Interamericanas de Habilidad General, basadas en normas en Puerto Rico,
Miami, el sudoeste de los Estados Unidos, Panamá, México, Venezuela,
América Central y Chile. Estas pruebas permitieron la comparación de
poblaciones hispanohablantes y anglohablantes que provenían de diferentes
lugares (Herrans, 2000).

Una de las pruebas de aptitud académica más conocida en el mundo es el
SAT (Scholastic Assessment Test). Esta prueba ha sido utilizada como
criterio de admisión de numerosas universidades, especialmente junto con
las calificaciones de bachillerato. Sin embargo, esta prueba ha sido
objeto de críticas implacables, y ha servido como chivo expiatorio para
encubrir las deficiencias del sistema educativo estadounidense (Aiken,
2003) y de otros países.

Resulta muy relevante apuntar que varios estudios han revelado que
tomar cursillos de asesoría para esta prueba no mejora significativamente
las puntuaciones, pero sí lo hace el tomar cursos académicos rigurosos, o
después de otro año de bachillerato (ver Aiken, Op. cit.).




La curva normal

La curva normal es un concepto estadístico muy útil a la hora de la
interpretación de las puntuaciones de las pruebas referidas a normas. La
principal razón de su importancia, la da el hecho de que los valores de
muchas variables se distribuyen normalmente (ver Figura 1). Así lo hacen
regularmente las puntuaciones de los grupos estandarizados a los que se les
ha aplicado alguna prueba de este tipo (Popham, 2002).

Los orientadores deben reconocer que la distribución normal se puede
representar con una curva que posee ciertas propiedades matemáticas. En
primer lugar, la curva normal es simétrica. Es decir, sus dos lados
coinciden al doblarla a la mitad.

La segunda propiedad de la curva normal, está relacionada con el
concepto de desviación estándar (DE). Para entender el concepto de
desviación estándar, hay que conocer lo que es un puntaje de desviación.
El puntaje de desviación nos indica qué tan lejos está el dato en bruto con
respecto a la media de su distribución (Pagano, 1998). La desviación
estándar es el promedio de los puntajes de desviación de la distribución,
sólo que para calcular ese promedio se recurre a algunos artilugios
matemáticos debido a que éste sería siempre igual a cero.

Conociendo estos detalles, ahora puede comprenderse cómo es la
relación entre la media y la desviación estándar con respecto al área que
se encuentra por debajo de la curva con distribución normal (ver la Figura
1). Por ejemplo, entre la media y una desviación estándar se encuentra
aproximadamente el 34% de los datos, tanto por encima como por debajo del
promedio (que sumarían entonces el 68%). Esto quiere decir que si las
puntuaciones de una prueba se distribuyen normalmente, la mayoría de estas
estará entre la media y una desviación por encima y por debajo de la media.
Además, entre una desviación y dos desviaciones estándar está
aproximadamente el 14% de la distribución; el 2.15% de la misma se
encuentra entre dos y tres desviaciones; y sólo .13% se encuentra por
encima de tres desviaciones estándar. Como la curva es simétrica estos
porcentajes son válidos tanto por debajo como por encima de la media.

La última característica, el lector debe haberla deducido. A medida
que uno se aleja del punto central de la curva, se reduce el número de
casos a ambos lados de la misma.







Los puntajes estándar

La lógica detrás de las medidas estandarizadas es bien simple. Por el
término "estandarizar" nos referimos a un proceso donde un objeto o medida
dada se puede interpretar o usar de una manera consistente a través del
tiempo, condición o circunstancia (Dunn, 2001). Las puntuaciones
estándares son, desde muchos puntos de vist, el tipo más satisfactorio de
puntuaciones derivadas (Anastassi & Urbina, 1998).

Las calificaciones estándares pueden obtenerse por medio de
transformaciones lineales o no lineales de las puntuaciones crudas
originales. Las calificaciones estándares obtenidas por medio de una
transformación lineal (puntajes-puntuación- z) conservan las relaciones
numéricas exactas de las puntuaciones originales gracias a que, para
calcularlas se resta una constante (media) de cada puntuación cruda y se
divide el resultado entre otra constante (desviación estándar) (DE). Por
tanto, la magnitud relativa de las diferencias entre las calificaciones
estándares corresponde exactamente con las que hay entre las puntuaciones
crudas.

Las puntuaciones estándar tienen cinco propiedades (Brown, 1976):

1. El promedio es de 0 y la DE es igual a 1.

2. El valor absoluto de z indica la distancia de la puntuación con
respecto a la media. Mientras que el signo indica si la puntuación
está por debajo de la media (negativo) o por encima (positivo).

3. Expresadas en una escala de intervalos iguales, por lo que las
puntuaciones estándar pueden someterse a operaciones algebraicas.

4. La transformación es lineal

5. Si la distribución de las puntuaciones originales es normal, los
valores oscilaran de -3 a +3.

A pesar de todas estas cualidades, las puntuaciones estándar tienen
dos propiedades que hace su utilización difícil o confusa. Estas son:

a. Sus valores se expresan en decimales

b. La presencia de valores negativos

No obstante, para evitar el uso de los decimales y valores negativos,
las puntuaciones estándares han sido transformadas a otra escala siguiendo
el siguiente procedimiento (Rodríguez, 1997):

Y = m + k (z)

Siendo,

Y = Puntuación derivada

m y k = Valores constantes elegidos arbitrariamente

z = Puntuación estándar



Existen numerosos sistemas estándar de calificación. Por ejemplo,
existen las puntuaciones T, cuya m = 50 y k = 10; las puntuaciones CI de
desviación, cuya m = 100 y k = 15; las puntuaciones AGCT, con una m = 100 y
k = 20; entre otras (ver Figura 1).

A las puntuaciones que le daremos mayor atención es a las puntuaciones CEEB
(College Entrance Examination Board o Consejo de Exámenes de Admisión a la
Universidad). Estas escalas fueron creadas por el Educational Testing
Service de Estados Unidos, para ser utilizadas en sus pruebas de ingreso a
las Universidades Norteamericanas.

Sus características son: m = 500 y k = 100
Su ecuación de transformación será entonces: CEEB = 500 + 100(z)
Este tipo de escala es utilizada básicamente para pruebas de selección de
candidatos a ingresar a Universidades o centros de educación superior,
donde la cantidad de solicitudes suele ser muy grande y se necesita una
gran amplitud de valores diferenciables.


Porcentaje y Percentil
Una confusión muy común en la interpretación de las puntuaciones de
una prueba es la de asumir que el porcentaje de preguntas contestadas
correctamente es el percentil del estudiante. Aunque el percentil es un
porcentaje, dicho porcentaje se refiere a la proporción del grupo que ha
tomado la prueba que tiene una calificación que está por debajo de la
calificación del estudiante que tiene ese percentil. Es decir, si
hablamos de que un estudiante tiene un percentil 90, quiere decirse que el
90% de los estudiantes de su grupo de comparación caen por debajo de él.
Los percentiles son puntuaciones bastante fáciles de calcular y
comprender, por lo que son más populares que las normas estándar de
calificación. Sin embargo, estas puntuaciones se acumulan en la mitad y se
dispersan en los extremos, es decir, que son escalas de intervalos
desiguales. Esto hace que la interpretación de los cambios y las
diferencias entre los percentiles sea realmente difícil. Por ejemplo, la
diferencia de capacidad entre una persona con un percentil de 5 y otra con
uno de 10, no debe ser interpretada como igual a una diferencia entre una
persona con un percentil de 40 y una con uno de 45. Realmente, si
habláramos de la capacidad de razonamiento en el área verbal, por ejemplo,
la diferencia entre 5 a 10 en esta habilidad sería mucho mayor que la
diferencia entre los percentiles 40 y 45.

Como traducir de una puntuación estándar a otra
Las calificaciones derivadas son en esencia similares si se
transforman con cuidado y se interpretan adecuadamente. Si se cumple con
ciertas condiciones estadísticas, todas pueden ser traducidas con facilidad
a cualquiera de las otras. La Figura 1 muestra las relaciones entre
diferentes calificaciones en una distribución normal.

Figura 1 Distribución de las distintas escalas de medición en la curva
normal


Pongamos ahora como instancia la Prueba de Orientación y Medición
Académica, POMA. Por ejemplo, José tuvo una puntuación cruda o directa de
5 en la sección de conceptos verbales o de palabras (CV), 4 en la de
conceptos matemáticos o numéricos (CM), 6 en la de estructuras perceptivas
o figuras (CE), 4 en la de ciencias naturales (CN), 4 en los conceptos de
ciencias sociales (CS) y 6 en la valoración de comportamientos (CC). Si
consideramos que para cada sección hay que contestar diez preguntas, puede
confundirse los porcentajes de respuestas correctas como el criterio de
ejecución de José (porcentaje y percentil). Es decir, se puede creer que
José sacó un 50% (5 de 10) en la sección de verbal, 40% (4 de 10) en
matemáticas, 60% (6 de 10) en espacial, 40% (4 de 10) en naturales, 40% (4
de 10) en sociales y 60% (6 de 10). No obstante, dicha interpretación es
errónea.
Para hacer una correcta interpretación de las puntuaciones de José,
hay que entender primero que la POMA es una prueba referida a normas y que
las normas están establecidas con una muestra de más de 12,000 estudiantes
del país en el año 2005. Además, debe entenderse que la distribución de
las puntuaciones es aproximadamente normal en cada una de las secciones de
la prueba. Por otra parte, las medias (promedios) de la versión de la
prueba para cada sección son:
CV = 5.88, CM = 4.52, CE = 4.55, CN = 3.87, CS = 3.89 y CC = 5.75;
y las Desviaciones Estándar para cada sección son:
CV = 1.92, CM = 1.93, CE = 1.96, CN = 1.84 CS = 1.91 y CC = 2.02.
Dadas las cifras anteriores, y a sabiendas de que las puntuaciones
estándar nos darán la oportunidad de ver la posición de cada quién en cada
uno de los aspectos medidos, el cálculo de las mismas sería lo apropiado.
Luego podemos transformar cada puntuación en su puntuación derivada CEEB.
Los resultados serían:
CV = 454, CM = 473, CE = 574, CN = 507, CS = 506, y CC = 513.
Si se comparan estas puntuaciones con las interpretaciones de
porcentajes, podemos ver que no tienen relación alguna. Por ejemplo, la
puntuación en la sección CV (contenido verbal) parecía ser mejor que la de
la sección CM (de matemáticas), CN (naturales) o CS (sociales). Sin
embargo, después de la transformación, la ejecución en CV de José está por
debajo de todas las demás secciones de la prueba. Esto es debido a que,
aunque la puntuación de José era de 5 en esta sección, el promedio del
grupo de comparación era de 5.88. Aunque en términos porcentuales la
ejecución en CV parecía una de las mejores de José, en términos normativos
fue la peor de sus ejecuciones.
En conclusión, para interpretar correctamente las puntuaciones de los
estudiantes debemos comprender qué son las pruebas con referencias a normas
y distinguirlas de las pruebas con referencias a dominios. Además,
debemos entender el concepto de la curva normal, conocer cuales son las
normas, identificar las diferencias entre los percentiles y los porcentajes
y saber cómo traducir las puntuaciones entre sí. Así, es más fácil
entender que José sea muy bueno en el manejo de estructuras espaciales ante
todo y que sea una persona madura, aunque con una formación en ciencias
naturales y sociales promedio.
El conocimiento de estas cinco cuestiones contribuye sobremanera a la
correcta interpretación de las puntuaciones de una prueba psicológica, y
por tanto, aumenta el nivel de comprensión de las calificaciones de las
pruebas de aptitud académica. Sin embargo, no son los únicos elementos que
deben tomarse en consideración a la hora de descifrar el significado de las
puntuaciones de una prueba. Al interpretar los resultados de la Prueba de
Orientación y Medición Académica, es recomendable que el usuario tome en
consideración las influencias específicas que pudieron haber actuado sobre
la muestra de comparación o normativa utilizada al estandarizar la prueba.
Sin embargo, algunos autores recomiendan qué no se olvide que existen
muchos factores selectivos especiales que pueden influir en los resultados
y comparaciones. Por ejemplo, las condiciones sociales prevalecientes en
el momento en que fueron obtenidos los datos normativos pueden ser
determinantes en la interpretación de las puntuaciones (Anastassi & Urbina,
1998).
Con la ayuda de otras observaciones (como la de sus calificaciones en
bachillerato o en las Pruebas Nacionales), el orientador puede llegar a la
conclusión de si José debe tomar o no cursos de nivelación en las áreas de
contenido verbal y matemático. Es decir, antes de la toma de decisión a
partir de las puntuaciones estándares derivadas, el evaluador debe tomar en
cuenta algunas preguntas importantes:
¿Cuál sería la base teórica y de investigación de la interpretación?
¿Las interpretaciones proceden de análisis cuantitativos o del juicio de
expertos?
¿Cuáles son las otras fuentes de datos disponibles sobre los examinados?
El orientador debe estar muy consciente de las respuestas a estas
preguntas cada vez que acompaña al estudiante a decidir sobre su futuro.
Asimismo, debe considerar la ponderación que debe tener cada contenido de
la prueba (verbal, matemático, espacio-estructural, c. naturales, c.
sociales, comportamiento o madurez personal) para la carrera en la cual el
estudiante desea ingresar.
En síntesis, para interpretar las puntuaciones de la Prueba de
Orientación y Medición Académica se debe considerar un conjunto amplio de
informaciones sobre sus normas, algunos conceptos estadísticos básicos y
factores externos a la misma prueba propios a la formación profesional del
orientador. La toma de decisión acerca de la carrera, así como la
identificación de las aptitudes académicas deficientes del estudiante que
ingresa a la universidad, con una consecuente unificación de criterios para
la aplicación de estrategias destinadas a remediar esas deficiencias,
constituyen un conjunto de pasos indispensables en la búsqueda de mejorar
los estándares de calidad de la educación superior de nuestro país.

Referencias Bibliográficas




Aiken, L. R. (2003). Test psicológicos y evaluación [11ava. Edicion ].
México, D.F.: Pearson.
Anastasi, A. & Urbina, S. (1998). Tests psicológicos (3era ed.). México:
Prentice Hall.
Brown, F. (1976). Principles of educational and psychological testing (2nd
ed.) New York: Holt, Rinehart and Winston.
Díaz, J V, Peralta, P, Madera, G. (2004a). Elaboración de la Prueba de
Orientación y Medición. (POMA) previa al ingreso a los estudios
superiores en la República Dominicana Ciencia y Sociedad, 29, 436-459.
Díaz, J V, Peralta, P, Madera, G. (2004b). Evaluación de inteligencia
académica y aplicaciones en la psicología educativa . Revista dev
Metodología de las Ciencias del Comportamiento .de AEMCCO . Numero
especial..(pp 183-190)
Díaz, J.V. (2001): Hacia la evaluación de la Inteligencia Académica y del
Rendimiento Escolar. Ciencia y Sociedad. 26, 151-203.
Díaz, J.V. (2002): Análisis de una evaluación transcultural de la
inteligencia académica en alumnos de sexto grado de primaria. Ciencia
y Sociedad. 27, 264-302.
Dunn, D.S. (2001). Statistics and data analysis for the behavioral
sciences. New York, NY: McGraw-Hill Higher Education.
Herrans, Laura L. (2000). Psicología y medición: El desarrollo de pruebas
psicológicas en Puerto Rico. Mexico, D. F.: McGraw Hill.
Monetti, DM, & Hinkle, KT (2003). Five important test interpretation skills
for school counselors. ERIC Digest. ED481472 2003-09-00.
Pagano, R.R. (1999). Estadística para las ciencias del comportamiento
[Quinta edición traducida del inglés]. México, D. F. :Thomson.
Popham, W. J. (2002). Classroom assessment: What teachers need to know (3rd
ed.). Boston, MA: Allyn and Bacon.
Rodríguez, M. (1997). Norming and norm-referenced test scores.
Conferencia dictada en el Annual Meeting of the Southwest Educational
Research Association (Austin, TX, Enero 23-25).

-----------------------
[1] Encargado del Departamento de Orientación y Prueba Diagnóstica de la
Secretaría de Estado de Educación Superior, Ciencia y Tecnología y Profesor
de la Universidad Autónoma de Santo Domingo.