Aportes del Meta-Análisis a la Teoría de la Autoeficacia para el Desarrollo de Carrera
Contributions of Meta-analysis to the Career Self-efficacy framework
Lic. Fabián O. Olaz. Laboratorio de Medición Psicológica y Educativa Facultad de Psicología. Universidad Nacional de Córdoba. Argentina
Dirección Postal: San Lorenzo 550. Piso 14. Departamento “A”. Córdoba. Argentina (C.P. 5000)
E-mail:
[email protected]
Aportes del Meta-Análisis a la Teoría de la Autoeficacia para el Desarrollo de carrera Resumen Se realiza una introducción a los principales aspectos conceptuales y metodológicos del Meta-análisis, a los fines de brindar mayor claridad a algunos estudios meta-analíticos presentados, realizados dentro del campo de investigación de la
teoría de la Autoeficacia para el desarrollo de carrera
(Bandura, 1987). Se realiza una revisión acerca de las principales características y las contribuciones del Meta-análisis a este importante campo de investigación. El empleo de este procedimiento por parte los investigadores de la Autoeficacia ha permitido demostrar la contribución independiente del constructo a la predicción de variables fundamentales del comportamiento vocacional. Palabras Claves: Meta-análisis – Autoeficacia – Desarrollo VocacionalRendimiento- Persistencia – Comportamiento Vocacional.
Contributions of Meta-analysis to the Career Self-efficacy framework Abstract The main conceptual and methodological issues about Meta-analysis are introduced in order to clarify certain meta-analytic studies presented on this paper that were carried out by career self-efficacy researchers (Bandura, 1987). A review about the main characteristics and contributions of this method to the Self-efficacy
framework is also included. Meta-analysis has allowed
researchers working on Self-efficacy framework to prove its independent contribution to the prediction of fundamental career behavior variables. Keywords: Meta-analysis – Self-efficacy – Career Development – Performance – Persistence – Career Behavior.
Aportes del Meta-Análisis a la Teoría de la Autoeficacia para el Desarrollo de Carrera
Introducción Como afirma Hedges y Olkin (1982), con muy poca frecuencia los estudios o experimentos particulares proveen respuestas suficientemente definitivas a las preguntas de investigación. Sumado a esto, y debido al crecimiento explosivo de la ciencia en estas últimas décadas, nos enfrentamos a la proliferación de resultados de la investigación científica, muchas veces confusos o conflictivos entre sí, no solamente en el campo de la Psicología sino también en otros campos relacionados tales como la medicina y otras disciplinas socio psicológicas. Por ello, se hace necesario contar con algún tipo de solución a esta situación a la que se enfrenta la investigación científica, en donde una misma pregunta obtiene múltiples y diferentes respuestas por parte de cada estudio particular. Si tomamos en consideración que la implementación de políticas sociales y de salud con frecuencia necesita de una estimación precisa de ciertos índices estadísticos, que, en la investigación disponible, muestran tal variabilidad que hacen imposible este tipo de intervenciones, se torna aún mas patente la necesidad de contar con algún tipo de metodología que permita enfrentar el desafío que representa la existencia de resultados múltiples para el avance de un campo de estudio y para cualquier aplicación práctica. Hasta hace algunas décadas el problema de la síntesis y generalización de los resultados sobre una hipótesis particular era resuelto por medio de revisiones
narrativas o de resúmenes verbales que presentaban aquellos estudios a favor de una hipótesis particular, los estudios en contra de la misma y aquellos que presentaban resultados nulos. Las revisiones de este tipo jugaban un rol de máxima importancia al permitir al investigador resumir y clarificar el “estado del arte” en un punto dado del tiempo (Wolf, 1986). A diferencia de los fenómenos estudiados por otras ciencias, la conducta humana es a menudo mas difícil y compleja de explicar, por lo que las definiciones comunes y la uniformidad en el uso de técnicas y procedimientos por parte de los investigadores no es muy frecuente. En ciencias de la conducta, asistimos a la proliferación de estudios destinados a investigar hipótesis similares pero que utilizan diferentes definiciones, variables, procedimientos, métodos y muestras, lo que ocasiona que las conclusiones a las que se llegan sean altamente conflictivas entre si. Es por ello que las revisiones narrativas tradicionales se enfrentan a especiales obstáculos a la hora de reunir estudios tan disímiles entre sí. Wolf (1986) ha señalado las diversas dificultades a las que se enfrentan las revisiones narrativas tradicionales: a) la inclusión selectiva de estudios, generalmente basada en la visión particular del revisor acerca de la calidad del estudio, b) la ponderación diferencial y subjetiva de algunos estudios en la interpretación de un conjunto de resultados, c) la interpretación engañosa de los resultados de un estudio, d) la incapacidad de esta metodología para examinar características de los estudios como explicaciones potenciales de resultados consistentes o inconsistentes entre los estudios, y e) la incapacidad
de examinar las diferentes variables moderadoras de las relaciones investigadas. Debido a estas limitaciones de las revisiones tradicionales, se pensó en el Meta-análisis como una herramienta metodologica potencialmente superior (Abelson, 1998; Gómez Benito, 1987; Glass, Mc.Gaw & Smith, 1981; Wolf, 1986; Rosenthal & Di Matteo, 2001). El Meta-análisis emplea técnicas de medición y análisis estadístico sobre un conjunto de resultados de diversos estudios
empíricos
(Glass et al.,
individuales
con
el
propósito
de
integrarlos
1981), provee una estimación simple de la fortaleza de la
relación hipotetizada entre determinadas variables, y permite comprobar estadísticamente la medida en la cual una serie de estudios, tomados colectivamente soportan o apoyan hipótesis teóricas particulares
(Multon,
Brown & Lent;1991). En el presente, los estudios meta-analíticos son utilizados para integrar los hallazgos obtenidos por diferentes ciencias y para investigar características de los estudios como posibles moderadores de los resultados observados. En ciencias de la conducta, el procedimiento es de especial utilidad, ya que es esta un área de estudio desde donde se genera tanta información que se requiere de algún método que permita sintetizarla adecuadamente. De esta forma,
el
procedimiento
esta
siendo
ampliamente
utilizado
por
los
investigadores de la Autoeficacia que, interesados por la comprobación de las correlaciones globales entre el constructo y otras variables de implicancia vocacional, hacen uso del Meta-análisis para integrar los hallazgos obtenidos de la investigación acerca de la relación de este constructo con otras variables
de importancia y para investigar características de los estudios como posibles moderadores de los resultados observados en los estudios. El presente trabajo tiene como finalidad realizar una introducción a los principales aspectos conceptuales y metodológicos del Meta-análisis, que sirvan para aportar mayor claridad a algunos estudios realizados por los investigadores de la Autoeficacia para comprobar sus hipótesis.
El Meta-análisis. Aspectos conceptuales y metodológicos:
Objetivos del Meta-análisis
Como afirma Wolf (1986), el interés por investigar sistemáticamente y sintetizar los resultados de diferentes estudios de una misma hipótesis puede rastrearse al trabajo de Tippet (1931), Fisher (1932), Karl Pearson (1933) y Cochran (1937). Los primeros estudios realizados a comienzos del siglo XX dieron lugar a la utilización de dos abordajes diferentes pero complementarios. Uno de estos abordajes, conocido con el nombre de tests combinados, se centra en evaluar la significación estadística de los resultados combinados de los estudios primarios, utilizando para esto los niveles de significación (probabilidades o su transformación logarítmica) o pruebas estadísticas t o z ( o sus ponderaciones). El otro abordaje se centra en la estimación de la magnitud del efecto experimental (tratamiento) entre los estudios mediante el desarrollo de índices
generales, estandarizados e independientes
de las escalas de medida
utilizadas en los estudios individuales.
Pasos para la realización de un Meta-análisis.
Clasificación de los estudios. Codificación Las investigaciones particulares constituyen el material para la integración estadística. Tal integración implica la consideración, clasificación y codificación de las características sustantivas y metodológicas de los estudios particulares (tales como tipo y duración de la intervención, tipo de muestra, datos del estudio, características del mismo, etc.). El propósito de la codificación de las características de los estudios es el de verificar si los resultados difieren en función de las mismas, es decir, la codificación permitirá al investigador estimar la medida en que determinadas características de los estudios reunidos acerca de una problemática dan cuenta de determinadas variaciones entre las relaciones obtenidas a lo largo de los diferentes estudios utilizando para ello procedimientos estadísticos específicos (véase mas abajo). La codificación de las características de los estudios debe evaluarse en lo relacionado a su validez y a su confiabilidad. Tal como afirma Gómez Benito (1987), la valoración de la validez de las propiedades de un estudio remite a cuestiones tales como la claridad de las definiciones, la adecuación de la información proporcionada, grado de inferencia que debe asumir el codificador para determinar las características de los estudios, etc. Los problemas referidos a la validez y la confiabilidad pueden solucionarse mediante una
atenta lectura y una cuidadosa codificación de las características de los estudios, explicitando los criterios utilizados para la codificación y evitando el solapamiento entre categorías. A su vez debe asegurarse la consistencia en el cálculo y el registro de los niveles de significación, en la estimación de los tamaños del efecto de los estudios,
y en los criterios utilizados por cada
codificador en la categorización de las características de los estudios utilizados en un meta-análisis.
Integración de los resultados. Niveles de significación Dado que generalmente los resultados de los estudios pueden no ser directamente comparables se deben transformar los resultados en una medida común para hacer de ese modo posible la integración. Para obtener un índice general acerca de la significación estadística de los resultados obtenidos por diferentes estudios sobre una hipótesis particular, se utilizan procedimientos basados en los niveles de significación de cada estudio, sus transformaciones logarítmicas (tal como el procedimiento de combinación de Fisher) o sus transformaciones en puntajes t (test combinado de Winer) o z (test combinado de Stouffer). Mas allá del procedimiento específico de combinación utilizado, la evidencia combinada de los estudios nos indica (en caso de ser estadísticamente significativa), que la hipótesis nula de que no existe un efecto común significativo entre los estudios utilizados como unidades de análisis debe ser rechazada. El meta-análisis basado en la combinación de niveles de significación ha demostrado ser una herramienta de utilidad y ha permitido demostrar que la
reunión de resultados repetidos en la misma dirección a lo largo de diversos estudios, aun cuando ninguno sea significativo, es una evidencia mucho más poderosa que un único resultado significativo (Rosenthal y Di Matteo, 2002). Sin embargo, la utilización de este tipo de procedimiento es apenas utilizada frente a la integración por medio de medidas de tamaño del efecto debido a la estrecha dependencia de los niveles de significación con respecto a los tamaños muestrales, y
a que estos índices nada nos dicen acerca de la
fortaleza de las relaciones o efecto de interés. Por ello, en caso de optar por la utilización de niveles de significación, la literatura recomienda acompañar siempre estos índices de combinación de alguna estimación acerca de la magnitud del efecto global (Wolf, 1986, Rosenthal y Di Matteo, 2002 )
Integración de los resultados. Medidas del tamaño del efecto Las medidas de tamaño del efecto (effect size) nos indican el grado en el cual un fenómeno dado está presente en la población o el grado en el cual la hipótesis nula puede considerarse falsa. Es decir, en un estudio en donde se intente determinar la magnitud de un efecto , la hipótesis nula va a ser siempre que el tamaño del efecto es igual a cero (Cohen, 1977). Existen numerosas medidas del tamaño del efecto, pero en Psicología los más utilizados son la diferencia media tipificada (d) y los coeficientes de correlación (r). En otros campos de estudio se utilizan otros índices de magnitud del efecto, tales como las odds ratio (Egger, Davey Smith & Phillips, 1997) El primer paso, entonces, será el de transformar las unidades de medida originales de los estudios individuales a un índice de tamaño del efecto común
para
luego aplicar a estos
técnicas estadísticas específicas que permitan
resumir los resultados globales de las diferentes investigaciones. En el caso que el efecto de interés sea el de la magnitud de la diferencia entre grupos (comparaciones entre grupos experimental y control o pretest y postest, por ejemplo), se suele utilizar puntuaciones que forman parte de la “familia d” (diferencia media tipificada) como medida de tamaño del efecto. Los tres tipos considerados dentro de esta familia de índices de tamaño del efecto son las puntuaciones d de Cohen, las puntuaciones g de Hedges y las puntuaciones delta de Glass. En los estudios correlacionales o en estudios con encuestas se utilizan coeficientes de la “familia r” (correlaciones momento producto) (Rosenthal y Di Matteo, 2002). Dentro de este tipo de puntuaciones se incluyen el coeficiente r de Pearson (cuando ambas variables son continuas), el coeficiente punto biserial (cuando una variable es continua y otra dicotómica), el coeficiente phi (cuando ambas variables son de tipo dicotómica), el coeficiente rho de Spearman (cuando la variable se distribuye en forma ordinal) y las transformaciones a Z de Fisher (Rosenthal y Di Matteo, 2001, presentan otros cuatro tipos de coeficientes r, y el tipo de información que cada uno provee. El lector interesado puede profundizar en ese trabajo) Los estudios realizados en la literatura psicológica varían considerablemente en el tipo de medidas reportadas como tamaños del efecto (algunos presentan r mientras otros d ). Tanto r como d pueden reconvertirse fácilmente de un índice a otro, por lo que los investigadores deben decidir a que índice desean convertir todos los tamaños del efecto obtenidos, para de esta forma obtener
una medida común. Aunque algunos autores
recomiendan el uso de la
diferencia media tipificada como indicador del tamaño del efecto (Glass et al, 1981), otros (Rosenthal & Di Matteo, 2001) recomiendan transformar estas puntuaciones a
coeficientes de correlación por ser estos mas fáciles de
interpretar en términos de importancia práctica y por aparecer con mas frecuencia en los informes de investigación. Puede verse que no existe un criterio único acerca de que medida de tamaño del efecto utilizar, por lo que se coincide con Gómez Benito (1987) al considerar aconsejable no adoptar una posición apriorística al respecto y utilizar el índice cuyo cálculo venga mas simplificado por el tipo de estudio que se desea integrar. Los métodos para sintetizar los resultados de estudios correlacionales (tales como los utilizados en los Meta-análisis presentados más adelante), utilizan los coeficientes de correlación o sus transformaciones Z obtenidas por medio de la transformación propuesta por Fisher. En el caso de utilizarse esta transformación, las puntuaciones Z de cada estudio son promediadas y, una vez obtenido el promedio, se realiza una nueva transformación a coeficiente de correlación, ya que es este último el que debe ser reportado típicamente como indicador del tamaño del efecto total (Glass et. al., 1981, Wolf, 1986). En el caso de utilizarse los coeficientes de correlación (y no sus transformaciones a Z) se promedian estos, para obtener así una medida del tamaño del efecto global. El uso de la transformación de los coeficientes de correlación a Z de Fisher es un tema en discusión, ya que para algunos autores es un paso intermedio innecesario (Glass et. al, 1981; Hunter et al, 1982) , mientras que otros autores
(Rosenthal & Di Matteo, 2001) recomiendan su utilización como una forma de normalizar la distribución, ya que la forma de distribución de los coeficientes de correlación muestrales se torna progresivamente mas asimétrica a medida que aumentan los valores de las correlaciones poblacionales. Además, se ha verificado que la diferencia entre los índices de tamaño del efecto obtenidos por medio de ambos tipos de puntuaciones (coeficientes de correlación o puntuaciones Z de Fisher) es muy pequeña, excepto cuando el tamaño muestral es pequeño y la correlación poblacional grande (Fisher, 1932) .
Cálculo de medidas ponderadas. Tanto en el caso de los índices generales acerca de la significación estadística como en el caso de los tamaños del efecto, trátese de la diferencia media tipificada,
los
coeficientes
de
correlación
o
sus
correspondientes
transformaciones a Z de Fisher, se pueden obtener puntuaciones ponderadas en función de algún criterio juzgado relevante por el investigador. Con frecuencia, no todos los estudios revisados en un Meta-análisis utilizan el mismo tipo de muestra, ya que
algunos pueden utilizar muestras muy
pequeñas y poco representativas mientras otros pueden utilizar diseños más sofisticados con muestras grandes y representativas. Es por ello que muchas veces los estudios que utilizan muestras pequeñas y presentan resultados inconsistentes con los obtenidos por la mayoría de los otros estudios pueden influir en el resultado final de un meta-análisis de la misma forma que los estudios que utilizan diseños más adecuados. Por esto, Hunter et al (1932, en Gómez Benito, 1987) recomiendan utilizar el tamaño de la muestra como
criterio de ponderación. La ponderación de las puntuaciones en base a este tipo de criterios metodológicos, permite tomar en consideración y cuantificar la fortaleza metodológica de cada estudio individual en el análisis. Así, por ejemplo, Lent, Brown & Hackett (1994), en el meta-análisis presentado a continuación, obtuvieron el efecto global convirtiendo cada coeficiente de correlación individual en el estadístico Z de Fisher y ponderando las Z´s individuales por sus grados de libertad. Las puntuaciones Z individuales fueron sumadas y divididas por los grados de libertad totales obteniendo de esta forma una puntuación Z promedio ponderada. Posteriormente se reconvirtió esta puntuación en coeficiente de correlación. Por su parte Multon et al. (1991), utilizaron como medida del tamaño del efecto el coeficiente ru (unbiased correlation), un coeficiente de correlación ponderado. Luego, se convirtieron estos coeficientes a puntuaciones Z y se obtuvo una estimación de la correlación promedio entre todos los estudios a su vez que se estimó la significación estadística de la correlación obtenida. Finalmente, las puntuaciones Z
fueron reconvertidas a coeficientes de
correlación y se estimaron intervalos de confianza. Si bien existen ciertos parámetros para la interpretación de los tamaños del efecto, debidos a Cohen (1977) (el autor propone considerar como un tamaño pequeño un r < .10, medio un r
