Desviándose de la media: La declinación significativa de la significancia (translation of Deviating from the mean)

DESVIÁNDOSE DE LA MEDIA: LA DECLINACIÓN SIGNIFICATIVA DE LA SIGNIFICANCIA1 La mayoría de los métodos que utilizamos en criminología para inferir relaciones, se basan en los valores medios de la distribución. Este ensayo investiga los orígenes históricos de este tema y algunas consecuencias contra productivas: confiar demasiado en una muestra como un medio para asegurar una “significancia estadística”; ignorar las consecuencias implícitas del modelo de regresión; y asumir que todos los conjuntos de datos reflejan un comportamiento único para toda la población en estudio. El ensayo concluye sugiriendo que ya no tendremos éxito con las metodologías estándares utilizadas para estudiar la criminología y la justicia criminal, y recomienda desarrollar categorías que reflejen en forma más exacta el comportamiento y las agrupaciones que utilizamos actualmente; buscar fuentes de datos alternativos, incluyendo datos cualitativos, tales como sucesos narrativos; y desarrollar métodos alternativos para extraer y analizar la información proveniente de esas fuentes. La mayoría de los métodos estadísticos actualmente en uso en la criminología, se basan en su totalidad o en parte. en comparar el valor de una estadística derivada de una muestra, con un estándar. En una situación experimental, se utiliza un test t para comparar la media experimental de la muestra con la media del grupo control; en un análisis de varianza, se utiliza un test F para comparar una cantidad de diferentes medias; en un modelo de regresión, el valor de beta es comparado con cero. De hecho, el término desviación implica que existe una norma –de comportamiento– mediante la cual comparamos los comportamientos de otros. Aunque reconocemos que diferentes personas poseen diferentes estándares de comportamiento que son tan válidos como los nuestros, con el entendimiento implícito que se permite una gran cantidad de variación en el comportamiento, cuando se trata de nuestros métodos estadísticos no somos tan tolerantes: la mayoría de los análisis estadísticos se basan en medias. La razón de esto, en parte es histórica, y retrocede hacia los orígenes del análisis estadístico. La tensión entre lo que yo denomino “reificación2 de la media” y una adaptación (estadística) de la variación, ha permanecido durante mucho tiempo y aún está siendo utilizada actualmente en la literatura criminológica (y otras ciencias sociales). Yo intento aquí explicar los orígenes de esta tensión y el impacto que ha tenido en la elaboración de la teoría criminológica. El ensayo continúa la discusión acerca de la investigación en criminología en el ejemplar de Noviembre de 1993 del la revista Journal of Research in Crime and Delinquency. En la introducción del editor, Fagan (1993, p.38 1) se habla de la paradoja “donde nuestros métodos se incrementan en forma más poderosa y precisa de lo que nunca hemos obtenido de nuestros datos y las realidades complejas que representan”. Las respuestas en ese ejemplar respecto de la paradoja, dieron bastante que pensar y trataban del desarrollo de las teorías en criminología, los métodos para probar esas teorías y los datos analizados mediante esos métodos. Como un investigador cuantitativo sin tapujos, también he tratado de manejar estos temas, pero desde un punto de vista diferente que los autores en la revista. Descubrí, sin embargo, que mis propias preocupaciones eran profundamente comprendidas por las de Braithwaite (1993) en su preocupación por la necesidad de tratar con contextos específicos, en lugar de intentar generalizar todas las situaciones; McCord (1993) toca el mismo tema, así como las limitaciones de la regresión y la necesidad de

1 2

Michael D.Maltz. Journal of Research in Crime and Delinquency. Vol. 31. Nº 4, Noviembre 1994. 1994 Sage Publications Inc. Reificación: considerar un concepto abstracto como real.

La Declinación Significativa de la Significancia

2

ir más allá de sólo probar teorías; y Sampson (1993) en su necesidad de contar con métodos que incorporen un contexto dinámico y un positivismo narrativo. Primero describo los orígenes históricos de los paradigmas de la investigación y los métodos utilizados en las ciencias sociales. Luego se escrutina la validez de algunas de las suposiciones originales, señalando algunos de los problemas de estos métodos y paradigmas de investigación. Luego muestro cómo las suposiciones aún traspasan la investigación criminológica hasta nuestros días, cuestionando algunos de los hallazgos. Concluyo sugiriendo que reconsideremos utilizar los métodos que se basan principalmente en la estimación de la media de una distribución y utilizar y desarrollar métodos que se adapten a la diversidad. Descubriendo y Reificando la Media Uno de los capítulos más interesantes en la historia de la estadística, se refiere a cómo se derivó y desarrolló la distribución normal en sus comienzos, basada en las necesidades de la navegación marítima. En los siglos 17 y 18, las observaciones astronómicas eran utilizadas para desarrollar tablas de navegación. Los astrónomos se veían enfrentados al problema de reconciliar muchas observaciones diferentes (y en cierta forma, inconsistentes) acerca del mismo objeto (ej. La luna, la Estrella del Norte) para determinar su ubicación exacta y para predecir su futura ubicación. Las observaciones eran inconsistentes debido a errores inherentes en las observaciones originadas por, entre otras cosas, la variación en las características ópticas de la atmósfera, la histeresis3 mecánica en los objetos de medición, y el error humano. En consecuencia, existía la necesidad de desarrollar métodos que reconciliaran las mediciones y mejoraran la habilidad de predecir la ubicación de la luna, estrellas y planetas para propósitos de navegación. Stigler (1986, p.55-6 1) narra cómo Legendre, basándose en el trabajo de Euler, Mayer, Boscovich y Laplace, desarrolló el método de los cuadrados mínimos (ej. Minimización de la suma de los cuadrados de los términos de error en un sistema de ecuaciones lineales) como un medio para combinar mediciones cargadas de error, para proporcionar una solución a las ecuaciones. Esta línea de investigación también estableció que si los errores desde el verdadero valor eran distribuidos normalmente, entonces la media aritmética era la estimación que minimizaba el error de la media del cuadrado (Porter 1986, p.96). Debido a que las observaciones astronómicas eran (generalmente) distribuidas normalmente, existía una buena concordancia entre la base teórica para el método y la realidad empírica. Seleccionando la media aritmética como el valor “verdadero” de un conjunto de observaciones normalmente distribuidas, se minimizaba el error de la media del cuadrado. La prueba de Laplace en 1810 acerca del teorema del límite central, mostrando que la media de una serie de mediciones con errores independientes sería distribuida normalmente (Stigler 1986, p.137, 143), solidificaron el concepto que esta curva era la distribución a utilizar cuando uno tenía datos con gran cantidad de errores. Como consecuencia, la distribución normal se conoció como la “ley del error” y la curva con forma de campana llegó a asociarse con los errores. No es sorprendente que cuando se descubrían curvas similares en otras situaciones, los procesos que las generaban se consideraban como consistentes en un valor medio más términos de error, esto es, un valor “verdadero” más desviaciones no deseadas.

3

Histeresis: una respuesta tardía de un objeto respecto de las fuerzas que actúan sobre él, especialmente las fuerzas magnéticas.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

3

Esto es exactamente lo que sucedió a mediados del siglo 19. In 1994, el astrónomo belga Adolphe Quetelet demostró que esta misma distribución de la ley del error se aplicaba a la distribución de las características físicas humanas, tales como la altura y las dimensiones: “este sorprendente testimonio del poder del método de la mecánica celestial apoyó la afirmación de Quetelet sobre que las ciencias sociales no podrían hacer nada mejor que imitar lo físico” (Porter 1986, p.100). Aún más, el tomó esta similitud de las distribuciones para significar que estas variables poseían un valor verdadero ejemplificado por la media, y que las desviaciones a partir de ese valor, constituían errores: El escribió, “Uno puede preguntarse si es que existe, en las personas, un hombre tipo, un hombre que represente a estas personas, con relación a que todos los demás hombres de la misma nación deben ser considerados como ofreciendo desviaciones (citado en Hacking 1990, p.105). Quetelet también utilizó estas técnicas en el análisis de estadísticas judiciales. Por ejemplo, él observó en la constancia relativa de la “estadística moral”, porcentajes de convicción, el equivalente de una ley natural. En otras palabras, concluyó que existía una “tendencia hacia el crimen” compartida por todos; que existía una entidad como el “hombre promedio”, o incluso un “hombre moral promedio”. Esto es, pensaba que “si un individuo en cualquier época de la sociedad poseyera todas las cualidades del hombre promedio, representaría todo lo que es grande, bueno o hermoso” (citado en Stigler 1986, p.17 1). Esto era aparentemente consecuencia directa de su interpretación de la variación en las características individuales como un error ejemplificador, casi en la misma forma que una observación astronómica consistiría en la corrupción del valor verdadero debido a errores en la medición. Émile Durkheim también observó un error en tales distribuciones en lugar de una variación natural, concluyendo que existían leyes sociales que actuaban en todos los individuos “con el mismo poder inexorable que la ley de gravedad” (Hacking 1991, p.182; ver también Duncan 1984, p.99). Por ejemplo, él escribió acerca de las “corrientes suicidas genéticas” en la sociedad, como si fueran una propensión innata al suicidio, de una misma magnitud, dentro de cada individuo (Hacking 1990, p.158)4. Otros, especialmente Francis Galton, criticaron este enfoque. El observó la variación como natural y deseable y criticó a aquellos que se enfocaron en promedios “tan poco interesantes como el encanto de la variedad en los nativos de uno de nuestros condados ingleses, cuya retrospección acerca de Suiza era que, si sus montañas pudieran ser lanzadas a sus lagos, dos cosas molestas serían eliminadas de una sola vez” (Galton 1889, citado en Porter 1986, p.129). Aun así, la visión de Galton no fue compartida por la mayoría de los científicos sociales de la época. De hecho, existía una amplia creencia sobre que aquellas que se alejaban de la media, eran desviaciones en el sentido peyorativo de la palabra, esto es, que eran “errores”. La estadística no era considerada como la ciencia de la variación (Duncan 1984, p.224) sino como la ciencia de los promedios Por lo tanto, con algunas excepciones, el espíritu de los tiempos a la vuelta del siglo, era utilizar estadísticas para estimar los valores medios y considerar como errores a los residuos de tales estimaciones. Esto es, se pensaba que la variación estadística no reflejaba una diversidad potencialmente beneficiosa, sino que, desviaciones no deseadas a partir del valor “verdadero”, ejemplificado por la media5.

4 5

Note que esta interpretación está a favor de la determinación en contra de la libre disposición; como Hacking (1990, p.116) lo manifiesta, “si existieran leyes estadísticas para el crimen y el suicidio, entonces los criminales no podrían ayudarse a sí mismos”. Hacking (2990, p.120) sugiere que el movimiento hacia la eugenesia fue consecuencia directa de esta interpretación estadística de la variación. Es interesante especular sobre el impacto que esto tuvo en el desarrollo del concepto de la raza aria en la Alemania Nazi, en la cual la pureza genética se esforzaba por lograr su cometido.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

4

Explicando la Varianza: El Paradigma Experimental Se reconoció que el valor de la media de un grupo podía ser cambiado variando las condiciones impuestas en él. Se podían probar diferentes intervenciones para observar qué efecto tenían en los resultados. La desventaja para conducir estos tests, era la falta de una base racional para determinar cuán grande debería ser el grupo a testear, para determinar si la intervención o sólo las fluctuaciones al azar eran las que variaban el valor de la media. El paradigma experimental propuesto y promovido por Sir Ronald A. Fisher en los años ’20 tocó este tema. Fue la primera aplicación práctica del análisis de varianza, el cual Fisher utilizó en el diseño de experimentos agrícolas para ser entregados a una amplia audiencia, que apareció en su libro clásico de 1935, El Diseño de Experimentos (Fisher 1935; ver Gigerenzer 1987, p.19). Los grupos debían ser comparados mediante algunos tratamientos dados (los grupos experimentales), otros no (el grupo control). Se necesitaban grupos, debido a que las unidades individuales (personas, lotes de tierra) poseían una variación inherente, originada por diferentes factores que no eran mantenidos constantes (ej. Lluvia, fertilidad del suelo, y luz del sol en el caso de experimentos agrícolas), así como el tratamiento experimental (ej. Tipo de semilla o fertilizante). El diseño experimental permitía al investigador probar la hipótesis, que la diferencia en los resultados entre los grupos experimental y de control, eran atribuibles al tratamiento y no a factores externos. El libro y la metodología de Fisher revolucionaron la forma en que se condujeron los experimentos. Los conceptos de muestra al azar y de seleccionar el tamaño de una muestra basándose en el grado de variación esperada en los datos, constituían grandes avances y permitieron la racionalización del diseño experimental. Se podían efectuar inferencias utilizando una muestra acerca de la totalidad de la población, determinar el tamaño de la muestra por la varianza esperada y el grado de confianza deseada en los resultados. Por lo tanto, las ciencias sociales tomaron prestada la metodología de las ciencias agrícolas, así como de la astronomía. La abrumadora aceptación de los métodos estadísticos en las ciencias sociales también pudo haber sido fomentada por el hallazgo de Meehl (1954), sobre que los juicios clínicos son inferiores a los juicios actuariales o estadísticos en una gran variedad de dominios (Faust 1984)6. Esto condujo, en parte, a un incremento en la autoridad de un análisis cuantitativo por sobre un cualitativo. Reforzó la creencia que los análisis estadísticos de las encuestas eran superiores a los métodos de casos históricos en la investigación de las actitudes, un tema estudiado por Stouffer en 1930 (Bennett 1981, p.135). Debilidades en los Métodos Estadísticos Estos avances y testimonios en la metodología estadística condujeron a que los científicos sociales recolectaran y analizaran datos utilizando las nuevas herramientas Aún así, las herramientas poseían una cantidad de debilidades

6

La afirmación que los juicios basados en la estadística son mejores que las evaluaciones clínicas, podría no ser tan importante actualmente, como lo fue cuando se informó por primera vez. En el pasado, rara vez se entregaba información útil a los investigadores clínicos, acerca de los resultados que serían necesarios para que ellos conocieran las consecuencias de sus decisiones; una de las mayores deficiencias en el sistema de justicia criminal, es la falta de retroalimentación (ej. Para los jueces). Más todavía, aun cuando se proporcione una retroalimentación estadística,. Gottfredson y Gottfredson (1988) mostraron que no es una conclusión del pasado acerca que la información será utilizada. Sin embargo, estudios más recientes (Fong, Lurigio y Stalans 1990; Bunn y Wright 1991), han demostrado que la combinación del juicio y la información estadística pueden utilizarse para mejorar la habilidad de los investigadores clínicos para pronosticar resultados.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

5

que no eran reconocidas, al menos inicialmente, por los científicos sociales que las utilizaban. Ellos se basaban enormemente en el testeo de las hipótesis, confiaban en la normalidad asintótica de las distribuciones de la muestra, en la robustez de la regresión y en la forma en que validábamos los modelos resultantes de nuestros análisis. Cada uno de ellos se detalla a continuación: Testeo de las Hipótesis y Significancia Estadística Aunque el testeo de las hipótesis es muy importante en la investigación de las ciencias sociales, posee una cantidad de deficiencias. Una es la falta de inclusión de una hipótesis alternativa, o la consideración de errores Tipo 117; estos eran conceptos que provenían de Neyman y Pearson y fueron posteriormente incorporados en un sistema híbrido de estadística inferencial, que continúa enseñándose a los estudiantes hasta nuestros días (Gigerenzer 1987, p.21). Otros incluyen: •

Se presta demasiada atención a la “confianza ritual en la significancia estadística” (Mason 1991, p.344). En 1962, el editor de la revista Journal of Experimental Psychology afirmó que era reacio a publicar artículos cuyos “resultados eran significativos (sólo) en el nivel .05” (citado en Gigerenzer 1987, p.21). Esto tuvo la desafortunada consecuencia de recompensar a los investigadores “por el exorcismo de las hipótesis nulas, en lugar de un cuidadoso diseño experimental o un pre análisis fenomenológico” (Gigerenzer 1987, p.23).

•

Las suposiciones sobre las cuales se basan los testeos de significancia –sobre que los grupos bajo estudio constituyen muestras al azar de una población mayor- generalmente no se cumplen. A menudo las muestras constituyen muestras de conveniencia. Y como Freedman, Pisani, Purves y Adhikari (1991, p.506) subrayan: “Si un testeo de significancia se basa en una muestra de conveniencia, tengan cuidado”. Aun cuando los científicos sociales que trabajan con muestras de conveniencia generalmente utilizan tests de significancia.

•

El significado de la significancia aún no es bien comprendido. De hecho, han existido casos de investigadores con datos obtenidos de una población total, que han tomado muestras sólo para poder aplicar la propiedad de la normalidad asintótica a la media de la muestra de distribución-como si, mediante la magia del análisis estadístico utilizando menos datos, que les proporcionarían hallazgos más útiles que aquellos obtenidos mediante la utilización de la totalidad de los datos.

•

Cambia el enfoque de la investigación desde la medición al análisis de los números, resultando en un “matrimonio entre la estadística sofisticada y procedimientos ingenuos para la medición” (Gigerenzer 1987, p.23). Como Duncan (1984, p.207) lo cuestionó, “¿Es realmente creíble que los científicos sociales en 1965 ya supieran cómo medir 2.080 cantidades sociológicas distintas?” (énfasis en el original).

•

Como McCord (1993, p.412) lo señala, los investigadores erróneamente tratan de conseguir más apoyo para sus teorías utilizando una mayor ‘N’. Lieberson (1985, p.105), “uno realmente no mejora una situación con datos pobres aumentando la ‘N’ y luego esperar lidiar con una mayor variación”. A pesar de lo manifestado por el Journal of Experimental Psychology, no todos los experimentos con pequeñas muestras deberían ser desechados debido a la falta de significancia estadística. Mosteller (1981, p.881) describe un experimento conducido en 1747, con marineros afligidos por el escorbuto. Un médico administró uno de seis tratamientos –vinagre, agua del mar, jugo de manzana, ácido sulfúrico, jugo de cítricos y nueces- a dos marineros cada vez, por un N total de 12. Sólo los dos que tomaron el jugo de cítricos fueron curados en sólo pocos

7

En un error Tipo I, la hipótesis nula es falsamente rechazada (una falsa alarma); en un error Tipo 11, la hipótesis nula es falsamente aceptada (una detección pasada por alto). Un factor relacionado, el poder estadístico (Cohen 1988, 1990; Weisburd 1993), es útil para determinar el grado en el cual un hallazgo estadísticamente significativo es prácticamente insignificante.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

6

días, conduciendo a que el médico pensara que había encontrado la cura, lo que es una conclusión lógica 8. Pero este resultado, sin duda, no es significativo al nivel .05. (¿Cuál sería el destino de un analista criminal que le dijera al Jefe de Policía: “Sólo tenemos dos casos donde la víctima fue desmembrada; esta es una N muy pequeña para definir un patrón”? 9 •

La significancia estadística no implica una significancia sustantiva y la mayoría de los investigadores lo sabe, pero no los les impide implicar que lo hace. En otras palabras, estos son errores Tipo I y Tipo II (conceptualmente) que distinguen a la significancia estadística de la significancia sustantiva: no todos los hallazgos estadísticamente significantes son sustantivamente significantes y no todos los hallazgos sustantivamente significantes son estadísticamente significantes. Se ha sugerido que sería mejor utilizar la palabra discernible o distinguible 10 en lugar de significante, al describir los tests estadísticos, debido a que estos tests son diseñados para estimar la probabilidad que un parámetro (ej. La media de una muestra) pueda ser distinguido de otro.

¿Por qué los investigadores, a pesar de todas sus faltas, siguen utilizando todos estos enfoques acerca de la significancia estadística? El problema que enfrentan los investigadores es cómo elaborar inferencias a partir de un gran conjunto de datos, y las únicas inferencias con las cuales la mayoría está familiarizada, son aquellas relacionadas con una muestra de una población origen. El problema, por lo tanto, es de inferencia e interpretación. La significancia estadística se refiere sólo a inferencias que van más allá de la muestra que se tiene en mano, de alguna población (generalmente hipotética) desde la cual fue tomada la muestra. Si el grupo bajo estudio no constituye una muestra al azar, no significa que las inferencias no puedan deducirse, sino que no estarán relacionadas estadísticamente con la población origen: uno aún puede calcular errores estándares dentro y entre la varianza del grupo, y efectuar afirmaciones confiables, pero utilizando estadística descriptiva no inferencial. Luego, la validez de seguir efectuando inferencias más allá de la muestra que se tiene en mano, deben basarse en los argumentos del investigador y no en la distribución de la muestra. En resumen, el diseño experimental propuesto por Fisher permitió una determinación racional del tamaño de la muestra, y utilizó la varianza en lugar de descartarla como error. Esto proporcionó a los investigadores un procedimiento inequívoco para efectuar inferencias a partir de datos equivocados y ha sido el instrumento para llevar a las ciencias sociales hacia un terreno más lógico y cuantitativo. Aun así, la utilización de la significancia estadística es tan utilizada en forma inapropiada, que en demasiados casos, constituye un ejercicio sin significado (o, al menos, su significado no es el afirmado por los investigadores). Pero una suposición implícita acerca de la naturaleza de la varianza sí fue obtenida del pasado: y es que existe sólo un valor “verdadero” para el resultado, y que si los diferentes factores mediadores (ej. Las variables independientes) eran conocidos y medidos en forma precisa, se podría calcular este valor verdadero. Distribuciones de Muestras Una de las ventajas del paradigma experimental de Fisher fue la capacidad para tomar una muestra al azar de la población y, sin considerar la forma de la distribución de la población, calcular la media de la muestra y estar seguro que se está arbitrariamente cerca de la media verdadera (mientras mayor la muestra, más cerca estará la media de

8 9 10

Mosteller hace notar que la evidencia de la eficacia del jugo de frutas cítricas en la cura del escorbuto, fue demostrada por primera vez en el año 1601, 146 años antes, y la Armada Británica no implementó estos hallazgos hasta 1795, 48 años después del experimento!. Las estadísticas bayesianas proporcionarían inferencias más útiles en este caso. Alfred Blumstein, comunicación personal. Yo continúo utilizando un grado de ambivalencia en la palabra “significancia”, pero la palabra está inserta profundamente en la literatura como para ser omitida en este punto.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

7

la muestra de la media verdadera). Por ejemplo, la Figura 1 (a) exhibe la distribución de ingresos de una muestra hipotética que es bimodal, con cerca de la mitad de la población percibiendo ingresos distribuidos alrededor de los USD 4.000 y la otra mitad con percibiendo ingresos distribuidos alrededor de los USD 16.000, con el valor total de la media alrededor de los USD 10.000.

Figura 1: Datos de un Experimento Hipotético De acuerdo a la teoría de muestras, si existiera una muestra al azar derivada de una población base, la media de la muestra estaría cerca de la actual media de la población, dependiendo del tamaño de la muestra. No sólo eso, sino que si tomáramos numerosas muestras al azar (del mismo tamaño) de esta población, las medias de las diferentes muestras serían anidadas en torno a la verdadera media y distribuidas aproximadamente en forma normal, como se exhibe en la Figura 1 (b). El hecho que las medias de la muestra estén distribuidas normalmente (dado un tamaño de muestra suficientemente grande) significa que, si se efectúan comparaciones entre dos diferentes distribuciones, una puede determinar la probabilidad que las dos medias de la población se encuentren dentro de un rango especificado con relación de una a otra, con un nivel de confianza determinado por el tamaño de las muestras. Generalmente se considera demasiado difícil considerar la actual distribución de la población, especialmente cuando (como en este ejemplo) la distribución es irregular. Como consecuencia, los analistas generalmente se enfocan en la comparación de las medias de la muestra. sin investigar realmente la naturaleza de las distribuciones de las cuales fueron generadas. Pero basarse sólo en la media de la muestra puede conducir a error: note que, para el ejemplo dado, el valor de la media es mantenido por pocos miembros de la muestra. Uno se pregunta en un caso como éste, acerca de la conveniencia de utilizar la media como una “medición de la tendencia central” –ya que no existe una tendencia central! Para concretar este punto, considere el caso de una intervención experimental que debe ser evaluada utilizando dos muestras, experimento y control, seleccionada al azar de una muestra base. Suponga que los resultados del grupo experimental fueron distribuidos como en la Figura 1 (a) y los resultados del grupo control fueron distribuidos como en la Figura 1 (c), en la cual la distribución de los ingresos es casi unimodal. Suponga también que ni las medias ni las varianzas de las dos muestras son (estadísticamente) significativamente diferentes una de otra, de tal forma que

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

8

la distribución de la muestra de la Figura 1 (b) se aplica a ambas11. De acuerdo a la doctrina aceptada, la hipótesis nula no puede ser descartada, conduciendo a la conclusión que el experimento no tuvo efecto. Pero, si uno va más allá de sólo testear la hipótesis nula y considera las distribuciones de la muestra, no sólo la distribución de las medias de la muestra, uno podría observar que el experimento obtuvo (substancialmente) un efecto significativo, disminuyendo los resultados para un segmento de la muestra e incrementando los resultados para otro segmento. Esto es, uno puede considerar a los datos experimentales no sólo en términos de testear hipótesis, sino también en términos de generar hipótesis. Este tipo de problema se encontraba en la raíz del desacuerdo entre Hans Zeisel (1982ª, 1982,b), Peter Rossi y Richard Berk (1982); Rossi, Berk y Lenizan (1980, ver también Berk, Lenizan y Rossi (1980), quienes evaluaron un experimento en los cuales los ex delincuentes en Georgia y Texas fueron asignados al azar a un grupo de tratamiento –donde se entregaba una ayuda financiera durante un período de tiempo para ayudarlos en su transición hacia el mundo exterior- o a un grupo control al cual no se le prestaba esa ayuda. Después del hallazgo de ninguna diferencia en los ingresos entre los dos grupos después de haber sido liberados de la prisión, Berk et.al. (1980) analizaron los datos posteriormente. Encontraron que existía evidencia para sugerir que un subgrupo de delincuentes fue apoyado por la ayuda transicional (ej. Ganaban más de lo esperado), pero otro grupo no tomó ventaja del apoyo financiero y utilizaron la ayuda transicional como una excusa para no trabajar. Zeisel (1982ª) argumentó que esto iba contra la lógica subyacente en el paradigma experimental, que se basa en la diferencia de las medias de la muestra, mientras que Rossi y Berk (1982) mantenían que el paradigma experimental no previene que los analistas examinen los datos con mayor detalle para extraer hallazgos adicionales. Enfocándose sólo en la hipótesis que las medias son diferentes, es otra forma de la reificación de la media: ignora todas las características de la distribución de la población que no sea la media. En cierto sentido, el muestreo es equivalente a mirar un objeto con los ojos semi cerrados, en lugar de abrirlos totalmente; esto permite al observador observar ampliamente algunas características, por ejemplo, la media. Sin embargo, esto se efectúa a expensas de omitir los detalles, las verdaderas características que hacen que la investigación sea excitante, en lugar de sólo formular una “ciencia”. Suposiciones Implícitas de la Regresión Los experimentalistas recolectan sus propios datos y poseen el control sobre las condiciones experimentales y los datos, pero otros científicos sociales no poseen el control sobre las variables que utilizan. Generalmente utilizan datos provenientes de visitas en terreno, cuestionarios y registros oficiales, y utilizan diseños correlativos o casi experimentales. Como consecuencia, la mayor parte del trabajo en criminología consiste en intentar controlar la variación de la población bajo estudio, efectuando análisis de regresión multivariados, esto es, intentando tomar ventaja de parte de la variación en los resultados, mediante la variación en las variables independientes. Existen varios problemas con la forma en que ha sido aplicada la regresión en los análisis de fenómenos sociales. •

Cuando la cantidad de variables independientes es grande, los analistas generalmente utilizan el enfoque “shotgun”12 para descubrir cuáles de las variables recolectadas son las claves. Esto es, se efectúa una regresión a los datos con

11 12

La media para la muestra experimental es 9,927 y el error estándar de las medias de la muestra, para N = 350 es 307; para la muestra control la media es 9,887 y el error estándar de las medias de la muestra, nuevamente para N = 350, es 256. Shotgun: Sin un diseño, propósito u objetivo claro. N.del T.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

9

relación a todas las variables independientes que estén disponibles, y se seleccionan aquellas que son las más significativas estadísticamente. Freedman (1983) mostró los errores en este enfoque: el simuló datos al azar no correlacionados, condujo una regresión y descubrió algunas relaciones, eliminó las covariables más débiles de la ecuación de regresión y produjo un modelo mejor que antes, y todo esto a partir de datos sin ninguna relación inherente 13.

•

Lieberson (1985) describe un error aún más fundamental en el análisis de regresión, suponiendo que la relación funcional entre las variables es simétrica. Esto es, una correlación positiva entre las variables A y B implica que al incrementar la variable A, se origina que la variable B disminuya, y que al disminuir la variable A, se origina que la variable B disminuya. Esto sólo sería verdad si las variables A y B no interactuaran con otras variables que, a su vez, afecten A y B; en un sistema social, esto nunca sucede.

•

Los análisis de regresión, en su mayor parte, implican modelos lineales. Pero nadie llamaría ser delincuente un proceso lineal. La razón que hace justificable utilizar modelos lineales para fenómenos no lineales es que, si una relación funcional entre las variables se comporta relativamente bien (ej. Su ángulo es continuo) en las cercanías de un punto, se puede aproximar una función lineal en ese entorno. Esto es, los procesos continuos son lineales “en pequeña magnitud”. Esto conduce a la utilización de la regresión en una forma (lineal) u otra (lineal-log 14, logística, etc.). Abbott (1988) manifiesta que esta utilización implica una creencia (errada) en una “realidad lineal general”.

•

En estudios que han utilizado esta forma de regresión, las suposiciones inherentes al método (Malinvaud 1970, p.82) rara vez son testeadas con relación a los datos para verificar si se cumplen (Freedman 1991 a. p.305). Más aún, las suposiciones implícitas de la linealidad, algunas veces son aumentadas en gran medida, como cuando se asume que la misma ecuación de regresión puede ser utilizada para relacionar porcentajes de homicidios a un número de variables independientes (Ehrlich 1975) en las cuatro décadas desde 1930 a 1970. Tal formulación descarta las posibles no linealidades introducidas por una guerra mundial, legislación de derechos civiles, el incremento en la utilización de armas, urbanización, cambios en los patrones internos de migración, el crecimiento de los propietarios de automóviles, mejoramientos en la tecnología médica y procedimientos en postas de emergencia, y otros factores “no lineales”.

•

La razón entregada para descartar las suposiciones del análisis de regresión, es que las regresiones son consideradas como un método de análisis “robusto”; esto es, puede soportar violaciones substanciales en sus suposiciones y aún producir resultados útiles. Sin embargo, aunque sea robusto, ningún método puede ser utilizado sin determinar el grado en el que puede ser utilizado; aunque esto no sucede muy a menudo.

•

La forma en que las variables son ingresadas a la ecuación de regresión puede afectar el resultado, especialmente cuando se utiliza una regresión no lineal, lineal-log o logística. Por ejemplo, el modelo lineal-log del homicidio de Ehrlich (1975), incorporó la probabilidad del arresto, en lugar de la probabilidad de evitarlo. Esto puede constituir una gran diferencia, especialmente cuando se modela una influencia motivacional negativa: la probabilidad del arresto se incrementa en un 100% cuando se duplica desde 1% a 2%; pero para el delincuente, la probabilidad de evitar el arresto cambia imperceptiblemente desde un 99% a un 98%.

•

Aunque los métodos de regresión subestimen la importancia de la media mostrando cómo su variación puede ser atribuida a las variables independientes, estos métodos aún deifican los valores de la media. Considere el resultado de estos métodos: coeficientes y sus correspondientes estadísticas t. Por lo tanto, existe una suposición implícita que la

13

De acuerdo a Freedman (1983, p.152) esto generalmente ocurre “en un contexto donde la teoría sustantiva es débil. Para enfocarse en un caso extremo, suponga que de hecho no existe relación entre la variable dependiente y las variables explicativas. Aun así, si hay muchas variables explicativas, la R2 será alta. Si las variables explicativas con pequeña estadística “t” son eliminadas y la ecuación es modificada, la R2 permanecerá alta y F será altamente significativa”.

14

Lineal-log: una relación matemática que, si es expresada en logaritmos, es una función lineal. N.del T.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

10

misma ecuación de la regresión (y sus betas) se aplican a cada miembro del grupo bajo estudio. Esta suposición debería ser probada; ver la sección Unimodalidad más adelante.

Por lo tanto, existen muchas críticas válidas para la utilización de la regresión en las ciencias sociales, especialmente las de Lieberson (1985) y Freedman (1991 a, 1991 b). Aún así, muchos investigadores parecen no prestar atención a aquellas, debido a la gran cantidad de artículos en los cuales la regresión ha sido mal utilizada y no ha disminuido desde la primera discusión de las críticas. La falla puede yacer en la forma en que enseñamos estadística en las escuelas de graduados (Mason 1991) y las numerosas sugerencias contra productivas de los que fueron entrenados en estas escuelas. Validación del Modelo El modelo de regresión generalmente es mal utilizado en otra forma. Freedman (1985, p.348) hace notar que: En los análisis de regresión de las ciencias sociales, generalmente la idea es hacer coincidir una curva con los datos, en lugar de descubrir el proceso que generó los datos. De hecho, los investigadores generalmente hablan acerca de “modelar los datos”. Esto es casi perverso: seguramente el objetivo es modelar el fenómeno, y los datos son interesantes sólo porque contienen información acerca de ese fenómeno. Cualesquiera que sea lo que los científicos están haciendo cuando elaboran modelos de regresión, descubrir las leyes naturales no parece ser importante en sus mentes.

Generalmente, los modelos son validados separando al azar la población en estudio y utilizando una de las sub poblaciones, la estimación o elaboración de la muestra, para desarrollar el modelo determinando cuáles variables independientes están significativamente asociadas con las variables del resultado, y el peso relativo asignado a cada variable independiente. Luego, este modelo es aplicado a la otra sub población, la muestra de validación, para ver cuán bien este modelo predice el resultado para esta muestra. Esta técnica realmente no valida el modelo. Primero, no prueba la validez de construcción inherente al modelo: si el proceso bajo estudio es realmente no lineal, pero es modelado como un proceso lineal, luego el modelo resultante no constituirá el mejor modelo para el proceso, pero sí el mejor modelo lineal. Segundo, un modelo que concuerda con la muestra de validación, así como con la muestra de construcción, no necesariamente es un modelo validado. Por ejemplo, suponga que las dos sub poblaciones son idénticas (ej. Pares de gemelos idénticos). En este caso, las dos muestras obviamente otorgarán resultados idénticos. Y así como es obvio, esto no validará el modelo porque los resultados idénticos se producirán sin considerar la validez del modelo. La técnica de validación de la separación de la muestra, valida el hecho que las estadísticas de las dos sub poblaciones son suficientemente similares y no pueden ser distinguidas. Esto es, la validación utilizando una muestra separada, sólo puede demostrar que el procedimiento de asignación al azar utilizado para separar la población se dividió, de hecho, en dos sub poblaciones indistinguibles. Aunque este procedimiento “puede proporcionar un antídoto útil como relleno” (Berk 1991, p.319), no valida el modelo.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

11

Un enfoque más útil fue utilizado por Berk (1991, p.321) al intentar validar un modelo elaborado a partir de datos de una jurisdicción, testeándolo con datos provenientes de otra jurisdicción. El descubrió que este procedimiento era útil para documentar las fortalezas y debilidades del modelo original, pero “no existía una forma simple o directa para determinar cuán bien el modelo se comportaba en el nuevo conjunto de datos… la mayoría se basaba en llamados telefónicos que eran difíciles de juzgar”. En otras palabras, la validación del modelo no siempre puede basarse en una técnica especialmente diseñada y un conjunto de reglas. Problemas con el Paradigma de Investigación Además de problemas con métodos específicos, existen también problemas con los paradigmas de investigación dentro de los cuales estas suposiciones están insertas. En particular, existe una poderosa parcialidad (tal vez un legado de la editorial del Journal of Experimental Psychology) para muestrear todas las poblaciones, sin considerar la necesidad de hacerlo. Además, implícita en la utilización de los modelos de regresión, existe la creencia que la distribución bajo estudio es unimodal: esto es, posee sólo un punto alrededor del cual se reúnen todos los miembros de la población. Estos temas se discuten más adelante. Muestreo y “Conectividad” Las metodologías estadísticas de las ciencias sociales, como se vieron anteriormente, se basan en una gran medición de la muestra, permitiendo el uso de tests de significancia. Sin embargo, al basarse demasiado en datos obtenidos de muestras, rechazamos implícitamente la posibilidad de examinar fenómenos que no pueden ser estudiados mediante muestreo al azar. En criminología, el comportamiento de los delincuentes es un fenómeno que no puede ser estudiado utilizando muestras al azar. Shaw y McKay (1969) detallaron que los jóvenes cometen ofensas en compañía de otros, más a menudo que por sí mismos; ver también Hindelang (1976) y Zimring (1981). Pero si se muestrea una población de delincuentes jóvenes, la mayoría de las relaciones entre ellos no será obtenida en la muestra. Incluso una revisión no tan detallada de registros de delincuentes juveniles, mostraría varios casos de tres o cuatro personas acusadas de la misma ofensa; Reiss (1986, 1988) muestra cómo esta inclinación entre los jóvenes afecta los porcentajes de crímenes y carreras criminales. En particular, para investigar estas ofensas entre los jóvenes, Reiss y Farrington (1991, p.368) estudiaron “a todos los muchachos (en 1961, 1962) que tuvieran entre ocho y nueve años que se encontraran en los registros de seis escuelas primarias dentro de un radio de una milla” en la oficina de investigación en Londres. Ellos mostraron cómo variaban las ofensas, entre otras cosas, de acuerdo a la edad y tipo de ofensa; en una muestra al azar no habría sido posible monitorear este comportamiento ofensivo. El problema con el muestreo se relaciona con la suposición implícita de la teoría de muestreo, de la independencia de todos los individuos en la muestra; esto es, conocer el comportamiento de A no tiene efecto (estadísticamente) en el comportamiento de B. Pero también sabemos que ellos no son siempre independientes en criminología y otras ciencias sociales (Abbott 1988, p.178). De hecho, Coleman (1990, p.318-20) considera que uno de los factores más importantes al estudiar un sistema social, es la cercanía entre sus actores, esto es, sus interrelaciones. Más aún, no sólo los delincuentes actúan en conjunto y no independientemente, sino que también las ofensas pueden relacionarse entre ellas. Considere lo que ocurre al conducir experimentos en terreno en la prevención o

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

12

control del crimen, en los cuales la serie de eventos sirve como una medición del resultado. Por ejemplo, suponga que algunos de los delincuentes más activos en una comunidad son responsables por cerca de 300 robos anuales, un porcentaje bastante común (Chaiken y Chaiken, 1982). Esto significa que los robos no son cometidos independientemente, lo que es una suposición clave para efectuar inferencias a partir de una muestra al azar. Una reducción de 300 robos, que sería estadísticamente significativa bajo la suposición de independencia, no necesariamente sería significativa dada la naturaleza conectada de los eventos. El problema aquí, está en la unidad de análisis escogida: tal vez deberíamos estar contando delincuentes, no ofensas. Aunque normalmente no sabemos quién comete tal o cual ofensa, sería posible efectuar estimaciones razonables15. El crimen organizado y los crímenes comunes son otras áreas donde el muestreo restringe excesivamente la visión del fenómeno bajo estudio. Los crímenes organizados se diferencian de los crímenes comunes específicamente, debido a que están conectados (Maltz 1990); en forma similar, las ofensas cometidas por delincuentes comunes deberían ser estudiadas como un fenómeno relacionado (Waring, 1992). Unimodalidad Un enfoque en la media de una población contiene la suposición implícita que toda la población actúa en forma similar. Esta suposición de unimodalidad se refleja, no sólo en suposiciones acerca de las poblaciones bajo estudio, sino también en la forma en que se construyen las categorías y en nuestras expectativas acerca de la eficacia de los tratamientos. Estas suposiciones se verán en esta sección. Unimodalidad y modelos. Los modelos de regresión suponen implícitamente que existe un valor de la media para cada una de las variables, y que los casos individuales se reúnen en torno a esta media en una distribución multivariada normal16. Esta formulación del modelo implica que sólo un mecanismo está trabajando, que los casos bajo estudio representan variaciones en un solo tema, ignorando la posibilidad que “importantes subconjuntos están siendo fusionados inapropiadamente como si representaran poblaciones homogéneas” (Mc Cord 1993, p.413). Por lo tanto, muchos estudios ignoran la posibilidad que los individuos puedan reunirse en diferentes tipos, cada uno con diferentes patrones motivacionales y diferentes patrones de comportamiento: con demasiada frecuencia los individuos son incluidos en el mismo montón y analizados (implícitamente, no explícitamente) como si fueran de un tipo en general, se obtienen los coeficientes y se genera un nuevo “modelo” o se prueba una nueva teoría17. Esto coloca al modelo por sobre los datos. Los análisis de regresión producen coeficientes para una sola ecuación que “explica” la contribución de cada variable. Estos tests intentan mostrar cuál valor único del coeficiente es el más adecuado para cierto criterio (ej.

15

16

17

Una forma de obtener una estimación de esto, es hablar con los detectives de la policía para descubrir el grado de relación que observan entre las ofensas cometidas por los delincuentes. Aunque no son estadísticos, cuentan con una apreciación personal sobre el tema; generalmente descubren que los robos en casas, robos de carteras u otros, disminuyen drásticamente con el arresto de uno o dos individuos. Por supuesto, los métodos de regresión pueden acomodar la heterosquedaticidad (en estadística, la secuencia o un vector de variables al azar poseen heterosquedaticidad, si es que las variables al azar en la secuencia o vector pueden tener diferentes varianzas. El complemento es denominado homosquedaticidad) debido a que son “robustos”, pero rara vez la heterosquedaticidad es revisada para ver si es posible que más de un fenómeno esté incluido en los datos. No intento que esto constituya una desaprobación para todos los que utilizan paquetes estadísticos; la mayor parte de la investigación que los utiliza es confiable y proporciona grandes conocimientos. Nadie puede manifestar, sin embargo, que muchos estudios aplican métodos estadísticos sin la debida preocupación por su aplicabilidad.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

13

Error mínimo de la media del cuadrado, máxima probabilidad), sin considerar el hecho que podrían existir dos valores distintos correspondientes a dos diferentes tipos de individuos. Los estudios que utilizan estos métodos analíticos, ya sean personas que comparten la misma fecha de nacimiento (ej. Wolfgang, Figlio y Sellin, 1972) o convictos que han sido liberados (ej. Rossi, Berk y Lenizan 1980) analizan diferentes tipos de individuos (delincuentes comunes, ladrones, delincuentes sexuales o violentos) como si el mismo modelo de regresión pudiera acomodarse a todos ellos.) Como Sampson y Laub (1992, p.71) lo señalaron, existen peligros al “basarse en mediciones de tendencias centrales que enmascaran a subgrupos divergentes”. Considere un conjunto de convictos que contenga a un pedófilo homicida como John Wayne Gacy, un estafador como Michael Wilken, un líder de pandilla como Jeff Fort, y un capo del crimen organizado como John Gotti, así como los ladrones comunes a mano armada, traficantes de drogas y ladrones. Suponer, a priori, que todos son manejados por un solo patrón de comportamiento, es absurdo. Esto no tiene mayor mérito que estudiar a un conjunto de pacientes con cáncer sólo basándose en que ingresaron al hospital en el mismo año: las causas y orígenes del cáncer a los huesos, pecho, colon, pulmones o piel son bastante diferentes unos de otros y deberían ser investigados en forma separada. En forma similar con la criminalidad, algunos pueden estar conducidos por deficiencias familiares que pueden ser tratadas; otros pueden ser conducidos por motivaciones de sus pares o factores ambientales que pueden ser tratados cambiando su entorno; y otros podrían estar conducidos por problemas psicológicos que se manifiestan en un comportamiento violento, que no puede ser tratable. Aún así, en lugar de considerar estos tipos en forma separada, generalmente son agrupados en conjunto en un solo “modelo” de regresión. Agruparlos en conjunto implica que existe un solo mecanismo operativo, y que los individuos o crímenes pueden ser considerados como variando en torno al valor de la media que define ese mecanismo. En otras palabras, se supone implícitamente que los datos son unimodales, esto es, que existe una sola “gran teoría unificada” del crimen o comportamiento criminal. Existe otro aspecto del problema de reificación de la media visto anteriormente, aunque en un contexto multivariado. Si fuera realmente el caso que más de un mecanismo está operando (y que las variables del estudio pueden ser utilizadas para distinguir estos modos), entonces estamos modelando una situación multimodal con un modelo unimodal del proceso (o procesos). Para utilizar la misma metáfora de Galton, pero trayéndola a Norteamérica, esto es equivalente a acoplar la Sierra Nevada (multimodal) con el modelo (unimodal) del Monte Whitney. Aunque existen ciertos beneficios para agruparlos en conjunto –por ejemplo, probar un tratamiento que pueda ser efectivo para una variedad de problemas- al hacerlo así, se enmascaran una serie de efectos potenciales. El hecho que en criminología un gráfico de la edad (para la mayoría de los crímenes), sea similar en poblaciones en diferentes contextos y de diferentes países, puede ser interesante (Gottfredson y Hirschi 1990), pero lo que muestra más que nada, es que el crimen es el juego de una persona joven –tal como un gráfico de la edad en el cáncer (para todos los tipos de cáncer) mostraría que esa enfermedad es mayoritaria de las personas de mayor edad. El hecho que a la mayoría (o casi todos) los delincuentes les falte autocontrol (Gottfredson y Hirschi 1990). también puede ser interesante, pero no ofrece más ayuda que la observación que todas las células del cáncer se multiplican incontroladamente. En ninguno de los casos este hallazgo ofrece mayor ayuda, como lo sería un análisis más intensivo de casos similares.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

14

Unimodalidad y Categorización de Datos. La unimodalidad también se manifiesta en la forma en que son categorizados los datos. Los científicos sociales tienden a utilizar categorías que son casi totalmente cartesianas en su naturaleza, con bordes muy definidos que no se traslapan. Pero generalmente hay visiones culturales parciales de la realidad profundamente implícita en estas categorías. Por ejemplo, utilizamos términos como retiros, minoría, hogares rotos, clase baja, madres trabajadoras, e incluso edad, colegio y nivel de educación como si fueran fenómenos unitarios, a pesar del hecho que algunos hogares intactos son tan estresantes. que un hogar roto es una buena alternativa18; que una madre soltera de 2019 años con tres niños no se compara con estudiantes de 20 años; que los colegios afectan a los individuos en forma diferente, dependiendo de sus temperamentos y de las interacciones de la familia (Hindle 1988, p.375); y que algunos colegios son tan malos que el único acto racional es dejarlos. Estas categorías pueden ser consideradas modelos cognitivos idealizados (ICM) (Lakoff 1987, p.68ff) que contienen estereotipos dentro de sí, generalmente basados en las suposiciones culturales insertas en su significado. Por ejemplo, con relación al colegio, ¿es el colegio un lugar donde los estudiantes intercambian ideas o intercambian drogas; donde los estudiantes se reúnen y disfrutan con sus amigos –o donde no pueden ir tranquilamente al baño por miedo de ser asaltados? Un ICM puede ser más común en colegios donde asisten niños desde donde se recolectan los datos, los otros son los colegios donde asisten aquellos que proporcionan los datos. Las categorías criminales también se derivan sobre los ICMs, a pesar del hecho que sabemos que son categorías legales, no del comportamiento. Treinta años atrás, Sellin y Wolfgang (1964, p.42) subrayaron el hecho que la variación dentro de las categorías criminales es tan grande como la variación entre las categorías, y desarrollaron el índice de seriedad del crimen para considerar esta variación. Aún utilizamos estas categorías para evaluar programas, predecir la peligrosidad de los delincuentes y dictar sentencias. Forman (1991) demostró cómo los fiscales tratan de incluir los casos de violación en los ICMs (o tipificaciones), para decidir si presentar cargos. No podemos llamarnos a nosotros mismos científicos sociales si es que ignoramos las considerables diferencias dentro de las categorías que comúnmente reflejan una actividad o fenómeno. Esto no significa que debido a que cada individuo o caso es sui generis no pueden efectuarse generalizaciones –después de todo, encontrar patrones en los datos es lo esencial de la ciencia. Pero esto sugiere que las generalizaciones deberían efectuarse basándose en la variación conocida dentro de las categorías, en lugar de basarse en los ICMs y otras concepciones (erradas) que llevamos con nosotros. Unimodalidad y Resultados. Otro problema potencial con la suposición de la unimodalidad se asocia con la conclusión de Martinson (1974), sobre que “nada funciona” en las correccionales. Este hallazgo se basó en un análisis de experimentos que fueron evaluados, en su mayor parte, por métodos estándares, esto es, comparando medias. Palmer (1978) señaló, sin embargo, que casi la mitad de los estudios conducían a hallazgos positivos o parcialmente positivos –para cierto tipo de delincuentes. Se debería haber esperado que ningún tratamiento funcionara –diferentes personas requieren de diferentes penas. 18

19

Como McCord (1990, p.120) manifiesta, “vivir en hogares conflictivos con ambos padres puede causar más daño que vivir en hogares con sólo madres” y Farrington (1993, p.388) afirma que “la separación temprana de un padre (generalmente el papá) causó daño a niños provenientes de familias con ingresos medios o altos, pero fue beneficiosos para niños provenientes de hogares con bajos ingresos”. Rutter (1989) manifiesta que la edad refleja, al menos, cuatro niveles en desarrollo con componentes cognitivos, madurez biológica, duración de las experiencias y tipos de experiencias –además de los componentes biológicos y cronol

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

15

Resumen. Los métodos e interpretaciones actualmente en boga en criminología y en la investigación de justicia criminal, que efectúan suposiciones implícitas sobre la unimodalidad, presentan varios problemas. Ellos engendran una predisposición a ignorar múltiples modos de comportamiento, para tratar a todas las situaciones como si tuvieran orígenes comunes, adoptar un solo modelo cognitivo de la realidad, y no considerar cualquier tratamiento que no se aplique a toda la población. Aunque los estudios basados en valores de la media generalmente son bastante útiles, especialmente como un primer paso, no deberían considerarse como el único enfoque para el análisis estadístico. Hacia la Obtención de Mejores Datos y Métodos Hasta ahora hemos visto que los métodos considerados como “probados y verdaderos” generalmente son “probados y tienen necesidades”. No siempre: muchos investigadores, incluyéndome a mí mismo, han utilizado tests de significancia, muestreo, regresión y técnicas de validación de modelos, con gran utilidad. Pero generalmente los han utilizado sin considerar sus limitaciones y han contenido la suposición implícita que los datos que estudian representan a un solo fenómeno. Algunas veces pareciera ser que los criminólogos han crecido acostumbrados a enfocarse sólo en ciertos tipos de datos; y parece existir un solo pensamiento para utilizar sólo estos métodos que están disponibles en paquetes estadísticos20. Es posible ampliar nuestra consideración de la naturaleza de los datos que recolectamos y la forma que escogemos para analizarlos. En particular, yo me refiero a la naturaleza de los datos que escogemos recolectar, y destacar uno o dos métodos analíticos que pueden ser utilizados para analizar esos datos. Seleccionando Variables Starr (1987, p.894) expresa su desaprobación en el hecho, que la mayoría de la investigación en ciencias sociales parece haber “perdido el toque con los aspectos significativos del crimen y la delincuencia. Los barrios pobres desaparecieron (de la literatura de ciencias sociales) y han sido reemplazados con jóvenes individuales con varios niveles de ingresos familiares, pero sin detectar el ambiente desde donde provienen… Aún así, en cierta forma, los científicos sociales evitan caminar o estacionarse en las calles durante la noche en ciertos lugares de la ciudad”. Existen dos aspectos interesantes referentes a esta cita. La primera se refiere a cómo y por qué seleccionamos variables a ser incluidas en nuestros análisis. Cuando “utilizamos las variables comunes” para caracterizar a un individuo21 o una comunidad 22, nos daremos cuenta que estamos omitiendo ciertas características muy importantes, que podríamos estar apreciando una imagen de una o dos dimensiones de la entidad que estamos estudiando, pero igualmente seguimos adelante: mejor hacer algo con la información que tenemos disponible que no hacer nada23. La selección de variables como proceso de muestreo. En primer lugar, deberíamos considerar por qué estamos recolectando tales datos: normalmente, para caracterizar los atributos importantes de, por ejemplo, un delincuente. 20

21 22 23

Así como la regresión, luego el análisis factorial, luego LISREL, y el modelado de la ecuación estructurada, encontraron su camino en los paquetes estadísticos más populares, fue interesante observar la proliferación de estudios que utilizaron estas técnicas. Los pioneros pueden haber encontrado problemas por los cuales los métodos eran únicamente aptos, pero aquellos que siguieron generalmente los utilizaron sin considerar realmente si eran apropiados (ver Blalock 1991, p.329). Por ejemplo, raza, edad, ingreso familiar, nivel educacional, registros anteriores, edad en el primer arresto, número de adultos por hogar, número de hermanos. Por ejemplo, porcentaje de hogares ocupados por sus dueños, porcentaje de hogares con un solo de los padres, tasa de desempleo, composición racial/étnica, distribución del ingreso, distribución de edades. La lista de variables indicadoras sociales sugeridas por Nelson (1993, p.407) también hablan del tema de ampliar el tipo de información que consideramos relevante.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

16

Sugiero que debemos considerar a estos datos como el resultado de un proceso de muestreo, no el muestreo visto anteriormente, sino el muestreo en el sentido teórico de la información, como el que está involucrado en el registro digital del sonido. En este proceso, la onda acústica generada por un músico es muestreada y digitalizada para permitir la compresión de la onda para almacenarla y transmitirla más eficientemente. Ésta es reconstituida en el receptor final, y el triunfo de esta tecnología es que el resultado tiene un sonido igual que el original. En ciencias sociales, también intentamos muestrear en esta forma, seleccionando variables que esperamos que caractericen totalmente a un individuo. Pero pocos dirían que existe información suficiente en estas variables para reconstituir a los individuos desde donde fueron muestreados. Esto no significa que este proceso de reconstitución es imposible: considere al hábil psicólogo clínico, al trabajador social, al diagnóstico psiquiátrico (o incluso un novelista) quiénes, tal vez en dos páginas, pueden describir a un individuo con tal detalle, que él o ella no sólo serían reconocidos por otro observador, sino que uno incluso podría pronosticar cómo ese individuo reaccionaría ante diferentes estímulos. Sin embargo, no está fuera del reino de las posibilidades, sugerir que uno podría capturar la esencia de un individuo (y, por supuesto, los aspectos significativos de su vida) en una “muestra” de dos páginas escritas. Si estas páginas escritas desempeñan un trabajo mejor que nuestras variables estándares, esto podría sugerir que deberíamos concentrar nuestros esfuerzos metodológicos, no en desarrollar nuevos algoritmos estadísticos, sino en cómo extraer desde esas páginas, las características importantes, de tal forma que permita efectuar análisis posteriores –y tal vez, eventualmente, análisis cuantitativos (Sampson 1993, p.430)24. Utilizando Datos Observados. Otra forma de obtener una imagen más completa de una situación, es recolectar tipos de datos más significativos. Por ejemplo, los estudios sobre toma de decisiones en las cortes juveniles generalmente consideran la edad, raza, edad durante el primer arresto, registros anteriores y tipo de ofensa, para determinar el tipo de sentencia y su magnitud. Todos estos datos están disponibles en los documentos oficiales. Sin embargo, al observar una audiencia juvenil, se pueden sugerir variables adicionales: si asistieron los padres, cómo estaba vestido el delincuente, cómo fue su comportamiento, si fue respetuoso(a) con el juez, si el juez fue tolerante debido a que él o ella tuvieron buena disposición en casos anteriores, etc. Sospecho que la inclusión de variables como éstas, reducirían considerablemente la variación sin explicación en los resultados. El problema con esto es, por supuesto, que no existe una forma fácil para recolectar datos sin que un observador esté presente, de tal forma que a menudo el investigador lo hace con la información disponible, en lugar de recolectar datos más relevantes. Pero mirar bajo la luz de una lámpara no nos ayudará a entender el fenómeno bajo estudio. Utilizando Datos Contextuales. El segundo aspecto de la cita de Stark señala que el contexto es importante al otorgar pistas individuales para conocer el peligro de una vecindad o barrio (en este ejemplo). Braithwaite (1993, p.384) hace notar la importancia abrumadora del contexto al “decidir si un crimen ocurrirá”; y el contexto no necesariamente es manejado agregando variables de la “comunidad”. Es posible, sin embargo, utilizar de otras formas los datos de otras agencias (ej. Justicia no criminal) para comprender el contexto de los datos de la justicia criminal. Maltz otorga las razones y las formas para combinar tales datos.

24

Las narraciones también son útiles en otros contextos de la justicia criminal. Los detectives manifiestan que necesitan leer narraciones de casos para poder comprender la naturaleza de la ofensa; ver Maltz et.al. (1990, p.102). Tal vez sus modelos cognitivos de crímenes serían mejores como una forma de categorizar los crímenes, en lugar de las categorías legales que utilizamos actualmente.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

17

El texto también proporciona contexto. Gran cantidad de información contextual está contenida en la elección de las palabras, incluyendo complicidad, estado social y relaciones de poder, o en las historias orales (Bennett 1981), entrevistas (Briggs 1986), cintas grabadas (Shuy 1993) o juicios (Forman 1991); (Matoesian 1993). Esta información necesita ser explícita, y el análisis lingüístico de tales narrativas (ej. Investigaciones previas a la sentencia) puede ser valioso para este propósito 25. Esto podría ser, en cierto sentido, una combinación de juicios clínicos y estadísticos y deberían ser mucho más útiles para efectuar predicciones, que los análisis estadísticos de los datos usuales. Análisis del Curso de la Vida y Datos Longitudinales Los eventos y experiencias que le ocurren a un individuo durante el curso de su vida (ej. Bennett 1981; Robins y Rutter 1990); Mc Cord (1992); Sampson y Laub (1993) también pueden proporcionar una rica fuente de información para el análisis. No es sólo la naturaleza de los eventos que le ocurren a un individuo, sino que también importa en qué momento ocurren. Por ejemplo, la propensión a la criminalidad marca una enorme diferencia, si él o ella sufrieron de abuso físico por parte de un padre a la edad de 2 o 14 años, o si en 1º básico o en 2º medio estuvieron por debajo del desempeño del resto del curso. Gottfredson y Hirschi (1990) refuerzan el punto que las influencias tempranas en los niños tienen profundas consecuencias en su auto control y, por lo tanto, su potencial para el crimen. El dicho, “a medida que la rama se doble, también lo hará el árbol” es relevante aquí: necesitamos desarrollar y emplear métodos que describan cuándo y cómo la rama se dobla. La investigación longitudinal también tiene sus fallas. La colinearidad es particularmente problemática (McCord 1993, p.417). Más aún, debido a que la información que caracteriza a un individuo se va ordenando a través del tiempo, se han utilizado diferentes expedientes para manipular los datos en una forma más manejable. Los investigadores han utilizado al menos dos métodos; el primero es “agrupar” los datos a través del tiempo, la segunda es hacer coincidir los datos con patrones cronológicos de comportamiento que se desempeñan bien. Agrupando. Cuando ocurre una serie de eventos en un período de tiempo, y la cantidad y período de tiempo varían entre una persona y otra, a un investigador le agradaría poder (a) tomar conocimiento sobre la variación en la cantidad y período de tiempo, y (b) relacionar el grado de variación con las características de los individuos. Una forma de hacer , es contar la cantidad de eventos dentro de un período de tiempo fijo y utilizarlo como la variable que describe la frecuencia y tiempo de los eventos. Esta es la forma en que Farrington (1993) manejó la variación de las ofensas en el grupo de jóvenes que estudiaba: se utilizaron variables como “cantidad de ofensas entre las edades de 10 y 14 años”. Si las ofensas ocurrían a los 10 o a los 14 años no fue considerado, ni tampoco si el período entre las ofensas se incrementó o decreció, ni la seriedad de las ofensas26. Asimismo, en el estudio efectuado por Word et.al. (1993) acerca del efecto de las mudanzas (ej. Cambiar de residencia) en el desarrollo y comportamiento de los jóvenes, no observaron en qué momento de la vida de los niños ocurría esta mudanza, o el período de tiempo transcurrido entre las mudanzas; en lugar de eso, observaron la cantidad de mudanzas.

25

26

De hecho, el análisis de las transcripciones de juicios podrían entregar una impresión errónea. Los análisis de conversaciones no sólo se enfocan en las palabras y su significado, sino en las pausas y entonaciones durante el evento (Gumpertz 1982). Tales manifestaciones verbales y no verbales son sentidas por los jueces (y tal vez actúan en base a ellas) y jurados, pero ese sentimiento no se puede apreciar en las transcripciones. Esto no significa decir que los investigadores no inspeccionan primero los datos para determinar cuáles variables son las mejores para caracterizar los datos. En otras palabras, la categoría “Ofensas 10-14” puede haber sido escogida debido a que caracterizaba mejor el comportamiento del grupo que decir “Ofensas 11-.15” o algún otro medio para agregar datos.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

18

Por lo tanto, se comprime en sólo unas pocas categorías, una gran cantidad de información potencialmente relevante con relación a los eventos del estudio. Esto es comprensible desde el punto de vista del investigador, él o ella necesitan descubrir, al menos inicialmente, si existe un efecto que puede no estar totalmente relacionado con la estructura más fina de los eventos, y cómo varía el efecto de individuo a individuo. Pulimiento de los Datos. Un segundo método para resumir los datos de eventos a través del tiempo, es efectuar suposiciones acerca de los patrones cronológicos que generan y hacerlos coincidir con patrones específicos que son más manipulables. La opción del patrón utilizada con más frecuencia, es la generada por el proceso de Poisson (Cox e Isham 1980), donde el porcentaje de ocurrencia de los eventos es, en promedio, constante. Pero si el porcentaje del evento es constante, no se espera que un patrón dado de un individuo esté regularmente espaciado, por la misma razón que tirar una moneda al aire no se espera que produzca alternativamente, una secuencia de cara y sello. Cuando los eventos en cuestión son crímenes o arrestos, los porcentajes son conocidos como lambda y mu, respectivamente (Blumstein, Cohen, Rosh y Visher, 1986) y pueden ser estimados dividiendo el número de eventos en un período de tiempo, por el largo de ese período. Sin embargo, un modelo de Poisson puede, virtualmente, adecuarse a cualquier patrón de eventos, de tal forma que cualquier secuencia de arrestos de un delincuente puede ser modelado por una mu (constante). Por lo tanto, este método de resumir datos cronológicos no hace un buen trabajo en distinguir si los tiempos entre arrestos se incrementan o disminuyen y, por lo tanto, enmascara la información relevante 27. De hecho, aun cuando los datos longitudinales prometen mucho en términos de encontrar mecanismos casuales en el comportamiento criminal, los métodos analíticos que son utilizados para analizar los datos son, en su mayor parte, limitados. Una alternativa es utilizar métodos analíticos para describir los eventos y procesos que ocurren en el curso de la vida en una línea de tiempo (ej. Post, Roy-Byrne y Uhde, 1988; Maltz, por publicarse) y dejar que el observador infiera patrones, como lo sugiere Tufte (1990, p.50). Análisis Multimodal Al estudiar los cursos de la vida, uno rápidamente se da cuenta que las explicaciones por sí mismas, generalmente no funcionan. En algunos casos, el mismo estímulo (ej. Servicio militar) producirá respuestas diferentes (ej. Cambiando la vida, interrumpiendo la vida de otros) y la misma respuesta (ej. Finalizando una carrera criminal) pueden ser producidos por diferentes estímulos (ej. Matrimonio, ser padre, empleo, un profesor inspirador) (Sampson y Laub 1993, p.222; Farrington 1993, p.366). Por lo tanto, diferentes tipos de individuos reaccionan en forma diferente a las influencias externas. Los factores genéticos y ambientales también ejercen una influencia substancial en el desarrollo. Una forma de distinguir entre los diferentes tipos, es determinar si todos los miembros del grupo en estudio pueden ser agrupados en conjunto, o si pueden ser agrupados en diferentes sub grupos.

27

Por supuesto, el valor de un método depende de sus usos. Si el propósito es analizar el flujo de delincuentes a través de un sistema (ej. Para propósito de investigación de la justicia criminal), luego la aproximación de Poisson podría ser más que adecuada. Si, sin embargo, el propósito es comprender el porqué algunos delincuentes dejan de delinquir más tempranamente que otros (ej. Para propósitos de investigación criminológica), esta aproximación sería menos que adecuada.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

19

Un método para hacer esto, es efectuar un análisis grupal de los datos, el cual es útil para efectuar distinciones entre los individuos, basándose en los aspectos comunes que comparten 28. El análisis grupal no ha sido muy utilizado en el pasado en criminología. (Algunas excepciones son Hindelang y Weis 1972; Schwendinger y Schwendinger 1985; y Fagan 1989). Esto parece estar cambiando, especialmente en la literatura de problemas en desarrollo y delincuencia, donde se han efectuado algunas comparaciones bastante útiles con otros métodos. Hinde y Dennos (1986) demuestran que categorizar los casos, “proporciona evidencia para las relaciones entre las variables, que no son reveladas por los métodos de correlaciones”; Magnusson y Bergman (1988) muestran cómo una “relación sistemática de agresividad en la criminalidad adulta y el abuso de alcohol en adultos, desaparecieron completamente” cuando un pequeño grupo de sujetos con severos problemas de ajuste fue analizado separadamente del resto de los sujetos; y Farrington, Loeber y van Kammer (1990) mostraron que diferentes tipos de problemas de delincuencia forman parte de “diferentes cadenas de causas o diferentes secuencias de desarrollo que conducen a la delincuencia”. Ya sea que las variables de un estudio en particular reflejen o no, uno o varios modos, no es necesariamente el tema: para mí, es siempre mejor probar los datos para ver si son multimodales o unimodales. Aunque puede llegar a ser verdad que una “gran teoría unificada” del crimen o comportamiento criminal explique todo lo que necesitamos saber, no se debería efectuar esta suposición a priori y analizar los datos como si fueran el caso; se debería otorgar una mayor dedicación para probar esta hipótesis. Otros Métodos de Análisis Además, existen una serie de métodos importantes que son ignorados por los científicos sociales, aunque esto está cambiando. Abbott (1988) manifiesta que existen alternativas a la restricción de lo que él denomina “realidad lineal general”; él cita, en particular, las metodologías asociadas a la demografía, análisis secuencial y análisis en red. Recientemente, ha habido más y más instancias de nuevos métodos que han surgido para tratar los problemas del crimen y la justicia. Ellos incluyen a aquellos utilizados en ecología, epidemiología, etnografía, historia de eventos y análisis de sobrevivencia, sociolingüística, análisis del curso de la vida, geografía y mapeo computacional, modelos y proceso de markov y métodos de simulación. Está aumentando la cantidad de estudios que utilizan este método; muchos de ellos poseen sus propias limitaciones que no necesitan ser detalladas aquí. Los libros de texto que han intentado ir más allá de las técnicas estadísticas estándares, incluyendo a Coleman (1964) y Greenberg (1979), no han tenido mucho éxito en el pasado; tal vez esto cambiará en el futuro. Exhibiendo los Datos Como Wild (1994) lo hizo notar, “parece ser que estamos encabezando una era donde el principal lenguaje para promocionar el entendimiento humano de los datos, son los sofisticados gráficos computacionales en lugar de las matemáticas”. Nadie que haya visto los ejemplos de los soberbios ejemplos exhibidos en los libros de Tufte (1983, 1990), pueden ignorar su relevancia para esta predicción y los argumentos presentados. Aunque para la mayoría de los investigadores intenta simplificar la presentación de sus datos, Tufte (1990, p.37) asume el enfoque opuesto: “la 28

El análisis grupal debería ser distinguidote un método relacionado, como el análisis factorial. En el análisis factorial, los datos son analizados para determinar cómo las variables pueden ser clasificadas en grupos, mientras que en el análisis grupal, los datos son analizados para determinar cómo los individuos pueden ser clasificados en grupos.

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

20

simplicidad de su lectura se deriva del contexto de información detallada y compleja, organizada adecuadamente. Se revela una estrategia de diseño no convencional: para clarificar, agregue detalles”. Él piensa que los análisis estadísticos estándares esconden mucho del analista: citamos nuevamente a Tufte, “los diseños de alta densidad también permiten a los observadores que seleccionen, narren, reparen y personalicen los datos para su propia utilización”. El control de la información es entregada a los observadores, no a los editores, diseñadores o decoradores (o, yo agregaría, a los programadores y estadísticos). La falta de peso de los datos hace que los observadores avancen hacia la ignorancia y pasividad y, al mismo tiempo, disminuye la credibilidad de la fuente. La falta de peso de los datos da origen a sospechas: “¿Qué están dejando fuera? ¿Esto es todo lo que realmente saben? ¿Qué están escondiendo? ¿Es todo lo que hicieron?”. Aunque Tufte se enfoca en su mayor parte en cómo la información es exhibida en tablas y gráficos, sus ejemplos también son instructivos para el análisis estadístico. La próxima frontera en los análisis estadísticos podría estar en el desarrollo de mejores formas para exhibir los datos, formas que permitan a los analistas y no a los algoritmos, inferir patrones a partir de los datos. Esto ha demostrado ser útil al analizar patrones geográficos en los patrones del crimen (ej. Harries 1980; Rengert y Wasilchick 1985; Roncek y Pravatiner 1991) y también ha sido utilizado por los departamentos de policía donde está siendo utilizado el mapeo computacional del crimen para análisis tácticos (Block 1991; Maltz, Gordon y Friedman 1990). Estas técnicas de exhibición también pueden ser adaptadas a otras áreas de la justicia criminal para dejar que los datos hablen por sí mismos, en lugar de ser filtrados mediante un algoritmo estadístico. Conclusión En este ensayo, sugiero que podemos y podríamos hacer algo para mejorar el estado de la investigación en criminología y justicia criminal. Recolectar un gran conjunto de datos, ingresarlo a un computador y efectuar un análisis, puede proporcionar resultados que son estadísticamente significativos y, tal vez, valga la pena publicarlos, pero se puede hacer más con los datos que recolectamos para mejorar el estado de nuestro conocimiento acerca del crimen y su corrección. Parte de la razón para esto, he manifestado, es histórica –hemos sido condicionados para suponer que un solo conjunto de datos producirá un solo patrón que puede ser caracterizado por valores de la media-. Esta suposición implícita de la unimodalidad –un modo de comportamiento para toda la población en estudio- también se encuentra en nuestras suposiciones acerca de la influencia unitaria de varios procesos (ej. Enseñar) en todos los individuos y en nuestra búsqueda de tratamientos que los beneficien a todos. Se deberían efectuar mediciones que prueben estas suposiciones. Los conjuntos de datos deberían ser analizados para observar si más de un tipo de individuo está contenido en ellos, si más de un modo de comportamiento se manifiesta, y si más de un resultado puede surgir de un tratamiento. Hemos usado las suposiciones y limitaciones de las técnicas estadísticas estándar, porque, hasta recientemente, no contábamos con alternativas realistas para analizar grandes conjuntos de datos. Para manejarlos, debemos utilizar modelos inexactos cuya virtud principal es que son fácilmente manejables. Pero ya no tenemos que “modelar los datos”. El incremento de la disponibilidad de computadores de alta velocidad y capacidad, los excelentes análisis de datos y los programas para graficar, significa que podemos dejar que los datos hablen por sí mismos. Más aún, deberíamos considerar la posibilidad que nos falten datos en los que estamos recolectando actualmente y las categorías que estamos utilizando, e intentar recolectar diferentes tipos de datos, utilizando categorías más

Universidad Adolfo Ibáñez

La Declinación Significativa de la Significancia

21

relevantes, reconociendo que esto podría requerir la aplicación de juicio por parte de los recolectores de datos. También deberíamos investigar más acerca de cómo podemos extraer datos de las fuentes más ricas que están a nuestra disposición, las situaciones descriptivas que proporcionan una imagen más clara de los delincuentes, ofensas y comunidades, de lo que lo hacen los tipos de datos estándares que son utilizados en la investigación de la criminología. Iremos mucho más allá en la comprensión de los problemas del crimen, si es que olvidamos nuestras viejas creencias y nos abrimos hacia nuevos métodos y paradigmas. La meta de este ensayo es provocar pensamiento y debate, de preferencia en ese mismo orden. Tendría poco valor si es que no promueve discusiones. Pero tengo la esperanza que comenzaremos a efectuar observaciones más profundas acerca de todo el proceso de investigación, qué escogemos recolectar y por qué, y qué hacemos con lo que recolectamos.

ºººººººººººººººººººººººººººººººººººººººººººººººººº

Agosto, 2006.

Universidad Adolfo Ibáñez