Principios emergentes para el diseño, implementación y análisis de experimentos basados en conglomerados en las ciencias sociales (PRESENTACIÓN)

Principios emergentes para el diseño, implementación y análisis de experimentos basados en conglomerados en las ciencias sociales Andrés Fernández Julio 2015

Introducción • Los científicos sociales tienen experiencia en la asignación aleatoria de individuos a tratamientos y con la selección aleatoria de individuos para encuestas.

• Pero la experiencia con el diseño, implementación y el análisis de experimentos basados en clusters es muy reciente y limitada.

Introducción Documento de discusión: “Emergent Principles for the Design, Implementation, and Analysis of Cluster-Based Experiments in Social Science”

Thomas D. Cook

Objetivo: Discutir los retos relacionados con los experimentos aleatorios que asignan grupos o conglomerados a los tratamientos en lugar de asignar individuos, en las ciencias sociales.

Introducción • Delimitación: ▫ Se enfatiza en lecciones derivadas de la implementación de experimentos en escuelas como unidad de análisis. ▫ Consultas sobre diseño de experimentos para le prevención de enfermedades cardiovasculares. ▫ Estudios sobre relaciones sociales en barrios y sus efectos en la vida familiar.

• Muchos de los problemas que se discutirán no tienen soluciones validadas de una manera empírica y consensuada.

¿Porqué asignar al nivel de grupo? • Las intervenciones pueden ser diseñadas hacia individuos como objetivos, y aún así requieren un nivel de asignación grupal. ▫ Ejemplo: Estudiantes en un centro educativo.

• Reformas o intervenciones en ciencias sociales buscan modificar una característica particular del conglomerado completo. ▫ Ejemplo: reformas escolares.

¿Porqué asignar al nivel de grupo? • Procesos de comunicación social pueden ocurrir entre grupos control y tratamiento que pertenecen a un conglomerado más grande, con el resultado de que los detalles de la intervención pueden filtrarse desde las grupos que reciben una intervención particular a grupos diseñados para recibir una intervención diferente.

¿Porqué asignar al nivel de grupo? • Como esta diseminación de tratamientos sesga los resultados del estudio, los grupos completos parecieran ser la unidad de asignación en lugar de subgrupos. ▫ Ej: escuelas completas en lugar de clases o niveles escolares.

• Otra razón se relaciona con el impacto deseado: ▫ La esperanza es que el cambio tendrá mayor impacto y será más permanente si se logra a través del grupo en lugar de los procesos a nivel individual.

• Razón política: pueden disminuir las críticas por desigualdad y posibles resentimientos de aquellos asignados al tratamiento “menos deseado”: ▫ Si los individuos están en contacto esto es más probable. ▫ Asignar a grupos completos disminuye este contacto.

¿Porqué la asignación aleatoria en grupos? • Muchos estudios comentan sobre estructuras jerárquicas: Región

Estados

Distritos

Escuelas

Grados

Aulas

Estudiantes

• Sin embargo, las anidaciones raras veces son balanceadas, y las estructuras jerárquicas no son fijas en el tiempo. • Pero si los conglomerados (ej: escuelas) están aleatoriamente asignados en gran número, las preocupaciones por variables confusoras son mínimas ya que debieran estar igualmente representado en cada uno de los grupos tratamiento. • Si la asignación aleatoria se aplica correctamente, las amenazas derivadas de cómo se encuentra organizada la sociedad y cómo cambia con el tiempo son tratadas por el diseño y no por cualquier información auxiliar o los supuestos que el analista se ve obligado a utilizar.

Principios para mejorar el diseño basado en conglomerados

Principio #1: Conocer el tamaño de las correlaciones intraclase incondicionales y condicionales, lo que los determina, y cómo afectan a la potencia estadística y por lo tanto la estimación del tamaño de la muestra

Principio #1 • Las formas sistemáticas en que los individuos se agrupan dentro de un espacio significa que las observaciones rara vez son independientes.

• El grado de no independencia está indexado por la correlación intraclase (ICC): ▫ En su forma incondicional, mide qué fracción de la varianza total en una variable se encuentra entre las unidades de orden superior y cuánto se debe a las diferencias individuales dentro de ellos. ▫ En su forma condicional, indexa qué fracción de la varianza es entre las unidades de orden superior después que se han hecho ajustes estadísticos para otras variables.

• Cuando ICC es cero, las observaciones son independientes (métodos estadísticos-individuales tradicionales). Pero rara vez es de cero.

Principio #1 • El tamaño de muestra requerido para los grupos es sensible al ICC: incluso pequeños ICC incrementan el tamaño de muestra necesario.

• En la mayoría de circunstancias, el número de grupos afecta el poder mucho más que el número de unidades en cada grupo: ▫ Los experimentos basados en grupos deben ser diseños buscando minimizar el ICC utilizando ajustes estadísticos válidos. ▫ El uso de covariables importantes a nivel de grupo ayuda a reducir el número de grupos necesarios (impacto en presupuesto, restricciones temporales, otros…)

• Además, las pruebas estadísticas serán sesgadas si no se toma en cuenta el ICC: ▫ Si no se toma en cuenta, los errores estándar estarán basados en el gran número de individuos dentro de los grupos en lugar del reducido número de grupos. ▫ Errores estándar inapropiadamente pequeños: Mayor probabilidad de no rechazar la hipótesis nula causal.

Principio #2: Asignar las unidades a los tratamientos al nivel de agregación más bajo posible, mientras esto no cambie la pregunta de investigación

Principio #2 • Las unidades deben ser asignadas al tratamiento en el nivel más bajo posible en la estructura jerárquica.

• Ejemplo: ▫ ¿Cómo cambia el comportamiento de los miembros de una familia el cambiar de vecindario?  Combinar diferencias individuales con los procesos sociales que surgen de la interacción social y que involucran conceptos explicativos más allá del individuo, como normas, redes, culturas o instituciones.

▫ La opción tradicional no experimental falla al no responder realmente qué pasa con el comportamiento. ▫ En su lugar, se decidió asignar a la unidad menor, el hogar, en lugar de a los vecindarios completos.  Hogares voluntarios que con incentivo se trasladan a otros vecindarios y se estudia su cambio o no en su comportamiento.

Principio #3: Minimizar y medir la comunicación entre unidades, aunque ninguno será fácil cuando las escuelas o los barrios son la unidad de asignación

Principio #3 • Es muy posible que grupos con tratamientos distintos se comuniquen, reduciendo los contrastes reales entre tratamientos.

• Es posible también que los casos de control se “desmoralicen” al no recibir el tratamiento, llevándolos a “hacer menos” que si no se hubieran comunicado con individuos del grupo tratamiento: ▫ Produce un falso positivo porque los controles lo hicieron de peor forma y no porque los tratamientos lo hayan hecho mejor

• Una solución es geográficamente.

seleccionar

grupos

completos

muy

distantes

• Pero seleccionar grupos completos (escuelas en todos sus niveles) y asignarlos aleatoriamente en zonas (distritos) tiene un costo monetario muy alto.

Principio #2 vs Principio #3 • El segundo y tercer principio no van de la mano: ▫ #2: seleccionar la unidad más pequeña para asignación usualmente incrementa la comunicación entre tratamientos. ▫ #3: seleccionar grandes unidades tiene mayores costos monetarios y de seguimiento / monitoreo.

• Por lo tanto, existirá un trade-off entre seleccionar las unidades más pequeñas y asignar grupos muy distantes (el autor considera a este tipo de diseño experimental basado en grupos como un arte más que una ciencia). • Debido a la carencia de teoría en este campo, algunos científicos recomiendan seleccionar grandes unidades a pesar del costo, aunque en la práctica la limitación de recursos fuerza a los científicos a seleccionar unidades más pequeñas.

Principio #4: Evite experimentos de “caja negra” a pesar de su relevancia política; en su lugar explore el proceso de implementación y mediación causal

Principio #4 • Caja negra: “hace referencia a instrumentos científicos que son utilizados sin necesidad de conocer con detalle los procesos que ocurren en su interior”.

• Cuando un proceso de medición se hace en un experimento, las conclusiones no pueden ser generalizadas más allá de contextos que incluyan dichas mediciones. • Pero la política social rara vez incluye el contexto de medición como parte de los programas sociales derivados del experimento. • Las fuentes de variación son particularmente complejas en los experimentos multinivel: ▫ Las intervenciones a nivel de grupo asumen que la intervención es igualmente importante para todos los individuos (ej: residentes).

Principio #4 • En los experimentos basados en conglomerados, la heterogeneidad en el tratamiento es la norma, no la excepción, y es mayor que en la mayoría de experimentos al nivel de individuos. • Por esta razón, es de vital importancia en experimentos basados en conglomerados reconocer explícitamente la heterogeneidad en la implementación del tratamiento y analizar sus posibles consecuencias incluso si las conclusiones causales serán inferiores a conclusiones acerca del tratamiento.

Comentarios finales • Los científicos sociales deben aprender sobre experimentos asignando conglomerados completos basados en sus propias experiencias.

• Las soluciones deberán encontrarse en esas experiencias, así como por futuros desarrollos en la teoría estadística. • En este documento el autor sintetiza su propia experiencia con este tipo de experimentos y a la vez considera los trabajos desarrollados por otros autores. • Logra identificar los principales problemas con que se ha topado, y aunque no propone soluciones definitivas, ilustra los mayores desafíos de este tipo de experimentación, así como sus ventajas cuando se utiliza correctamente.

Referencias Cook, Thomas D. (2005) “Emergent Principles for the Design, Implementation, and Analysis of Cluster-Based Experiments in Social Science”. Annals of the American Academy of Political and Social Science. Vol. 599, Place Randomized Trials: Experimental Tests of Public Policy (May, 2005), pp. 176198. Cook, T. D., F. Habib, M. Phillips, R. A. Settersten, S. C. Shagle, and S. M. Degirmencioglu. (1999). “Comer’s School Development Program in Prince George’s County: A theory-based evaluation”. American Educational Research Journal 36 (3): 543-97 Cook, T. D., H. D. Hunt, and R. F. Murphy. (2000). “Comer’s School Development Program in Chicago: A theory-based evaluation”. American Educational Research Journal 37 (2): 535-97

Gracias