Validez concurrente del Age and Stages Questionnaires 3 y el Battelle Developmental Inventory en una muestra de niños peruanos de entre 24 y 44 meses

ESTUDIO DE VALIDEZ CONCURRENTE ENTRE UNA VERSION CULTURALMENTE ADAPTADA DEL AGE AND STAGES QUESTIONNAIRE 3 Y LA VERSION COMPLETA DEL BATTELLE DEVELOPMENTAL INVENTORY EN UNA MUESTRA DE NIÑOS PERUANOS DE 24 A 44 MESES

INTRODUCCION
La promoción del desarrollo infantil es una prioridad en la mayoría de países de bajos y medianos ingresos debido a las serias consecuencias que ocasionan los retrasos en el desarrollo, tal como ha sido mostrado en distintos estudios (Ver Grantham-McGregor et al, 2007; Schady et al, 2014; y Fernald et al, 2012).
El desarrollo infantil es un tema clásico en psicometría por lo que existen muchas pruebas disponibles para su evaluación (Ver Bedford, Walton & Anh, 2013; Fernald et al, 2009). En el Perú se cuenta con una iniciativa de política pública encaminada a promover el desarrollo infantil temprano (Lineamientos para la Gestión Articulada Intersectorial e Intergubernamental orientada a Promover el Desarrollo Infantil Temprano "Primero la Infancia", R. S. N° 413-2013-PCM) sin embargo no existen mecanismos claros para medir su logro con confiabilidad y validez.
En el año 2013 se realizó la línea de base sobre desarrollo infantil en el marco de la evaluación de impacto de un programa social enfocado en áreas de extrema pobreza. Para la medición del desarrollo infantil se seleccionó el Ages and Stages Questionnaires 3 (ASQ-3) y se elaboró una versión modificada con el fin de adaptarla culturalmente al país; modificándose expresiones verbales y reemplazando algunas preguntas por tareas para los niños, pretendiendo darle un complemente observacional. No hubo un estudio empírico sobre la confiabilidad y validez de esta versión adaptada culturalmente del ASQ-3, realizándose un procedimiento similar recientemente para su uso en una segunda medición en la misma muestra de niños.
Se cuenta con reportes sobre la validez concurrente del ASQ3 y el Inventario de Desarrollo Battelle (Battelle Developmental Inventory, BDI) (Squires, Twombly, Bricker & Potter, 2009), la Escala de Desarrollo Infantil Bayley (Bayley Scales of Infant Development, BSID-II) (Gollemberg et. al., 2009) y el Parents' Evaluation of Developmental Status (PEDS) (Limbos and Joyce, 2011) pero las modificaciones realizadas al instrumento original generan la necesidad de contar con mayor evidencia para interpretar correctamente los resultados de la evaluación de impacto.
El propósito de este estudio ha sido evaluar la validez de la versión culturalmente adaptada del ASQ-3 comparado con el BDI en una muestra de niños de 24 a 44 meses.

METODOLOGIA
Es un estudio transversal con una muestra aleatoria de centros de cuidado diurno en dos ciudades (Lima y Huamanga). Se empleó una versión culturalmente adaptada del ASQ-3 (en adelante CASQ3) y el BDI completo en los 129 niños y niñas participantes, de entre 24 y 44 meses, de cada centro.
Se seleccionaron aleatoriamente un número de PRONOEIs en cada ciudad, cuyo marco muestral es público en línea. En cada centro seleccionado se obtuvo una muestra aleatoria de niños o niñas entre 24 y 44 meses al momento de la evaluación en base a las listas de asistencia regular disponibles en cada centro.
Las familias fueron contactadas en los centros por un coordinador de campo y luego de obtenerse la aceptación de la familia, la cita para la evaluación fue determinada aleatoriamente para realizarse en el hogar o en el mismo centro. También se estableció aleatoriamente el orden de inicio de las pruebas, un grupo empezó con el CASQ3 y otros con el BDI.
Los datos fueron recogidos del cuidador principal y el niño en dos sesiones, una para cada prueba: CASQ3 o BDI; en ningún caso hubo más de 7 días entre la primera y segunda sesión.
Al primer contacto con cada familia se solicitó el consentimiento informado para la participación de los niños. Todos los niños fueron monolingües y tuvieron al español como lengua materna.
Los instrumentos aplicados fueron los siguientes:
CASQ3: El Ages and Stages Questionnaires 3 en su versión original es una prueba de tamizaje, disponible en inglés y español, desarrollada en los años 1980 y revisada en el 2009, que evalúa los siguientes dominios: motora fina, motora gruesa, resolución de problemas, comunicación y socio-individual. Originalmente es un cuestionario de pregunta-respuesta dirigido a los padres; en su versión modificada, que es la que se emplea en el presente estudio, incluye tareas para los niños por lo que es combina entrevista y observación. Estudios recientes sugieren que es una prueba apropiada para diferentes culturas y ha sido ampliamente utilizado en muchos países, como Brazil, Noruega, Korea, Taiwan, India y Ecuador (Schady et al, 2014; Fernald, Kariger, Hidrobo & Gertler, 2012).
BDI: El Battelle Developmental Inventory (BDI) es una prueba desarrollada en 1984 y evalúa los siguientes dominios: cognitive, adaptativo, motor, comunicación y personal-social. El BDI tiene tres formatos de administración: estructurado, observación y entrevista con padres u otros informantes. Berls y McEwen (1999) han hecho una revision psicométrica del BDI a partir de información secundaria, encontrando evidencias sobre su confiabilidad test-retest, su validez de constructo y su validez concurrente con la Escala Vineland y la Escala Peabody.
Para este estudio de validez concurrente, el BDI fue escogido como medida de criterio ("Gold Standard") para probar la medición del CASQ3.
La aplicación de las pruebas fue realizada por cuatro profesionales colegiados (3 psicólogos clínicos y 1 educadora). El CASQ3 fue aplicado por un psicólogo en Lima y una educadora en Huamanga; mientras que el BDI fue aplicado por una psicóloga en Lima y otra psicóloga en Huamanga. No se aplicaron pruebas adicionales a las señaladas.

RESULTADOS
Participaron 129 niños, con edades entre 24 y 44 meses; 60 en Lima y 69 en Ayacucho. Esto representa al 98% de los niños que fueron inicialmente contactados.
Los resultados descriptivos mostrados en la Tabla 1 son similares a los reportados por Kyerematen et al (2013) quienes hicieron un estudio con niños de una zona periurbana de Lima Metropolitana empleando el ASQ3 en su versión original.



TABLA 1. Media, desviación estándar e intervalo de confianza.

Media
Desviación Estandar
Intervalo de Confianza al 95%
CASQ-3



Communication
43.75
1.34
41.09 – 46.42
Gross Motor
47.32
0.90
45.53 – 49.11
Fine Motor
42.32
1.31
39.72 – 44.92
Problem solving
42.09
1.15
39.80 – 44.38
Socio – Individual
44.96
0.89
43.19 – 46.73
TOTAL ASQ-3
220.46
4.07
212.40 – 228.52
BDI



Personal-Social
100.41
1.82
96.81 – 104.02
Adaptative
74.50
0.83
72.84 – 76.16
Motor
100
1.35
97.31 – 102.68
Communication
53.50
1.16
51.19 – 55.81
Cognitive Ability
42.46
0.99
40.49 – 44.43
TOTAL BDI
370.89
5.59
359.81 – 381.97

Consistencia interna
Los valores de consistencia interna alcanzados por las dimensiones del M-ASQ3 son bajos, oscilan entre 0.17 (motora gruesa, deficiente) y 0.6323 (comunicación), mientras que la escala global alcanza un valor de 0.7778, que es aceptable. En el estudio original se reportó que el conjunto del ASQ3 tenía mejor consistencia interna que las escalas, pero a diferencia del hallazgo actual las escalas alcanzaban niveles aceptables, superiores a 0.60, lo que en nuestro caso solo ocurre con la escala de comunicación.
Los valores de consistencia interna de BDI son medio y altos. La escala global y todos los subdominios alcanzan un valor superior a 0.90, a excepción de "Adaptativo" que obtiene 0.8818. Esto da respaldo al uso del BDI como "gold estándar".
En el MASQ, los valores más bajos de consistencia interna se observan en los dominios que han tenido la mayor cantidad de ítemes modificados.
TABLA 2. Consistencia interna.

Average interitem covariance
Cronbach's alpha
95% Conf.Interval (Límite inferior)
ASQ-3



Comunicación
4.123365
0.6323
0.54356731
Motora Gruesa
0.518713
0.1738
0.00000000
Motora Fina
3.470607
0.5621
0.45646081
Resolución de Problemas
2.091408
0.4354
0.29920555
Socio – Individual
1.010780
0.2668
0.08991802
TOTAL ASQ-3
1.871746
0.7778
0.72916278
BDI



Personal-Social
0.088094
0.9490
0.93794718
Adaptativa
0.050478
0.8818
0.8560581
Motora
0.089029
0.9435
0.93119214
Comunicación
0.135293
0.9430
0.93056946
Habilidad Cognitiva
0.046973
0.9033
0.88231516
TOTAL BDI
0.690775
0.9827
0.97903201

Correlaciones
Las escalas del CASQ3 y el BDI alcanzan niveles moderados de correlación en la mayoría de áreas evaluadas. La correlación es más fuerte en Comunicación y Motora Fina, mientras que es más débil en Motora Gruesa y Resolución de Problemas.
Los valores indican que existe una relación moderada entre ambas pruebas pero no necesariamente ello conlleva que sean mediciones equivalentes en cuanto a su validez. El hallazgo solo permite sugerir que ambas pruebas evalúan un dominio similar (dimensiones del desarrollo infantil).

TABLA 3. Correlaciones cASQ-3 vs BDI Dominios (D) y Subdominios (SD)

Coeficiente r de Pearson
Sig.
Comunicación ASQ vs Comunicación BDI (D)
0.6333
.0000
Motora Gruesa ASQ vs Motora Gruesa BDI (SD)
0.2460
.0050
Motora Fina ASQ vs Motora Fina BDI (SD)
0.5453
.0000
Resolución de Problemas ASQ vs D Habilidad Cognitiva (D)
0.3254
.0002
Socio – Individual ASQ vs Personal – Social BDI (D)
0.4708
.0000
Socio – Individual ASQ vs Adaptativa (D)
0.3805
.0000

Análisis de regresión ASQ vs BDI
El análisis de la relación entre el puntaje total del CASQ3 y el BDI sugieren una posible relación entre los datos pero no se llega a establecer con claridad algún modelo. En la Figura 1 podemos observar los gráficos de nubes de puntos, en el cual se muestra un patrón definido por el lado del BDI pero no por el del CASQ3. En la Tabla 4 se observa el modelo calculado, apreciándose que se alcanza a explicar algo menos del 40% de la varianza por lo que se infiera una relación predictiva medio-baja entre BDI con respecto a ASQ.
El análisis de la relaciones entre los puntajes por escalas del CASQ3 y el BDI no permiten establecer un modelo causal. En la Figura 2 podemos observar los gráficos de nubes de puntos para todas las escalas, en el cual solo se muestra un patrón definido en el área de Comunicación. Se observan también los modelos calculados, apreciándose que el modelo de la escala de Comunicación alcanza a explicar el 40% de la varianza por lo que se infiera una relación predictiva medio-baja entre BDI con respecto a ASQ en la dimensión referida. En las demás dimensiones no es posible establecer más que un comportamiento errático de los datos.



FIGURA 1. Diagrama de puntos Puntaje Total Raw BDI vs CASQ3


TABLA 4. Modelo de Regresión.



FIGURA 2. Diagrama de puntos por dominios BDI VS MASQ3


Análisis de regresión BDI Screnning vs BDI
Se procedió a calcular el puntaje del BDI versión screening a partir de los datos de la aplicación de la versión completa.
Puede apreciarse en la Figura 3 que la relación entre la versión completa de la prueba y la versión screening es bastante alta.

FIGURA 3. Diagrama de puntos Puntaje Total Raw BDI vs BDI Screening




CONCLUSIONES PRINCIPALES
En el presente estudio el MASQ3 y el BDI no establecen una relación lo suficientemente sólida como para concluir que el CASQ3 posee validez concurrente con el BDI (gold standar).
Los valores de consistencia interna son bajos en el CASQ3 por lo que se sugiere que la adaptación realizada (modificación de términos y cambio de preguntas por tareas) no ha sido exitosa.
Realizar una réplica del estudio en una sub muestra del operativo de campo de Línea de Seguimiento de Servicio de Cuidado Diurno para establecer si es que los hallazgos se replican.
Con relación a lo anterior, incluir en el diseño una muestra por cada módulo del instrumento para poder ser concluyente en los hallazgos con respecto a consistencia interna.
Con relación a lo anterior, evaluar la posibilidad de establecer un modelo estadístico que permita corregir los puntajes alcanzados en los estudios previos.
Realizar un análisis psicométrico de dificultad con el modelo de Rasch (Teoría de Respuesta al Item) para establecer la capacidad discriminativa de cada item. Se requiere Stata 14.

REFERENCIAS
Bedford, H, Walton, S. & Ahn, J. (2013). Measures of Child Development: A review. London: UCL Institute of Child Health, Centre for Paediatric Epidemiology and Biostatistics.
Berls, A. T. & McEwen, I. R. (1999). Battelle Development Inventory. Physical Therapy. 79: 776-783.
Fernald, L.; Kariger, P.; Engle, P. & Raikes, A. (2009). Examining Early Child Development in Low-Income Countries: A Toolkit for the Assessment of Children in the First Five Years of Life. Washington, D.C.: The World Bank.
Fernald, L. K.; Kariger, P.; Hidrobo, M. & Gertler, P. J. (2012). Socio-economic gradients in child development in very young children: Evidence from India, Indonesia, Peru and Senegal. Proceedings of the National Academy of Science (PNAS) Oct 16; 1(109), 17273-17280.
Gollemberg, A. L.; Linch, C. D.; Jackson, L. W.; McGuinness, B. M. & Msall, M. E. (2009). Concurrent validity of the parent-completed Ages and Stages Questionnaires, 2nd Ed. With the Bayley Scales of Infant Development II in a low-risk sample. Child: care, health and development. Doi:10.111/j.1365-2214-2009.01041.x
Grantham-McGregor, S.; Cheung, Y. B.; Cueto, S.; Glewwe, P.; Richter, L.; Strupp, B. and others (2007). Developmental potential in the first 5 years in developing countries. Lancet (369), 60-70.
Kyerematen, V., Hamb, A., Oberhelman, R. A., Cabrera, L., Bernabe-Ortiz, A., & Berry, S. J. (2014). Exploratory application of the Ages and Stages (ASQ) child development screening test in a low income Peruvian shantytown population. BMJ Open. doi: 10.1136/bmjopen-2013-004132
Limbos, M. M. & Joyce, D. P. (2011). Comparison of the ASQ and PEDS in Screening for Developmental Delay in Children Presenting for Primary Care. Journal of Developmental & Behavioral Pediatrics. Vol 32, N° 7.
Lineamientos para la Gestión Articulada Intersectorial e Intergubernamental orientada a Promover el Desarrollo Infantil Temprano "Primero la Infancia" (2013). Resolución Suprema N° 413-2013-PCM.
Piek, J. P; Dawson, L.; Smith, L. M. & Gasson, N. (2008). The role of early fine and gross motor development on later motor and cognitive ability. Human Movement Science, 27, 668-681.
Schady, N.; Behrman, J.; Araujo, M. C.; Azuero, R.; Bernal, R.; Bravo, D.; Lopez-Boo, F.; Macours, K.; Marshall, D.; Paxson, C. & Vakis, R. (2014). Wealth gradients in Early Childhood Cognitive Development in five Latin American Countries. IDB Working Paper Series No. IDB-WP-482
Schonhaut, L. and Armijo R., I. (2014). Aplicabilidad del Ages & Stages Questionnaires para el tamizaje del desarrollo psicomotor [Applicability of the Ages & Stages Questionnaires (ASQ) as a developmental screening tool for psychomotor delay]. Revista Chilena de Pediatría, vol.85 no.1, http://dx.doi.org/10.4067/S0370-41062014000100002
Squires, J.; Twombly, E.; Bricker, D. & Potter, L. (2009). ASQ-3 User's Guide. Paul Brookes Publishing Co. Inc.
Sices, L.; Stancin, T.; Kirchner, H. L. & Bauchner, H. (2009). PEDS and ASQ Developmental Screening Tests May Not Identify the Same Children. Pediatrics. 2009 Oct; 124(4): e640–e647. Published online 2009 Sep 7. doi: 10.1542/peds.2008-2628 http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2764374/

3







Reporte de resultados elaborado por personal de la DGSE-MIDIS: David Tarazona Cervantes, Miguel Campos Sanchez..
Para mayor información, visitar www.cunamas.gob.pe
Para mayor información, visitar: http://escale.minedu.edu.pe
El análisis realizado tiene dos aspectos a revisarse y discutirse: (1) las condiciones de aplicación del BDI completo son diferentes a las del BDI screening en cuanto a tiempo de aplicación y materiales empleados; y (2) En un futuro estudio de réplica el diseño debe incluir en una sub muestra la6 aplicación del BDI screening en forma paralela al BDI completo para así obtener un dato de mejor calidad.



BDI completo


BDI Screening