UNIVERSIDAD DE LA FRONTERA - FACULTAD DE EDUCACIÓN Y HUMANIDADES - DEPARTAMENTO DE PSICOLOGÍA
Magíster en Psicología Jurídica y Forense
UNIVERSIDAD DE LA FRONTERA FACULTAD DE EDUCACIÓN Y HUMANIDADES DEPARTAMENTO DE PSICOLOGÍA PROGRAMA DE MAGÍSTER EN PSICOLOGIA JURÍDICA Y FORENSE
Confiabilidad Inter-evaluadores de la Escala de Evaluación del Funcionamiento Familiar de Carolina del Norte (NCFAS) en Muestra Piloto Chilena de Maltrato Infantil Leve y/o Moderado. Elizabeth Pino Silva
Tesis presentada a la Universidad de La Frontera para optar al grado de Magíster en Psicología Jurídica y Forense
Directora de Tesis Marina Alarcón Espinoza Enero, 2011
Confiabilidad inter-evaluadores NCFAS
2
Resumen La presente investigación buscó determinar preliminarmente la confiabilidad interevaluadores de la North Carolina Family Assessment Scale (NCFAS), consistente en un protocolo aplicado por operadores de programas sociales de bienestar infanto-juvenil, sobre fortalezas y debilidades familiares identificadas, con 36 itemes agrupados en 5 factores: Entorno, Competencias Parentales, Interacciones Familiares, Seguridad Familiar y Bienestar del Niño/a. Se realizó un estudio no-experimental, correlacional y transversal, utilizando muestreo no probabilístico e intencionado, con muestra piloto chilena compuesta por 38 participantes, niños, niñas y/o adolescentes víctimas de maltrato infantil leve y/o moderado, ingresados a un P.I.B. de La Protectora, Chile. Resguardando aspectos éticos y basándose en información registrada en fichas individuales de los participantes, dos duplas de evaluadoras valoraron, individual y separadamente, los 36 ítems de la NCFAS, asignándoles una de las 6 categorías existentes. Se comprobaron adecuados niveles de fuerza de concordancia interevaluadores (índice Kappa): dupla 1 (n = 25): en el 77,8% de los ítemes; dupla 2 (n = 13): muy buena, buena y/o moderada en el 100% de los ítemes. Se sugieren estudios similares en otros programas infanto-juveniles, identificar fuentes de variabilidad de concordancia interevaluadores, observada en algunos ítemes, y estrategias que fortalezcan la objetividad para el uso de la NCFAS, tales como, optimizar procesos de capacitación, entrenamiento y supervisión contínua, con casos en programas infanto-juveniles de diagnóstico e intervención ambulatoria y/o residencial.
Confiabilidad inter-evaluadores NCFAS
3
I. INDICE
Resumen I.
Introducción
…………………………………………………………………………
4
II.
Marco Conceptual
…………………………………………………………………………
4
III.
Hipótesis
………………………………………………………………………… 15
IV.
Metodología
………………………………………………………………………… 15
V.
Resultados
……………………………………………………..………………….. 25
VI.
Discusión
………………………………..…………………………………….…. 30
VII. Referencias
………………………………………………………………………… 38
VIII. Anexos
………………………………………………………………………… 44
Confiabilidad inter-evaluadores NCFAS
4
Confiabilidad Inter-evaluadores de la Escala de Evaluación del Funcionamiento Familiar de Carolina del Norte (NCFAS) en Muestra Piloto Chilena de Maltrato Infantil Leve y/o Moderado. En América Latina, el maltrato infantil intrafamiliar presenta altos niveles de incidencia, siendo considerado como un importante problema de salud pública, principalmente por las graves consecuencias que puede traer en el desarrollo de los niños (Barcelata y Álvarez, 2005). En Chile, según el Tercer Estudio de Maltrato Infantil del año 2006 realizado por UNICEF, la violencia hacia los niños continúa siendo un grave problema: un 75,3% de los niños y niñas entrevistados recibe algún tipo de violencia por parte de sus padres; además, si se comparan los resultados de los años 1994, 2000 y 2006, se comprueba que hay un aumento de la violencia psicológica, mientras que la violencia física grave ha disminuido en relación con los años anteriores en el nivel socioeconómico bajo (UNICEF, 2008). El abordaje del maltrato infantil resulta muy complejo por diversas razones, tanto de tipo teórico como práctico. En el primer caso, aún se pretende alcanzar consenso público y una definición general y aplicable a todas las sociedades y culturas (Sociedad Chilena de Pediatría Comité de Maltrato Infantil, 2007), como también, se encuentra el problema de que ninguno de los modelos explicativos brinda una respuesta cabal para la comprensión del maltrato infantil como fenómeno, ya que éste sería la expresión de una disfunción en los sistemas niño/niñapadres-ambiente-cultura (Aracena et al., 2000). A nivel teórico, los estudios realizados en numerosos países señalan al maltrato infantil como un problema multicausal, en el que intervienen las características del maltratador, del maltratado, el medio ambiente y un estímulo disparador de la agresión (Jiménez, Finlay, De la Paz, Portell y Canino, 2006); sin embargo, existiendo distintas definiciones y tipos de maltrato infantil, ninguna de ellas es aceptada mundialmente (Aracena, Castillo, Haz, Cumsille, Muñoz, Bustos y Román, 2000). Para este estudio se considerará la definición de maltrato infantil del
Confiabilidad inter-evaluadores NCFAS
5
Grupo de Trabajo sobre el Maltrato Infantil dependiente del Ministerio de Salud de Chile, como agresión física, emocional o sexual contra un niño o niña, menor de 18 años, o la falta en proporcionar los cuidados necesarios para la expresión de su potencial de crecimiento y desarrollo, contando con los elementos mínimos para ello, que excedan los límites culturalmente aceptables para esa comunidad o que transgreda el respeto a los derechos del niño (Vizcarra, Cortés, y Bustos, 2001). Específicamente, las definiciones de maltrato infantil que se centran en los factores familiares, lo señalan como cualquier acción u omisión no accidental por parte de los padres o cuidadores responsables del niño, que compromete la satisfacción de sus necesidades básicas (Salcedo y Carvalho, 2005); o también, como cualquier problema que resulte de una falta de razonable cuidado y protección de los niños por sus padres, tutores u otras personas que se ocupen de ellos, es decir, todo daño físico o psíquico ocasionado intencionalmente a una persona menor de edad por cualquier adulto, ya sea de forma pasiva o activa, siendo la primera, la negligencia en el cuidado del niño, y la segunda, la intención directa (Jiménez et al., 2006). Dentro de los factores de riesgo a nivel familiar, existen algunas características y/o condiciones asociadas a maltrato infantil, tales como: transmisión intergeneracional del maltrato infantil, testigo de violencia entre los progenitores, ingesta excesiva de alcohol y/o abuso de drogas de los progenitores, problemas de salud mental de los progenitores, características de personalidad de los progenitores (Ej. impulsividad, baja empatía, rasgos narcisistas, desregulación emocional), baja autoestima de los progenitores, elevado estrés familiar, aislamiento social de la familia, estilo de crianza, trastornos del apego, abandono de las funciones parentales, maternidad obligada, matrimonio forzado, infelicidad de pareja, bajo nivel de escolaridad de los progenitores, elevado número de hijos/hijas, desempleo y/o problemas socioeconómicos, entre otros. (Antequera, 2006; Aracena et al., 2000; Arruabarrena y De Paúl, 1994; Barcelata y Álvarez, 2005; Gómez, Muñoz y Haz, 2007; Hewitt, 2005; Medina, Aracena y
Confiabilidad inter-evaluadores NCFAS
6
Bilbao, 2004; Milner, 1995, citado en Moreno, 2005; Moreno, 2005; Salcedo y Carvahlo, 2005; Vizcarra, Cortés y Bustos, 2001; Sociedad Chilena de Pediatría, Comité de Maltrato Infantil, 2007). De acuerdo a la literatura científica, existen distintos modelos para explicar el maltrato infantil en contexto familiar, tales como el modelo psicológico-psiquiátrico, modelo psicosocial, modelo sociocultural, modelo ecológico, modelo sistémico, teoría del apego, modelo transaccional y modelo de la vulnerabilidad del niño (Antequera, 2006). El modelo ecológico es el que mejor se aplica para efectos del presente estudio, pues permite plantear una visión integradora del maltrato infantil, analizando distintos niveles, que van desde lo individual a lo sociocultural, pasando por los progenitores/cuidadores, la familia y las redes sociales cercanas, sin dejar de lado las distintas interacciones que se producen entre éstos (Aracena, Castillo, Haz, Cumsille, Muñoz, Bustos, Román, 2000; Bronfenbrenner, 1987; Rodríguez, 1998), integrando factores de los cuidadores, las características del niño, la interacción social y familiar, y el medioambiente cultural (Larraín et al., 1994, citado en Aracena et al., 2000; Bronfenbrenner, 1987; Rodríguez, 1998). En el modelo ecológico existe preocupación por una acomodación progresiva entre un organismo humano en desarrollo y su ambiente inmediato, y por la manera en que esta relación se produce por medio de las fuerzas que emanan de los sistemas más alejados (Bronfenbrenner, 1987). El modelo ecológico, posteriormente desarrollado por Belsky (1993), establece que el primer nivel es el Ontosistema: Agrupa los aspectos propios del individuo (del cuidador/progenitor): personalidad, estado de ánimo, prácticas de crianza, conocimiento con respecto a las características evolutivas del niño y sus necesidades; dichos aspectos serían afectados por la historia de malos tratos, desatención severa, rechazo emocional a la que fue sometido durante su infancia y la historia de desarmonía o ruptura familiar. El segundo nivel es el
Confiabilidad inter-evaluadores NCFAS
7
Microsistema: Es el contexto familiar inmediato en el cual se producen las pautas de relación y de comunicación interpersonal y básicas para la comprensión de los patrones de interacción padres-hijos, como por ejemplo, el autoritarismo o el ciclo ascendente de conflicto y agresión entre los integrantes. El tercer nivel es el Ecosistema: Constituido por la vecindad o el barrio en el cual está inserto el grupo familiar; el desempleo, las malas condiciones del lugar y/o del trabajo, el aislamiento, la falta de redes social formales e informales y el acceso a salud y educación de calidad deficiente generan condiciones propicias para que el maltrato se perpetúe. Finalmente, el cuarto nivel es el Macrosistema, donde se anidan los demás sistemas e incluye a la cultura, las actitudes y creencias en torno a la violencia, el castigo como modo de educación de los niños, la infancia, el papel de los padres y la familia (Belsky, 1993). Este aporte ecosistémico de Belsky trata de dar respuesta a la insuficiencia explicativa que evidenciaron los distintos modelos y factores explicativos precedentes, centrados en las características del maltratador, o en la interacción padres – hijos, o en las condiciones contextuales donde se produce la conducta de abuso, planteando que el análisis del fenómeno del maltrato infantil requiere de ir más allá de los aportes de los modelos anteriores, identificando la interacción entre los factores protectores y de riesgo, tanto estables como temporales, presentes en los diferentes sistemas que se relacionan con el niño, niña y/o adolescente. Desde el modelo ecológico es posible comprender más integralmente los múltiples factores del maltrato infantil que se pueden potenciar mutuamente, no sólo relativos al contexto familiar, señalados en el párrafo anterior, sino que además considerando, por ejemplo, una cultura que valida y normaliza el uso de la violencia en general, familias socialmente aisladas, progenitores/cuidadores más afectados por estrés y desajustes psicológicos, relaciones familiares entre adultos y niños/as caracterizadas por hostilidad, indiferencia, negligencia y rechazo, y niños/niñas/adolescentes que presentan problemas externalizados (Ej. impulsividad,
Confiabilidad inter-evaluadores NCFAS
8
hiperactividad, desobediencia, agresividad, bajo auto-control, etc.), o bien, internalizados (Ej. pasividad, apatía, retraimiento social, sintomatología ansioso-depresiva, etc.). Considerando la visión integral de este modelo, al plantear multicausalidad y multi-interacción de factores individuales, familiares y sociales relacionados con el maltrato infantil, se requiere disponer de procedimientos, herramientas y técnicas de evaluación que analicen los factores de protección y de riesgo, tanto del niño/adolescente, como también de las familias y los diversos contextos que con ellos/as se relacionan. Por otra parte, el abordaje del maltrato infantil resulta muy complejo no sólo por razones de tipo teórico, sino que también de índole práctica. Al respecto, es difícil definir y describir cada caso individual (Sociedad Chilena de Pediatría Comité de Maltrato Infantil, 2007) y frecuentemente co-existen diferentes tipos de maltrato y abandono (Gómez de Terreros, 2006). En Chile, si bien ha aumentado el conocimiento de las distintas formas de maltrato, la sensibilidad de los profesionales y de la población hacia el problema, y la frecuencia del diagnóstico de maltrato a los niños, niñas y adolescentes, aún se observa una carencia de registros sistemáticos y confiables, insuficientes criterios comunes y escasa coordinación entre instituciones, lo que no permite conocer la real magnitud del problema del maltrato infantil (De la Barra, Rodríguez, Álvarez, Vergara, Toledo y Caris, 1995). Por ello, para favorecer el desarrollo de acciones y programas más específicos de prevención, control y tratamiento (De la Barra et al, 1995; Gómez de Terreros, 2006), se requiere contar con herramientas de evaluación del funcionamiento familiar que permitan determinar en qué medida las características y/o condiciones familiares asociadas al maltrato infantil se presentan como factores de riesgo o de protección. En Chile y en Latinoamérica, dentro del área de la prevención y protección de diversas formas de maltrato infantil y negligencia parental, existe una urgente necesidad de contar con
Confiabilidad inter-evaluadores NCFAS
9
instrumentos de evaluación, con propiedades psicométricas adecuadas, pertinentes y de utilidad práctica en el ejercicio cotidiano de los programas sociales y que, al mismo tiempo, favorezcan y faciliten la labor de los investigadores (Valencia y Gómez, 2010). Particularmente, en nuestro país se dispone de escasas herramientas para evaluar familias y no se cuenta con instrumentos que evalúen el funcionamiento familiar desde la perspectiva de los profesionales ni que tengan como finalidad su uso en programas psicosociales (Valencia y Gómez, 2010). Actualmente, en Chile se utilizan herramientas extranjeras, algunas adaptadas y otras validadas a la realidad nacional, que evalúan determinados aspectos del funcionamiento familiar, tales como competencias parentales, manejo de conflictos, riesgo de violencia en la pareja, potencial de maltrato físico infantil intrafamiliar y ambiente familiar en el que se desarrollan los infantes. Por ejemplo, la Guía de Valoración de las Competencias Parentales a través de la Observación Participante, que evalúa las capacidades de los padres de brindar los cuidados que aseguren la satisfacción de las necesidades infantiles en una familia (Barudy y Dantagnan, 2005), el Conflict Tactics Scale detecta estrategias de resolución de conflictos (Illanes, Bustos, Vizcarra y Muñoz, 2007), el Child Abuse Potencial Inventory (PMF) evalúa potencial de maltrato físico del cuidador (Haz y Ramírez, 2002), la Escala de Cohesión y Adaptabilidad Familiar (CAF o FACES en inglés) mide cohesión, adaptabilidad y comunicación familiar (Zegers, Larraín, Polaino-Lorente, Trapp y Diez, 2003), el Home Observation for Measurement of the Environment (HOME) mide calidad de estimulación y apoyo dado a un preescolar en su ambiente familiar (Bustos, Herrera y Mathiesen, 2001), la Spouse Abuse Risk Assessment (SARA) identifica el riesgo de violencia física y sexual contra la pareja en el contexto familiar y doméstico (Andrés Pueyo, López y Álvarez, 2008); entre otros. Sin embargo, pese a los beneficios y utilidades que presentan dichos instrumentos, carecerían de otros aspectos. Por una parte, son focalizados, es decir, se centran sólo en algún
Confiabilidad inter-evaluadores NCFAS 10 aspecto específico del funcionamiento familiar (Ej. riesgo de violencia en la pareja), sin considerar en forma simultánea o integrada distintos factores de riesgo/protección asociados al maltrato infantil, en el ámbito individual del infante/adolescente, de sus progenitores/cuidadores, de su familia y de su entorno sociocomunitario. Adicionalmente, la aplicación de instrumentos de autorreporte que evalúan algún aspecto del funcionamiento familiar, en algunos casos conlleva un importante componente de deseabilidad social, potencial de engaño y simulación, especialmente debido a las posibles consecuencias de los resultados de la evaluación familiar, como por ejemplo, la judicialización de los casos, o la aplicación de medidas de protección de mayor severidad, como es el ingreso del niño, niña y/ adolescente a centros residenciales, procesos de adopción, etc. A modo de ejemplo, específicamente la Guía de Valoración de las Competencias Parentales de Barudy y Dantagnan, si bien tiene la ventaja de ser exhaustiva y focalizada en los padres y/o cuidadores, requiere ser aplicada a los progenitores, además de bastante tiempo y entrevistas diagnósticas para su aplicación, requisito menos viable en la mayoría de los programas infanto-juveniles de nuestro país, pues se debe considerar, por una parte, la elevada y constante demanda laboral hacia los profesionales que allí se desempeñan, y por otra parte, las causales y/o situaciones que afectan a los niños, niñas y/o adolescentes, tales como, vulneración de derechos, disfuncionalidad parental, familias multi-problemáticas, pobreza y exclusión social en sus comunidades (Gómez y Haz, 2008), las cuales podrían implicar una suerte de omisión y/o falseamiento de la información por parte de los/las entrevistados/as. Respecto de la existencia de instrumentos de evaluación familiar en Chile, la Sociedad Protectora de la Infancia, institución colaboradora con el Servicio Nacional de Menores, en enero de 2008 ha adaptado una escala de evaluación familiar integral, denominada Escala de Evaluación del Funcionamiento Familiar o NCFAS (North Caroline Family Assessment Scale) (Anexo 1), que consiste en una guía o protocolo con formato de valoración cualitativa, que
Confiabilidad inter-evaluadores NCFAS 11 realizan los operadores de programas sociales de bienestar infantil y juvenil, relativas a las fortalezas y debilidades identificadas en una familia, mediante 36 ítemes, agrupados en 5 dominios (Fraser, Kirk y Reed-Ashcraft, 2001) (los cuales se detallarán más adelante en la sección “Instrumento”). Los cinco dominios de la NCFAS son: a) Entorno, que se refiere al contexto de desarrollo del niño y examina condiciones de salubridad, seguridad y estabilidad familiar cotidiana; b) Competencias Parentales, referida a conocimientos, conductas y características de los padres/madres o cuidadores para criar adecuadamente; c) Interacciones Familiares, que evalúa la relación entre los distintos miembros de la familia; d) Seguridad Familiar, que identifica situaciones que amenacen la integridad física y emocional de sus miembros, como maltrato infantil o violencia de pareja; y e) Bienestar del Niño, que permite ponderar el desempeño actual del niño/a o adolescente en diversos ámbitos de su vida, como la escuela, relación con pares o salud mental (Valencia y Gómez, 2010). La NCFAS fue desarrollada a mediados de 1990 por un grupo de trabajo ligado al Sistema de Bienestar Infantil de Carolina del Norte (agencias de protección gubernamental, fundaciones/organizaciones sociales y universidad), liderado por los investigadores Raymond Kirk y Kellie Reed-Ashcraft, y apoyados por la organización National Family Preservation Network (NFPN) (Valencia y Gómez, 2010). En relación a los modelos explicativos del maltrato infantil anteriormente señalados, los ítemes de la NCFAS se relacionan con los distintos subsistemas del Modelo Ecológico de Bronfenbrenner (Fraser et al., 2001), ya descrito anteriormente. Dentro de las ventajas de la NCFAS, se encuentran: capturar la naturaleza ecológica del funcionamiento familiar; abordar las preocupaciones por la seguridad infantil, los sistemas de bienestar infantil, salud mental y justicia juvenil; requerir un mínimo de entrenamiento para ser administrada; y ocupar una cantidad limitada de tiempo para completarse (30 minutos o menos) (Fraser et al., 2001)
Confiabilidad inter-evaluadores NCFAS 12 Respecto de las propiedades psicométricas de la escala, diversos estudios realizados en Estados Unidos han examinado la validez y confiabilidad de la NCFAS. Los primeros estudios desarrollados a fines de 1990, mostraron una adecuada consistencia interna de sus dimensiones (N = 288), obteniéndose valores de alfa de Cronbach entre 0,76 y 0,93 (Reed, 1998; Fraser et al., 2001). Asimismo, se evaluó la validez de constructo de las dimensiones de la NCFAS, utilizando como criterio instrumentos estandarizados, como el Child Well-Being Scales, Index of Family Relations y Family Inventory of Resources for Management; estudio que mostró que las correlaciones r de Pearson entre la NCFAS y estos instrumentos, eran estadísticamente significativas (N = 126, p < 0,01) para 5 de 6 relaciones estudiadas, con valores entre 0,26 y 0,71 (Fraser et al., 2001). El segundo estudio de validación de la NCFAS versión 2.0, abordó la consistencia interna y la validez concurrente y predictiva (Kirk, Kim & Griffith, 2005), obteniéndose alfa de Cronbach entre 0,72 y 0,90 (N = 1279). Sobre la validez predictiva, el estudio mostró que las puntuaciones de los casos al final de la intervención, estaban directamente asociadas con una mayor probabilidad de permanencia en su familia, siendo un criterio de éxito en la intervención (N = 1279), replicándose este hallazgo en seguimientos de hasta un año (N = 487). En otro estudio reciente, se evaluó la efectividad de programas intensivos de preservación familiar, con familias atendidas entre los años 2004 y 2006, cuyos niveles de consistencia interna reportados para las dimensiones de la NCFAS, fueron alfa de Cronbach entre 0,77 y 0,94 (Kirk & Griffith, 2007). Adicionalmente, en un estudio realizado por el Centro para la Investigación de Servicios Sociales de la Universidad de California en Berkeley en el año 2006 (Johnson, Stone, Lou, Vu, Ling, Mizrahi & Austin, 2006), donde se compararon 85 instrumentos de evaluación familiar seleccionados por los investigadores, la NCFAS obtuvo el primer lugar, en base a los siguientes
Confiabilidad inter-evaluadores NCFAS 13 requisitos: a) abordaje integral de dominios relevantes de evaluación familiar; b) validez y confiabilidad en distintas etapas de un caso; y c) utilidad práctica en el sistema público de bienestar y protección infantil; destacando por su facilidad de administración (tiempo, instrucciones, puntuación y claridad de interpretación) y sus propiedades psicométricas, siendo altamente recomendada por los evaluadores (Johnson et al., 2006). Actualmente, la NCFAS se aplica en sus distintas versiones, en cerca de 450 agencias y organizaciones en Estados Unidos, Canadá y Australia (NFPN, 2009, citado en Valencia y Gómez, 2010). Recientemente en Chile, además de la bien establecida consistencia interna y validez de la NCFAS con población estadounidense (Johnson et al., 2006), también se presentó evidencia sobre la consistencia interna y validez de constructo de la versión en español de la escala, hallazgos consistentes con lo reportado en las investigaciones previas sobre la NCFAS (Valencia y Gómez). En este estudio, se utilizaron datos de 528 participantes de 8 programas chilenos de intervención familiar para la prevención secundaria del maltrato y negligencia infantil (no constitutivos de delito), en el contexto de la evaluación diagnóstica de usuarios de Programas de Intervención Breve de la Sociedad Protectora de la Infancia, siendo la primera investigación que se explora la versión en español de la NCFAS y con equipos profesionales de Chile, respecto de la consistencia interna y validez de constructo de esta escala, cuyos análisis estadísticos dan cuenta de adecuadas propiedades psicométricas y una alta consistencia interna de la escala (Valencia y Gómez, 2010). Los resultados obtenidos en este estudio indican que todas las dimensiones de la versión en español de la NCFAS muestran una alta consistencia interna, con valores alpha de Cronbach entre 0,782 y 0,868; además, los valores de consistencia interna de todas las dimensiones indican resultados comparables al estudio de Kirk y Griffith (2007, Valencia y Gómez, 2010)
Confiabilidad inter-evaluadores NCFAS 14 En Chile, además, la NCFAS es utilizada por los Programas de Intervención Breve (P.I.B.) de la Sociedad Protectora de la Infancia, los que a lo largo del país intervienen psicosocial y ambulatoriamente para resolver vulneraciones de derecho que afectan a niños, niñas y adolescentes, asociadas a situaciones de maltrato infantil leve y/o moderado (no constitutivo de delito). El proceso de traducción al español estuvo a cargo de Mg. Esteban Gómez Muzzio y contó con la validación de un panel de jueces expertos, participando de este proceso expertos de NFPN y de la Facultad de Educación y Ciencias de la Familia de la Universidad Finis Terrae de Chile (Valencia y Gómez, 2010). Los autores de la NCFAS indican que los operadores de programas sociales la aplican una vez que cuentan con información suficiente acerca de la familia (Fraser, Kirk y Reed-Ashcraft, 2001) y particularmente, en los P.I.B. de la Sociedad Protectora de la Infancia, la NCFAS se completa en reunión técnica realizada por el equipo profesional compuesto por trabajador social, gestor familiar y psicólogo, a partir de la valoración consensuada en conjunto por dicha tríada Considerando que la NCFAS es una escala de valoración cualitativa completada por el profesional, se requiere comprobar la confiabilidad interevaluadores de la NCFAS, ya que sus valoraciones podrían depender mayormente de la subjetividad del evaluador, que de las propias características del funcionamiento familiar de un caso. El presente estudio pretendió responder la siguiente pregunta: ¿La NCFAS presenta índices aceptables de confiabilidad inter-evaluadores en sus 36 ítemes, en la muestra piloto chilena? El presente estudio tuvo como objetivo determinar el nivel de confiabilidad interevaluadores de los 36 ítemes de la NCFAS, con una muestra piloto chilena de niños, niñas y/o adolescentes víctimas de maltrato leve y/o moderado (no constitutivo de delito), usuarios de un Programa de Intervención Breve de la comuna de Talcahuano. La realización de este estudio
Confiabilidad inter-evaluadores NCFAS 15 busca determinar preliminarmente la confiabilidad inter-evaluadores de la NCFAS, permitiendo identificar si esta escala se constituye en una herramienta objetiva para la evaluación cualitativa del funcionamiento familiar en casos de maltrato infantil. La hipótesis de trabajo de este estudio piloto consiste en que el 100% de los ítemes de la NCFAS presenta confiabilidad inter-evaluadores con índices Kappa iguales o superiores a 0,40, lo que corresponde a niveles de concordancia “moderado”, “bueno” y/o “muy bueno”. La importancia de determinar la confiabilidad inter-evaluadores se debe a que, en la evaluación del funcionamiento familiar de los participantes, la valoración asignada a cada uno de los 36 itemes de la NCFAS depende de algún tipo de juicio de los evaluadores. Por ello, se debe asegurar la concordancia del juicio de los evaluadores que utilizan la escala, para que ésta sea confiable. Por ende, si en los 36 ítemes se obtiene concordancia inter-evaluadores buena, muy buena y/o moderada, entonces aumentará la confiabilidad inter-evaluadores de esta escala. Por el contrario, si en los 36 ítemes se obtiene concordancia inter-evaluadores baja o insignificante, la NCFAS deberá considerarse con precaución, requiriéndose futuras investigaciones que permitan identificar fuentes de variabilidad en la fuerza de la concordancia inter-evaluadores. Asimismo, si en la mayor parte de los ítemes se obtiene concordancia inter-evaluadores buena, muy buena y/o moderada, pero en algunos itemes ésta es baja o insignificante, se sugiere realizar futuras investigaciones que permitan identificar las causas de esta heterogeneidad de valoración entre dos o más evaluadores, que presentan tales ítemes.
Método
Participantes Se utilizó un muestreo no probabilístico e intencionado, seleccionando aquellos participantes que presentaron los siguientes criterios de inclusión: a) niños, niñas y/o
Confiabilidad inter-evaluadores NCFAS 16 adolescentes ingresados al P.I.B. “Talcahuano Sur” de la Sociedad Protectora de la Infancia; b) víctimas de algún tipo de maltrato infantil no constitutivo de delito (Ej. maltrato físico, maltrato emocional, negligencia, testigo de violencia intrafamiliar, etc.). Los criterios de exclusión fueron: a) usuarios ingresados con anterioridad a agosto de 2008, debido a que dichos ingresos ya cuentan con la aplicación de NCFAS a través de consenso inter-evaluadores; y b) usuarios ingresados con posterioridad a diciembre de 2009, ya que se debían respetar los plazos establecidos en el contexto del Magíster en que se desarrolla esta investigación. En base a criterios sustantivos y de factibilidad, finalmente se contó con una muestra de 38 participantes que cumplieron con los criterios de inclusión y exclusión. El promedio de edad de los/las participantes fue 10,2 años (DE =4,07), un 57,9 % de género masculino, y 42,1% femenino, cursando mayoritariamente educación básica (71%), seguido por educación preescolar (15,8%), educación media (7,9%) y sin escolaridad (5,3%). Las causales identificadas al ingreso de los participantes al P.I.B. correspondieron a: testigo de violencia intrafamiliar no constitutiva de delito (28,9%), negligencia moderada (23,7%), maltrato físico moderado (13,2%), maltrato físico y emocional moderado (13,2%), maltrato emocional moderado (7,9%), maltrato emocional y negligencia (7,9%), maltrato físico, emocional y negligencia (5,3%). Los/las participantes fueron derivados desde Tribunal de Familia (60,5%), establecimiento educacional (15,8%), demanda espontánea (10,5%), otro (7,9%), y Oficina de Protección de Derechos (5,3%). El total de cuidadores principales (N = 24) de los/las participantes fue de género femenino y parentesco biológico, distribuidas en madres (66,6%), abuelas (25%), hermana (4,2%) y tía (4,2%), con un promedio de edad de 43,3 años (DE = 14,66), con edades mínima y máxima de 19 y 79 años, respectivamente; con un nivel de escolaridad alcanzado de educación media completa y/o incompleta (45,8%), educación básica completa y/o incompleta (33,4%), y educación
Confiabilidad inter-evaluadores NCFAS 17 superior completa y/o incompleta (20,8%); cuya situación laboral al ingreso fue de: trabajo dependiente (41,7%), labores domésticas (37,5%), trabajo independiente (12,5%) y trabajo esporádico (8,3%). La caracterización socioeconómica de las familias (N = 24) reveló que, al ingreso, un 37,5% presentaba un NSE medio (incluye bajo, medio o alto); un 37,5%, un NSE bajo-bajo la línea de la pobreza; un 20,8% un NSE bajo-sobre la línea de la pobreza; y un 4,2% vivía en situación de indigencia. La estructura familiar (N =24) mostró que, al ingreso, un 25% era de tipo monoparental (materna o paterna), un 20,8% extensa, un 16,7% monoparental extensa (materna o paterna), un 16,7% biparental, un 12,5% biparental reconstituida, y un 8,3% biparental extensa. Diseño Se utilizó un diseño no-experimental, correlacional y transversal. La variable dependiente es cualitativa y corresponde a la valoración que cada evaluadora asignó, en forma individual y separada, en cada uno de los 36 ítemes de la NCFAS, utilizando 6 (ó 7) categorías escalares del instrumento: “problema serio”, “problema moderado”, “problema leve”, “adecuado/línea base”, “leve fortaleza” y “clara fortaleza” (y “no aplica”) (Fraser, Kirk y Reed-Ashcraft, 2001). Instrumentos Para conocer la variable dependiente, el instrumento utilizado es la NCFAS, que presenta las siguientes características. La NCFAS es una escala basada en la valoración cualitativa, que realizan los operadores de programas sociales respecto de las fortalezas y debilidades identificadas en una familia, en relación al bienestar infanto-juvenil, respecto de 36 ítemes: 5 ítemes globales (o dominios) y 31 itemes restantes (Anexo 1), tales como: 1)Entorno, con 10 itemes: entorno en general, estabilidad de la vivienda, seguridad en la comunidad, habitabilidad de la vivienda, ingreso/empleo, manejo financiero, comida y nutrición, higiene personal, transporte, entorno de aprendizaje; 2)Competencias Parentales, con 6 itemes: competencias
Confiabilidad inter-evaluadores NCFAS 18 parentales en general, supervisión del niño(s), prácticas disciplinarias, entrega de oportunidades de desarrollo/crecimiento, salud mental del progenitor(es)/cuidador(es), salud física del progenitor(es)/cuidador(es), uso de drogas/alcohol del progenitor(es)/cuidador(es); 3)Interacciones Familiares, con 4 itemes: interacciones familiares en general, apego con el niño/a, expectativas sobre el niño/a, apoyo mutuo dentro de la familia, relación entre los progenitores/cuidadores; 4)Seguridad Familiar, con 5 itemes: seguridad familiar en general: ausencia/presencia de abuso físico en el niño(s), ausencia/presencia de abuso sexual en el niño(s), ausencia/presencia de abuso emocional en el niño(s), ausencia/presencia de negligencia en el niño(s), violencia doméstica entre los progenitores/cuidadores; y 5)Bienestar del Niño, con 7 itemes: bienestar del niño en general, salud mental del niño(s), comportamiento del niño(s), desempeño escolar, relación con el progenitor(es)/cuidador(es), relación con hermano(s), relación con pares, cooperación/motivación a permanecer en la familia. Para los 36 itemes de la NCFAS, se empleó la estrategia escalar de 6 (o 7) puntos, en formato tipo likert, con valoración graduada: “clara fortaleza”, “leve fortaleza”, “línea base/adecuado”, “problema leve”, “problema moderado” y “problema serio” (y “no aplica” sólo en 4 ítemes), sin existir punto medio (Fraser, Kirk y Reed-Ashcraft, 2001). En sólo 4 ítemes de la NCFAS existe una séptima categoría, denominada “no aplica”, la que el evaluador puede seleccionar cuando el ítem no se aplica al caso evaluado (por ejemplo, en el ítem “relación del niño con sus hermanos” es posible asignar la categoría “no aplica” cuando el niño no tiene hermanos) (Anexo 2). Cuando se evalúan ítemes como “problema leve”, “problema moderado” o “problema serio”, el evaluador está señalando que éstos constituyen factores de riesgo en los que se requiere iniciar más urgentemente los procesos de intervención al ser valorados como problema (serio, moderado y/o leve); asimismo, aquellos ítemes evaluados como “adecuado/línea base”, “leve fortaleza” o “clara fortaleza”, son considerados por el evaluador como factores de
Confiabilidad inter-evaluadores NCFAS 19 protección, y por tanto, no requieren necesariamente de un proceso de intervención psicosocial (Fraser, Kirk y Reed-Ashcraft, 2001). Además, las categorías “clara fortaleza”, “adecuado/línea base”, “problema serio” y “no aplica” están definidas por una descripción desarrollada por los autores de la escala, que señala en qué consiste cada una de ellas a fin de que los evaluadores tengan una orientación para realizar la valoración, lo cual está incorporado en el formulario electrónico de la NCFAS. Las otras tres categorías (“leve fortaleza”, “problema leve” y “problema moderado”) se encuentran sin descripción, en favor de estimular la investigación y juicio del profesional cuando asigne las valoraciones (Fraser, Kirk y Reed-Ashcraft, 2001). La NCFAS también recoge antecedentes sociodemográficos del niño, niña y/o adolescente, del progenitor/cuidador, datos de identificación de la evaluación (Ej. motivo de ingreso al PIB, red que deriva, etc.), y datos del grupo familiar (Ej. número, sexo, edad de habitantes, tipo de estructura familiar, etc.). Por último, la escala permite asignar valoraciones en los 36 ítemes, tanto al ingreso del caso como al cierre del proceso de intervención, utilizando la misma estrategia escalar; sin embargo, esto no es objeto de este estudio, sino que sólo han interesado las valoraciones efectuadas al ingreso del caso al programa. Cabe señalar que la NCFAS no es un test o un inventario propiamente tal, pues su objetivo no es proporcionar una medida absoluta o relativa acerca del funcionamiento familiar en casos de bienestar infanto-juvenil, por medio de baremos, normas o valores de puntos de corte determinados; tampoco existe un puntaje promedio del total de ítemes de la NCFAS, ni subpromedios por cada uno de los 5 dominios de la escala. Esto se debe a que la escala no asigna puntajes cuantitativos, sino que valoraciones cualitativas (“problema serio”, “problema moderado” o “problema leve”, “adecuado/línea base”, “leve fortaleza” o “clara fortaleza”, o “no aplica”), las que están asociadas a números, sólo con fines didácticos para facilitar la valoración
Confiabilidad inter-evaluadores NCFAS 20 del evaluador (Ej. –3, -2, -1, 0, +1, +2, respectivamente), y por ende, no es posible aplicar sumatorias ni promedios a tales valoraciones. Además, como se señaló anteriormente, dentro de los 36 itemes de la escala, existen 5 que corresponden a una valoración general de cada dominio, denominados de la siguiente forma: “Entorno en general”, “Competencias parentales en general”, “Interacciones familiares en general”, “Seguridad Familiar”, y “Bienestar del niño en general”. En estos 5 ítemes, la valoración es efectuada directamente por el evaluador, intentado integrar las valoraciones que realizó en los respectivos ítemes, por cada dominio; es decir, en estos 5 ítemes globales, la valoración no corresponde a un promedio numérico de sus respectivos ítemes. Por lo tanto, resulta irrelevante efectuar un análisis de la confiabilidad inter-evaluadores de la NCFAS a partir de las valoraciones efectuadas solamente en los 5 dominios, pues éstos no reflejan necesariamente las valoraciones de los 36 ítemes que componen la escala. Procedimiento El procedimiento de este estudio consistió en que cada evaluadora completó la NCFAS, en forma individual y separada, sobre los participantes asignados a su dupla, basándose en los antecedentes obtenidos en el período diagnóstico de 2 meses de duración como máximo a contar del ingreso del caso al PIB. Cada dupla de evaluadoras contó con los antecedentes necesarios para la completación de la NCFAS, levantados mediante 6 técnicas, las que fueron previamente aplicadas al total de participantes y/o adulto responsable, tales como: 1) Visita Domiciliaria Diagnóstica: Aspectos del entorno comunitario, de la vivienda, y de la comida-nutrición e higiene personal del niño(a), 2) Genograma: Diagrama de los integrantes del grupo familiar nuclear y extenso, y el tipo de interacciones entre ellos, y 3) Ecomapa: Tipo y calidad de las redes familiares, comunitarias, sociales e institucionales con las que se vincula actualmente la familia; 4) Pauta de Entrevista Diagnóstica al progenitor/cuidador y 5) Pauta de Entrevista
Confiabilidad inter-evaluadores NCFAS 21 Diagnóstica al niño, niña, adolescente (en edad escolar en adelante): Ambas entrevistas registran las mismas áreas, pero la primera es desde la perspectiva del adulto, y la segunda, del niño(a); tales áreas son: desempeño educacional, normas familiares, roles parentales, afectividad, comunicación, tipo de sanciones, presencia de abuso de alcohol/drogas, presencia de violencia intrafamiliar, etc.; 6) Inventario de Potencial de Maltrato Físico o PMF (Haz y Ramírez, 2002): Instrumento de autorreporte contestado por el adulto a cargo del niño, niña o adolescente, que evalúa las características cognitivas, afectivas y comportamentales del cuidador/a, respecto de su interacción con el niño y con su entorno familiar y social, permitiendo generar señales de alerta sobre potencial de maltrato físico infantil. Dicho instrumento ha sido desarrollado por Haz y Ramírez (2002), sobre la base de la adaptación del Child Abuse Potencial Inventory, que consta de 114 items de respuesta dicotómica Sí-No, y se compone de 4 escalas, la principal es de Maltrato Físico, y 3 de validez del instrumento (consistencia interna, mentira y respuestas al azar). El PMF evalúa las siguientes dimensiones: Depresión, Expectativas rígidas hacia los niños, Malas relaciones con los padres del adulto, Malas relaciones familiares y de pareja del adulto, Irritabilidad e Impulsividad, Disforia, y Problemas del niño. De acuerdo a Haz y Ramírez, su principal uso es como instrumento de sondeo de potenciales maltratadores físicos para organizaciones de servicio social, especialmente en programas de intervención secundaria. La completación de la NCFAS consistió en que cada evaluadora asignó una de las 6 (o 7) categorías: “problema serio”, “problema moderado”, “problema leve”, “adecuado/línea base”, “leve fortaleza”, “clara fortaleza” (y “no aplica” en 4 ítemes), para cada uno de los 36 ítemes de la NCFAS, respecto de los participantes correspondientes a su dupla. Esta valoración se realizó en base a: a) los antecedentes acerca del caso obtenidos mediante las 6 técnicas antes descritas; b) el juicio del profesional; y c) la descripción-guía que orienta respecto de lo que consisten tres de las seis categorías existentes en cada ítem: “clara fortaleza”, “adecuado/línea base” y “problema
Confiabilidad inter-evaluadores NCFAS 22 serio”. Esta valoración fue registrada por cada evaluadora en forma individual y por separado en el formulario electrónico de la NCFAS. Se contó con dos duplas de evaluadoras, cada una compuesta por la misma asistente social, quien formó dupla con dos psicólogas distintas, debido a que en el organigrama del PIB se contemplaba tal conformación de duplas para la atención de los casos. Además, durante el período en que se efectuó el estudio, se produjeron ingresos de casos nuevos que cumplieron los criterios de inclusión y exclusión, los que fueron distribuidos a cada dupla en función del número de casos que respectiva y mensualmente egresaban del PIB; por este motivo, la dupla de evaluadoras Nº 1 contó con 25 participantes, y la dupla Nº 2, con 13 participantes. Por otra parte, las dos duplas de evaluadoras fueron homogéneas en tres aspectos: a) Nº de horas de capacitación para el uso de la NCFAS (16 horas); b) Nº de años de formación profesional (8 a 11 semestres de carrera universitaria); c) género: femenino. Sin embargo, en cuanto a la cantidad de años de experiencia profesional, sólo la Dupla Nº 1 es relativamente homogénea, con 20 y 15 años, respectivamente; en cambio, la Dupla Nº 2 es heterogénea, con 20 y 3 años, respectivamente. Por último, se cumplió con los resguardos éticos para realizar esta investigación y procedimiento en particular. Se solicitó la voluntad de participación a las profesionales asistente social y psicóloga del PIB que aplicaron la NCFAS de acuerdo al objetivo de esta investigación. También se solicitó la autorización para efectuar la investigación a las respectivas autoridades de la institución: Julieta Sáez, Directora del PIB Talcahuano Sur; Esteban Gómez, Unidad de Diseño y Evaluación de Programas de la Sociedad Protectora de la Infancia; y Piscilla Martens, Directora del National Family Preservation Network, institución que desarrolló la escala NCFAS en Carolina del Norte, Estados Unidos. Además, se solicitó el consentimiento informado a los representantes adultos de los participantes de este estudio que permanecen como usuarios
Confiabilidad inter-evaluadores NCFAS 23 vigentes en el PIB durante el período en que se desarrolló el estudio. Cabe indicar que la modificación de la forma estandarizada de aplicación de la NCFAS establecida por la institución (es decir, consenso inter-evaluadores mediante reunión clínica), no afectó la confidencialidad de los reportes de los/las usuarios/as. Finalmente, en el caso de que esta tesis sea aprobada por la Comisión evaluadora del Magíster en Psicología Jurídica y Forense de la Universidad de La Frontera, se darán a conocer los resultados de esta investigación a las personas que en este estudio entregaron su consentimiento informado, y a los profesionales y autoridades señalados. Plan de Análisis Para el análisis estadístico inferencial, se obtuvieron 36 variables dependientes, correspondientes a los 36 ítemes de la NCFAS, siendo variables cualitativas, con 6 (o 7) categorías: “clara fortaleza”, “leve fortaleza”, “adecuado/línea base”, “problema leve”, “problema moderado”, “problema serio” (y “no aplica”, como se describió anteriormente). Una vez obtenidos los datos brutos del total de la muestra (n = 38), éstos fueron ingresados al paquete estadístico SPSS. Para comprobar el nivel de concordancia inter-evaluadores en cada uno de los 36 ítemes de la NCFAS, se aplicó la prueba estadística Kappa de Cohen, que permite determinar la concordancia observada entre dos evaluadores o métodos de evaluación cualitativos, eliminando la fracción de la concordancia debida al azar (Martín y Cano, 2003). Para la interpretación de un valor dado de Kappa se han propuesto diferentes clasificaciones, de las que probablemente la más ampliamente utilizada sea la de Landis y Koch; sin embargo, es importante tener en cuenta que estas clasificaciones son arbitrarias (Szklo y Nieto, 2003). Landis y Koch (1977) propusieron unos márgenes para valorar el grado de acuerdo en función del índice Kappa, de la siguiente forma: Si éste varía entre 1 y 0,8, el grado de acuerdo es “muy bueno”; entre 0,6 y 0,79, es “bueno”; entre 0,4 y 0,59, es “moderado”; entre 0,2 y 0,39 es “bajo”; entre 0 y 0,19 es
Confiabilidad inter-evaluadores NCFAS 24 “insignificante”; y cuando Kappa es igual o menor a 0, “no existe acuerdo”; en esta escala de interpretación del valor de Kappa, dichos autores consideran como aceptable un valor mayor o igual a 0,40 y excelente, un valor superior a 0,75. El coeficiente Kappa es bastante utilizado en la literatura médica, lo que probablemente se debe a la facilidad de cálculo; no obstante, tiene sus problemas y limitaciones. Si bien el coeficiente Kappa se propuso como un índice de concordancia entre dos observadores para clasificar variables dicotómicas, y posteriormente, se propuso su uso para variables politómicas (Argimón y Jiménez, 2004), cuando se utiliza en el segundo caso (como ocurre en esta investigación piloto), este índice tiene el inconveniente de que mide el acuerdo exacto y no el acuerdo aproximado; es decir, no tiene en cuenta los distintos grados de desacuerdo, ya que todos los desacuerdos son tratados de igual manera (Martín y Cano, 2003; Argimón y Jiménez, 2004). Por lo tanto, cuanto mayor es el número de categorías, menor es la probabilidad de obtener una concordancia exacta, de manera que el coeficiente de Kappa disminuye conforme aumenta el número de categorías (Latour, Abraira, Cabello y López, 1997; Argimón y Jiménez, 2004). Por ello, en muchos estudios realizados sobre concordancia, el índice Kappa obtenido es menor que el esperado (Álvarez, 1996). En consecuencia, siendo el coeficiente Kappa un índice sensible al número de categorías, es posible prever que, en esta investigación, la probabilidad de acuerdo exacto disminuya, dado que existen 6 (o 7) categorías, las que además presentan un orden de graduación. Por ejemplo, no es lo mismo un desacuerdo inter-evaluadoras entre “problema moderado” y “problema leve”, en comparación con un desacuerdo entre “problema moderado” y “adecuado/línea base”, ya que, en el primer ejemplo, además de tratarse de un desacuerdo menor, en ambas categorías se indica la necesidad de un proceso de intervención; en cambio, en el segundo ejemplo, el desacuerdo es mayor y, lo que es más delicado, pues las categorías difieren en cuanto a la decisión del
Confiabilidad inter-evaluadores NCFAS 25 evaluador de efectuar o no un proceso de intervención psicosocial en ese ítem (o foco) respecto de un caso en particular. Considerando esta limitación de la prueba Kappa, en el presente estudio se comprobó el nivel de concordancia inter-evaluadores en cada uno de los 36 ítemes de la escala, aplicándola en dos modalidades. Por un lado, respecto de las 6 (o 7) categorías cualitativas señaladas por la NCFAS: “clara fortaleza”, “leve fortaleza”, “adecuado/línea base”, “problema leve”, “problema moderado”, y “problema serio” (y “no aplica”). Y por otro lado, con el fin de atenuar la limitación ya señalada del coeficiente Kappa, se aplicó considerando 2 categorías cualitativas: a) la primera denominada “Sí”, que indica que se requiere de un proceso de intervención psicosocial, la que surge de la transformación y agrupación de las valoraciones de tres categorías: “problema leve”, “problema moderado” y “problema serio” ; b) la segunda denominada “No”, que indica que no se requiere de un proceso de intervención psicosocial, la que surge de la transformación y agrupación de cuatro categorías (“clara fortaleza”, “leve fortaleza”, “adecuado/línea base” y “no aplica”). La formación de estas 2 categorías se realizó en el programa SPSS, posterior a la obtención de los datos brutos, consistentes en las valoraciones asignadas por las duplas de evaluadoras, quienes completaron la NCFAS en su versión original (con seis o siete categorías). Se presentan los resultados de la aplicación de la prueba de Kappa en cada uno de los 36 ítemes de la NCFAS, respecto de las dos modalidades de análisis (6/7 y 2 categorías), mediante tablas y gráficos, con un nivel de significación estadística de p < 0,05.
Resultados Los resultados interpretados a la luz del objetivo e hipótesis inicial, comprueban que la NCFAS presenta concordancia inter-evaluadores con valores Kappa iguales o superiores a 0,40,
Confiabilidad inter-evaluadores NCFAS 26 en el 100% de los ítemes, valorados por la Dupla 2, tanto en el uso de 6 (7) categorías (“clara fortaleza”, “leve fortaleza”, “adecuado/línea base”, “problema leve”, “problema moderado”, y “problema serio” y “no aplica”), como también con 2 categorías (“sí” requiere de un proceso de intervención y “no” requiere de un proceso de intervención). En cambio, no se comprueba la hipótesis inicial en la Dupla 1, observándose concordancia inter-evaluadores con valores Kappa iguales o superiores a 0,40 en el 77,9% de los ítemes con el uso de 6 (7) categorías, y en el 94,5% de los ítemes con el uso de 2 categorías. Como se observa en el Gráfico 1, en la modalidad de análisis de 6 (o 7) categorías, la dupla 1 (n = 25) presentó "muy buena” fuerza de la concordancia en el 5,6% de los ítemes, “buena” en el 30,6%, “moderada” en el 41,7%, “bajo” en el 13,9%, e insignificante en el 8,3% de los ítemes de la NCFAS, sin presentar ítemes en el nivel “sin acuerdo”. La dupla 2 (n = 13) presentó “muy buena” fuerza de la concordancia en el 44,5% de los ítemes, “buena” en el 47,2%, y “moderada” en el 8,3% de los ítemes de la NCFAS, sin presentar ítemes en los niveles “bajo”, “insignificante” y “sin acuerdo”. En suma, en la modalidad de análisis de 6 (o 7) categorías, la dupla 1 presentó una fuerza de la concordancia muy buena, buena y/o moderada en el 77,9% de los ítemes; y la dupla 2 presentó una fuerza de la concordancia muy buena, buena y/o moderada en el 100% de los ítemes de la NCFAS. Además, dentro de la misma modalidad de análisis (6 ó 7 categorías), se determinaron los niveles de fuerza de la concordancia de los 36 ítemes, como aparece en la Tabla 1. En la dupla 1, estos son los niveles de fuerza de la concordancia que presentan los siguientes ítemes: a) Muy buena: transporte y ausencia/presencia de abuso sexual en el niño/a; b) Buena: entorno en general, seguridad en la comunidad, habitabilidad en la vivienda, manejo financiero, comida y nutrición, higiene personal, salud física del progenitor/cuidador, ausencia/presencia de abuso emocional en el niño/a, violencia doméstica entre los progenitores/cuidadores, salud mental del
Confiabilidad inter-evaluadores NCFAS 27 niño/a, cooperación/motivación a permanecer en la familia; c) Moderada: estabilidad de la vivienda, ingreso/empleo, salud mental del progenitor/cuidador, uso de drogas/alcohol del progenitor/cuidador, interacciones familiares en general, apego con el niño/a, expectativas sobre el niño/a, apoyo mutuo dentro de la familia, relación entre los progenitores/cuidadores, ausencia/presencia de negligencia en el niño/a, bienestar del niño en general, comportamiento del niño/a, desempeño escolar, relación con el progenitor(es)/ cuidador(es) y relación con hermano(s); d) Baja: entorno de aprendizaje, supervisión del niño/a, prácticas disciplinarias, ausencia/presencia de abuso físico en el niño/a y relación con pares; e) Insignificante: competencias parentales en general, entrega de oportunidades de desarrollo/crecimiento y seguridad familiar en general. En la modalidad de análisis con seis (siete) categorías), la dupla Nº 1 presenta mayores desacuerdos inter-evaluadoras en ítemes relacionados con los dominios “competencias parentales en general” y “seguridad familiar”. En la dupla Nº 2, dentro de la modalidad de análisis con 6 ó 7 categorías, como aparece en la Tabla 2, estos son los niveles de fuerza de la concordancia que presentan los siguientes ítemes: a) Muy buena: entorno en general, estabilidad de la vivienda, seguridad en la comunidad, habitabilidad en la vivienda, manejo financiero, comida y nutrición, higiene personal, transporte, salud física del progenitor/cuidador, ausencia/presencia de abuso sexual en el niño/a, ausencia/presencia de abuso emocional en el niño/a, ausencia/presencia de negligencia en el niño/a, comportamiento del niño/a, relación con pares, cooperación/motivación a permanecer en la familia; b) Buena: entorno de aprendizaje, ingreso/empleo, supervisión del niño/a, prácticas disciplinarias, entrega de oportunidades de desarrollo/crecimiento, salud mental del progenitor/cuidador, uso de drogas/alcohol del progenitor/cuidador, interacciones familiares en general, apego con el niño/a, expectativas sobre el niño/a, relación entre los progenitores/cuidadores, seguridad familiar en general, violencia doméstica entre los
Confiabilidad inter-evaluadores NCFAS 28 progenitores/cuidadores, bienestar del niño en general, desempeño escolar, relación con el progenitor(es)/ cuidador(es), salud mental del niño/a; y c) Moderada: apoyo mutuo dentro de la familia, ausencia/presencia de abuso físico en el niño/a y relación con hermano(s). En la modalidad de análisis con seis (siete) categorías), la dupla Nº 2 presenta mayor acuerdo interevaluadoras que la dupla Nº 1, observándose índices Kappa promedio correspondientes a una fuerza de la concordancia dentro de los rangos “buena” en cuatro dominios, y “muy buena” en un dominio de la NCFAS. Por otra parte, como se observa en el Gráfico 2, en la modalidad de análisis con 2 categorías (sí/no), la dupla 1 presentó “muy buena” fuerza de la concordancia en el 27,8% de los ítemes, “buena” en el 52,8%, “moderada” en el 13,9%, y “baja” en el 5,5% de los ítemes de la NCFAS, sin presentar ítemes en los niveles “insignificante” y “sin acuerdo”. La dupla 2 presentó “muy buena” fuerza de la concordancia en el 69,4% de los ítemes, “buena” en el 25%, “moderada” en el 5,6% de los ítemes de la NCFAS, sin presentar ítemes en los niveles “bajo”, “insignificante” y “sin acuerdo”. En suma, en la modalidad de análisis de 2 categorías, la dupla 1 (n = 25) presentó una fuerza de la concordancia muy buena, buena y/o moderada en el 94,5% de los ítemes, y la dupla 2 (n = 13) presentó una fuerza de la concordancia muy buena, buena y/o moderada en el 100% de los ítemes de la NCFAS. Además, dentro de la modalidad de análisis con 2 categorías, se determinó los niveles de fuerza de la concordancia ítem por ítem, como aparece en la Tabla 3. En la dupla Nº 1, los ítemes presentan los siguientes niveles de fuerza de la concordancia: a) Muy buena: transporte, higiene personal, comida y nutrición, habitabilidad en la vivienda, estabilidad de la vivienda, apego con el niño/a, ausencia/presencia de abuso sexual en el niño/a, ausencia/presencia de negligencia en el niño/a, relación con el progenitor(es)/ cuidador(es) y cooperación/motivación a permanecer en la familia; b) Buena: entorno en general, seguridad en la comunidad, ingreso/empleo, manejo
Confiabilidad inter-evaluadores NCFAS 29 financiero, entorno de aprendizaje, supervisión del niño/a, prácticas disciplinarias, salud física del progenitor/cuidador, uso de drogas/alcohol del progenitor/cuidador, interacciones familiares en general, expectativas sobre el niño/a, apoyo mutuo dentro de la familia, relación entre los progenitores/cuidadores, ausencia/presencia de abuso emocional en el niño/a, violencia doméstica entre los progenitores/cuidadores, bienestar del niño en general, salud mental del niño/a, comportamiento del niño/a, desempeño escolar; c) Moderada: competencias parentales en general, entrega de oportunidades de desarrollo/crecimiento, salud mental del progenitor/cuidador, ausencia/presencia de abuso físico en el niño/a y relación con hermano(s); y d) Baja: seguridad familiar en general y relación con pares. Por su parte, en la dupla Nº 2, dentro de la modalidad de análisis con 2 categorías (sí/no), como aparece en la Tabla 4, los ítemes presentan los siguientes niveles de fuerza de la concordancia: a) Muy buena: “transporte”, “higiene personal”, “comida y nutrición”, “habitabilidad en la vivienda”, “estabilidad de la vivienda”, “ausencia/presencia de abuso sexual en el niño/a”, “ausencia/presencia de negligencia en el niño/a”, “cooperación/motivación a permanecer en la familia”, “entorno en general”, “seguridad en la comunidad”, “ingreso/empleo”, “manejo financiero”, “entorno de aprendizaje”, “salud física del progenitor/cuidador”, “interacciones familiares en general”, “relación entre los progenitores/cuidadores”, “ausencia/presencia de abuso emocional en el niño/a”, “violencia doméstica entre los progenitores/cuidadores”, “comportamiento del niño/a”, “desempeño escolar”, “entrega de oportunidades de desarrollo/crecimiento”, “competencias parentales”, “salud mental del progenitor/cuidador”, “ausencia/presencia de abuso físico en el niño/a” y “relación con pares”; b) Buena: “supervisión del niño/a”, “prácticas disciplinarias”, “uso de drogas/alcohol del progenitor/cuidador”, apego con el niño/a”, “expectativas sobre el niño/a”, “seguridad familiar en general”, “bienestar del niño en general”, “salud mental del niño/a” y “relación con el
Confiabilidad inter-evaluadores NCFAS 30 progenitor(es)/ cuidador(es)”; y c) Moderada: “apoyo mutuo dentro de la familia” y “relación con hermano(s)”; sin observarse ítemes con coeficientes Kappa inferiores a 0,4. Discusión Los resultados del presente estudio piloto muestran, en ambas duplas, un mayor porcentaje de ítemes con coeficientes Kappa más bajos, al utilizar 6 (o 7) categorías, en comparación con sólo 2 categorías (sí/no). Esto es consistente con lo señalado anteriormente, respecto de la sensibilidad del índice Kappa al número de categorías, disminuyendo su valor a mayor número de categorías (Latour et al., 1997; Argimón y Jiménez, 2004). Asimismo, esto se ve corroborado especialmente en la dupla Nº 1, al comparar los análisis con 6 (o 7) categorías y con 2 categorías, pues se observa un mayor acuerdo inter-evaluadoras en el segundo caso que en el primero, en prácticamente todos los ítemes. Por otro lado, la dupla Nº 2 presenta mayor porcentaje de ítemes con mejores niveles de fuerza de la concordancia que la dupla Nº 1, tanto con 6 (o 7) categorías como con 2 categorías; esto podría deberse a que las evaluadoras de la dupla Nº 2 tienden más al acuerdo exacto que las evaluadoras de la dupla Nº 1, y por ende, a la dupla Nº 2 no le afecta tanto el mayor o menor número de categorías, como a la dupla Nº 1. Además, en los ítemes que presentan inadecuada fuerza de la concordancia (“baja” o “insignificante”) en ambas duplas y modalidades de análisis, señalados en párrafos anteriores, se requeriría precaución en su aplicación. Al comienzo de esta investigación piloto se han planteado algunas ventajas de utilizar la NCFAS, como una herramienta que tiene por objetivo que los operadores de programas sociales infanto-juveniles puedan plasmar la valoración del funcionamiento familiar del caso, desde un modelo ecológico. Una de las ventajas de la NCFAS es que permite identificar, en forma práctica, los focos específicos en los que se observan avances durante el proceso de intervención psicosocial, al comparar las valoraciones obtenidas al ingreso en la fase diagnóstica, con las otras
Confiabilidad inter-evaluadores NCFAS 31 fases durante el desarrollo y al cierre de la intervención. De acuerdo a Valencia y Gómez (2010), existe evidencia que respalda el uso de la versión en español de la NCFAS como una herramienta de evaluación y diagnóstico multidimensional de la familia en este tipo de programas (bienestar infanto-juvenil). Bien es sabido que no existen instrumentos de diagnóstico perfectos ni exhaustivos, sino que perfectibles, disponiéndose de herramientas que recaban, valoran y/o miden diversos aspectos relevantes de los sistemas familiares, dentro de las cuales se encuentra la NCFAS, intentándose en este estudio piloto, determinar su grado de confiabilidad interevaluadores, constatándose que la NCFAS es una interesante herramienta que puede ser considerada por los profesionales que trabajan en programas psicosociales infanto-juveniles, así como por las instituciones que diseñan estrategias y modelos de intervención psico-socio-jurídica. No obstante, la NCFAS aún debe utilizarse con precaución, considerando los resultados de este estudio, que muestran heterogeneidad de la fuerza de la concordancia inter-evaluadores, observándose en la mayor parte de sus ítemes adecuados niveles de concordancia (“muy buena”, “buena” y “moderada”), pero en otros ítemes, inadecuados niveles de acuerdo exacto (“bajo” e “insignificante”). Por ello, se sugiere la implementación de la NCFAS mediante el perfeccionamiento de las definiciones operacionales de los ítemes y todas sus categorías, además de adecuados procesos de capacitación teórica, aplicación supervisada y consenso entre los operadores que califican estas situaciones (Valencia y Gómez, 2010). Dentro de las limitaciones de este estudio, señalada anteriormente, es el hecho de que el coeficiente Kappa es sensible al número de categorías, de manera que a medida que éste aumenta, disminuye el valor Kappa. Esto pudiese explicar la presencia de algunos ítemes con bajo acuerdo inter-evaluadores, especialmente observado en la dupla Nº 1, lo cual es coherente con lo que se
Confiabilidad inter-evaluadores NCFAS 32 observa en muchos estudios realizados sobre concordancia, donde el índice Kappa obtenido es menor que el esperado (Álvarez, 1996). Otra de las limitaciones de este estudio corresponde al bajo tamaño muestral. De acuerdo a los autores Norman y Streiner (1994), el tamaño muestral mínimo para extraer adecuadas conclusiones del coeficiente de Kappa está determinado por la siguiente fórmula: Nº categorías al cuadrado, multiplicado por 2, lo que en este caso exige un mínimo de 72 participantes. Cabe indicar que no se alcanzó este tamaño muestral debido a que el número de participantes no fue un factor factible de controlar por la investigadora, ya que, por un lado, se dependió de los normales procesos de ingreso/egreso de los casos al P.I.B. Talcahuano Sur, situación que no es posible prever ni acelerar. Por otro lado, se debieron respetar los plazos del Magíster en los que estaba inserta esta investigación (Mg. en Psicología Jurídica y Forense de la Universidad de La Frontera). Además, no hay que olvidar que la presente se trata de una investigación piloto, que pretende invitar al desarrollo de futuros estudios en torno a la NCFAS. Los procesos de diagnóstico y evaluación psicosocial del funcionamiento familiar constituyen, indiscutiblemente, un accionar de elevada complejidad, que se tornan aún más delicados en aquellos casos de grave vulneración de derechos, como lo constituye el maltrato infantil en sus diversas formas, más aún en los casos en que se requiere solicitar medidas coercitivas por vía judicial que garanticen la interrupción de las situaciones que afectan a los/las niños, niñas y/o adolescentes. Por ello, siendo éste el primer estudio en Chile en torno a determinar el nivel de confiabilidad ínter-evaluadores de los 36 ítemes de la NCFAS, observándose entre ellos heterogeneidad en la fuerza de la concordancia inter-evaluadores, se sugiere realizar futuros estudios similares en otro tipo de programas infanto-juveniles, como aquellos que realizan diagnóstico, intervención en maltrato infantil constitutivo de delito, e intervención en justicia juvenil, etc., puesto que son ámbitos en los que también puede ser
Confiabilidad inter-evaluadores NCFAS 33 aplicada la NCFAS, según sus autores, con el fin de adaptar y estandarizar este instrumento para su uso con población local, en los procesos de diagnóstico y/o evaluación multidimensional de la familia en este tipo de programas (Valencia y Gómez, 2010).
Asimismo, se sugiere efectuar estudios para identificar cuáles son los factores o fuentes de variabilidad de la concordancia inter-evaluadores en la aplicación de la escala, como también determinar el grado de influencia de cada uno de ellos. A priori, se presumen como posibles factores o fuentes de variabilidad de la concordancia inter-evaluadores, los siguientes: a) Características del instrumento NCFAS, tales como imprecisión de aquellos ítemes que en este estudio presentan menor concordancia inter-evaluadores; número de categorías (a mayor número de éstas, disminuye la probabilidad de acuerdo exacto inter-evaluadores); ausencia de operacionalización de tres categorías; b) Características del proceso de aprendizaje y uso de la NCFAS: capacitación teórica, entrenamiento en casos ficticios, aplicación supervisada en casos reales; c) Características del evaluador: heterogeneidad en cuanto a género, tipo de profesión, tiempo de perfeccionamiento profesional en infancia-juventud, tiempo de experiencia profesional en infancia-juventud, etc. d) Grado de severidad del maltrato infantil: leve, moderado o grave; pues es posible que a mayor gravedad del fenómeno, se produzca mayor acuerdo interevaluadores, que a menor gravedad del maltrato; e) Conceptualizaciones y modelos explicativos sobre el maltrato infantil, factores que pueden afectar el acuerdo inter-evaluadores, pues, como se señaló al inicio de este documento, no existe una sola conceptualización de este fenómeno y cada modelo explicativo enfatiza determinados aspectos del maltrato infantil; f) Juicio individual (o “subjetividad”) del evaluador, factor que constantemente se pretende atenuar y que pudiese depender de diversos aspectos, tales como marco teórico al que adscribe, historia de vida, etc.
Confiabilidad inter-evaluadores NCFAS 34 Para intentar controlar lo anterior, parece relevante idear y generar las modificaciones necesarias que permitan fortalecer aquellos factores que contribuyan con el acuerdo exacto interevaluadores. Por ejemplo, se sugiere realizar investigaciones a través de focus groups con los operadores/profesionales que utilizan la NCFAS, con debate de opiniones sobre el posible origen de los menores índices de concordancia inter-evaluadores, especialmente en algunos ítemes, aportando con soluciones y modificaciones concretas y consensuadas, que contribuyan con perfeccionar progresivamente la objetividad de la NCFAS. Asimismo, sería interesante poder efectuar futuros estudios sobre el grado en que la práctica constante de aplicación de la NCFAS afecta en la homogeneidad de la visión de equipo psico-socio-jurídico, identificando, por ejemplo, cuál es el mínimo de horas de utilización, de casos revisados y/o tipos de casos a los que se ha aplicado la NCFAS que incide en el acuerdo inter-evaluadores. Las valoraciones asignadas por los evaluadores en la NCFAS de un mismo caso, pudiesen provenir de factores tales como: dinamismo y multicausalidad del maltrato infantil en sus diversas formas, variedad de definiciones y comprensiones de los procesos y fenómenos que se desarrollan al interior de las familias, y desacuerdos existentes entre profesionales y modelos teóricos en torno a distintos conceptos, tales como riesgo-protección, normalidad-anormalidad, salud-patología, funcionalidad-disfuncionalidad, entre otros. Por ello, se considera fundamental profundizar en cuál es el óptimo nivel de comprensión y utilización que debiesen poseer los evaluadores y/o equipos de trabajo en el área infanto-juvenil respecto de los ítemes de la NCFAS, como un instrumento de evaluación psicosocial ecosistémica del funcionamiento familiar; de manera que permita señalar, en forma consistente, si estas variables se presentan o no como factores de riesgo y en qué nivel de intensidad o severidad. Esto debido a que, por una parte, tales conclusiones tienen directa relación con la elaboración de Planes de Intervención Individual, focalizando los recursos en estrategias de
Confiabilidad inter-evaluadores NCFAS 35 diagnóstico e intervención más eficientes y eficaces, tendientes a favorecer el ejercicio y pleno goce de los derechos de la infancia y la adolescencia. Conjuntamente, siempre se debiera tener en cuenta el uso de la NCFAS tras haber aplicado previamente distintas técnicas de diagnóstico y/o evaluación existentes, tanto al niño, niña y/o adolescente como al adulto a cargo, como por ejemplo: entrevistas clínicas, tests psicológicos, visitas domiciliarias, genograma, ecomapa, coordinación con redes, información colateral, entre otros. Por lo demás, se sugiere evitar la aplicación de la NCFAS como una herramienta que excluya la utilización de otras instancias tan importantes como la reunión técnica y la supervisión de caso; como tampoco se debiese esperar que esta escala sea aplicable en todos los casos y en cualquier circunstancia, sino que debe emplearse con precaución y consultando con otros colegas familiarizados con este tipo de protocolos de valoración cualitativa.
Indudablemente, los profesionales y estudiantes del área psico-socio-jurídica debiesen utilizar sistemáticamente la información y los modelos teóricos disponibles sobre la evaluación del funcionamiento familiar, asociado a vulneraciones de derecho infanto-juvenil, basándose en el conocimiento científico actualizado con el que se formula este proceso, ajustándose a un esquema y procedimiento común, donde la NCFAS apoya, aunque no constituye un esquema categórico ni único. En este sentido, los profesionales que se desempeñan en contextos psicosocio-jurídicos deberían estar familiarizados y actualizados con la investigación empírica existente sobre aquellos factores de riesgo y factores de protección asociados al maltrato infantil sugeridos por modelos teóricos e investigaciones que se han desarrollado a nivel mundial y nacional, que les permita realizar una minuciosa labor de evaluación del niño, niña y/o adolescente, su grupo familiar y entorno socio-comunitario. Parece necesario, entonces, recordar la estrecha vinculación que existe entre la detección, la prevención primaria y secundaria del
Confiabilidad inter-evaluadores NCFAS 36 maltrato infantil, mediante la evaluación del funcionamiento familiar, puesto que permitiría lograr una detección precoz de los factores de riesgo y el posterior desarrollo de programas preventivos que apoyen la intervención.
Sin duda, resulta fundamental la ética profesional que regula el accionar del operador, exigiendo el máximo de seriedad, criterio y objetividad profesional posible al momento de aplicar la NCFAS, valorando distintos aspectos del funcionamiento familiar de un niño, niña y/o adolescente, evitando cometer graves errores en las conclusiones en esta escala, al proporcionar opiniones sin un fundamento científico y más bien basadas idiosincráticamente. Las consecuencias de la aplicación de la NCFAS pueden ser muy importantes tanto para el niño/niña evaluado/a como para su familia biológica, y también, para diversos organismos socio-jurídicos (Ej. Tribunales de Familia, Fiscalías, Juzgados de Garantía, programas directos y/o colaboradores del SENAME, etc.), ya que se debe considerar la posibilidad de que, a partir de los resultados de esta escala, se determine que el caso debe ser resuelto judicialmente, ya sea a través de una medida de protección, medida cautelar, modificación del titular del cuidado personal, ingreso a centro residencial, evaluación de susceptibilidad de adopción, etc.
Finalmente, considerando la emergente psicología jurídica y forense en Chile, parece perentorio fortalecer la validación y estandarización de la NCFAS, especialmente en contextos judiciales en diversos casos de maltrato infantil (negligencia parental, maltrato físico, maltrato emocional, abuso sexual, testigo de violencia intrafamiliar, etc.), evacuando informes periciales y/o psicosociales a tribunales y fiscalías, en los que se señala el estado actual, avances o retrocesos del proceso de intervención, solicitando medidas de protección o cautelares en los casos que se requiera, poniendo en conocimiento de los jueces y fiscales conclusiones científicamente confiables y válidas, propiciando la implementación más adecuada de la Ley de
Confiabilidad inter-evaluadores NCFAS 37 Tribunales de Familia, la Ley de Violencia Intrafamiliar, la Ley de Menores, entre otras atingentes a la infancia y/o adolescencia en Chile, que finalmente permitan contribuir con el establecimiento de sentencias e intervenciones psico-socio-jurídicas garantes de los derechos infanto-juveniles.
Confiabilidad inter-evaluadores NCFAS 38 Referencias
Álvarez, R. (1996). El método científico en las ciencias de la salud. Ediciones Díaz de Santos, Madrid. Andrés Pueyo, A., López, S. y Álvarez, E. (2008). Valoración del Riesgo de Violencia Contra la Pareja por Medio de la SARA. Papeles del Psicólogo, Vol. 29(1), pp. 107-122. Antequera, R. (2006) Evaluación Psicológica del Maltrato en la Infancia. Cuadernos de Medicina Forense, Vol. 12(43-44):129-148. Aracena, M., Castillo, R., Haz, A., Cumsille, F., Muñoz, S., Bustos, L., Román, F. (2000). Resiliencia al Maltrato Físico Infantil: Variables que Diferencian a los Sujetos que Maltratan y No Maltratan Físicamente a sus Hijos en el Presente y que Tienen una Historia de Maltrato Físico en la Infancia. Revista de Psicología, Vol. IX, Universidad de Chile. Argimón J. y J. Jiménez. 2004. Métodos de Investigación Clínica y Epidemiológica. 3ra ed. Elsevier, Madrid, España. Arruabarrena, M. y De Paúl, J. (1994): Maltrato a los Niños en la Familia. Madrid, Pirámide. Barcelata, B. y Álvarez, I. (2005). Patrones de Interacción Familiar de Madres y Padres Generadores de Violencia y Maltrato Infantil. Universidad Nacional Autónoma de México. Acta Colombiana de Psicología 13, 35-45. Barudy, J y Dantagnan, M. (2005). Guía de Valoración de las Competencias Parentales a través de la Observación Participante. Instituto de Formación, Investigación e Intervención sobre la violencia familiar y sus consecuencias. Material de investigación. Belsky, J. (1993). Etiology of child maltreatment: a developmental–ecological analysis. Psychological Bulletin, 114 (3), 413–434.
Confiabilidad inter-evaluadores NCFAS 39 Bronfenbrenner, U. (1987). La Ecología del Desarrollo Humano. Ediciones Paidós Ibérica S.A. Traducido del título original: The Ecology of Human Development (1979). Bustos, C., Herrera, M. y Mathiesen M. (2001). Calidad del Ambiente del Hogar: Inventario HOME - Como un Instrumento de Medición. Estudios Pedagógicos, Nº 27, pp. 7-22 De la Barra, F., Álvarez, P., Toledo, V., Rodríguez, J. y Caris, L. (1995). Pesquisa de maltrato infantil y juvenil. Revista Chilena de Pediatría. 66 (2); p. 112-117. Fraser, M., Kirk, R. and Reed-Ashcraft, K. (2001). The Reliability and Validity of the North Carolina Family Assessment Scale. Research on Social Work Practice; Vol.11, Nº 4, 503-520. http://rsw.sagepub.com/cgi/content/abstract/11/4/503 Gómez de Terreros, M. (2006). Maltrato Psicológico. Cuadernos de Medicina Forense; 12(4344):103-116. Gómez, E. y Haz, A. (2008). Intervención Familiar Preventiva en Programas Colaboradores del SENAME: La Perspectiva del Profesional. Psykhe, noviembre, año/vol. 17, Nº 002. Gómez, E., Muñoz, M. y Haz, A. (2007). Familias Multiproblemáticas y en Riesgo Social: Características e Intervención. Psykhe, Vol.16, Nº 2, p.43-54. Haz, A. y Ramírez, V. (2002). Adaptación del Child Abuse Potential Inventory en Chile: Análisis de las Dificultades y Desafíos de su Aplicación a partir de dos Estudios Chilenos. Child Abuse & Neglect, 26, 481-495. Hewitt, N. (2005). Factores Cognoscitivos de los Padres Asociados con la Co-Ocurrencia del Consumo de Alcohol y el Maltrato Físico de los Hijos. Acta Colombiana de Psicología, Vol.8, Nº 1, p.7-34. Illanes, E., Bustos, L., Vizcarra, M. B. y Muñoz, S. (2007). Violencia y Factores Sociales Asociados a Salud Mental en Mujeres de la Ciudad de Temuco. Revista Médica de Chile; 135: 326-334.
Confiabilidad inter-evaluadores NCFAS 40 Jiménez, I., Finlay, C., De la Paz, A., Portell, Y. y Canino, N. (2006). Morbilidad y Maltrato Infantil en Niños entre 7- 14 años en Consulta de Psicología. Revista Humanidades Médicas, Vol. 6, Nº 1. Johnson, M. A., Stone, S., Lou, C., Vu, C., Ling, J., Mizrahi, P. & Austin, M. J. (2006). Family assessment in child welfare services: Instrument comparisons. Berkeley, CA: University of California, Center for Social Services Research. Kirk, R. S. & Griffith, D. P. (2007). An examination of intensive family preservation services. Buhl, ID: The Anne Casey Foundation. Extraído el 20 enero, 2009, de http://www.nfpn.org/articlesmainmenu-34/105-ifps-research-report.html. Kirk, R. S., Kim, M. M. & Griffith. D. P. (2005). Advances in the reliability and validity of the North Carolina Family Assessment Scale. Journal of Human Behavior in the Social Environment,11(3/4), 157-176. Landis, J. y Koch, G. (1977). The measurement of observer agreement for categorical data. Biometrics; 33: 159-174. Latour, J., Abraira, V., Cabello, J. y López, J. (1997). Métodos de investigación en cardiología clínica (IV). Las mediciones clínicas en cardiología: validez y errores de medición. Revista Española de Cardiología, 50:117-28. Martín, A. y Cano, A. (2003). Atención primaria. Conceptos, organización y práctica clínica. Volumen 1. Elsevier, Madrid, España. Medina, P., Aracena, M. y Bilbao, M. (2004). Maltrato Físico Infantil y Apoyo Social: Un Estudio Descriptivo - Comparativo Entre Maltratadores Físicos y No Maltratadores de la Ciudad de Temuco. Psykhe, Vol.13, Nº 1, p.175-189.
Confiabilidad inter-evaluadores NCFAS 41 Moreno, J. (2005). Estudio Sobre las Implicaciones de la Psicopatología Parental, la Transmisión Intergeneracional y el Abuso de Sustancias Tóxicas en el Maltrato Infantil. Revista Colombiana de Psiquiatría, Vol.34, Nº 3, p.355-374. Norman y Streiner (1994). Bioestadistic. The Bare Essentials. Versión en español de la obra en inglés, traducida por Joan Tarrés, Universidad Complutense de Madrid, Ediciones Harcourt S.A., 1994, Madrid, España. Reed, K. B. (1998). The Reliability and Validity of the North Carolina Family Assessment Scale. Chapel Hill, NC: The University of North Carolina at Chapel Hill. Rodríguez, J. (1998). El menor y la familia: Conflictos e Implicaciones. Ed. Universidad Pontificia de Comillas, España. Salcedo, L., y Carvalho, A. M. (2005). Maltrato Infantil por Agresores bajo Efecto del Alcohol. Rev. Latino-Am. Enfermagem, Vol.13 (número especial): 827-35. SENAME. (2007). Bases técnicas para concurso de proyectos. Línea Programas de Protección en General. Programa de Intervención Breve. Modalidad de Prevención Focalizada. www.sename.cl/wsename/licitaciones/p3-2008/bases_tecnicas_PIB.pdf. Sociedad Chilena de Pediatría, Comité de Maltrato Infantil (2007). El Maltrato Infantil desde la Bioética: El Sistema de Salud y su Labor Asistencial ante el Maltrato Infantil, ¿Qué Hacer? Revista Chilena de Pediatría, 78, (Supl. 1): 85-95. Szklo, M. y Nieto, J. (2003). Epidemiología intermedia. Conceptos y aplicaciones. Ediciones Díaz de Santos, Madrid. UNICEF. (2008). Maltrato Infantil. Indicadores de infancia. www.unicef.cl Valencia, E. y Gómez, E. (2010). Una Escala de Evaluación Familiar Eco-Sistémica para Programas Sociales: Confiabilidad y Validez de la NCFAS en Población de Alto Riesgo Psicosocial. Psykhe, Vol. 19, N˚ 1, 89-103.
Confiabilidad inter-evaluadores NCFAS 42 Vizcarra, M., Cortés, J., Bustos, Luis et al. (2001). Maltrato Infantil en la Ciudad de Temuco: Estudio de Prevalencia y Factores Asociados. Revista Médica de Chile, Vol.129, Nº 12, p.14251432. Zegers, B., Larraín, M., Polaino-Lorente, A., Trapp, A., Diez, I. (2003). Validez y Confiabilidad de la Versión Española de la Escala de Cohesión y Adaptabilidad Familiar (CAF) de Olson, Russell & Sprenkle para el Diagnóstico del Funcionamiento Familiar en la Población Chilena. Revista Chilena Neuropsiquiatría, V.41, Nº 1.
Confiabilidad inter-evaluadores NCFAS 43
Nota de la Autora
Elizabeth Pino Silva, Psicóloga, candidata a Magíster en Psicología Jurídica y Forense de la Universidad de La Frontera, extiende los agradecimientos a la profesora guía de esta universidad, a las profesionales y directora del PIB Talcahuano Sur, al encargado de la Unidad de Diseño y Evaluación de Programas, a los directivos de la Sociedad Protectora de la Infancia, y a la directora del National Family Preservation Network, por haber contribuido con el desarrollo de esta investigación. Correspondencia relacionada con esta investigación debe ser enviada a los siguientes correos electrónicos:
[email protected],
[email protected],
[email protected]
Confiabilidad inter-evaluadores NCFAS 44 Anexo 1 A continuación, se señala un ejemplo del formato en el que se consigna la valoración cualitativa, en este caso, respecto del dominio Entorno. Simbología: CF: Clara Fortaleza
LF: Leve Fortaleza
A/LB: Adecuado/Línea Base
PL: Problema Leve
PM: Problema Moderado
PS: Problema Serio
Dominio 1: Entorno 1. Entorno en General 2. Estabilidad de la Vivienda 3. Seguridad en la Comunidad 4. Habitabilidad de la Vivienda 5. Ingreso/Empleo 6. Manejo Financiero 7. Comida y Nutrición 8. Higiene Personal 9. Transporte 10.
Entorno de Aprendizaje
CF LF A/LB PL PM PS
Confiabilidad inter-evaluadores NCFAS 45 Anexo 2 A continuación, a modo de ejemplo, se señalan las descripciones del ítem Entorno en General, dentro del dominio Entorno. Cabe recordar que los autores de la NCFAS han establecido la definición o descripción de 3 categorías (“clara fortaleza, adecuado/línea base, y “problema serio”), de un total de 6 ó 7. A. Entorno 1.
Entorno en General
+2 Clara Fortaleza
Se refiere a una familia recibiendo puntajes muy altos en las siguientes áreas: estabilidad de la vivienda, seguridad en la comunidad, habitabilidad de la vivienda, ingreso/empleo, manejo financiero, comida y nutrición, higiene personal, transporte, y entorno de aprendizaje.
0
Línea
Se refiere a una familia experimentando problemas mínimos en las
Base/Adecuada
siguientes áreas: estabilidad de la vivienda, seguridad en la comunidad, habitabilidad de la vivienda, ingreso/empleo, manejo finan., comida y nutrición, higiene personal, transporte, y entorno de aprendizaje. Sin embargo, los problemas no interfieren con la habilidad de la familia para funcionar, y los problemas no necesitan ser abordados.
-3
Problema Serio
Se refiere a una familia recibiendo muy bajos puntajes en las siguientes áreas: estabilidad de la vivienda, seguridad en la
Confiabilidad inter-evaluadores NCFAS 46 comunidad, habitabilidad de la vivienda, ingreso/empleo, manejo financiero, comida y nutrición, higiene personal, transporte, y entorno de aprendizaje.
Confiabilidad inter-evaluadores NCFAS 47 Anexo 3 Comparación Dupla 1 y 2 (con 6 ó 7 categorías) % de ítemes NCFAS según fuerza de la concordancia inter-evaluadores
50% 40%
DUPLA 1 44,4%
47,2%
41,7%
30%
8,3%
10%
ap pa (K
M
od e
na (K
Bu e
bu en a uy M
5,6%
13,9%0,0%
=1 ap -0 pa ,8 ra ) =0 da , (K 79 -0 ap ,6 pa Ba ) =0 ja , 5 In (K 9sig ap 0, 4) ni p a= fic 0, an 39 te -0 (K ,2 ap ) pa =0 ,1 90)
0%
DUPLA 2
30,6%
20%
0,0% 8,3%
DUPLA 2 DUPLA 1
Confiabilidad inter-evaluadores NCFAS 48 Anexo 4 Tabla 1: Dupla 1 con 6 (7) categorías Itemes NCFAS Valor Error Significación Índice estándar Kappa 1. Entorno en General 0,669 0,104 0,000
Fuerza concordancia Buena
2. Estabilidad de la Vivienda
0,523
0,102
0,000
Moderada
3. Seguridad en la Comunidad
0,617
0,114
0,000
Buena
4. Habitabilidad de la Vivienda
0,650
0,099
0,000
Buena
5. Ingreso/Empleo
0,560
0,111
0,000
Moderada
6. Manejo Financiero
0,604
0,111
0,000
Buena
7. Comida y Nutrición
0,671
0,117
0,000
Buena
8. Higiene Personal
0,687
0,141
0,000
Buena
9. Transporte
1,000
0,000
0,000
Muy buena
10. Entorno de Aprendizaje
0,361
0,118
0,000
Débil
11. Competencias Parentales en General 12. Supervisión del Niño(s)
0,130
0,114
0,151
Insignificante
0,225
0,103
0,004
Baja
13. Prácticas Disciplinarias
0,298
0,114
0,000
Baja
14. Entrega de Oportunidades de Desarrollo/Crecimiento 15. Salud Mental del Progenitor(es)/Cuidador(es) 16. Salud Física del Progenitor(es)/Cuidador(es) 17. Uso de Drogas/Alcohol del Progenitor(es)/Cuidador(es) 18. Interacciones Familiares en General 19. Apego con el Niño(s)
0,181
0,108
0,042
Insignificante
0,479
0,111
0,000
Moderada
0,659
0,113
0,000
Buena
0,480
0,129
0,000
Moderada
0,430
0,109
0,000
Moderada
0,433
0,108
0,000
Moderada
20. Expectativas sobre el Niño(s) 21. Apoyo Mutuo dentro de la Familia 22. Relación entre los Progenitores/Cuidadores
0,411
0,113
0,000
Moderada
0,413
0,120
0,000
Moderada
0,516
0,105
0,000
Moderada
Confiabilidad inter-evaluadores NCFAS 49
Itemes NCFAS
23. Seguridad Familiar en General 24. Ausencia/Presencia de Abuso Físico en el Niño(s) 25. Ausencia/Presencia de Abuso Sexual en el Niño(s) 26. Ausencia/Presencia de Abuso Emocional en el Niño(s) 27. Ausencia/Presencia de Negligencia en el Niño(s) 28. Violencia Doméstica entre los Progenitores/Cuidadores 29. Bienestar del Niño en General 30. Salud Mental del Niño(s)
Valor Índice Kappa 0,189
Error Significación estándar
Fuerza concordancia
0,138
0,068
Insignificante
0,353
0,122
0,001
Baja
0,844
0,092
0,000
Muy buena
0,725
0,100
0,000
Buena
0,593
0,106
0,000
Moderada
0,661
0,100
0,000
Buena
0,471
0,114
0,000
Moderada
0,660
0,111
0,000
Buena
31. Comportamiento del Niño(s)
0,438
0,126
0,000
Moderada
32. Desempeño Escolar
0,550
0,114
0,000
Moderada
0,464
0,117
0,000
Moderada
0,535
0,117
0,000
Moderada
0,286
0,128
0,000
Baja
0,748
0,110
0,000
Buena
33. Relación con el Progenitor(es)/Cuidador(es) 34. Relación con Hermano(s) 35. Relación con Pares 36. Cooperación/Motivación a Permanecer en la Familia
Confiabilidad inter-evaluadores NCFAS 50 Anexo 5 Tabla 2: Dupla 2 con 6 (7) categorías Itemes NCFAS Valor Error Significación Fuerza Índice estándar concordancia Kappa 1. Entorno en General 1,000 0,000 0,000 Muy buena 2. Estabilidad de la Vivienda
0,934
0,064
0,000
Muy buena
3. Seguridad en la Comunidad
0,856
0,091
0,000
Muy buena
4. Habitabilidad de la Vivienda
0,940
0,057
0,000
Muy buena
5. Ingreso/Empleo
0,702
0,103
0
Buena
6. Manejo Financiero
0,938
0,059
0,000
Muy buena
7. Comida y Nutrición
1,000
0,000
0,000
Muy buena
8. Higiene Personal
1,000
0,000
0,000
Muy buena
9. Transporte
1,000
0,000
0,000
Muy buena
10. Entorno de Aprendizaje
0,751
0,103
0
Buena
1,000
0,000
0,000
Muy buena
0,701
0,104
0
Buena
0,612
0,113
0
Buena
14. Entrega de Oportunidades de Desarrollo/Crecimiento 15. Salud Mental del Progenitor(es)/Cuidador(es) 16. Salud Física del Progenitor(es)/Cuidador(es) 17. Uso de Drogas/Alcohol del Progenitor(es)/Cuidador(es) 18. Interacciones Familiares en General 19. Apego con el Niño(s)
0,751
0,103
0
Buena
0,767
0,098
0
Buena
0,856
0,091
0,000
Muy buena
0,611
0,114
0
Buena
0,753
0,101
0
Buena
0,79
0,102
0
Buena
20. Expectativas sobre el Niño(s)
0,67
0,111
0
Buena
21. Apoyo Mutuo dentro de la Familia 22. Relación entre los Progenitores/Cuidadores 23. Seguridad Familiar en General 24. Ausencia/Presencia de Abuso Físico en el Niño(s)
0,591
0,101
0
Moderada
0,669
0,1
0
Buena
0,695
0,104
0
Buena
0,597
0,105
0
Moderada
11. Competencias Parentales en General 12. Supervisión del Niño(s) 13. Prácticas Disciplinarias
Confiabilidad inter-evaluadores NCFAS 51 Itemes NCFAS
Valor Índice Kappa 0,864
Error estándar
Significación
Fuerza concordancia
0,086
0,000
Muy Buena
0,802
0,098
0,000
Muy buena
0,816
0,093
0,000
Muy buena
0,774
0,092
0
Buena
0,64
0,107
0
Buena
30. Salud Mental del Niño(s)
0,64
0,107
0
Buena
31. Comportamiento del Niño(s)
0,875
0,080
0,000
Muy buena
32. Desempeño Escolar
0,717
0,098
0
Buena
0,64
0,108
0
Buena
0,573
0,11
0
Moderada
0,933
0,063
0,000
Muy buena
0,856
0,091
0,000
Muy buena
25. Ausencia/Presencia de Abuso Sexual en el Niño(s) 26. Ausencia/Presencia de Abuso Emocional en el Niño(s) 27. Ausencia/Presencia de Negligencia en el Niño(s) 28. Violencia Doméstica entre los Progenitores/Cuidadores 29. Bienestar del Niño en General
33. Relación con el Progenitor(es)/Cuidador(es) 34. Relación con Hermano(s) 35. Relación con Pares 36. Cooperación/Motivación a Permanecer en la Familia
Confiabilidad inter-evaluadores NCFAS 52 Anexo 6 Gráfico 2: Dupla 1 y 2 (con 2 categorías) Porcentaje de ítemes de NCFAS según fuerza de la concordancia interevaluador
70%
69,4%
DUPLA 1
60% 50%
DUPLA 2
52,8%
40% 30%
27,8%
20%
25,0%
10% 0%
2) ap p
K Ba ja (
(K ra da od e M
a= 0, 39
a= 0, ap p
ap p (K en a
Bu
-0 ,
59
a= 0,
-0 ,
79
4)
-0 ,
pa =1 en a( K ap bu uy M
0,0% 5,6%
6)
0, 8)
13,9% 5,6%
DUPLA 2 DUPLA 1
Confiabilidad inter-evaluadores NCFAS 53 Anexo 7 Tabla 3: Dupla 1 con 2 categorías Itemes NCFAS Valor Error Significación Fuerza Índice estándar concordancia Kappa 1. Entorno en General 0,738 0,105 0,000 Buena 2. Estabilidad de la Vivienda
0,880
0,081
0,000
Muy buena
3. Seguridad en la Comunidad
0,784
0,099
0,000
Buena
4. Habitabilidad de la Vivienda
0,946
0,052
0,000
Muy buena
5. Ingreso/Empleo
0,738
0,105
0,000
Buena
6. Manejo Financiero
0,787
0,098
0,000
Buena
7. Comida y Nutrición
0,818
0,099
0,000
Muy buena
8. Higiene Personal
1,000
0,000
0,000
Muy buena
9. Transporte
1,000
0,000
0,000
Muy buena
10. Entorno de Aprendizaje
0,684
0,117
0,000
Buena
0,473
0,130
0,000
Moderada
0,608
0,122
0,000
Buena
0,653
0,121
0,000
Buena
14. Entrega de Oportunidades de Desarrollo/Crecimiento 15. Salud Mental del Progenitor(es)/Cuidador(es) 16. Salud Física del Progenitor(es)/Cuidador(es) 17. Uso de Drogas/Alcohol del Progenitor(es)/Cuidador(es) 18. Interacciones Familiares en General 19. Apego con el Niño(s)
0,450
0,127
0,000
Moderada
0,538
0,118
0,000
Moderada
0,764
0,108
0,000
Buena
0,677
0,132
0,000
Buena
0,677
0,132
0,000
Buena
0,830
0,094
0,000
Muy buena
20. Expectativas sobre el Niño(s)
0,625
0,130
0,000
Buena
21. Apoyo Mutuo dentro de la Familia 22. Relación entre los Progenitores/Cuidadores 23. Seguridad Familiar en General
0,614
0,133
0,000
Buena
0,735
0,106
0,000
Buena
0,336
0,165
0,012
Baja
24. Ausencia/Presencia de Abuso Físico en el Niño(s)
0,444
0,142
0,000
Moderada
11. Competencias Parentales en General 12. Supervisión del Niño(s) 13. Prácticas Disciplinarias
Confiabilidad inter-evaluadores NCFAS 54 Itemes NCFAS
Valor Índice Kappa 1,000
Error estándar
Significación
Fuerza concordancia
0,000
0,000
Muy buena
0,748
0,118
0,000
Buena
0,818
0,099
0,000
Muy buena
0,780
0,101
0,000
Buena
0,723
0,110
0,000
Buena
30. Salud Mental del Niño(s)
0,784
0,099
0,000
Buena
31. Comportamiento del Niño(s)
0,622
0,125
0,000
Buena
32. Desempeño Escolar
0,634
0,122
0,000
Buena
0,880
0,081
0,000
Muy buena
0,475
0,137
0,000
Moderada
0,265
0,138
0,012
Baja
0,806
0,106
0,000
Muy buena
25. Ausencia/Presencia de Abuso Sexual en el Niño(s) 26. Ausencia/Presencia de Abuso Emocional en el Niño(s) 27. Ausencia/Presencia de Negligencia en el Niño(s) 28. Violencia Doméstica entre los Progenitores/Cuidadores 29. Bienestar del Niño en General
33. Relación con el Progenitor(es)/Cuidador(es) 34. Relación con Hermano(s) 35. Relación con Pares 36. Cooperación/Motivación a Permanecer en la Familia
Confiabilidad inter-evaluadores NCFAS 55 Anexo 8 Tabla 4: Dupla 2 con 2 categorías Itemes NCFAS Valor Error Significación Índice estándar Kappa 1. Entorno en General 1,000 0,000 0,000
Fuerza concordancia Muy buena
2. Estabilidad de la Vivienda
1,000
0,000
0,000
Muy buena
3. Seguridad en la Comunidad
1,000
0,000
0,000
Muy buena
4. Habitabilidad de la Vivienda
1,000
0,000
0,000
Muy buena
5. Ingreso/Empleo
0,877
0,080
0,000
Muy buena
6. Manejo Financiero
0,938
0,059
0,000
Muy buena
7. Comida y Nutrición
1,000
0,000
0,000
Muy buena
8. Higiene Personal
1,000
0,000
0,000
Muy buena
9. Transporte
1,000
0,000
0,000
Muy buena
10. Entorno de Aprendizaje
0,856
0,091
0,000
Muy buena
11. Competencias Parentales en General 1,000
0,000
0,000
Muy buena
12. Supervisión del Niño(s)
0,701
0,104
0,000
Buena
13. Prácticas Disciplinarias
0,790
0,102
0,000
Buena
0,933
0,063
0,000
Muy buena
0,870
0,083
0,000
Muy buena
0,856
0,091
0,000
Muy buena
0,727
0,110
0,000
Buena
0,807
0,098
0,000
Muy buena
19. Apego con el Niño(s)
0,790
0,102
0,000
Buena
20. Expectativas sobre el Niño(s)
0,670
0,111
0,000
Buena
21. Apoyo Mutuo dentro de la Familia
0,591
0,101
0,000
Moderada
0,816
0,093
0,000
Muy buena
0,695
0,104
0,000
Buena
24. Ausencia/Presencia de Abuso Físico 0,938 en el Niño(s)
0,059
0,000
Muy buena
14. Entrega de Oportunidades de Desarrollo/Crecimiento 15. Salud Mental del Progenitor(es)/Cuidador(es) 16. Salud Física del Progenitor(es)/Cuidador(es) 17. Uso de Drogas/Alcohol del Progenitor(es)/Cuidador(es) 18. Interacciones Familiares en General
22. Relación entre los Progenitores/Cuidadores 23. Seguridad Familiar en General
Confiabilidad inter-evaluadores NCFAS 56 Itemes NCFAS
25. Ausencia/Presencia de Abuso Sexual en el Niño(s) 26. Ausencia/Presencia de Abuso Emocional en el Niño(s) 27. Ausencia/Presencia de Negligencia en el Niño(s) 28. Violencia Doméstica entre los Progenitores/Cuidadores 29. Bienestar del Niño en General
Valor Error Significación Índice estándar Kappa 1,000 0,000 0,000
Fuerza concordancia Muy buena
1,000
0,000
0,000
Muy buena
0,816
0,093
0,000
Muy buena
0,876
0,080
0,000
Muy buena
0,751
0,101
0,000
Buena
30. Salud Mental del Niño(s)
0,754
0,104
0,000
Buena
31. Comportamiento del Niño(s)
0,873
0,082
0,000
Muy buena
32. Desempeño Escolar
0,817
0,092
0,000
Muy buena
0,694
0,110
0,000
Buena
0,573
0,110
0,000
Moderada
0,933
0,063
0,000
Muy buena
1,000
0,000
0,000
Muy buena
33. Relación con el Progenitor(es)/Cuidador(es) 34. Relación con Hermano(s) 35. Relación con Pares 36. Cooperación/Motivación a Permanecer en la Familia
Confiabilidad inter-evaluadores NCFAS 57 Anexo 9
Grafico 3: Comparación Dupla 1 y 2 (6/7 y 2 categorías) Porcentaje de ítemes NCFAS con fuerza concordancia "muy buena", "buena" y "moderada"
Dupla 1 (6 ó 7 cat.) 100,0% 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
100,0% 94,4%
Dupla 2 (6 ó 7 cat.)
77,8%
Dupla 1 (2 cat.)
0,0% 5,6% 22,2% 0,0%
Dupla 2 (2 cat.) Dupla 1 (2 cat.) Dupla 2 (6 ó 7 cat.)
Dupla 1 (6 ó 7 cat.) Muy Buena- BajaBuena- Insignific Moderad ante (Kappa= a (Kappa= 0,39-0) 1-0,4)
Dupla 2 (2 cat.)
