Evaluación integral de programas, rehabilitación integral de barrios : la experiencia de Palma de Mallorca

II Avaluació Socio-Educativa

Evaluación integral de programasRehabilitación integral de barrios. La experiencia de Palma de Mallorca

Lluís Ballester Brage, Carmen Orte Socias Universitat de les Illes Balears

Joan Manel Rosa González Ajuntament de Palma

Educació i Cultura (2001), 14: 51-66

Evaluación integral de programas-Rehabilitación ...

Evaluación integral de programasRehabilitación integral de barrios. La experiencia de Palma de Mallorca Lluís Ballester Brage, Carmen Orte Socias Universitat de les Illes Balears

Joan Manel Rosa González Ajuntament de Palma

Resumen En este artículo se presenta un modelo de evaluación integral de programas, desde el análisis de necesidades, previo al diseño, hasta los resultados y el impacto del mismo, pasando por el análisis del diseño, la gestión del proyecto y el proceso de ejecución. Se trata de un modelo basado en los cinco factores identificados que concluye con un análisis DAFO (Debilidades, Amenazas, Fortalezas y Oportunidades). El desarrollo y aplicación de dicho modelo se ha realizado centránd ose en el proyecto “El Temple”, presentado por el Ayuntamiento de Palma a la Iniciativa Comunitaria Urban y aprobado, mediante decisión C(98) 472, por la Comisión Europea. Dicho proyecto incluía la necesaria evaluación concurrente del proceso y de los resultados, para realizar dicha evaluación se preparó un concurso de empresas que fue ganado por un equipo de la Universidad de las Islas Baleares, a través de la Fundación Universidad-Empresa. Abstract In this article is presented an integral evaluation model of programs, from the needs analysis, previous to the design, until the results and the impact of the same, going through the analysis of the design, the effort of the project and the execution process. It is considered a model based on the five identified factors that concludes with an analysis WTSO-DAFO (Weaknesses, Threats, Strengths and Opportunities). The development and application of said model has been accomplished being centered in the “El Temple” project, presented by the Palma town hall to the Community Initiative Urban and approved, through decision C (98) 472, by the European Commission. Said project included the necessary concurrent evaluation (process) and of results, to accomplish said evaluation was prepared a companies competition that it was gained by a group of the University of the Balearic Islands (UIB), through the Fundación Universidad-Empresa.

1. La iniciativa comunitaria URBAN-El Temple (Palma de Mallorca) 1.1. Presentación El Plan de intervención sobre los barrios de Sa Gerreria y La Calatrava, de Palma de Mallorca, definidos como zona El Temple, constituye el hito culminante en el proceso de adecuación de la teoría y la práctica en la búsqueda de una acción integral que aúne la

53

Ballester Brage, L., Orte Socias, C., Rosa González, J. M.

actuación sobre espacio físico y monumental, al tiempo que dinamiza el componente poblacional e intensifica el flujo económico. Se trata de la síntesis perseguida, fruto de la experiencia y la revisión autocrítica, de toda la planificación desarrollada con anterioridad por los diferentes departamentos municipales del Ayuntamiento de Palma: Patronato Municipal de la Vivienda, Gerencia de Urbanismo, Servicios Sociales... El propio espacio urbanístico y humano propicia este tipo de actuación, dadas las características multidimensionales de las necesidades en dicha zona. El barrio de Sa Gerreria muestra las huellas de su origen medieval. Su peculiaridad consistía en ser un espacio dedicado a la concentración de hornos y talleres que trabajaban y cocían el barro para los diversos cometidos que la comunidad urbana precisaba. Históricamente su proceso de formación, crecimiento y expansión estuvo siempre vinculado al crecimiento y expansión del núcleo urbano. Indefectiblemente unido a éste, se conoce el proceso de su decadencia y franco declive, a medida que las técnicas y los procesos productivos avanzan hacia formas industrializadas. Decadencia y declive que, en muy superior medida que los experimentados por otros barrios, entra en un proceso de auténtica degradación de edificios y espacios urbanos sobre los que, en los últimos lustros, inevitablemente, viene a instalarse la marginalidad que hoy todavía lo ocupa. El resultado es un barrio en el que conviven poblaciones autóctonas normalizadas, pero envejecidas; poblaciones de jóvenes profesionales y comerciantes, llegados en la última década; y, finalmente, poblaciones marginales atraídas por los bajos alquileres, las oportunidades de ocultación de actividades no normativas y la posibilidad de reunirse con muchas otras familias con las que mantienen relaciones. 1.2. Breve historia de la actual intervención Siempre acogiéndose a la formulación PEPRI (Plan especial para la reforma interior), en Sa Gerreria se redactó en su momento un Plan que rompía plenamente con la línea seguida hasta el momento por el Ayuntamiento, ya que establecía una transformación total del barrio con grandes equipamientos, espacios libres y vialidad, sin respeto alguno a la trama actual. Este radicalismo en el planteamiento levantó una fuerte oposición entre las entidades ciudadanas, llegando incluso a crearse una Asociación de Vecinos en el barrio sobre todo para hacerle frente. Con la elección del nuevo Consistorio, se redacta un nuevo Plan y se inicia un proceso de discusión y consenso con entidades implicadas; en concreto: ARCA (Asociación para la Revitalización de Casco Antiguo), nueva Asociación de vecinos Canamunt y diferentes áreas municipales implicadas en la zona. En un período de dos años, se finaliza el nuevo Plan que únicamente mantiene del anterior el establecimiento del Equipamiento de Juzgados, comprometido en firme con el Ministerio de Justicia. Con la incorporación del mismo se intensifica la colaboración entre la Gerencia de Urbanismo y el Patronato Municipal de la Vivienda, consecuencia del decidido impulso dado por los políticos responsables de Urbanismo al establecer como prioritario el programa de rehabilitación de los barrios degradados del Centro Histórico. Por otra parte, el Ayuntamiento, al tiempo que inicia algunas intervenciones parciales tales como adquisición de algunos edificios que posibiliten la andadura del plan, consciente de la envergadura del programa a llevar a cabo y del elevado montante de su costo, considera la imposibilidad de acometerlo en solitario e inicia la gestión de búsqueda de alternativas que permitan sumar fuerzas y acelerar el proceso.

54

Evaluación integral de programas-Rehabilitación ...

La Convocatoria de la Iniciativa Comunitaria Urban, por parte de la Comisión Europea, se perfila en el horizonte como una posibilidad. Un primer intento fallido posibilita, no obstante, la constitución de un equipo pluridisciplinar que trabaja conjuntamente en el diseño de un proyecto más acabado; un equipo integrado por profesionales de diferentes áreas Municipales que colaboran con el Patronato Municipal de la Vivienda. Finalmente, una nueva convocatoria de la Iniciativa Urban II de la Comunidad Europea (1997-1999), permitió presentar un programa coherente que fue seleccionado por la Comisión del Ministerio de Economía y Hacienda, como uno de los mejores proyectos españoles presentados. El llamado Plan “Urban. El Temple” afecta al espacio urbano conformado por los barrios de Sa Gerreria y La Calatrava con El Temple actuando como nexo de unión. El Ayuntamiento, consciente de la trascendencia del Plan concedido, que posibilitaba, al fin, una importante y ambiciosa actuación en la zona y consciente de la oportunidad histórica que supone para Palma su ejecución exitosa, crea un organismo específico para llevarlo a la práctica: el Consorcio Mirall Palma-Centre que, en colaboración con el resto de organismos municipales, Patronato de la Vivienda, Gerencia de Urbanismo y Departamento de Servicios Sociales despliegan en la actualidad una importante actividad para conseguir alcanzar los objetivos señalados. El Patronato, una vez aprobado el PEPRI de Sa Gerreria incorpora en su programa las actuaciones de vivienda de este barrio, iniciando la adquisición, redacción de proyectos y primeras actuaciones en rehabilitación. La primera rehabilitación de un edificio de viviendas en el corazón de Sa Gerreria contenía un local en planta baja, anteriormente ocupado por un bar de citas, cuya superficie cubría las necesidades del Patronato. Por ello se consideró oportuno trasladar la sede a este nuevo local, en el barrio donde se desarrollaría su actividad principal en la siguiente década. La implantación del Patronato en Sa Gerreria ha supuesto un hito muy positivo en el barrio frente a comerciantes y vecinos, en cuanto a credibilidad y confianza, además de que ha permitido observar y conocer de cerca la vida y problemática diaria del barrio. 1.3. Programa operativo global A partir de los planteamientos básicos señalados y de las iniciativas en marcha, especialmente la Iniciativa Comunitaria Urban, el Ayuntamiento despliega todo un dispositivo de intervenciones que, estructuradas, componen el Programa Operativo Global, y que confluyen principalmente en el barrio de Sa Gerreria, aunque en su ámbito de aplicación se incluya también el barrio de Sa Calatrava. A través del mismo, el Consorcio Mirall-Palma Centre —su responsable ejecutivo— persigue los siguientes objetivos: Recuperar el Centro Histórico para la ciudad Promover el retorno de la población al centro de Palma Potenciar el turismo de calidad Recuperar la población marginal Reactivar económicamente el Centro Histórico La relación de 1as actuaciones eje incluidas en el Programa Operativo quedan sintetizadas de la siguiente forma:

55

Ballester Brage, L., Orte Socias, C., Rosa González, J. M.

Iniciativa Comunitaria Urban para la reforma urbanística y social del barrio. Plan Miral para la rehabilitación de fachadas y dotación de infraestructuras. Dotación de equipamientos públicos. Recuperación del Baluard del Príncep. Proyecto “Nou Estel” (Unidad de ejecución privada para la rehabilitación integral de un sector gravemente degradado de Sa Gerreria) Plan de vivienda pública No vamos a entrar en las diversas actuaciones, basta considerar que, en este marco se inscribe la Iniciativa Comunitaria Urban. Urban es una Iniciativa de la Comisión de la Comunidad Europea, dedicada a zonas urbanas, con 1a finalidad de fomentar actuaciones innovadoras que traten de forma integrada los problemas urbanos. Esto implica, como cometidos expresos, la estimulación y la creación de empresas, la mejora de las infraestructuras y el entorno físico, el impulso de la formación profesional, la introducción de medidas que fomenten la igualdad de oportunidades y la creación de instalaciones sociales. En concreto, la Iniciativa Comunitaria Urban tiene ya iniciadas y concluirá en su día las actuaciones que se han enumerado antes. 1.4. Características de la iniciativa comunitaria URBAN-El Temple El conjunto de programas y proyectos que componen la iniciativa se pueden caracterizar de forma resumida según las siguientes notas: — Se trata de un conjunto de programas y proyectos claramente interrelacionados. Hay una importante dependencia mutua entre ellos, pero también una importante coherencia en los diversos planteamientos. Dicha interdependencia e interrelación, se abordan desde la coherencia de la concepción de la rehabilitación integral, claramente desarrollada. El análisis separado de los diversos proyectos y programas, que en este informe estamos obligados a hacer por cuestiones de evaluación detallada, no puede olvidar este aspecto de — Son programas extraordinarios, programas que se desarrollan sobre la base de las actuaciones que ya se están desarrollando desde los Servicios Sociales municipales, el Patronato Municipal de la Vivienda, etc. Una lectura apresurada de los mismos que no tenga esto en cuenta puede considerar que hay importantes lagunas, pero justamente esa capacidad de adaptación, esa voluntad de completar lo que ya se estaba haciendo sin crear problemas de coordinación, son una de las características de dicha iniciativa URBAN-El Temple. —En este sentido también se debe considerar que son programas orientados a modificar radicalmente una realidad social, pero que tienen un tiempo limitado. Una vez cumplidos sus objetivos, acaba la iniciativa URBAN-El Temple, siendo gestionados y dirigidos los equipamientos, los servicios, etc. por las unidades administrativas designadas en su momento por la administración, seguramente por los Servicios Sociales municipales y el Patronato Municipal de la Vivienda. —La dirección y gestión, desde los estudios iniciales hasta el momento actual de ejecución, pasando por el diseño y la constitución de equipos, la dirección y gestión de los programas se ha caracterizado por su capacidad de adaptación y su flexibilidad para abordar los cambios que se han ido produciendo. En este marco se desarrolla el presente trabajo de evaluación de la iniciativa URBAN-El Temple, de acuerdo a un modelo integral de evaluación de los programas:

56

Evaluación integral de programas-Rehabilitación ...

1.- Programa de Mejora del Medio Ambiente Urbano 2.- Programa de Tejido Económico 3.- Programa de Equipamientos Sociales PROGRAMAS URBAN

4.- Programa de Equipamientos para Formación 5.- Programa de Seguimiento, Evaluación y Divulgación 6.- Programas Sociales 7.- Programas de Formación e Inserción Laboral

2. Metodología DE LA EVALUACIÓN 2.1. Planteamiento general El equipo que ha desarrollado los diversos estudios, ha entendido la evaluación externa como la valoración de los recursos y procesos desarrollados para el cumplimiento de la finalidad inicialmente planteada en el programa de acciones de la Iniciativa Comunitaria Urban-El Temple. Para realizar dicha evaluación se tuvo presente la necesidad de conocer los diversos programas y proyectos en cuatro dimensiones: a. Actividades realizadas Conocer los que se ha hecho hasta el momento de la evaluación. Este conocimiento sirve de base para la evaluación de la eficiencia. b. Realizaciones Conocer los equipamientos y servicios producidos. Este conocimiento sirve de base para la evaluación de la efectividad. c. Resultados obtenidos Conocer los efectos directos e inmediatos de las actividades y realizaciones. Este conocimiento sirve de base para la evaluación de la eficacia. d. Impactos a largo plazo Conocer los cambios significativos en las necesidades y en la convivencia conseguidos. Este conocimiento sirve de base para la evaluación de los escenarios de futuro que la Iniciativa Comunitaria Urban-El Temple se planteaba conseguir finalmente.

57

Ballester Brage, L., Orte Socias, C., Rosa González, J. M.

Dado el momento de desarrollo de los diversos programas y proyectos, en unos casos más avanzado y en otros todavía en fase de lanzamiento de actividades, se decidió evaluar la Iniciativa prestando atención a los cinco factores clave de cualquier proyecto: a. Evaluación del análisis de las necesidades Se parte del supuesto de que no puede haberse aprobado una actuación sin una clara fundamentación en un análisis de las necesidades. Las actuaciones a desarrollar pretenden incidir sobre determinada realidad, mejorando la calidad de vida de la población de manera directa o indirecta, de tal manera que se debe conocer dicha situación inicial. En la evaluación se pretende conocer hasta qué punto se hizo correctamente el proceso previo de análisis de la realidad. b. Evaluación del diseño del proyecto Un proyecto que consume recursos públicos debe estar claramente previsto, tener objetivos evaluables, argumentar las estrategias decididas, explicar qué recursos se necesitan, definir la temporalización de las actuaciones, etc. de tal manera que dicho proyecto pueda ser conocido por los responsables políticos, por la población y por los profesionales que lo van a desarrollar. El proyecto debe ser, sin embargo, una guía flexible. Se entiende que no todo puede estar previsto, que algunas circunstancias cambien, que la respuesta de la población en uno u otro sentido obligue a replantear algún aspecto del proyecto, pero en cualquier caso el proyecto no puede desarrollarse de forma errática. Eso es lo que se intenta evaluar, la calidad del proyecto en tanto que guía flexible de un proceso, en tanto que documento en el que se sintetiza una reflexión sobre las necesidades, las estrategias de actuación, los medios necesarios, etc. c. Evaluación del proceso de gestión La gestión de los recursos, la definición del sistema informativo, la constitución de los equipos, el sistema de coordinación establecido, son aspectos fundamentales para el desarrollo del proyecto. La evaluación del proceso de gestión pretende valorar la capacidad de gestión de los responsables de los diversos procesos. Un buen análisis de necesidades junto a un magnifico diseño del proyecto pueden fracasar por una mala gestión de los procesos antes identificados. La implementación, es decir, la garantía de que se hace operativo lo que se ha diseñado, es lo que se evalúa. d. Evaluación del proceso de ejecución Todo lo que se ha planteado en el proyecto y se ha implementado a través de determinado proceso de gestión, ha de ser correctamente ejecutado por todos los profesionales implicados. El día a día de la aplicación del proyecto, la capacidad de adaptación a los cambios, la efectividad y la eficacia de las acciones desarrolladas es lo que se pretende conocer y enjuiciar. e. Evaluación de los resultados y del impacto Si todo se ha desarrollado correctamente pero no se han producido los cambios esperados, si se han producido cambios no buscados y, además, estos son negativos, el conjunto del proyecto ha fracasado. En todo caso, se podrá decir si se ha producido un resultado positivo o negativo si se han podido cumplir los objetivos planteados en el diseño. Todos y cada uno de los proyectos se han planteado desde esta perspectiva, pero sabiendo que en algunos proyectos se debía tener presente que no se podrían desarrollar la

58

Evaluación integral de programas-Rehabilitación ...

evaluación de los cinco factores clave, sea porque su desarrollo aún era incipiente o porque sus características no permitían un tratamiento muy estricto de dichos factores, como es el caso de los equipamientos. La evaluación de conjunto del proyecto se plantea mediante un análisis DAFO, es decir, estableciendo valoraciones sobre: a. Principales puntos Débiles Se entiende que los puntos débiles son todas aquellas situaciones, circunstancias, hechos o procesos actuales e internos que afectan negativamente a la buena marcha del proyecto y, por consiguiente, a la posibilidad de producir los resultados previstos. b. Principales Amenazas Son todos los factores que actualmente se presentan como riesgos, es decir, como procesos que pueden llegar a producir obstáculos o limitaciones. Tienen un carácter potencial. c. Principales puntos Fuertes Se entiende que los puntos fuertes son todas aquellas situaciones, circunstancias, hechos o procesos actuales e internos que afectan positivamente a la buena marcha del proyecto y, por consiguiente, a la posibilidad de producir los resultados previstos. d. Principales Oportunidades Son todos los factores que actualmente se presentan como oportunidades que bien aprovechadas permiten mejorar los procesos y resultados previstos. Tienen un carácter potencial. Con estas valoraciones generales se puede superar la evaluación en positivo y negativo, se pueden captar los matices de cada realidad evaluada. También se pretende superar las valoraciones sincrónicas, intentando pensar en términos de procesos. Al margen de los planteamientos apuntados, se ha considerado que un buen criterio, para poder evaluar un proyecto tan complejo, es la comparación con otros modelos de evaluación. Han sido considerados dos modelos: — los diseños de evaluación del resto de los proyectos URBAN en el resto de España1, se pretende conocer cómo se plantea la evaluación en los proyectos del mismo tipo, de tal manera que se pueda juzgar la amplitud de la evaluación, su rigor metodológico, los productos esperados, etc.; — los diseños de evaluación de diversos programas europeos de tipo similar (sociales), intentando establecer un juicio sobre el proyecto a partir de los estándares de evaluación europeos. Normalmente, en la mayoría de proyectos, se plantean sistemas de seguimiento muy formales (especialmente centrados en el gasto y las realizaciones), así como evaluaciones poco precisas (basadas sólo en grupos de discusión). A continuación se presentan los resultados más relevantes de los análisis comparativos.

1

Se han presentado muchas dificultades para el intercambio de diseños de evaluación e información con otros responsables de evaluación.

59

Ballester Brage, L., Orte Socias, C., Rosa González, J. M.

a. Sistemas de seguimiento y evaluación de los proyectos Urban La evaluación concurrente no es obligatoria, al margen de los informes de seguimiento que deben producirse cada semestre, pero algunos proyectos han desarrollado sistemas de evaluación concurrente externa. 1. BADALONA. Mediante un convenio de colaboración con la FUNDACIÓN JAUME BOFILL. 2. CARTAGENA. Mediante la contratación del CENTRO DE INVESTIGACION PARA EL DESARROLLO. 3. CASTELLÓN. Mediante la contratación de la empresa INSTITUTO DE ECONOMIA PUBLICA, S.L. 4. MURCIA. Mediante la contratación de la empresa PROINTEC 5. STA. COLOMA de Gramanet. Mediante la contratación de la empresa CDI Consultors. 6. TELDE. Mediante la contratación de un equipo de la UNIVERSIDAD DE LAS PALMAS DE GRAN CANARIAS. El estudio de dichos proyectos permite diferenciar las experiencias más elaboradas, tal como la que se prepara en Murcia, de otras experiencias más limitadas, como la desarrollada en Santa Coloma, basada esta última exclusivamente en grupos de discusión formados por el personal implicado en la iniciativa. Comparativamente, el proyecto de seguimiento y evaluación de Palma de Mallorca es de los más elaborados, desarrollando un modelo propio que se presenta en este artículo. Otros proyectos desarrollan evaluaciones finales externas: 1. LEÓN. Mediante la contratación de un equipo de la Universidad de León. 2. SEVILLA. Mediante la contratación de un equipo de la Universidad de Sevilla. 3. VALLADOLID. Mediante la contratación de un equipo de la Universidad de Valladolid. En estos tres casos las evaluaciones son comparables con la que se realiza en Palma. La conclusión de estas comparaciones es positiva. No se puede prever el resultado final de las evaluaciones2, pero sí se puede considerar satisfactorio el proyecto diseñado en base al modelo de cinco factores para garantizar que la evaluación sea correcta. b. Recomendaciones sobre evaluación de programas europeos En relación a las recomendaciones europeas, en términos generales, el conjunto del proyecto de seguimiento y evaluación, respeta las recomendaciones internacionales (FONDOS ESTRUCTURALES COMUNITARIOS, 1999)3, en la mayoría de los criterios considerados: — deben complementarse evaluaciones internas (mediante la creación de estructuras de gestión: “comités de seguimiento”) y externas (garantizando la independencia de los evaluadores);

2

Se puede documentar que el nivel de compromiso y ejecución del Urban de Palma es de los más avanzados de España.

3

Recomendaciones aplicables con flexibilidad según el tipo de programas. Se citan según el documento de recomendaciones más actualizado.

60

Evaluación integral de programas-Rehabilitación ...

— todos los proyectos deben tener objetivos evaluables y definición de las secuencias de actuación; — debe disponerse de sistemas informativos eficientes; — el coste de la evaluación no debe superar el 0,5% del presupuesto del conjunto del programa4. 2.2. Fases de la evaluación La evaluación se desarrolla a lo largo de un proceso que tiene una duración de tres años, la primera fase fue el diagnóstico de las necesidades, la segunda la evaluación concurrente del proceso, la tercera, la evaluación de resultados. El conjunto del proceso de evaluación se puede identificar como formado por tres amplias fases o etapas: Primera etapa Evaluación de las necesidades, basada en un diagnóstico social y demográfico elaborado a lo largo del año 1998. Dicho diagnóstico general permitió establecer las bases generales de las líneas de intervención. Igualmente, la estrategia general de las intervenciones puede decirse que se establece a partir de dicho diagnóstico. El nivel de conocimiento de dicho diagnóstico es desigual, en algunos casos los profesionales contratados desconocen su existencia, pero los responsables de los diversos programas sí lo conocen y disponen, además, de otros análisis realizados por los servicios sociales del Ayuntamiento de Palma, los servicios sociales de Caritas y otros materiales diversos. Segunda etapa Evaluación concurrente de los proyectos. Esta evaluación se desarrolla en dos fases diferenciadas, la primera de ellas concluye con el informe actual, realizado desde octubre de 1999 hasta enero del presente año 2000. En el contrato inicial5 se debía entregar el informe antes de la finalización del año 1999, pero tras una reunión conjunta de responsables de la Iniciativa URBAN y del Equipo de Evaluación, se consiguió una ampliación del plazo de entrega del informe, estableciendo la fecha máxima de entrega del borrador del primer informe para el día 31 de enero del año 2000.6 La segunda fase se desarrolla a lo largo de los años 2000 y 2001 y concluirá, con un informe de seguimiento, que debe ser entregado a finales del mes de abril de 2001. Tercera etapa Evaluación final (“ex-post”), centrada en el análisis de los resultados y el impacto del conjunto de los programas. Esta etapa concluye con la realización de un informe que debe ser entregado en enero del año 2002.7

4

El 0,5% de 2.700 millones de pesetas son 13,5 millones. La cantidad total de los dos contratos de evaluación es inferior a los 8 millones de pesetas. El coste suplementario de otras actividades de evaluación sitúa el presupuesto total en una cantidad similar al límite recomendado. 5

Dicho contrato se firmó el 7 de julio de 1999 entre don Carlos Ripoll y Martínez de Bedoya, Presidente del Consorci Mirall-Palma-Centre, y don Llorenç Huguet Rotger, Presidente de la Fundación Universidad-Empresa de las Islas Baleares.

6

Dicha modificación de los plazos se comunicó mediante escrito del Jefe del Dept. de Evaluación y Seguimiento, de 10 de diciembre de 1999 (Registro salida del Consorcio Mirall-Palma-Centre número 1538/99).

7

Esta evaluación final también ha sido acordada mediante contrado escrito, firmado también el 7 de julio de 1999 entre don Carlos Ripoll y Martínez de Bedoya, Presidente del Consorci Mirall-Palma-Centre, y don Llorenç Huguet Rotger, Presidente de la Fundación Universidad-Empresa de las Islas Baleares.

61

Ballester Brage, L., Orte Socias, C., Rosa González, J. M.

En esta tercera fase se completa todo el proceso de evaluación, de tal manera que incluye una revisión de los factores clave: análisis de las necesidades, diseño de los proyectos y programas, gestión del proceso, ejecución y realizaciones, y finalmente resultados e impacto de toda la actividad. Con el siguiente esquema se puede resumir todo el conjunto del proceso de evaluación:

Evaluación de las necesidades Diagnóstico sociodemográfico (1998)

Evaluación concurrente Primera fase (1999)

Evaluación concurrente Segunda fase (2000)

Evaluación final Resultados e impacto (2001)

2.3. Recogida y análisis de la información en cada fase En la primera fase de evaluación concurrente el planteamiento de análisis y, en consecuencia, de recogida de información, es bastante diferente del que se podrá realizar en la última fase de la evaluación. El análisis, en la primera fase, se centra en el proceso de diseño de los proyectos, en su concreción en un documento, en el proceso de gestión inicial y de readaptación de los proyectos, en el proceso inicial de ejecución y en los primeros resultados. Cada tipo de proyecto tiene tiempos diferentes, por eso este planteamiento general se concreta en cada caso con matices diferentes, tal como se verá en los respectivos informes de evaluación. La segunda fase de la evaluación concurrente, se centra en el proceso de ejecución, la evaluación de resultados, en la percepción por parte de la población y en la previsión de impactos a medio y largo plazo. Las técnicas de recogida de datos utilizadas para poder cumplir los planteamientos de la primera fase son las siguientes: 2.3.1. Análisis de toda documentación producida Se ha hecho una consulta sistemática de toda la documentación escrita, fuera información oficial o interna, es decir, información producida por los profesionales para uso por parte de la organización. El acceso a la documentación oficial ha sido completo y desde el primer momento. El problema con esta documentación se puede resumir fácilmente:

62

Evaluación integral de programas-Rehabilitación ...

a. algunos proyectos tienen una documentación oficial muy técnica, basada casi exclusivamente en planos, sin que se puedan conocer ampliamente el planteamiento concreto de algún proyecto si sólo se consulta la documentación escrita; b. en algunos proyectos la documentación oficial no responde a la realidad actual de los proyectos, sea porque se han producido cambios importantes de planteamientos, sea porque una parte de los objetivos estratégicos no está escrita. Ante estos problemas, la solución es la consulta de toda la información interna, aunque el acceso a la misma es más difícil. El acceso a dicha documentación ha sido facilitado por los responsables de los programas, pero en algunos programas no se ha podido conocer toda la documentación interna desde el principio, especialmente la documentación referida a los cambios que se habían ido produciendo a lo largo de la implementación de los diversos proyectos. Esta dificultad se ha podido superar a partir de los contactos personales, las entrevistas y las referencias cruzadas entre los diversos implicados en los proyectos. El estudio de la documentación ha permitido un primer nivel de análisis, basado en los diseños. El equipo evaluador entiende que no puede haber ninguna decisión relevante que no se recoja en un documento, con una fundamentación clara, una detallada explicación de lo que se pretende realizar, etc. Cualquier actuación relevante significa una asignación de recursos públicos, de tal manera que debe poder conocerse y, en la mayoría de casos, aprobarse por parte de las instancias de dirección política y técnica. Finalmente hay un tercer tipo de documentación no producida por los profesionales implicados en los programas. Se trata de la documentación elaborada por periodistas y otros agentes sociales, sea para su divulgación en un medio de comunicación (revistas, periódicos, radio y televisión) o la divulgación directa (escritos de las asociaciones de vecinos y otras entidades). También hay que considerar los textos preparados para el conocimiento por parte de otras organizaciones. Para poder analizar dicha información se solicitó acceso a la hemeroteca que elabora el mismo equipo de divulgación de la Iniciativa URBAN. Se pudo conocer si ningún problema dicho material, siendo después ampliado con consultas directas. La preparación de una base de datos permitió su análisis detallado. 2.3.2. Entrevistas Tal como se ha dicho antes, la documentación escrita, oficial o interna, no permitía un conocimiento detallado del estado actual de los proyectos. El carácter tan dinámico de los mismos ha limitado su registro por escrito, de tal manera que sólo mediante entrevistas personales con los profesionales implicados en los proyectos, permite completar las interpretaciones. Las entrevistas fueron planteadas según dos fases diferenciadas: a. entrevistas iniciales de contacto, en estas primeras entrevistas se pretendía conseguir una primera aproximación a los proyectos, en muchos casos aun no se conocía toda la documentación o no se sabía que era parcialmente obsoleta; b. entrevistas focales, en estas conversaciones se pretendía realizar una contrastación de las interpretaciones realizadas a partir de la documentación y primeros contactos. El tiempo reducido de que se disponía ha limitado esta fase de entrevista, debiendo ampliarse y mejorarse a lo largo de este año, pero a pesar de las limitaciones en algunos casos ha sido determinante para poder establecer las conclusiones.

63

Ballester Brage, L., Orte Socias, C., Rosa González, J. M.

También se han realizado entrevistas a responsables de diversas entidades y profesionales de la zona. El tipo de análisis que se pretendía realizar en esta fase no requería un desarrollo exhaustivo de dicho tipo de entrevistas, especialmente para evitar el cansancio de las entidades y profesionales, que deberán ser entrevistados en profundidad en fases posteriores. Dichas entrevistas se realizaron especialmente para poder completar las interpretaciones de los proyectos sociales, por eso en dichos proyectos se contó con investigadores colaboradores que permitieron ampliar la capacidad de consulta de forma muy significativa. 2.3.3. Observación directa Es evidente que la mayoría de los proyectos se materializan en diversos tipos de realizaciones, en algunos casos mediante edificaciones y obras públicas, en otros mediante actividades con la población, actividades de divulgación, etc. Cada proyecto contaba con evaluadores que han realizado las observaciones. En algunos casos se ha podido hacer observación sistemática, en otros casos sólo observaciones puntuales. Los informes de los proyectos detallan el nivel de observación realizado. El mismo sistema de seguimiento de los proyectos tiene un sistema de registro observacional, basado en imágenes fotográficas producidas periódicamente, de tal manera que se puede disponer de un buen registro de los cambios. Pero dicha información gráfica sólo capta el paisaje urbano, es necesaria una observación sobre las actividades humanas, realizada por profesionales que pueden interpretar dicha actividad. Justamente eso es lo que se ha intentado hacer en esta fase. En la segunda fase de la evaluación concurrente se espera completar dichas recogidas de información con otras técnicas, siendo especialmente relevante el análisis de la revisión padronal del año 2000 y su comparación con los datos recogidos en el análisis de necesidades de 1998; así como una encuesta a la población, para captar, entre otras cosas, su percepción de la Iniciativa URBAN, el nivel de satisfacción, su situación social y las expectativas.

Bibliografía AA.VV. (1985). «Equipamiento urbano hoy: de los estándares a la eficacia social del servicio». CEUMT. La revista municipal, 91, 1-61. ABARCA PONCE, M. P. (1989). La evaluación de programas educativos. Madrid :AEDES/Escuela española. AGUILAR, M. J. Y ANDER-EGG, E. (1992). Evaluación de servicios y programas sociales. Madrid: Siglo XXI.. Ajuntament de Palma (1997). Projecte d’execució de la rehabilitació de l’edifici Gerreria. Palma. Ajuntament de Palma (1998). Dades per un diagnòstic social de Palma. Ciutat Antiga. Tom 1. Regidoria d’Acció Social. Ajuntament de Palma. Pla Especial per a la Gerreria, VII vols. Palma ALVIRA, F. (1991). Metodología de la evaluación de programas. Madrid: AMEZCUA, C. Y JIMÉNEZ A. (1996). Evaluación de programas sociales. Madrid: Díaz de Santos. BAIGORRI, A (1995) «Del urbanismo multidisciplinario a la urbanística transdisciplinaria. Una perspectiva sociológica.» Ciudad y Territorio. Estudios Territoriales, III, 104, 315-327.

64

Evaluación integral de programas-Rehabilitación ...

BALLESTER, L. (1999). Las necesidades sociales. Teorías y conceptos básicos. Madrid: Editorial Síntesis S.A. BALLESTER, LL., BELLOD, P., SANTIAGO, J. (1998). Estudi social del barri de El Temple (Sa Gerreria-La Calatrava). Iniciativa Comunitària Urban. Unió Europea, Govern Balear, Ajuntament de Palma BETTIN, G. (1982). «Georg Simmel: El individuo y la metrópoli», En Colección Arquitectura / Perspectivas. «Los sociólogos de la ciudad» (pp. 63-165). BOUZA, F., (1991) «Ciudad y Conflicto Social» Ciudad y Territorio, 4, 309-321. BUSTELO, M. (1990). “La evaluación de programas de intervención comunitaria”. Cuadernos de Acción Social, 26. CALVO DE MORA, J. (1991). Evaluación educativa y social. Granada:Universidad de Granada. CANOSA, E., Y RODRIGUEZ, I. (1985) «Urbanización marginal en la periferia noreste de Madrid» Ciudad y Territorio. Octubre-diciembre, 11-40. COHEN, E. Y FRANCO, R. (1993) Evaluación de proyectos sociales. Madrid: Siglo XXI Editores S.A. COMISION DE LAS COMUNIDADES EUROPEAS. Manual de gestión del ciclo de un proyecto. Enfoque integrado y marco lógico. Serie métodos e instrumentos para la gestión del ciclo de un proyecto. Nº1. Febrero de 1993. CRONBACH, L. J. (1989). Designing evaluations of educational & social programs. San Fco.-London:Lossey-Bass publishers. DELGADO, J. F. (1993). Cuestiones sobre planificación, evaluación y gestión de los servicios sociales comunitarios. Madrid: MAS. INSERSO. ESPINOZA, M. (1986). Evaluación de proyectos sociales. Buenos Aires: Humanitas. EUROPEAN COMMISSION STRUCTRURAL FUNDS (1996). Common guide for monitoring and interim evaluations. European Commission. Bélgica-Bruselas. FERNANDEZ DEL VALLE, J. (1998). Manual de programación y evaluación para los centros de protección a la infancia. Salamanca: Junta de Castilla y León. Consejería de Sanidad y Bienestar Social. FERNANDEZ, F., (1994) «Una política para las ciudades. Desarrollo del Plan Director de Infraestructuras en Medio Urbano». Ciudad y Territorio, II 99, 19-23. FERNANDEZ, R. (1995). Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Síntesis. FONDOS ESTRUCTURALES COMUNITARIOS (1999). Evaluación para una mejor gestión. Revisión intermedia de los programas estructurales. Objetivos números 1 y 6. Bélgica-Bruselas. FORTUNY, T., GASPAR, P. (1996). Proyecto edificio “Casal Ciutat Antiga”. Área de rehabilitación Sa Calatrava. Centro Histórico de Palma. Palma de Mallorca. Documento fotocopiado. FRIEDMAN, J. (1991). Planificación en el ámbito público. Madrid : MAP. FROUFRE, S., SANCHEZ, M. A.(1991). Planificación e intervención socioeducativa. Salamanca:Amarú. GAIARIN, J. Y FRENANDEZ ARENAZ, A. (1997). Planificación y gestión de Instituciones de Formación. Barcelona. Ed. Praxis. GARCIA, G. A. Y RAMIREZ, J. M. (1996). Diseño y evaluación de proyectos sociales. Zaragoza: Certeza. INTRESS (1986). Rehabilitación de barrios. Barcelona: INTRESS JOINT COMITTE ON STANDARDS FOR EDUCATION (1988). Normas de evaluación para programas, proyectos y material educativo. México:Trillas.

65

Ballester Brage, L., Orte Socias, C., Rosa González, J. M.

LEAL, J. Y RIOS, J., (1985) «Políticas sociales y diseño urbano». CEUMT. Diseño urbano como forma de intervención municipal en la ciudad, 85, 59-63 LLES, C. (1985) «Necesidades y diseño». CEUMT. Diseño urbano como forma de intervención municipal en la ciudad, 85, 53-58. MANGADA, E., (1993) «Grandes equipamientos para grandes ciudades», Ciudad y Territorio, I (95-96), 199-207. MEDINA, M. (1996). Gestión de Servicios Sociales. Murcia: DM. PÉREZ-CAMPANERO, Mª P. (1991). Como detectar las necesidades de intervención socioeducativa. Madrid: Narcea. ROCA, J. Y FORTUNY, T., (1985) «Sobre el Plan Especial de reforma interior del Jonquet en Palma de Mallorca» Ciudad y Territorio. Julio-septiembre, 37-53. RODRIGUEZ, B. (1992). Pautas para la evaluación de la eficacia de los centros, (guia práctica). Madrid-Gijón: Júcar. ROMAÑA, T. (1999). «Monografia: Arquitectura i Educació». Temps d’Educació. Revista de la Divisió de Ciències de l’Educació, 19, 7-63. RUEDA J. M. (1993). Programar, implementar proyectos, evaluar. (instrumentos para la acción). Zaragoza: Certeza. SANCHEZ-CASAS, C., (1985) «Un contexto teórico para la definición conceptual del espacio urbano (I). CEUMT. Diseño urbano como forma de intervención municipal en la ciudad, 85, 7-12. STUFFLEBEAM, D. L., SHINKFIELD, A. J. (1987). Evaluación sistemática: guía teórica y práctica. Madrid: Paidós-MEC. WEISS, C. H. (1987). Investigación evaluativa. Métodos para determinar la eficiencia de los programas de acción. México: Trillas, (6ª reimpressió) ZEIDLER, E. H. (1985) Arquitectura plurifuncional en el contexto urbano. Barcelona, Gustavo Gili.

66