Una mirada retrospectiva a los procesos de evaluación de publicaciones: el caso Colombia. VIII Congreso Iberoamericano de Indicadores de Ciencia y Tecnología Madrid, Octubre 5 y 6 de 2010. Por: Yuri Jack Gómez1 En este trabajo me propongo realizar un balance retrospectivo de los logros, limitaciones y retos de la evaluación de la producción científica tomando como caso el trabajo realizado en Colombia durante los últimos 15 años. Comenzaré mi exposición presentando el debate, a mediados de la década de los 1990s sobre la “ciencia perdida del Tercer Mundo” y cómo este debate puso en cuestión los mecanismos de representación de la producción científica para la región. Este debate transformó la manera como se venía conduciendo el proceso de evaluación de la producción científica dando como resultado una nueva agenda de política pública orientada al fortalecimiento del sistema de publicaciones científicas locales. Examinado en detalle el caso colombiano presentaré realizaré un balance del impacto que esta política ha tenido sobre la producción de revistas como objeto técnico, sobre la producción que ellas vehiculan desde una perspectiva bibliométrica y sobre los límites de esta política en términos de su impacto cultural para las comunidades. Este último aspecto, en apariencia distante del tema de la medición de la producción, resulta sin embargo crucial toda vez que los retos actuales que enfrenta el sistema de publicación local se juega en el los nuevos rankings asociados al consumo efectivo de literatura (análisis de citaciones) y es poca y no muy prometedora la evidencia sobre los procesos de consumo endógeno de la literatura localmente producida.
CUERPO DE TRABAJO Cuento con poco tiempo para presentar un balance retrospectivo y detallado de los logros, las limitaciones y los retos de la evaluación de publicaciones seriadas en Colombia. Voy a concentrarme entonces en el logro a mi juicio más importante y consecuencial de estos procesos de evaluación: la construcción, a partir finales de la década de los 1980 de la Producción Científica Nacional como un hecho socialmente significativo. Dos precisiones. No estoy sugiriendo que antes del Informe sobre Progreso Económico y Social publicado por el Banco Interamericano de Desarrollo en 1988 no hubiese publicaciones especializadas en Colombia o que la comunidad científica nacional no publicara resultados de investigación. Es más, Conferencias fundacionales para el 1
Doctor en Sociología (Universidad de York, UK) Profesor Asociado del Departamento de Sociología de la Universidad Nacional de Colombia. Investigador del Centro de Estudios Sociales CES (UN) Coordinador Académico de la Maestría en Estudios Sociales de la Ciencia. Correo electrónico:
[email protected]
1
desarrollo de la C&T en América Latina como la de Punta del Este a mediados de los 1960, habían llamado ya la atención sobre la necesidad de fortalecer las Publicaciones Seriadas Especializadas en el subcontinente. Mi punto es que hasta ese momento, 1988, el país no contaba con medidas de la magnitud de esa producción científica nacional y de sus patrones asociados. Y no se contaba con este tipo de medidas porque eso no era importante para ningún grupo social relevante. Es justamente este informe y la necesidad concomitante del Banco por comenzar a evaluar los préstamos para el desarrollo de la ciencia y tecnología ya no solamente desde la perspectiva de la construcción de capacidades sino desde el punto de vista de los resultados de las actividades financiadas con estos fondos, es este informe y esta necesidad de la banca internacional, lo que instaura un proceso de evaluación que involucraba a las instituciones ejecutoras locales, a los organismos de C&T, a la comunidad científica nacional, y ciertamente, al Banco, haciendo del objeto de la medición, la producción científica, un hecho socialmente relevante. De esta manera la Producción Científica queda instituida como un hecho social significativo para los actores relacionados con la orientación, financiación y ejecución de actividades de ciencia y tecnología en Colombia y en América Latina. Ahora bien, Que un hecho sea socialmente construido no implica sin embargo que haya consenso sobre su definición. El estudio técnico realizado por el GRADE sobre el cual se basaba el Informe del Banco Interamericano fue casi que inmediatamente contestado por un creciente número de miembros de la comunidad científica. El argumento central cuestionaba la idoneidad de la base de datos utilizada por el estudio técnico para construir una adecuada representación de la Producción Científica de América Latina. Nos referimos, claro, a los servicios informativos del ISI. Este debate iniciado por Velho en 1989, y alimentado por los pioneros de los estudios bibliométricos críticos en América Latina y en España, alcanzó su punto más alto a medidos de los 1990 en las páginas de Scientific American que dedicó uno de sus artículos de fondo a la Ciencia Perdida del Tercer Mundo. Este debate sobre la producción científica tuvo importantes repercusiones para Iberoamérica y para Colombia en particular. Entre los logros de este debate, al menos Colombia, se encuentra una redefinición más incluyente de la producción científica nacional que había pasado de ser la producción publicada en journals internacionales y cubierta por los servicios informativos del ISI, según el informe GRADE, para convertirse en una producción que tomaba también en consideración la producción nacional visibilizada por las revistas locales. Ahora bien, de esta producción local no se tenía ninguna representación, ni herramientas para construirla. En cierto sentido el debate de los 90s era un debate a favor de una producción fantasmagórica de cuya existencia era prueba su invisibilidad en los servicios del ISI. No obstante lo anterior, haber logrado construir y legitimar un concepto ampliado e incluyente de la producción científica nacional contribuyó en parte a la formulación de un conjunto de acciones de política orientadas hacia la internacionalización de la ciencia nacional por vía de la internacionalización de los medios de circulación locales de la producción, es decir, las revistas nacionales. Este es otro importante logro de mediados de los 1990s en materia de formulación de política y estrategia de C&T. Entre las acciones emprendidas por esta política de internacionalización de la ciencia nacional y ante la prácticamente inexistente información sobre las revistas colombianas, se optó por hacer un estudio base sobre este tipo de publicaciones nacionales. Aparte del censo de revistas este estudio examinó aspectos relacionados con el “estado de salud” de las publicaciones nacionales. El estudió encontró precarios niveles 2
de normalización, poca visibilidad internacional poca circulación nacional y serias falencias en materia de políticas y prácticas editoriales. Con base en este diagnóstico el por entonces recién creado Observatorio Colombiano de Ciencia y Tecnología emprendió la construcción del Sistema Nacional de Indexación y Homologación de Revistas Especializadas, más conocido como PUBLINDEX, una de cuyas funciones fue la de evaluar periódicamente las revistas locales y nutrir un banco de datos sobre la producción científica movilizada por las revistas colombiana. El sistema resultó ser una pieza clave para superar las enormes limitaciones detectadas por el estudio de 1996 y junto con otras iniciativas regionales como LATINDEX, SciELO y más recientemente REDALyC, constituyen logros importantes que permiten la construcción de representaciones más balanceadas y detalladas de la producción científica colombiana y Latinoamericana, además de haber acelerado el tránsito de estas revistas al formato digital. Baste decir que en 1996 los servicios del ISI solo cubrían una revista colombiana. Hoy el avance en este sentido es claro: de las cien revistas ISI que reportan publicaciones con origen geográfico Colombia, alrededor de 25 son revistas colombianas a las que habría que sumar otras cuantas revistas latinoamericanas en las que los científicos colombianos publican. Otro tanto ocurre con el servicio ESCOPUS donde la presencia de revistas colombianas es aún mayor. Justo es decirlo también, este notable avance en materia de cubrimiento por parte de los dos servicios mencionados tiene otros elementos asociados a la lucha por el mercado latinoamericano entre los carteles editoriales de la Thompson Co y Elsevier Publishers. No obstante lo anterior hay que reconocer que ni PUBLINDEX, ni SciELO Colombia, lograron colmar las expectativas generadas en torno suyo como servicios de información. El caso de PUBLINDEX es claro, lejos de haber alcanzado sus metas originales, el servicio informativo concentró sus esfuerzos en la elaboración de los rankings o escalafonamiento de revistas colombianas y descuidó el desarrollo de otros aspectos en tanto que sistema de información para la investigación científica. Otro tanto ocurrió con el nodo SciELO colombia. No obstante las limitaciones de estos servicios, su contribución e impacto fue enorme por cuanto estos sistemas promovieron procesos de estandarización y normalización de las revistas nacionales, procesos aún en curso, así como mejoras substantivas en materia de política editorial y aumento global de la productividad. La existencia de estos servicios tanto como el mejoramiento de los aspectos formales y de política editorial de las revistas promovido por ellos han generado procesos de cambio cultural dentro de las comunidades científicas locales como por ejemplo la instauración de prácticas de evaluación por pares académicos para los artículos substantivos y con esto se ha logrado romper con una tradición endogámica ampliamente extendida, al menos en las revistas colombianas. Hoy por hoy la permanencia de las revistas nacionales en el servicio PUBLINDEX depende, entre otras cosas, de mantener ciertos niveles de productividad anual y una composición relativamente balanceada entre contribuciones provenientes de la institución a la cual se adscribe la revista y contribuciones de autores que no pertenecen a esta misma institución. Otro tanto ocurre con la composición de los comités editoriales. Ahora bien, el reto que representa este nuevo estado de cosas para las comunidades científicas locales es enorme. Si a mediados de los años 90s el debate sobre la ciencia perdida del tercer mundo nos concedía el beneficio de la duda sobre una ciencia localmente relevante pero poco visible internacionalmente, hoy, la existencia de servicios de información regionales, la internacionalización de las revistas nacionales y el 3
crecimiento general de su productividad, abre nuevamente la pregunta por la relevancia de la ciencia local con nuevas herramientas para responderla en términos de un análisis diferenciado del consumo de la información. Las comunidades pueden, como ha sido la tendencia en ciencias básicas, asociarse en proyectos internacionales que garanticen coautoría internacional y faciliten el acceso a journals internacionales. Pero el riesgo de esta estrategia es que la visibilidad internacional se logre a costa de la relevancia local de los contenidos, salvo que la agenda de cooperación se fije de una manera tal que los intereses/necesidades locales sean también reconocidos en el marco de estas estrategias de cooperación. Otro de enorme reto para las comunidades locales (incluidos aquí los editores de las revistas nacionales) tiene que ver con la auto-regulación de sus prácticas de citación y asignación de autorías. El sistema universitario norteamericano conoció bien las consecuencias perversas derivadas de presiones cada vez mayores ejercidas sobre la comunidad universitaria en materia de productividad e impacto. El American Journal of Sociology atestigua en sus páginas cuan extendido y agrio fue ese debate durante la década de 1970 justamente cuando la citación se intentaba posicionar como único indicador de “calidad” en los famosos informes conocidos como Science Indicators. Como comentaba en su charla magistral Fred Gault, no todo crecimiento supone necesariamente una interpretación positiva del mismo. Finalmente, y con esto termino, el reto para la política pública y la política universitaria en Colombia es el de apreciar en lo que valen y significan los logros alcanzados en estas últimas dos décadas, particularmente ese gran logro que mencioné al inicio: la construcción de una definición ampliada de producción científica nacional. En efecto, la lucha por el mercado latinoamericano entre los dos grandes carteles de la información científica (Thomson y Elsevier) ha traído no solo beneficios en términos de precios más accesibles sino también en modificaciones de sus políticas de selección e inclusión de revistas latinoamericanas. Sin embargo la medición del impacto de la producción nacional en estas bases de datos internacionales va a depender, en últimas de la construcción de un “mercado local” constituido justamente por las revistas nacionales y dinamizado por las comunidades locales. Así pues mi llamado a los políticos y tomadores de decisiones locales es a ser muy cautos en las agendas de política y los desarrollos legislativos de modo que se logre un balance proactivo entre “calidad e impacto internacional” y fomento y promoción del sector editorial local como mecanismo para avanzar en el proceso de institucionalización de las comunidades científicas locales, justo ahora que celebramos el segundo centenario de nuestra independencia.
4
