Las publicaciones como indicador de calidad de la investigación (2015)

Biblioteca de la Universidad de Lima

Jornadas del Instituto de Investigaciones Científicas (IDIC): Balance y Perspectivas de la Investigación en la Ulima

9 de marzo del 2015

Fuente: Informe APEI sobre Publicación en revistas científicas por Tomàs Baiget y Daniel Torres-Salinas. 2013 http://www.apei.es/wpcontent/uploads/2013/11/InformeAPEIPublicacionescientificas.pdf

Revistas científicas revisadas por pares en WOS y Scopus

Indicadores Bibliométricos

57426

369

10000 Total En el mundo

3.7% Hispanoam. En WOS

828

18500

Total

4.4% Hispanoam.

En Scopus

revisadas por pares Fuente: Rodrigues, Rosângela Schwarz; Abadal, Ernest. Ibero-American journals in Scopus and Web of Science. Source: Learned Publishing, Volume 27, Number 1, January 2014, pp. 56-62(7). Association of Learned and Professional Society Publishers DOI: http://dx.doi.org/10.1087/20140109

Plataforma on-line que contiene bases de datos de información bibliográfica y recursos de análisis de la información que permiten evaluar y analizar el rendimiento de la investigación.

Journal Citation Report (JCR)

Fuente: Informe APEI sobre Publicación en revistas científicas por Tomàs Baiget y Daniel Torres-Salinas. 2013 http://www.apei.es/wpcontent/uploads/2013/11/InformeAPEIPublicacionescientificas.pdf

Base de datos bibliográfica de resúmenes y citas de artículos de revistas científicas, en muchos casos a texto completo, que proporciona herramientas bibliométricas que miden el rendimiento de publicaciones y autores, basadas en el recuento de citas recibidas por cada artículo.

El índice de impacto es un indicador del promedio de citas que, a corto plazo, reciben los artículos de una determinada revista en relación con el total de artículos publicados.

El factor de impacto, publicado en el Journal Citation Report (JCR), es el resultado de la división entre el número de citas recibidas de un año a artículos publicados los dos años inmediatamente anteriores y el número de artículos publicados en esos dos años.

Su origen Herramienta para ayudar a los bibliotecarios a identificar revistas que comprar, no como una medida de la calidad científica de la investigación en un artículo.

No privilegia artículos Los artículos mediocres se ven favorecidos por los excelentes y no da información sobre los artículos que contribuyen realmente al impacto de la revista.

No privilegia revistas donde se cita

Todas las citas admisibles tienen el mismo valor, con independencia de la importancia de la revista que cita.

“El propio inventor del factor de impacto, Eugene Garfield, ha insistido repetidas veces en la conveniencia y aún en la necesidad de contrastar el factor de impacto con otros indicadores y con una evaluación detallada y complementada con otros enfoques, como, por ejemplo, el juicio de expertos” (Campanario, 2006).

Fuentes: - Campanario, J.M. ( 2006). El factor de impacto de las revistas académicas: preguntas y respuestas. http://www2.uah.es/jmc/factordeimpacto.p df - Sanz, E. (2011). Herramientas de análisis/indicadores bibliométricos y cienciométricos. http://www.latindex.ucr.ac.cr/docs/tema2. pdf

Otros indicadores de impacto

Fuentes: - Villar, A. ( 2011). El «eigenfactor»: un nuevo y potente instrumento bibliométrico para evaluar la investigación. Aula Abierta, Vol. 39, núm. 3, pp. 85-96 ICE. Universidad de Oviedo. http://scielo.isciii.es/pdf/aseo/v86n1/editorial.pdf

Eigenfactor (Carl T. Bergstrom)

Indicador de la influencia o repercusión global de las revistas del JCR2.

Toma como referencia un período más amplio de citas admisibles (cinco años en lugar de dos)

Pondera la importancia de las citas recibidas por una revista por la importancia de las revistas que la citan.

Posee una ventana de citación de tres años.

Scimago Journal Rank-SJR (Grupo Scimago, España)

Índice h (Jorge Hirsch)

No todas las citas valen lo mismo, sino que las citas están ponderadas y depende del valor de centralidad de la revista que las emite



El índice H de Hirsch es un indicador que permite evaluar la producción científica de un investigador. Se calcula ordenando las publicaciones de un investigador por el número de citas recibidas en orden descendente y a continuación numerando e identificando el punto en el que el número de orden coincide con el de citas recibidas por una publicación.

Por ejemplo, este autor ha publicado al menos 9 artículos que obtuvieron, cada uno, al menos 9 citas en otros trabajos.

Es una medida de posición de una revista en relación con todas las de su área. Si dividimos en 4 partes iguales un listado de revistas ordenadas de mayor a menor índice de impacto, cada una de estas partes será un cuartil. Las revistas con el índice de impacto más alto estarán en el primer cuartil, los cuartiles medios serán el segundo y el tercero y el cuartil más bajo será el cuarto.

*Presencia de revistas hispanoamericanas en WOS y Scopus ECUADOR COSTA RICA PUERTO RICO PERÚ PORTUGAL

CUBA VENEZUELA

1

1. Revista Peruana de Biología. Asociación de Biólogos de la UNMSM 2. Revista Peruana de Medicina de Experimental y Salud Publica. Instituto Nacional de Salud. 3. Revista de Investigaciones Veterinarias del Peru. Facultad de Medicina Veterinaria, UNMSM 4. Revista de Gastroenterología del Perú : órgano oficial de la Sociedad de Gastroenterología del Perú. 5. Lexis. PUCP

1 4 5 19 21 38 41

ARGENTINA

46

COLOMBIA

69

CHILE

71

MEXICO

252

BRAZIL

313

SPAIN Solo WOS

Solo Scopus

WOS y Scopus

Totales

Fuente: Rodrigues, Rosângela Schwarz; Abadal, Ernest. Ibero-American journals in Scopus and Web of Science. Source: Learned Publishing, Volume 27, Number 1, January 2014, pp. 56-62(7). Association of Learned and Professional Society Publishers DOI: http://dx.doi.org/10.1087/201 40109

1. Revista Peruana de Medicina de Experimental y Salud Publica. Instituto Nacional de Salud. 2. Revista de Gastroenterología del Perú : órgano oficial de la Sociedad de Gastroenterología del Perú.

Sin autocitas 156

SJR (Scimago Journal Rank) SJR: 0.248

162

156

124 117 107

SJR: 0.183 94

SJR: 0.169

104

SJR: 0.139

SJR: 0.128 32

6

3

SJR: 0.12

SJR: 0.12

SJR: 0.128

El indicador SJR se realiza sobre el cálculo de las citas recibidas por las revistas en un periodo de 3 años, otorgando un peso mayor a las citas procedentes de revistas de alto prestigio (aquellas con altas tasas de citación y baja autocitación).

Investigadores de universidades peruanas en Scopus (a febrero 2015) Laureate Int. Universities (Trujillo) Univ. Alas Peruanas UTEC Univ. Nac. S. Antunez de M. USIL Univ. Nac. Del Altiplano Unic. Cient. Del Sur Univ. Nac. De Cajamarca Univ. Nac. De Piura UP ULIMA Univ. San A. de Abad UNFV Univ. Nac. De la Amazonía Peruana Univ. De Piura USMP Univ. Nac. de Trujillo Univ. Nac. San Agustín UPC UNI UNALM PUCP UNMSM UPCH

2 7 8 9 12 20 20 31 43 43 44 53 69 91 92 112 119 139 161 182 211 570 1320 1546

N° de artículos de investigadores ULima en Scopus 15

14

6

6

5

4

3

2

2

2

2

2

1

1

1

1

1

Revistas internacionales en CC.SS en Scopus con artículos de investigadores ULima Rev. De Estudios Histórico-Jurídicos (Chile)

1

Rev. De Crítica Literaria Latinoamericana (Perú)

1

Bulletin Hispanique (Francia)

1

Anuario Iberoamericano de Justicia Const. (España)

1

Bol. Mexicano de Derecho Comparado

1

Revista Espanola de Antropologia Americana

Comunicar (España)

Global Media and Communication (UK)

1

0.1

Q4

0.1

Q4

0.101

Q4

0.108

Q3

2 1

0.1

Q4

1

Journal of Alcohol and Drug Education (USA)

Journal of Anthropological Research (USA)

Q4

0.117

Q2

0.188

Q3

0.203

Q2

0.345

Q2

1

0.401

Q2

Visual Computer (Alemania)

1

Journal of Cross-Cultural Psychology (USA)

1

Q2

0.576 0.917

Journal of Personality and Social Psychology (USA)

Q1

2 5.443

N° arts.

SJR 2013

Cuartil

Investigación (25% ) Internacionalización (15%) Presencia en rankings internacionales

Cantidad de publicaciones científicas que cada universidad ha elaborado según Scimago Institucions Rankings a través de su ranking SJR.

Institución

Papers por Facultad

Citaciones por Paper

Impacto de la Web

PUCP

34

35

20

UNMSM

178

147

56

UPCH

49

33

215

UNALM

179

161

186

ULIMA

-----

92

241

Fuente: British Quacquarelli Symonds (QS) del Reino Unido (2013). QS University Rankings: Latin AmericaTM Report. http://www.topuniversities.com/system/files/pdf-uploads/Latin_America_Rankings_2014_Supplement.pdf

CRITERIOS Calidad docente

Investigación e innovación (25%)

25% -

Prod. Científica (60%) Patentes industriales (10%) Fondos concursables e investigación (20%) Incubadoras o Spin off (10%)

Empleabilidad

15%

Acreditación

10%

Internacionalización

10%

Infraestructura

5%

Inclusión

5%

Sobre 14 universidades

Producc. en colab. con instit. de fuera del paìs

Sobre 63 universidades

Pub. en rev. acad. en Scopus

América Latina

Iberoamérica

PERÚ

Pub. en rev. de alta calidad

Cantidad de prod. científica de alta calidad de las instituciones de investigación

http://www.webometrics.info/es PRESENCIA Número total de páginas web alojadas en el dominio web principal de la universidad obtenidos del mayor motor de búsqueda comercial (Google).

EXCELENCIA IMPACTO

APERTURA

Calidad de los contenidos

Creación de Repositorios

Se consideran como tales los artículos comprendidos entre el 10% más citados de sus respectivas disciplinas científicas.

Sobre 87 universidades y 7 institutos superiores

Falta de tradición investigativa

Debilidad de las editoriales universitarias existentes en AL&C

Los idiomas hablados en la región (principalmente español y portugués) en oposición al idioma académico internacional (inglés)

Fuente: Delgado, Jorge E. Papel del acceso abierto en el surgimiento y consolidación de las revistas arbitradas en América Latina y el Caribe http://ess.iesalc.unesco.org.ve/index.php/ess/article/download/408/346

Poca confianza y valor dados a los académicos investigadores y las revistas de AL&C



Sin embargo, los indicadores de impacto de estos índices (WOS y Scopus) continúan siendo usados para evaluar la producción de investigación individual e institucional en nuestra región (Alperin, Babini y Fishman, eds., 2014).

Los índices tradicionales, principalmente la WoS de Thomson Reuters, manejan datos inadecuados para estudiar la comunicación académica en regiones en desarrollo.

•Declaración de San Francisco de Evaluación de la InvestigaciónDORA (2012) Más de 10.000 firmas individuales y cerca de 500 instituciones declarando la necesidad de formas alternativas de evaluación de investigaciones.

•Comunicado Colciencias 2014

Universidades en contra del modelo de evaluación científica de Colciencias que privilegia publicaciones internacionales ubicadas en los cuartiles 1 y 2 de la medición de impacto de las publicaciones registradas por Scopus o WOS.

Derechos de autor

    

No solo difusión, sino divulgación. Mayor visibilidad del autor. Se consulta más lo publicado en OA. Mayor impacto, es decir es más citado. Mejora la calidad de la investigación.

El 48% de las 9.137 revistas académicas de DOAJ (Open Access Journal Directory) son de países en desarrollo.

Se estima que unas 4.000 de las aproximadamente 6.000 revistas académicas que usan el Sistema Abierto de Revistas Académicas (Open Journal System u OJS, son de regiones en desarrollo.

83% de estas revistas se encuentran totalmente en Acceso Abierto (Open Access)

Fuente: Alperin, J. P., Babini, Dominique y Fischman, G., eds. (2014). Indicadores de acceso abierto. Clacso http://biblioteca.clacso.edu.ar/clacso/se/20141217052547/Indicadores_de_acceso_abierto.pdf

INDICES

TEMÁTICA Ciencias Sociales

Multidisciplinaria

Multidisciplinaria

Multidisciplinaria

Psicología Ciencias Sociales, Arte y Humanidades

Multidisciplinaria

ÍNDICE

INDICADOR

Latindex (Catálogo) MIAR (Matriz Información para Análisis de Revistas)

Calidad editorial (36 criterios, de los cuales, por lo menos, 25 se deben cumplir) de el

Índice Compuesto de Difusión Secundaria. Muestra la visibilidad de la revista en diferentes bases de datos científicas de alcance internacional, o en su defecto en repertorios de evaluación de publicaciones periódicas.

Scielo

De la publicación, de la colección y de citación

Redalyc

De país, de disciplinas, de revistas y de instituciones

CLACSO (Red de Bibliotecas Virtuales)

Nº de consultas y descargas.



Son métricas alternativas a las tradicionales (basadas en número de citas), y que han surgido en la medida en que la producción científica se difunde cada vez más a través de la Web. Algunas características

Miden el impacto social a través de medios asociados a la web 2.0 y no siempre estrictamente académicos. Son indicadores muy orientados a la medición del impacto que reciben a nivel del artículo y nunca de la revista. Permiten medir la visibilidad de materiales menos convencionales, como por ejemplo cursos o conferencias Miden la repercusión inmediata que un trabajo tiene en las redes sociales justo en el momento de la publicación.

Algunas altmetrics



Para ser medido hay que estar visible en la Web y para ello se requiere seguir algunas pautas, como por ejemplo: la normalización de la firma



Las distintas formas que un investigador emplea para firmar sus trabajos, así como los parámetros anglosajones que las bases que indexan aplican, dificultan una búsqueda rápida y efectiva de un autor en la web.

Si hacemos una búsqueda por esta autora en Google académico (GA).

En el resultado, la firma de la autora aparecerá así, pues GA, de acuerdo a sus parámetros anglosajones, ha leído el último apellido como tal y los demás como nombres de pila.

Pero también puede aparecer en forma correcta…

…lo cual dependerá de cómo haya firmado el autor (por ejemplo, los dos apellidos unidos con un guión) o de cómo las hayan normalizado los repositorios, como se muestra en esta imagen.

En este último ejemplo, vemos que el motor de búsqueda ha interpretado el grado como un nombre de pila más, junto con Andrés y Burga.

ORCID Recurso para identificación de autores

Los códigos han sido siempre una estrategia adecuada para identificar unívocamente documentos. Digital Object Identifier System

Orcid (Open Researcher and ContributorID),nació a finales del año 2009 a propuesta del Nature Publishing Group y de Thomson Reuters

Si bien las instituciones académicas latinoamericanas, gracias a Internet, están desarrollando acciones regionales para dar visibilidad a sus publicaciones científicas a través de índices y bases de datos de acceso abierto que ofrecen métricas alternativas, los investigadores no deben olvidar que todavía los modelos de evaluación de la investigación en la región siguen teniendo como referente principal a las bases comerciales WOS y Scopus.