Consideraciones sobre métricas alternativas en documentación científica

Cualquier duda, comentario y orientación
conéctate a mis redes en:

www.facebook.com/flor.trillo
@flortrillo
http://www.slideshare.net/ftrillo
mx.linkedin.com/in/flor.trillo
http://www.directorioexit.info/ficha334

Twitter y la publicación científica y de divulgación
El ciclo de vida de una publicación es:

Plantear la idea
Discutirla
Colaborar
Experimentar
Publicar
Diseminar
Divulgar
¿Cómo medimos el impacto?
Tasa de interacción: etiquetados y menciones
Tiempo de permanencia: viralización
Instalación de vídeos y fotografías
Número de seguidores, fans, reproducciones, likes o retweets
Mensajes enviados y recibidos
Densidad en las conversaciones

Vela D. Qué es un editor de contenido o content manager métricas del social media: SEO, SMO. Disponible en: http://www.slideshare.net/doloresvelagarcia/semianriojuevesqueycomo?qid=719736c6-de22-4863-8f47-26ab8dbf2dd2&v=default&b=&from_search=1
REDALYC: ¿Cómo es la producción científica institucional?
REDALYC: ¿Cómo es la colaboración institucional?
Consideraciones sobre métricas alternativas en documentación científica
Flor Trillo

XVI FENIE Coloquio de Revistas Académicas, UAEM
Feria Internacional del Libro "Leer para transformar"
25 de agosto de 2014

¡Problemáticas desde la producción! = Definición del perfil científico
Si nuestros autores/investigadores no tienen un perfil entonces:
Habrá poca visibilidad de análisis
Presencia nula en indicadores bibliométricos
Falta de impacto de nuestras contribuciones en la comunidad científica en donde nos vinculemos.

Las opciones para crearlos son:
Google Académico
Microsoft Academic Search
ResearchGate
Researcher ID (Web of Science)
ORCID (Scopus)


En un estudio realizado en Scopus (2000-2012) a los investigadores del SNI-III en 2012, se excluyeron 504 de ellos (31,87%) por las siguientes causas:
342 de ellos (21,63%) no aparecen en el sistema.
162 de ellos (10,18%) presentan inconsistencias de nombre/apellido y su afiliación no corresponde con la reporta el CONACYT, representando un 4,4% (6,725 publicaciones) de la producción total de este grupo de investigadores

El resultado de esta investigación será presentado en COLLNET 2014, Alemania.
Lo que hay que considerar al momento de evaluar y medir impacto científico, según Jaso:
Conectividad = insuficiencia de desarrollo en actores clave; desarticulación de las IES con los CPI, desarrollo tecnológico; vinculación con actores sociales y organizaciones en el exterior.
Vinculaciones informales = evaluaciones en las redes de contratos, convenios, coautorías y citas.
Producción diferenciada = evaluación debe ser representativa de las diversas comunidades como desarrollos aplicados a transferencia de tecnología con empresas y comunidades rurales por ejemplo.
Integración de recursos locales y actores sociales = contribuciones como eslabones que articulan y fortalecen la innovación.
Incorporación de nuevos actores en el diseño de las evaluaciones = actores sociales como investigadores, funcionarios, empresarios y comunidades rurales.

Fuente: Los instrumentos del evaluador de política científica y tecnológica: hacia la construcción de metodologías adecuadas a la realidad Latinoamericana. En: Ide@s CONCYTEG. 2; 28; 16 de noviembre de 2007. Disponible en: https://www.academia.edu/1244338/Los_instrumentos_del_evaluador_de_politica_cientifica_y_tecnologica_hacia_la_construccion_de_metodologias_adecuadas_a_la_realidad_Latinoamericana
Altmetric.com (UK)
Cuya misión es la de dar seguimiento y análisis a la actividad en línea de la producción científica académica.

Fuentes:
Thelwall M; Haustein S; Larivière V; Sugimoto CR. Do Altmetrics Work? Twitter and The Other Social Web Services. Disponible en: http://www.plosone.org/article/fetchObject.action?uri=info%3Adoi%2F10.1371%2Fjournal.pone.0064841&representation=PDF
Liu J; Adie E. New perspetive on article-level metrics: developing ways to assess research uptake and impact online. Disponible en: http://uksg.metapress.com/content/x65747080803n616/fulltext.pdf
Sus fuentes métricas son:
Twitter
Facebook
Research Highlights (NPG)
Blogs
Google +
Mainstream media citation
Reddits
Forums
Q&A
Pinterest (pinners)
LinkedIn
REDALYC: ¿Quién consulta el contenido institucional?
Descargas de la producción 2005-2011
Algunas controversias sobre el Factor de Impacto (FI)

"La relación entre la tasa de citación y el FI se ha reducido en los últimos 40 años" George Lozano

"El FI se declara no apto para el servicio" Stephen Curry

"WoS y JIF son inadecuados para el entendimiento del trabajo e impacto académico en regiones en desarrollo" Juan Pablo Alperín
Fuente: The Impact Factor and Its Discontents: Reading list on controversies and shortcomings of the Journal Impact Factor. The London School of Economics and Political Sciencie. Disponible en: http://blogs.lse.ac.uk/impactofsocialsciences/2014/07/30/reading-list-on-the-journal-impact-factor/
Contenido
Tipos de indicadores en documentación científica: publicaciones y patentes
Las funciones de los indicadores de producción
Indicadores bibliométricos según Jaso
Algunos conceptos básicos y avanzados para entender la forma de medición
Algunas controversias sobre el Factor de Impacto (FI)
Métricas alternativas según Borrego
Altmetrics.com
Twitter y la publicación científica y de divulgación / ¿Cómo medimos el impacto?
¡Problemáticas desde la producción! = Definición del perfil científico
Lo que hay que considerar al momento de evaluar y medir impacto

Tipos de indicadores métricos en documentación científica: publicaciones y patentes
Bibliometría = Producción que permite conocer: preferencias de temas, fuentes/revistas, instituciones de los investigadores, países con los que se relaciona… etc!
Usabilidad = Manejo, traslado, origen de la consulta, etc.!
Comunicación científica = Digestión, validación, asimilación y evolución del conocimiento
Las funciones de los indicadores de producción, según Barre sirven para:
El análisis de las necesidades de los usuarios y la concepción de los indicadores.
El desarrollo de metodología y las técnicas.
La colección de los datos y producción de los indicadores.
El almacenamiento y mantenimiento de los indicadores.
La interpretación y uso
.
Fuente: Milanés-Guisado Y; Pérez-Rodríguez Y; Peralta-González MJ; Ruíz-Ramos ME. Los estudios de evaluación de la ciencia: aproximación teórico-métrica. Disponible en: http://www.bvs.sld.cu/revistas/aci/vol18_6_08/aci041208.htm
Métricas alternativas según Borrego
Estas son algunas opciones:

Faculty of 1000 selecciona artículos de calidad de medicina y biología
Google Scholar que genera ranking de revistas y generación de citas sin conocer el universo analizado.
COUNTER (Counting Online Usage of NeTworked Electronic Resources) que mide la usabilidad
Almetric.com que analiza el impacto de las publicaciones en redes sociales

Fuente: Borrego A (2013). Altmetrics: altres mètriques per mesurar l'impacte de la informació científica. Mesa Redonda "Métricas para la evaluación de revistas". Disponible en: http://bd.ub.edu/grups/ccd/sites/bd.ub.edu.grups.ccd/files/Jornada%20Revistes%202013/Borrego.pdf
Conceptos básicos

Bibliometría: parte de la bibliotecología que aplica métodos matemáticos y estadísticos a toda la literatura de carácter científico y a los autores que la producen, con el objeto de estudiar y analizar la actividad científica.

Factor de Impacto: medida que define la importancia de una publicación científica. Generalmente se calcula con base en un periodo de 2 años, generados por ISI a través del Journal Citation Report. Se calcula a través de la suma de las citas de los dos años de la revista, dividido entre la suma de los artículos publicados de la revista por dos años. A = B/C

Índice de Inmediatez: es la medida de la rapidez media con que los artículos publicados en una revista son citados. Considera citas hechas durante el mismo año en que el artículo citado es publicado. Se calcula dividiendo el número de citas a artículos publicados en un año concreto, por el número de artículos publicados en ese mismo año. A = B/C

Índice H (Jorge Hirsch-Universidad de California) sistema de medida que permite destacar a los investigadores más destacados dentro de un área de conocimiento. Se calcula a través del número de documentos de un autor en orden descendente de número de citas recibidas y al enumerarlos el número que coincide es el Índice H = 7 (7 publicaciones con al menos 7 citas cada una)
Algunos conceptos básicos para entender la forma de medición en materia bibliométrica
Medir un todo
Medir una revista
Medir la actualidad y pertinencia
Medir la productividad de un autor (Web of Science/Scopus
Medir la productividad de una revista o país (SCImago Journal & Country Rank)
Es un portal que incluye revistas científicas e indicadores científicos por países, desarrollado para contener información de Scopus® base de datos de Elsevier B.V.
Estos indicadores pueden ser usados para analizar y valorar dominios científicos.
De acuerdo con SCImago, México ocupa el lugar 28 a nivel mundial en cuanto a cantidad de producción científica, en cuanto a citación ocupa el lugar 31 y el lugar 2 para la Región de las Américas en ambas cateogorías.


SCImago Journal & Country Rank
Fuente [Consultada en marzo de 2014]: http://www.scimagojr.com/
Indicadores bibliométricos según Jaso:

+ PROS
Identifica limitaciones
Funciona para campos de conocimiento identificados y desarrollados
Permite comparar entre grandes comunidades
Coinciden con otros análisis como la evaluación por pares y estudios de caso cuando los niveles son amplios.

CONTRAS
No contempla los análisis de tipo cualitativo.
No involucra a toda la gama de productos, canales de difusión y hábitos de publicación de las distintas disciplinas
El análisis de citas debe ser afinado porque no hay correspondencias exactas entre citas y calidad de la investigación


Fuente: Los instrumentos del evaluador de política científica y tecnológica: hacia la construcción de metodologías adecuadas a la realidad Latinoamericana. En: Ide@s CONCYTEG. 2; 28; 16 de noviembre de 2007. Disponible en: https://www.academia.edu/1244338/Los_instrumentos_del_evaluador_de_politica_cientifica_y_tecnologica_hacia_la_construccion_de_metodologias_adecuadas_a_la_realidad_Latinoamericana
Conceptos avanzados

Índice G: cuantifica la productividad bibliométrica basada en el historial de publicaciones de los autores (Leo Egghe, 2006), se calcula ordenando en forma descendente el número de publicaciones de un investigador de acuerdo con el número de citas recibidas. Índice G = 15 (la cantidad de citas acumuladas por estos 15 artículos más citados es superior al 15 al cuadrado)


Cuartil: es un indicador o medida de posición de una revista en relación con todas las de su área. Se acomodan 100 revistas de mayor a menor factor de impacto y cada 25 representarán el Q1 si se encuentra entre el lugar 1-25, Q2: 26-50 FI, Q3: 51-75, Q4: 76-100.


Source Normalized Impact per Paper (SNIP): diseñado por la Universidad de Leiden (Países Bajos), donde se mide el impacto de una cita según las características de la materia sobre la que se investiga. Un campo de investigación científica donde hay menos frecuencia de citas, cada cita individual tiene un valor más alto que las citas en otras áreas donde se publica con mayor frecuencia. Este se calcula entre Impacto en bruto por artículo publicado en una revista (RIP) entre Relativo potencial de cita que tiene el subcampo de la revista (RDCP)



Algunos conceptos avanzados para entender la forma de medición…
Mide la productividad e un autor basándose en su historial
Medir el posicionamiento de una revista frente a las de su especialidad
Medir/Comparar revistas de diferentes campos temáticos


17

16
Clic para editar título
Haga clic para modificar el estilo de texto del patrón
Segundo nivel
Tercer nivel
Cuarto nivel
Quinto nivel
22/08/14

Nr.

15

14
Clic para editar título
22/08/14

Nr.
22/08/14

Nr.
Clic para editar título
Haga clic para modificar el estilo de texto del patrón
Segundo nivel
Tercer nivel
Cuarto nivel
Quinto nivel
Haga clic para modificar el estilo de texto del patrón
22/08/14

Nr.
Clic para editar título

Haga clic para modificar el estilo de texto del patrón
22/08/14

Nr.
Clic para editar título
Haga clic para modificar el estilo de texto del patrón
Segundo nivel
Tercer nivel
Cuarto nivel
Quinto nivel
22/08/14

Nr.
Clic para editar título
Haga clic para modificar el estilo de texto del patrón
Haga clic para modificar el estilo de texto del patrón
Segundo nivel
Tercer nivel
Cuarto nivel
Quinto nivel
Haga clic para modificar el estilo de texto del patrón
Haga clic para modificar el estilo de texto del patrón
Segundo nivel
Tercer nivel
Cuarto nivel
Quinto nivel
22/08/14

Nr.
Clic para editar título
Haga clic para modificar el estilo de texto del patrón
Segundo nivel
Tercer nivel
Cuarto nivel
Quinto nivel
Haga clic para modificar el estilo de texto del patrón
Segundo nivel
Tercer nivel
Cuarto nivel
Quinto nivel
22/08/14

Nr.
Clic para editar título
Haga clic para modificar el estilo de texto del patrón
22/08/14

Nr.
Clic para editar título
Haga clic para modificar el estilo de subtítulo del patrón
22/08/14

Nr.
Clic para editar título
Haga clic para modificar el estilo de texto del patrón
Segundo nivel
Tercer nivel
Cuarto nivel
Quinto nivel
22/08/14

Nr.
Clic para editar título
Haga clic para modificar el estilo de texto del patrón
Segundo nivel
Tercer nivel
Cuarto nivel
Quinto nivel
22/08/14

Nr.



6

7

8

22/08/14

Haga clic para modificar el estilo de texto del patrón
Segundo nivel
Tercer nivel
Cuarto nivel
Quinto nivel

Nr.