EVALUACIÓN DE BIBLIOTECAS DIGITALES: el caso de la biblioteca de la Universidad Oberta de Cataluña

UNIVERSIDAD DE SALAMANCA FACULTAD DE TRADUCCIÓN Y DOCUMENTACIÓN MÁSTER EN SISTEMAS DE INFORMACIÓN DIGITAL

EVALUACIÓN DE BIBLIOTECAS DIGITALES: el caso de la biblioteca de la Universidad Oberta de Catalunya

FIDEL BELLIDO HERNÁNDEZ MARTA DE LA MANO GONZÁLEZ

Salamanca, 2013

EVALUACIÓN DE BIBLIOTECAS DIGITALES

UNIVERSIDAD DE SALAMANCA FACULTAD DE TRADUCCIÓN Y DOCUMENTACIÓN MÁSTER EN SISTEMAS DE INFORMACIÓN DIGITAL Trabajo de Fin de Máster

EVALUACIÓN DE BIBLIOTECAS DIGITALES: el caso de la biblioteca de la Universidad Oberta de Catalunya Vº Bº Fdo. Marta de la Mano

FIDEL BELLIDO HERNÁNDEZ MARTA DE LA MANO GONZÁLEZ

Salamanca, 2013 2

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

Asiento catalográfico con formato del repositorio institucional GREDOS.

Autor: Bellido Hernández, Fidel Antonio Título: Evaluación de bibliotecas digitales: el caso de la biblioteca de la Universidad Oberta de Catalunya Director / Tutor Apellidos: De La Mano, Marta. Departamento: Universidad de Salamanca (España), Departamento de Biblioteconomía y Documentación. Fecha: 2013-01-19 Desc. Física: 73p. Palabras clave: Bibliotecas digitales; Evaluación; Indicadores. Keywords: Digital Libraries; Evaluation; Indicators. Descripción: Trabajo de Fin de Máster del Máster en Sistemas de Información Digital, curso 2012-2013.

BELLIDO HERNÁNDEZ, Fidel Antonio Evaluación de bibliotecas digitales: el caso de la biblioteca de la Universidad Oberta de Catalunya / Fidel Antonio Bellido Hernández; bajo la dirección de Marta de la Mano González. – Salamanca: Universidad de Salamanca, Facultad de Traducción y Documentación, 2013 73 p. Trabajo de fin de master – Máster en Sistemas de Información Digital 1. Bibliotecas Digitales. 2. Evaluación. 3. Indicadores. I. de la Mano González, Marta, dir. II. Título 021.7

3

EVALUACIÓN DE BIBLIOTECAS DIGITALES

RESUMEN En un contexto en el que se hace necesaria la búsqueda de la máxima eficacia al menor costo posible, la evaluación de los servicios y la consecuente toma de decisiones juega un papel fundamental. Se recogen en este estudio, junto a un análisis del proceso de evaluación, una comparativa de las medidas e indicadores más destacados en el entorno bibliotecario digital actual. La elaboración de un cuadro comparativo servirá como base para seleccionar los datos estadísticos e indicadores comunes y llevar a cabo una evaluación de la colección electrónica y servicios de la biblioteca virtual de la Biblioteca de la Universidad Oberta de Cataluña y hacer alguna propuesta de mejora. PALABRAS CLAVE: Bibliotecas digitales; Evaluación; Estadística; Indicadores

ABSTRACT

Service evaluation and the consequent decision making process play a fundamental role in the contexts which demand the most efficient and cost-effective search process. This study represents the analysis of the evaluation process, as well as a comparison of the contemporary and most distinguished measures and indicators of the digital library setting. The comparative table serves as a base for selecting common statistical data and indicators to carry out an evaluation of the electronic collection and services of the electronic collection of the virtual library of Oberta of Catalonia University Library, identify weaknesses and strengths as well as to offer possible improvements to the system. KEYWORDS: Digital Libraries; Evaluation; Statistics; Indicators

4

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

TABLA DE CONTENIDO Introducción ............................................................................................................ 9 a. Justificación del tema ........................................................................................................ 9 b. Objetivos del trabajo .......................................................................................................... 9 c. Metodología....................................................................................................................... 10 d. Estructura .......................................................................................................................... 11 Capítulo 1. MARCO TEÓRICO DE LA INVESTIGACIÓN ..................................... 12 1.1. La función de control y el proceso de evaluación .................................................... 12 1.2. Por qué evaluar, qué y cómo ..................................................................................... 15 1.3. El proceso de evaluación ............................................................................................ 16 1.3.1. Identificación y recopilación de datos: la situación de partida..................... 16 1.3.2. Procesamiento de datos: el valor del indicador .......................................... 17 1.3.3. Interpretar y valorar la información ............................................................. 17 1.4. La evaluación en el contexto digital ........................................................................... 18 1.4.1. Normas, proyectos, indicadores de rendimiento y evaluación de la calidad 19 1.4.2. Definiciones ............................................................................................... 20 1.4.3. Cuadro comparativo ................................................................................... 21 Capítulo 2. ESTUDIO APLICADO: EL CASO DE LA BIBLIOTECA VIRTUAL DE LA UNIVERSIDAD OBERTA DE CATALUÑA ............................................................ 26 2.1. Análisis del entorno externo: La Universidad Oberta de Cataluña ....................... 26 2.1.1. Presentación de la Universidad.................................................................. 26 2.1.2. Estructura y oferta docente ........................................................................ 26 2.1.3. El profesorado ........................................................................................... 31 2.1.4. El alumnado ............................................................................................... 31 2.1.5. Amenazas y oportunidades ........................................................................ 31 2.2. Análisis del entorno interno: La biblioteca virtual de la Universidad Oberta de Cataluña................................................................................................................................. 32 2.2.1. Misión y objetivos de la biblioteca ............................................................. 32 2.2.2. Usuarios potenciales y usuarios virtuales................................................... 32 5

EVALUACIÓN DE BIBLIOTECAS DIGITALES

2.2.3. Estructura y organización ........................................................................... 32 2.2.4. Los recursos humanos de la biblioteca: el personal .................................. 33 2.2.5. La colección digital .................................................................................... 34 2.2.6. El acceso a la colección: la página web y el catálogo ................................ 34 2.2.7. Servicios .................................................................................................... 38 2.2.8. Plan estratégico de la biblioteca (2008-2012) ............................................ 39 2.3. Evaluación de la colección y servicios ...................................................................... 42 2.3.1 Usuarios de la biblioteca ............................................................................. 42 2.3.1. Evaluación de la colección y su uso ........................................................... 45 2.3.2. Evaluación del servicio de referencia ......................................................... 54 2.3.3. El servicio de formación de usuarios .......................................................... 57 Capítulo 3. RESULTADOS DEL ANÁLISIS REALIZADO Y PROPUESTAS DE MEJORA ............................................................................................................... 60 3.1 Resultados del análisis DAFO ..................................................................................... 60 3.2 Opciones de mejora ...................................................................................................... 62 Capítulo 4. CONCLUSIONES Y VALORACIÓN PERSONAL ................................ 64 5. Bibliografía ........................................................................................................ 66 ANEXOS ............................................................................................................... 70 ANEXO 1- Plantilla ................................................................................................ 71 ANEXO 2- Datos remitidos por la Biblioteca ......................................................... 72 a.) Datos relativos a los recursos electrónicos ........................................................................ 72 b.) Datos relativos a las consultas recibidas por la Biblioteca ................................................ 73

6

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

ÍNDICE DE ILUSTRACIONES ILUSTRACIÓN 1- ETAPAS DEL PROCESO DE PLANIFICACIÓN .............................................. 12 ILUSTRACIÓN 2- PLANIFICACIÓN Y EVALUACIÓN (HERNON; MCCLURE, 1990:11)............... 13 ILUSTRACIÓN 3- LA EVALUACIÓN EN UN SISTEMA DE INFORMACIÓN DIGITAL. (TAMMARO, MARTINO, S.F.) ...................................................................................................... 13 ILUSTRACIÓN 4- CONSULTA AL CATÁLOGO ..................................................................... 35 ILUSTRACIÓN 5- CONSULTA AL CATÁLOGO 2 .................................................................. 35 ILUSTRACIÓN 6. BÚSQUEDA DE RECURSOS ELECTRÓNICOS ............................................. 36 ILUSTRACIÓN 7- BÚSQUEDA SIMPLE DE RECURSOS ELECTRÓNICOS ................................. 36 ILUSTRACIÓN 8- SFX BUSCADOR DE REVISTAS ELECTRÓNICAS ........................................ 37 ILUSTRACIÓN 9- METABUSCADOR METALIB .................................................................... 37 ILUSTRACIÓN 10- SUMMON ........................................................................................... 38 ILUSTRACIÓN 11- PÁGINA WEB BETA ............................................................................ 38 ILUSTRACIÓN 12- RELACIÓN DE SERVICIOS. PÁGINA WEB BETA ...................................... 39 ILUSTRACIÓN 13- EJES ESTRATÉGICOS DEL PLAN ESTRATÉGICO DE LA BIBLIOTECA (20082012) ................................................................................................................... 40 ILUSTRACIÓN 15- GRÁFICO SUMINISTRADO POR LA BIBLIOTECA EN QUE SE REPRESENTAN LAS BÚSQUEDAS Y LAS DESCARGAS. ....................................................................... 72 ILUSTRACIÓN 16- DATOS SUMINISTRADOS POR LA BIBLIOTECA ACERCA DEL SERVICIO DE REFERENCIA .......................................................................................................... 73 ILUSTRACIÓN 17- SE MUESTRAN POR AÑOS Y TIPOLOGÍA LAS CONSULTAS RECIBIDAS POR EL SERVICIO DE REFERENCIA ...................................................................................... 73

7

EVALUACIÓN DE BIBLIOTECAS DIGITALES

ÍNDICE DE TABLAS TABLA 1- TÉRMINOS Y DEFINICIONES ............................................................................. 21 TABLA 2- CUADRO COMPARATIVO DE ESTADÍSTICAS E INDICADORES ................................ 25 TABLA 3- TITULACIONES DE GRADO Y MÁSTER OFICIALES OFERTADAS EN FUNCIÓN DEL ÁREA DOCENTE .............................................................................................................. 30 TABLA 4- PERSONAL DE LA BIBLIOTECA .......................................................................... 34 TABLA 5- USUARIOS Y ESTUDIANTES POR AÑO ................................................................ 42 TABLA 6- USUARIOS POR CURSO Y TASA DE CRECIMIENTO .............................................. 44 TABLA 7- COMPOSICIÓN Y CRECIMIENTO DE LA COLECCIÓN ............................................. 45 TABLA 8- DESGLOSE DE RECURSOS ELECTRÓNICOS ....................................................... 47 TABLA 9- DESCARGAS POR AÑO .................................................................................... 50 TABLA 10- NÚMERO DE DESCARGAS Y DE RECURSOS POR AÑO ....................................... 51 TABLA 11- NÚMERO DE DESCARGAS Y DE USUARIOS POR AÑO......................................... 52 TABLA 12- DESCARGAS "PER CÁPITA" ............................................................................ 52 TABLA 13- BÚSQUEDAS Y CONSULTAS A RECURSOS ELECTRÓNICOS POR AÑO .................. 53 TABLA 14- DATOS DEL SERVICIO DE INFORMACIÓN Y BÚSQUEDAS BIBLIOGRÁFICAS ........... 55 TABLA 15- CONSULTAS Y PETICIONES DE INFORMACIÓN .................................................. 56 TABLA 16- CONSULTAS SOBRE RECURSOS ELECTRÓNICOS ............................................. 56 TABLA 17- NÚMERO DE ASISTENTES A SESIONES DE FORMACIÓN POR AÑO....................... 58 TABLA 18- MATRIZ DAFO ............................................................................................. 62 TABLA 19- COMPETENCIAS ADQUIRIDAS ......................................................................... 65 TABLA 20- DATOS SUMINISTRADOS POR LA BIBLIOTECA ACERCA DE LOS RECURSOS ELECTRÓNICOS ..................................................................................................... 72 TABLA 21- RECURSOS ELECTRÓNICOS POR CATEGORÍA Y AÑO ........................................ 72

SIGLAS Y ABREVIATURAS ARL- Association of Research Libraries COUNTER- Counting Online Usage of the NeTworked Electronic Resources DAFO- Debilidades, Amenazas, Fortalezas y Oportunidades MINES- Measuring the Impact of Networked Electronic Services RE- Recursos Electrónicos TC- Tasa de Crecimiento UCDPC- Unidad de Contenido Descargado Per Cápita NASFSEPE- Número de Asistencias a Sesiones de Formación sobre Servicios Electrónicos per Cápita

8

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

Introducción a. Justificación del tema La irrupción de las bibliotecas en el contexto digital hace necesario el desarrollo de métodos que faciliten su evaluación, en todo caso, el surgimiento de éstos estará basado en la evaluación de bibliotecas en entornos tradicionales. La evaluación cobra especial importancia cuando se trata de lograr una máxima eficacia manteniendo una adecuada eficiencia. El presente estudio es el resultado del trabajo del alumno bajo la dirección de la tutora Marta de la Mano González, con el que se pretende superar el Máster en Sistemas de Información Digital; así como, iniciar al alumno en una de las líneas de investigación en este campo de estudio. La línea de investigación de este trabajo está enmarcada bajo uno de los dos temas de trabajo definidos por la profesora: Planificación y evaluación de una unidad de información. La generalidad del título permite al alumno dirigir el trabajo hacia sus intereses, de éste modo se decidió abordar el tema de la evaluación de una unidad de información en el entorno digital, puesto que de esta ella han de salir elementos que justifiquen la toma de decisiones posterior y que realimentará el sistema. Tras valorar otros intereses en otras materias y propuestas de temas, el alumno se decidió por el presente campo de investigación debido a: a) La literatura científica en torno al tema que nos ocupa, en lengua española es escasa frente a la literatura en inglés. Por ello se ha considerado un adecuado trabajo de investigación para el Trabajo de Fin de Máster, debido a la novedad que supone en nuestro entorno, ya no sólo un trabajo de evaluación, sino de evaluación de bibliotecas en el contexto digital. b) La posibilidad de aplicación sobre un caso real y la posible posterior reutilización de los datos obtenidos.

b. Objetivos del trabajo Los objetivos que se proponen para el presente trabajo se detallan a continuación: El objetivo general que se pretende es: -

Analizar el proceso de evaluación de unidades de información, con una especial atención a las bibliotecas digitales.

Para alcanzar este objetivo se han de cumplir los siguientes objetivos específicos: a) Objetivos relativos al marco teórico -

Presentar la función de evaluación como parte de la planificación de Unidades de información. Analizar el proceso de evaluación de las unidades de información aplicadas a un contexto electrónico. Conocer los diversos proyectos de evaluación de bibliotecas en contextos digitales.

9

EVALUACIÓN DE BIBLIOTECAS DIGITALES -

Analizar las diversas normas en torno a la evaluación de bibliotecas en contextos digitales.

-

Comparar los diversos datos e indicadores recogidos en proyectos y normas.

-

Extraer un patrón común a todos ellos que pueda ser aplicable a la biblioteca digital seleccionada.

b) Objetivos relativos al estudio aplicado: -

Aplicar las medidas e indicadores seleccionados a la Biblioteca de La Universidad Oberta de Cataluña.

-

Analizar los datos obtenidos e identificar debilidades y potencialidades de la Biblioteca virtual.

-

Plantear opciones de mejora para el funcionamiento de la biblioteca.

c. Metodología La metodología del estudio se ha desarrollado teniendo en cuenta los siguientes puntos que a continuación desarrollamos. a-) Marco teórico en el que a partir de la revisión bibliográfica, parte importante de cualquier trabajo de investigación, se pone de manifiesto la importancia que la evaluación tiene en el entorno bibliotecario. En este caso, se ha llevado a cabo la revisión de material impreso, ya se traten de monografías o artículos de revistas localizados la mayoría en la Biblioteca de la Facultad de Traducción y Documentación de la Universidad de Salamanca y, los menos, de la Biblioteca Vargas-Zuñiga de la Universidad Pontificia. También se ha recurrido a fuentes electrónicas que ofrecen una mayor actualidad en los contenidos. Bibliográficamente se ha acudido a autores clásicos en el ámbito de la gestión de unidades de información como Lancaster, Hernon, Mcclure o Van House y a diversos manuales y trabajos sobre el tema que nos atañe, con el objetivo de poder realizar un planteamiento del tema consistente. Una gran parte de toda esta literatura científica se corresponde con modelos tradicionales de evaluación, sobre los cuales, inevitablemente, se construirá un proceso de evaluación para las bibliotecas digitales. Cuando se trata de explicar someramente los proyectos y normas, se recurre a la fuente original y el apoyo de fuentes electrónicas como es el caso del trabajo de Lee Hsin Ju sobre Google Analytics. b-) Elaboración de un cuadro comparativo de las estadísticas e indicadores propuestos en los principales proyectos y normas nacionales e internacionales para la evaluación de la biblioteca digital: el proyecto estadounidense Metrics, el proyecto europeo Equinox, el proyecto COUNTER, el informe técnico ISO/TR 20983:2006, la norma ISO 11620:2008, la norma ISO 2789:2006. Las medidas incluidas en este cuadro se utilizarán posteriormente en el caso aplicado. Para la elaboración de esta herramienta, se han categorizado los procesos que hemos considerado claves en el funcionamiento de una biblioteca para ordenar y clasificar las estadísticas y los indicadores. Concretamente, hemos identificado las siguientes 10

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER categorías: recursos, servicios, procesos y la satisfacción del usuario. En cada una de ellas se han incluido las medidas correspondientes, así como las distintas fuentes en las que aparecen, estableciendo así paralelismos entre unas propuestas y otras. c-) En cuanto al estudio de caso, nuestro objetivo ha sido a aplicar las conclusiones extraídas del análisis teórico y la tabla comparativa, a una unidad de información digital real, concretamente, a la Biblioteca Virtual de la Universidad Oberta de Cataluña. Se ha tomado como fuente de información principal la página web de la Universidad Oberta de Cataluña y la de su biblioteca virtual. Paralelamente, se ha pedido a los responsables de dicha biblioteca información acerca del uso de los recursos electrónicos, información que nos ha sido amablemente remitida, a excepción de algunos datos como los gastos, que entendemos sea información reservada, las memorias del centro nos han permitido conocer aspectos que no aparecen reflejados en la página web de la Universidad. En cuanto al periodo de estudio, se ha decido tomar el comprendido entre los años 2008 y 2012 debido fundamentalmente a dos razones: Existe un plan estratégico para este período, cuya gestión y control ha requerido que la información se haya recogido de una manera m exhaustiva y, regular , permitiendo obtener una base estadística sólida, sin la cual no hubiera sido posible llevar a cabo el proceso de evaluación de la biblioteca. Este periodo coincide con la crisis económica y es posible observar sus efectos sobre el objeto de estudio. El análisis y evaluación de la biblioteca se desarrolla siguiendo la metodología DAFO, orientada a identificar las principales amenazas y oportunidades que ofrece su entorno externo (la Universidad Oberta de Catalunya) a la biblioteca, así como las fortalezas y debilidades que presenta en su funcionamiento. El conocimiento de estos factores, especialmente de los puntos débiles, es fundamental a la hora de plantear y desarrollar las acciones de mejora para la Biblioteca, objetivo último de este estudio.

d. Estructura El trabajo se estructura en cuatro partes: primeramente, en la presente introducción se parte de una justificación del tema; se definen los objetivos, tanto generales como específicos, que van a orientar el trabajo; y, se detalla la metodología que se va a desarrollar para la realización de esta investigación. A continuación se recoge un marco teórico en el que se revisa la inserción de la evaluación en el contexto de la planificación, se trata la evaluación como proceso y se presenta un cuadro resumen comparativo de estadísticas e indicadores de los distintos proyectos y normas de ésta en el entorno electrónico. A continuación, se desarrolla el cuerpo de este trabajo en el que a partir de la información recogida y tratada se presentan los resultados obtenidos del análisis mediante una metodología DAFO y se hacen unas propuestas de mejora. Por último se extraen unas conclusiones generales en torno a la evaluación de las bibliotecas digitales y se presenta la opinión personal acerca del trabajo, de los conocimientos adquiridos y de las competencias desarrolladas.

11

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Capítulo 1. MARCO TEÓRICO DE LA INVESTIGACIÓN “Es obvio que las bibliotecas continuarán buscando mejores formas para medir y evaluar su actividad. También, es lógico, que los métodos de evaluación y medidas de valoración continuarán siendo estudiados y adoptados.”1(Lynch, 1997:127)

1.1. La función de control y el proceso de evaluación La función de control permite completar el ciclo administrativo teniendo en cuenta las acciones llevadas a cabo por la organización, de manera que se cumplan los objetivos establecidos y el correcto desarrollo de la planificación. A pesar de que podamos situar esta función al final del ciclo, se trata de una función que se extiende a lo largo del proceso de planificación. El proceso de planificación implica una proyección de futuro. Determina los objetivos, políticas y estrategias que se plantean para conseguir tales objetivos. Hernon y Mcclure lo definen como el proceso de evaluar las necesidades de la organización y del entorno, desarrollando metas y objetivos, implementando servicios y actividades para conseguir esos objetivos y evaluar la calidad y el éxito de éstos en función de los objetivos establecidos (Hernon; McClure, 1990:12). La planificación incluye, tanto la definición y análisis de objetivo y, el establecimiento de planes alternativos, como la puesta en marcha y desarrollo de programas de acciones y la evaluación del resultado final. Veamos un mapa conceptual del proceso en el que se destacan sus diversas etapas

Planificar la planificación Análisis de la situación Planificación estratégica Planificación operativa Implantación Evaluación Ilustración 1- Etapas del proceso de planificación

Peter Hernon y Charles M. Mcclure recogen el siguiente esquema en el que muestran cómo se inserta el proceso de evaluación en el de planificación.

1

Traducción de: “It is obvious That Libraries Will continue to seek better ways to evaluate and measure their performance. It also is clear that methods of evaluation and measures of assessment will continue to be studied and adopted”

12

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

Ilustración 2- Planificación y evaluación (Hernon; McClure, 1990:11)

Se muestra en la ilustración anterior cómo el cuerpo organizacional del sistema se ve afectado por el contexto y cómo desde el planteamiento de las metas y objetivos de la institución, la evaluación está implícita de principio a fin, remarcando esta situación su carácter circular. Esta cualidad del sistema de planificación y evaluación de cualquier organización, pensando en nuestro caso, un sistema de información digital, aparece claramente mostrada en la siguiente ilustración recogida en la presentación de Tammaro y Marlino. (Tammaro, Martino, s.f.)

Ilustración 3- La evaluación en un Sistema de Información Digital. (Tammaro, Martino, s.f.)

Evaluar consiste en comparar lo que es con lo que debería ser; es decir, comparar la situación actual con unos estándares recogidos tanto en normas como en como proyectos; es decir, en último término se hablaría de cotejar lo actual con un ideal. Pero se necesita un instrumento conocido como indicador, que permita comparar los resultados obtenidos con los objetivos previamente formulados. Del análisis de esta comparación se desprende una toma de decisión que implica la formulación de nuevas 13

EVALUACIÓN DE BIBLIOTECAS DIGITALES

metas y objetivos o la necesidad de abordar una serie de medidas correctoras que permitan el cumplimiento y desarrollo de los objetivos planteados. La evaluación se considera un ciclo como venimos afirmando, y afecta a la planificación en todos sus estadios, desde el análisis de la situación, pasando por la planificación estratégica y operativa como recoge Van House (Van House, 1987:2). Veamos como describe la evaluación Araceli Noguez en su artículo. “la evaluación desempeña un papel central, toda vez que es el medio para conocer tanto el grado de avance o retroceso con respecto a los objetivos deseados, así como las metas a lograr y el efecto de las estrategias implantadas en una biblioteca, con el fin de verificar si lo planteado en esta fase se está llevando a cabo; o bien, si se están obteniendo los resultados esperados, y de esta manera tener elementos de juicio para poder hacer cambios o definitivamente suspender esa actividad o actividades” (Noguez-Ortiz, 2010:108) Tradicionalmente, la mayoría de los estudios han partido de un enfoque centrado en los recursos, mientras que los productos han sido menos tratados. En gran parte debido a la facilidad de cuantificar esos recursos y la complejidad de abordar las salidas, pese a que Lancaster (Lancaster, 1996) entiende que los recursos solo pueden ser evaluados en función de las consecuentes productos. Las mediciones de los productos permiten a la biblioteca conocer el grado de cumplimiento de sus objetivos, prioridades en la asignación de recursos. Lynch (Lynch, 1997:127) en 1997 detecta en Estados Unidos un desinterés en el desarrollo de normas de evaluación cuantitativa, debido al interés de medir los productos sobre los recursos y a la necesidad de encontrar referentes para emprender la comparación y por lo tanto la evaluación. Sin embargo, una evaluación completa implicará la medida de unos y otros, además del impacto como recogen McClure y Lopata. “Las medidas de rendimiento son una herramienta de gestión que abarcan la medición de entradas (indicadores de los recursos esenciales para proporcionar un servicio), salidas (indicadores de los servicios derivados de la utilización de los recursos), y los impactos (el efecto de estas salidas de otras variables o factores.”2 (McClure; Lopata, 1996) Pero junto a recursos y productos se encuentran los outcomes o resultados que Rowena Cullen define como ”los modos en los que los usuarios de las bibliotecas son cambiados como resultado del uso de los recursos bibliotecarios y sus programas”. (Cullen, 2001:11) En el artículo When the evidence is not enough (Hiller, Kyrillidou y Self, 2008) se hace hincapié en el hecho de que la evaluación se ha hecho más importante desde que las bibliotecas se han centrado más en el usuario y se han orientado hacia los resultados. El surgimiento y empleo de nuevas medidas e iniciativas, sobre todo de la ARL (Association of Research Libraries), ayudan a que las bibliotecas se centren más en el usuario, los resultados y la recolección de los datos que las ayudan a mejorar, aportándoles un valor añadido.

Traducción de: “Performance measures are a broad managerial tool that encompass measurement of inputs (indicators of the resources essential to provide a service), outputs (indicators of the services resulting from the use of those resources), and impacts (the effect of these outputs on other variables or factors).” 2

14

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

1.2. Por qué evaluar, qué y cómo Algunas de las razones que se barajan, siguiendo a Lancaster (Lancaster, 1996:2425), a la hora de justificar una evaluación son las siguientes: 1. Evaluar para conocer el rendimiento de la biblioteca o el centro de información. 2. Evaluar para justificar la existencia del servicio. 3. Evaluar para detectar las debilidades, amenazas, fortalezas y oportunidades del servicio; es decir desarrollar un análisis DAFO o SWOT de la organización. 4. Evaluar el cumplimiento de objetivos para la toma de decisiones. 5. Evaluar para comparar. Cualquiera de estos motivos para la evaluación han de ser dirigidos a la toma de decisiones y por lo tanto a la mejora del servicio, sólo así quedará justificada la evaluación. Pero la evaluación no es algo sencillo de llevar a cabo, es necesario luchar contra el “todo va bien en mi biblioteca”, contra la consideración de que se trata de algo inútil que implica un alto coste temporal, económico y de esfuerzo. Hernon y Mcclure lo exponían de la siguiente manera: “La actitud de que la evaluación no es necesaria, que los bibliotecarios saben qué pasa en su biblioteca, y que éstos saben cuándo un servicio o actividad es eficaz o ineficiente es un obstáculo para una exitosa evaluación de la biblioteca” (Hernon; McClure, 1990:18) Por otro lado, hay quienes desinformados lo consideran un ataque que daña la imagen y credibilidad del centro y la moral de los empleados. Además hay quienes manifiestan un temor desmedido ante la posibilidad de que se demuestre la ineficiencia del centro o de los propios empleados. Finalmente, parece hacer un flaco favor a la evaluación una aplicación inapropiada del proceso, que en lugar de tornarse en medidas de mejora, no sirviera para nada. Asunto que sería abordable mejorando la formación de los bibliotecarios en evaluación. Todo servicio, proceso u operación es susceptible de ser evaluado. A continuación se recogen tres aspectos a tener en cuenta desde los que abordar la evaluación. -

-

EFICACIA: La capacidad de un sistema de cumplir sus objetivos, suele comparar los resultados o los objetivos logrados con los objetivos planeados; es decir, se trata del logro de metas y objetivos. EFICIENCIA: se entiende por eficiencia según el diccionario de López Yepes la “capacidad [de un sistema] para conseguir sus objetivos de forma económica. […Es decir] un sistema es eficiente si alcanza sus objetivos con el mínimo posible de recursos”(Yepes, 2004, p. 500). La eficiencia trata de conseguir la eficacia al menor coste posible. CALIDAD: Según Gómez Hernández “La calidad es el conjunto de propiedades y características de un producto o servicio que repercuten en la capacidad de la biblioteca para satisfacer las necesidades expresadas o implícitas de los usuarios. Es un concepto relativo, dinámico y cambiante” (Hernández, 2002:65). Según este autor se puede entender de dos formas, por un lado de acuerdo con especificaciones definidas; y por otro, como respuesta a las

15

EVALUACIÓN DE BIBLIOTECAS DIGITALES

expectativas que se tengan sobre el servicio. La normativa referente a este tema está recogida por la familia ISO 9000. No obstante, como dice López Gijón “Hay que tener en cuenta que se pueden medir todas las funciones bibliotecarias, lo cual no quiere decir que hoy contemos con los medios adecuados para medir. Entre los aspectos medibles podemos destacar los costes los costes de cada actividad, resultados, si se han cumplido los objetivos, nivel de servicios proporcionado a los usuarios, operaciones y procesos internos, aspectos del servicio a los que se dedican más recursos, etc.”(López Gijón, 1996:91). Pero tras saber qué se puede evaluar, surge un nuevo interrogante: ¿cómo evaluar? Parece recomendable partir de datos que mediante un proceso se convertirán en indicadores, teniendo en cuenta que el indicador es una medición objetiva que describe lo que hay y permite la elaboración de juicios, se trata de una expresión numérica que muestra el resultado del alcance y eficacia de los distintos servicios, que en último término habrán de compararse con datos adecuadamente normalizados. En epígrafes posteriores se trabajará con más detalle y concisión sobre el papel del indicador en el proceso de evaluación.

1.3. El proceso de evaluación Marta de la Mano (Mano González, 1998) recoge las siguientes acciones claves en el proceso de evaluación de una unidad de información, aunque es extrapolable a la evaluación de cualquier otro sistema u organización. 







Identificación y recopilación de los datos e información objetiva acerca de la Unidad de Información y su funcionamiento. Es una información meramente descriptiva y ligada a lo que conocemos como evaluación estática, e implica la recogida de estadísticas. Procesamiento de los datos e información recogida de manera que se pueda contrastar con los criterios establecidos para valorar tanto el rendimiento como la calidad de la unidad de información así como la formulación de indicadores. Es un nivel de evaluación analítico Se ha de recordar que hablar de rendimiento es hablar de eficacia, eficiencia y calidad. Interpretar y valorar la información recogida que permita la toma de decisiones. El proceso de evaluación es una oportunidad de mejora pues si no se da esa toma de decisiones, la evaluación no sirve para nada, ya que no se trata de un fin en sí mismo y, solo entonces sería una pérdida de tiempo, de dinero y de esfuerzo. Toma de decisiones: se trata del último trámite del proceso, sin el cual el proceso sería un desastre. Son necesarias, por lo tanto, las consecuentes acciones derivadas de la evaluación.

1.3.1. Identificación y recopilación de datos: la situación de partida Tomando como referencia el trabajo de Marta de la Mano (Mano, 1998), esta etapa del proceso supone un análisis nivel descriptivo y se basa en la obtención de aquellos datos que nos permitan medir el funcionamiento de la organización; es decir, la recogida de información de las distintas variables de la biblioteca. Se correspondería con la recogida estadística que llevan a cabo las bibliotecas y sin la cual sería imposible llevar a cabo análisis más complejos. 16

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER Esta información permite conocer el estado del centro en un momento dado, se trataría en palabras de Marta de la Mano de una “evaluación estática” Resulta fundamental observar que para que se trate de una recogida verdaderamente útil ha de ser sistematizada, mantenida en el tiempo y normalizada, de manera que sirva para “sentar las bases sobre las que construir un sistema de indicadores de rendimiento lo suficientemente sólido como para asegurar una evaluación objetiva y dinámica. (Mano, 1998, 182).

1.3.2. Procesamiento de datos: el valor del indicador Los indicadores funcionan como puente entre los resultados obtenidos y las metas y objetivos previamente planteados. La toma de decisiones como paso derivado de la evaluación es fundamental, pues permite mejorar la planificación y detectar oportunidades de mejora. Conlleva, por lo tanto, la formulación de nuevos objetivos o la corrección de antiguas e ineficientes prácticas. Los resultados iniciales derivan de la actividad de la Unidad de Información y aparecen como “datos brutos”. “Lo que debería ser” se concreta en objetivos que aparecen formulados incluyendo porcentajes, o términos relativos; mientras, que “lo que es” se traduce en resultados. Se necesita una herramienta que permita la comparación. Este es el papel del indicador. Para Duarte Barrionuevo los indicadores son “el resultado de cuantificar las distintas actividades realizadas por los servicios bibliotecarios, y su finalidad no es otra que contribuir a determinar en qué grado se han conseguido los objetivos previstos” (Barrionuevo, 1995:97). Éstos han de ser: apropiados, válidos, reproducibles, prácticos, exactos, constantes, equitativos, indiscutibles, relevantes, útiles y fiables. (Barrionuevo, 1995:98). Se seleccionarían aquellos indicadores sobre los que exista un mayor consenso en las normas nacionales e internacionales, aquellos generalizados entre unidades de información de características semejantes de modo que se facilita la comparación o los más adecuados a cada unidad de información. Consideramos los siguientes indicadores que también son resaltados por Gómez Hernández(Hernández, 2002): -

Indicadores de rendimiento operacional: Relacionan inversión y producción.

-

Indicadores de eficacia: Relacionan la producción con el uso, juzgada por los usuarios. Permiten saber qué áreas tienen un rendimiento bajo.

-

Indicadores de coste-eficacia: Relación entre inversión y uso, entre los recursos empleados en un determinado servicio y la utilización del mismo por los usuarios.

-

Indicadores de impacto: Indica la relación entre uso real de un servicio y el uso potencial que se podría hacer.

1.3.3. Interpretar y valorar la información No existen interpretaciones absolutas ni plenamente correctas. Las interpretaciones se harán en función de la consecución de objetivos; por lo tanto, los indicadores no deben interpretarse aisladamente. En caso de que se necesite actuar, la interpretación de los indicadores nos debería decir dónde hay que hacerlo. Los estudios de eficacia permiten la comparación de resultados bien sobre los resultados anteriores, objetivos de la misma biblioteca, con otras bibliotecas similares. o normas. Ésta última resulta más problemática porque implica una normalización de métodos de recogida de manera que se asegura la uniformidad de las distintas 17

EVALUACIÓN DE BIBLIOTECAS DIGITALES

recogidas entre bibliotecas, aunque se vería facilitada por una comparación mediante un sistema normalizado. La evaluación implica, necesariamente, la existencia de datos estadísticos, de modo que planificación y evaluación, por tanto, constituyen un binomio que se requiere obligatoriamente, ya que una, la planificación es el proyecto de actuar, mientras que la otra, la evaluación, es el análisis continuo y constante de los resultados, en la práctica de ese proyecto.”(Fuentes 1999:23) Finalmente, se puede considerar una última acción a llevar a cabo, se trataría de informar acerca de los resultados, tanto de manera interna como externa; es decir tanto a la dirección y plantilla de la biblioteca como a los usuarios. Un aspecto, éste último, con frecuencia olvidado. Los resultados de la evaluación pueden ser empleados en una replanificación, siendo conscientes que el proceso nos ha permitido obtener más información acerca del contexto del centro, de su funcionamiento y organización.

1.4. La evaluación en el contexto digital A pesar de que, una y otra vez, se pone de manifiesto en la literatura que se trata de un término complejo y problemático y que con frecuencia describe una amplia variedad de conceptos (Bishop, Ann P., 2003), partimos de un concepto de biblioteca digital aportada por Jesús Tramullas que consideramos apropiada: “biblioteca digital es un sistema de tratamiento técnico, acceso y transferencia de información digital, estructurado alrededor del ciclo de vida de una colección de documentos digitales, sobre los cuales se ofrecen servicios interactivos de valor añadido para el usuario final” (Tramullas Saz, 2002:8). Si López Gijón contaba cómo este tema estaba ya muy tratado por las literaturas de otros países, pensemos en Estados Unidos o en Gran Bretaña, “La evaluación de los servicios bibliotecarios es una práctica casi inexistente en España. Hasta comienzos de los años 90 es difícil encontrar este tema en nuestra literatura”(López Gijón, 1996: 78). Con lo cual, ahora, resulta complejo evaluar las bibliotecas en el nuevo entorno, cuando apenas si se había comenzado a evaluar las bibliotecas tradicionales y retomando las palabras de este autor aunque aplicadas al contexto tradicional “tendremos que cambiar nuestra forma de actuar y empezar a considerar que necesitamos los datos que se producen como resultado del funcionamiento del centro, y que estos datos tienen que ser públicos y estar disponibles para cualquier persona” (López Gijón, 1996:81), idea sobre la que redunda Hiller cuando dice “la disponibilidad de la información de la biblioteca, especialmente, estadísticas de uso, ha crecido sustancialmente con los nuevos sistemas online”(Hiller, Kyrillidou, & Self, 2008:223). Si las estadísticas tradicionales tenían que ser elaboradas por la propia biblioteca, los datos estadísticos sobre los servicios electrónicos, especialmente los relacionados con su uso, han de ser tomados de diferentes fuentes, mayoritariamente externas. Esta situación hace que la biblioteca deba recurrir a proveedores externos. Así lo expresan Borrego y Urbano.: “A diferencia de lo que pasaba tradicionalmente, las bibliotecas han dejado de ser autosuficientes en el proceso de recogida de datos del uso de sus colecciones y, en el caso de los recursos electrónicos, dependen de una segunda instancia: los editores.” (Borrego y Urbano, 2005:31)

18

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER Estos autores destacan que cuando el usuario se conecta a un recurso remoto, ya no depende de la biblioteca sino de los proveedores de información, lo que conlleva algunos problemas como, por ejemplo, la dificultad de la normalización de los datos o la ausencia de una normalización conceptual que permita hablar sin confusión.

1.4.1. Normas, proyectos, indicadores de rendimiento y evaluación de la calidad Los procesos de evaluación en el entorno electrónico vienen marcados tanto por proyectos, como por normas que buscan la normalización de la evaluación facilitando, en último término la comparación. Se recogen, a continuación los intentos más interesantes de los que se puede valer la evaluación de bibliotecas digitales, categorizados en normas y proyectos. Desde un punto de vista estadístico, hay que destacar iniciativas como el proyecto COUNTER o la norma ISO 2789:2006 en la que se especifican reglas para bibliotecas y servicios electrónicos, sobre la recogida y presentación de estadísticas sobre el uso de los servicios bibliotecarios electrónicos. Sin embargo, si hay un proyecto estadístico que genere la suficiente confianza y el necesario consenso y la posibilidad de convertirse en estándar, éste es COUNTER; así lo reconocen Borrego y Urbano cuando escriben “si hay un modelo que parece ir camino de convertirse en un estándar es el de Counter” (Borrego y Urbano, 2005:38). En cuanto al desarrollo de trabajos en torno a los indicadores de rendimiento son destacables los proyectos EQUINOX (2000) que persigue elaborar un conjunto de indicadores de rendimiento para la biblioteca electrónica que complete la propuesta de la norma ISO 11620; así como el desarrollo de un software integrado que permita la gestión del nuevo entorno electrónico y E-METRICS que trata de analizar la viabilidad de definir y recoger datos sobre el uso y el valor de los recursos electrónicos, buscando, en todo momento, una compatibilidad con COUNTER. Por otro lado, la aplicación del Informe técnico ISO/ TR 20983: 2003 de indicadores de rendimiento en servicios bibliotecarios electrónicos, depende del trabajo conjunto de editores, proveedores y bibliotecarios y permite probar el uso de indicadores de rendimiento para servicios electrónicos; a la vez que propone una terminología normalizada y la definición precisa de los indicadores de rendimiento. Existe un paralelismo entre la estructura de esta norma y la empleada en la Norma ISO 11620 que trata de difundir el conocimiento sobre la práctica de evaluar los servicios bibliotecarios electrónicos y es una revisión de la norma anterior.. Por último destacamos El informe técnico ISO/TR 28118: 2009 de indicadores de rendimiento para Bibliotecas Nacionales que incluye algunos indicadores sobre la digitalización de la colección. La evaluación de la calidad de los servicios electrónicos es objeto de los proyectos Digi-Qual y Mines. La calidad según Gómez Hernández (Hernández 2002) define un nuevo modelo de gestión en el que buscarla y asegurarla controlando de modo sistemático todos los procesos que influyen en su logro. Es decir, hablamos de un proceso integral que afecta a todos los aspectos de la gestión de la biblioteca. Hay dos formas de entender esta calidad: de acuerdo a unas especificaciones previamente establecidas o a las expectativas de los usuarios respecto al servicio. En este caso tanto DigiQual, mediante grupos de discusión con más de 180 ítems sobre 12 aspectos relacionados con la calidad del servicio digital, como Mines que emplea la encuesta web hacen referencia al primero de los modelos de entender la calidad.

19

EVALUACIÓN DE BIBLIOTECAS DIGITALES

1.4.2. Definiciones Se recoge, a continuación un pequeño glosario con los términos más problemáticos y empleados a continuación, recogidos en estas normas y proyectos interpretados desde el punto de vista de la norma ISO/TR 20983. Término

Definición

Colección electrónica

Todos los recursos en formato electrónico de la colección de la biblioteca. Incluye bases de datos, publicaciones seriadas electrónicas y documentos digitales. [Norma ISO 2789: 2003]. Observaciones: Se deberían contabilizar de forma separada los recursos gratuitos de Internet que la biblioteca haya catalogado en su OPAC o en una base de datos.

Documento electrónico

Unidad de información con un contenido concreto que la biblioteca ha digitalizado o ha adquirido en formato digital como parte de su colección [Norma ISO 2789: 2003].

Documento descargado

Texto completo de un documento, o parte de un documento, de la colección electrónica al que accede el usuario. [Norma ISO 2789: 2003]

Documento digital

Unidad de información con un contenido concreto que la biblioteca ha digitalizado o ha adquirido en formato digital como parte de su colección. [Norma ISO 2789: 2003]

Estación de trabajo

Ordenador que puede funcionar independientemente, conectado en red o como un terminal sólo de consulta. [Norma ISO 2789: 2003]

Servicio electrónico

Servicio bibliotecario electrónico que se ofrece desde servidores locales o está accesible a través de redes [Norma ISO 2789: 2003]. Los servicios bibliotecarios electrónicos incluyen el OPAC, el sitio Web de la biblioteca, la colección electrónica, el suministro electrónico de documentos (a través de intermediarios), el servicio de referencia electrónica, la formación de usuarios en el uso de servicios electrónicos y el acceso a Internet a través de la biblioteca.

Sesión

Una solicitud exitosa de un servicio en línea. Es un ciclo de actividades de los usuarios que por lo general comienza cuando un usuario se conecta al servicio o base de datos y termina dejando el servicio a través de la salida o cierre de sesión o debido al tiempo de espera por inactividad del usuario. [Norma ISO 2789: 2003]

20

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

Sesión rechazada (rechazo)

Petición que no ha tenido éxito en una base de datos o en el OPAC debido a que las peticiones exceden el límite de usuarios simultáneos. [Norma ISO 2789: 2003]

Sesión remota

Consulta con éxito a una base de datos u OPAC establecida desde fuera del edificio de la biblioteca (adaptada de EQUINOX).

Timeout

Terminación automática de una sesión debido a un período de inactividad del usuario. El valor promedio de tiempo de espera sería 30 minutos, aunque depende del sistema. [Norma ISO 2789: 2003].

Visita virtual

Consulta del usuario al sitio Web de la biblioteca desde el exterior, sin importar el número de páginas o elementos consultados. [Norma ISO 2789: 2003]. Tabla 1- Términos y definiciones

1.4.3. Cuadro comparativo Aplicaremos las categorías en función de los aspectos que consideramos han de ser objeto de medición; es decir, recursos electrónicos, financieros y humanos en cuanto a recursos, los servicios, procesos a lo que se añadirá, en el caso de los indicadores, la satisfacción. Se contraponen en la tabla los datos estadísticos brutos a los indicadores que permitirán la evaluación. Se recoge entre paréntesis el proyecto o norma que los contempla. En gris se recogen los indicadores de diversos proyectos y normas que se consideran semejantes. ESTADÍSTICAS

INDICADORES

RECURSOS

RECURSOS

Electrónicos

Electrónicos

- Número de publicaciones periódicas - Porcentaje de libros electrónicos sobre electrónicas a texto completo. (E-Metrics) el total de monografías. (E-metrics) - Número de fuentes de referencia electrónicas. (E-Metrics) - Número de libros electrónicos. (EMetrics) Económicos

Económicos

- Coste de las publicaciones periódicas - Porcentaje de gastos en provisión de electrónicas a texto completo (E-Metrics) información asignados a la colección electrónica (ISO 11620:2008, ISO - Coste de las fuentes de referencia TR/20983:2003) electrónicas (E-Metrics) - Coste por sesión de bases de datos - Coste de los libros electrónicos (E- (ISO 11620:2008, ISO TR/20983:2003) Metrics)

21

EVALUACIÓN DE BIBLIOTECAS DIGITALES

- Gastos de la biblioteca en recursos - Coste por unidad de contenido bibliográficos, redes y consorcios (E- descargada (ISO 11620:2008, ISO Metrics) TR/20983:2003) Gastos externos en recursos - Coste por sesión para cada servicio bibliográficos, redes y consorcios (E- bibliotecario electrónico (EQUINOX) Metrics) - Coste por documento o registro - Coste de la creación y mantenimiento consultado para cada servicio de la colección digital (E-metrics) bibliotecario electrónico (EQUINOX) - Porcentaje del gasto en la adquisición de servicios bibliotecarios electrónicos obre el gasto total de adquisiciones. (EQUINOX) Humanos

Humanos - Número de Asistencias a Sesiones Formales de Formación sobre Tecnologías de la Información o relacionadas por miembro del personal (ISO TR/20983:2003) - Porcentaje de personal de la biblioteca que proporciona servicios electrónicos (ISO 11620:2008, ISO TR/20983:2003) - Porcentaje de miembros de la plantilla que desarrollan, gestionan y proporcionan servicios bibliotecarios electrónicos sobre el total de miembros de la plantilla (EQUINOX)

SERVICIOS

SERVICIOS

Servicio de referencia

Servicio de referencia

- Número de transacciones de referencia - Porcentaje de transacciones de referencia electrónicas sobre el total de electrónicas (E-Metrics) referencias. (E-Metrics) - Porcentaje de peticiones de información realizadas electrónicamente (ISO 11620, Informe Técnico ISO/TR 20983) - Porcentaje de peticiones de información presentadas electrónicamente (EQUINOX)

22

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER  Búsqueda información

y

recuperación

de  Búsqueda información

- Número de sesiones (ISO 2789: 2006)

y

recuperación

de

- Porcentaje de sesiones rechazadas (ISO 11620:2008, ISO TR/20983:2003)

- Número de sesiones en bases de datos electrónicas (E-Metrics) - Porcentaje de sesiones rechazas sobre el total de sesiones intentadas - Número de sesiones de Internet (ISO (EQUINOX) 2789: 2006) - Porcentaje de Sesiones Remotas del - Duración de la sesión (ISO 2789: 2006) OPAC (ISO TR/20983:2003) - Número de sesiones rechazadas (ISO - Número de sesiones remotas en 2789: 2006) servicios bibliotecarios electrónicos por miembro de la población a la que sirve - Sesiones rechazadas por mes y título. (EQUINOX) (COUNTER) - Visitas Virtuales como Porcentaje sobre - Sesiones rechazadas por mes y base el Total de Visitas (ISO TR/20983:2003) de datos. (COUNTER) - Porcentaje de visitas virtuales sobre el - Sesiones rechazadas por mes y total de visitas a la biblioteca. (E-metrics) servicio. (COUNTER) - Porcentaje de la población a la que - Para todos los recursos con licencia llegan los servicios bibliotecarios (especialmente bases de datos y electrónicos (EQUINOX) publicaciones periódicas electrónicas): el número de sesiones rechazadas. (ISO - Porcentaje de Población a la que Llegan 2789:2006) los Servicios Electrónicos (ISO TR/20983:2003) - Número de contenidos descargados (ISO 2789: 2006) - Número de sesiones en cada servicio bibliotecario electrónico por miembro de Para publicaciones periódicas la población objetivo (EQUINOX) electrónicas y para libros digitales: el número de contenidos descargados. (ISO - Número de documentos y registros 2789: 2006) consultados por sesión para cada servicio bibliotecario electrónico (EQUINOX) - Para bases de datos: el número de sesiones, contenidos y/o ficheros - Tasa de uso de la estación de trabajo descargados (ISO 2789: 2006) de la biblioteca (EQUINOX) - Número de descargas de artículos a - Tasa de uso de las estaciones de texto completo realizadas con éxito. trabajo (ISO 11620:2008) (COUNTER) - Horas de estaciones de trabajo “per - Número de descargas de artículos a cápita” (ISO 11620:2008) texto completo realizadas con éxito desde el archivo por mes y título.(COUNTER) - Número de horas disponibles de la estación de trabajo por miembro de la - Número de ficheros descargados (ISO población a la que sirve (EQUINOX) 2789: 2006) - Estaciones de trabajo de acceso público - Número de peticiones de ítems con “per cápita” (ISO 11620:2008) éxito y sesiones rechazadas por mes, título y tipo de página. (COUNTER) - Número de unidades de contenido descargadas “per cápita” (ISO 23

EVALUACIÓN DE BIBLIOTECAS DIGITALES

- Número de peticiones de títulos exitosas 11620:2008) por mes y título. (COUNTER) - Número de Documentos Descargados - Número de peticiones exitosas de por Sesión (ISO TR/20983:2003) partes de libros por mes y título. (COUNTER) - Ítems solicitados en bases de datos electrónicas (E-Metrics) - Número de búsquedas (ISO 2789: 2006) - Total de búsquedas y sesiones por mes y base de datos. (COUNTER) - Total de búsquedas y sesiones por mes y servicio. (COUNTER) - Total de búsquedas realizadas por mes y servicio. (COUNTER) - Total de búsquedas y sesiones por mes y título. (COUNTER) - Total de búsquedas y sesiones por mes y servicio. (COUNTER) - Número de búsquedas/consultas en bases de datos electrónica (E-Metrics) - Número de visitas virtuales (ISO 2789: 2006) - Visitas virtuales a la página Web y al catálogo de la biblioteca (E-Metrics)

Formación de usuarios

Formación de usuarios - Número de Asistencias a Sesiones de Formación sobre Servicios Electrónicos per Cápita (ISO TR/20983:2003) - Número de asistencias a sesiones formales de formación de servicios bibliotecarios electrónicos por miembro de la población a la que sirve (EQUINOX)

PROCESOS Digitalización - Tamaño de la colección digital (EMetrics)

PROCESOS Digitalización - Porcentaje de documentos digitalizados al año por cada mil títulos de la colección. (ISO TR/20983:2003)

24

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER - Uso de la colección digital (E-Metrics)

- Porcentaje de documentos digitalizados por colección especial (ISO TR/20983:2003) - Número de unidades de contenido descargadas por documento digitalizado (ISO TR/20983:2003)

SATISFACCIÓN - Satisfacción del usuario con los servicios bibliotecarios electrónicos (EQUINOX) Tabla 2- Cuadro comparativo de estadísticas e indicadores

25

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Capítulo 2. ESTUDIO APLICADO: EL CASO DE LA BIBLIOTECA VIRTUAL DE LA UNIVERSIDAD OBERTA DE CATALUÑA Toda evaluación de un centro bibliotecario, sea de naturaleza tradicional o digital, comienza con un análisis de la situación actual, llevando a cabo una investigación sobre el entorno interno y el entorno externo de la organización. El análisis DAFO permite conocer las fortalezas, debilidades, amenazas y oportunidades de la biblioteca y es útil a la hora de realizar propuestas de mejora. En nuestro caso, el entorno externo será la Universidad a la que presta los servicios la biblioteca, mientras que el entorno interno hará referencia a la biblioteca objeto del estudio.

2.1. Análisis del entorno externo: La Universidad Oberta de Cataluña Centraremos esta parte del análisis en una presentación de la Universidad a la que ofrece sus servicios la biblioteca, es decir, la Universidad Oberta de Cataluña. Para ello, estudiaremos su organización, las titulaciones que se imparten, el profesorado que posee y su alumnado.

2.1.1. Presentación de la Universidad La Universidad Oberta de Cataluña, en adelante referida como UOC, es una universidad catalana virtual internacionalmente reconocida, con una comunidad de más de 60.000 estudiantes. Su misión es “proporcionar un aprendizaje duradero y oportunidades educativas. Se busca ayudar a las personas a cubrir sus necesidades de aprendizaje y proporcionarles un acceso completo al conocimiento, más allá y por encima de la planificación habitual y las restricciones de espacio” (Página web UOC) y está comprometida con valores como la diversidad, la participación, la calidad, la innovación, la sostenibilidad y la cooperación. Permite un aprendizaje personalizado que facilita y favorece el trabajo colaborativo y la difusión del conocimiento, a la par que se lleva a cabo una investigación acerca de la sociedad de la información y el conocimiento y el e-learning. La UOC tuvo sus comienzos en el curso 1995-1996, con apenas 200 estudiantes de empresariales y psicopedagogía. Por entonces, las clases se impartían únicamente en catalán. Con el tiempo ha ido desarrollando y aumentando la oferta de titulaciones impartidas tanto en español como en inglés; pero también ha sufrido una expansión territorial aumentando su presencia, tanto nacional como internacionalmente, con la multiplicación de puntos y sedes UOC. La sede central es el rectorado de la universidad que se ubica en Barcelona, en la Avenida Tibidabo número 39-43. 2.1.2. Estructura y oferta docente Al tratarse de una universidad virtual carece de facultades. Sin embargo, es posible organizar la universidad en torno a grandes áreas docentes que funcionan como departamentos que se recogen a continuación y que están relacionados con la docencia que imparten:   

Estudios de Artes y Humanidades Estudios de Ciencias de la Salud Estudios de Ciencias de la Información y de la Comunicación 26

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER    

Estudios de Derecho y Ciencia Política Estudios de Economía y Empresa Estudios de Informática, Multimedia y Telecomunicación Estudios de Psicología y Ciencias de la Educación

La oferta docente queda articulada por medio de los estudios, tres institutos ( el Instituto Internacional de Posgrado, el Internet Interdisciplinary Institute - IN3 y el eLearn Center – eLC) ; tres escuelas, la Business school, la Escuela de lenguas y la Escuela de cooperación; y tres cátedras entre las que se encuentra la Cátedra UNESCO de Educación y Tecnología por el Cambio Social, la Cátedra UNESCO Fundación FCBarcelona - UOC y la Cátedra de Multilingüismo Linguamón-UOC. En la actualidad se ofrecen 15 titulaciones de grado, que se recogen a continuación, organizadas por áreas docentes, junto a 26 másteres universitarios, en diversas áreas de conocimiento. Por otro lado, se imparte otro tipo de formación de postgrado, cursos, másteres no oficiales y especializaciones; además de cursos de verano y cursos de idiomas. Cuenta, del mismo modo, con tres programas de doctorado en línea: el doctorado de Educación y TIC (e-learning), el doctorado de Sociedad de la Información y el Conocimiento y el doctorado de Tecnologías de la Información y de Redes. A continuación se recoge en diversas tablas, los grados y másteres universitarios oficiales, que se imparten en la UOC. Han sido ordenados en función del área docente al que pertenecen.

Estudios de Artes y Humanidades

GRADOS - Humanidades - Lengua y literatura catalanas - Antropología y evolución humana URV-UOC

MÁSTERES UNIVERSITARIOS

- Estudios catalanes - Estudios de China y Japón: mundo contemporáneo - Gestión cultural orientación académica e investigadora UOC-UdG-UIB - Historia contemporánea y mundo actual: la construcción del presente UB-UOC - Humanidades: arte, literatura y cultura contemporáneas - Mediterráneo antiguo (UOC-UAB) 27

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Estudios de Ciencias de la salud GRADOS - No hay -

MÁSTERES UNIVERSITARIOS

- Telemedicina - Nutrición y salud - Trabajo social sanitario

Estudios de Ciencias de la Información y de la Comunicación

GRADOS

- Comunicación - Información y documentación

MÁSTERES UNIVERSITARIOS

- No hay -

Estudios de Derecho y Ciencia Política

GRADOS

- Derecho - Criminología

28

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

MÁSTERES UNIVERSITARIOS

- Abogacía - Fiscalidad - Análisis político - Derechos humanos, democracia y globalización

Estudios de economía y empresa

GRADOS

- Administración y dirección de Empresas - Relaciones laborales y ocupación - Turismo - Marketing e investigación de mercados

MÁSTERES UNIVERSITARIOS

- Prevención de riesgos laborales - Dirección de empresas (Dirección de las organizaciones en la economía del conocimiento) - Análisis del entorno económico

Estudios de Informática, Multimedia y Telecomunicación

GRADOS

- Ingeniería informática

29

EVALUACIÓN DE BIBLIOTECAS DIGITALES

- Multimedia - Tecnologías de telecomunicación

MÁSTERES UNIVERSITARIOS

- Aplicaciones multimedia - Ingeniería informática - Máster interuniversitario en Ingeniería de Telecomunicación (UOC-URL) - Software libre - Ingeniería computacional y matemática (URV-UOC) - Visión por computador (UAB-UOC-UPC-UPF) - Potenciación digital (digital empowerment)

Estudios de Psicología y Ciencias de la Educación

GRADOS - Psicología

MÁSTERES UNIVERSITARIOS

- Educación y TIC (e-learning) - Dificultades del aprendizaje y trastornos del lenguaje - Psicología, salud y calidad de vida. Uso de las TIC para la promoción de la calidad de vida

Tabla 3- Titulaciones de grado y máster oficiales ofertadas en función del área docente

30

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

2.1.3. El profesorado El profesorado de la UOC está compuesto tanto por profesorado propio de la universidad como por el conocido como personal docente colaborador. Los primeros suman un total de 256 profesores de los cuales el 64% se han acreditado, los segundos suman un total de 3378 individuos. Éste último es un grupo más numeroso debido a que se considera un motivo de enriquecimiento, no sólo para el personal que se incorpora, sino para la propia Universidad. En cualquier caso se trata de conseguir a profesorado de reconocido prestigio, ya sea por su contribución docente o investigadora. El profesorado es el responsable de las titulaciones, así como de su calidad, comprometiéndose a mantener los contenidos actualizados, asegurando la coherencia y eficacia de la docencia y su innovación. Los profesores están adscritos a alguna de las áreas docentes antes descritas.

2.1.4. El alumnado Desde los comienzos de la universidad el alumnado ha ido incrementándose notablemente, el número de alumnos ha aumentado anualmente, este crecimiento continuado de los estudiantes en la Universidad supone una ventaja para la biblioteca, puesto que, implica el amento de usuarios potenciales a los que prestar servicio. Según la información recogida de la página web de la propia Universidad, es posible hablar de que en el curso 2012/2013 hay un total de 60096 estudiantes en la UOC, de los cuales 47242 cursan estudios oficiales y 12854 pertenecen a la oferta propia de la Universidad. Entre los primeros, 23441 pertenecen a estudios de grado y 3557 a máster. A cada estudiante se le asigna un tutor que lo asesorará sobre su vida académica y ayudarán a planificar los estudios.

2.1.5. Amenazas y oportunidades Retomamos, a continuación, las oportunidades y amenazas detectados en el entorno externo. Consideramos fundamental el incremento anual de estudiantes que se corresponderá con el aumento del número de usuarios potenciales de la biblioteca, también se ve como una gran oportunidad el hecho de que esta universidad imparta docencia de manera on-line, de manera que llega a un mayor número de alumnos procedentes de diversos lugares del mundo que pueden compatibilizar sus estudios con otras actividades. Es destacable, igualmente, la importancia que la UOC concede a la Sociedad del Conocimiento y la inclusión de nuevas titulaciones. En cambio, si se pone la atención sobre las amenazas que ese entorno ofrece, es inevitable hacer referencia a la situación económica que vive el país; de manera que la situación económica y laboral, sumada al aumento en la tasas puede afectar a la matrícula en la universidad. Por otro lado, consideramos una amenaza el hecho de que la información acerca de la biblioteca se recoja indiferentemente en memorias de la biblioteca y memorias de la UOC.

31

EVALUACIÓN DE BIBLIOTECAS DIGITALES

2.2. Análisis del entorno interno: La biblioteca virtual de la Universidad Oberta de Cataluña. En el análisis del entorno interno de la biblioteca, como ya hemos señalado en la metodología, es necesario realizar, en primer lugar, un estudio descriptivo del centro y su funcionamiento, para, a continuación, llevar a cabo sobre esta base un análisis valorativo de la situación en que se encuentra la biblioteca, profundizando en aspectos como, la colección, el uso de que es objeto y los servicios prestados, e identificando sus puntos fuertes y débiles.

2.2.1. Misión y objetivos de la biblioteca La Biblioteca Virtual de la Universidad Oberta de Cataluña, en adelante BvUOC, ofrece apoyo al aprendizaje, la docencia e investigación de los usuarios de la Universidad. La biblioteca se gestiona dese sus instalaciones en Barcelona, más en concreto en el número 156 de la Rambla del Poblenou Su misión es “incrementar el nivel de calidad y de excelencia de los procesos de aprendizaje, docencia, gestión, investigación, formación continua y de gestión del conocimiento.” (Memoria de la biblioteca virtual 2007-2008:50). Por otra parte, su objetivo “es proporcionar a estudiantes, docentes, investigadores y personal de gestión de la UOC acceso a la información necesaria para el desarrollo de sus funciones” (Memoria de la biblioteca virtual 2007-2008:50). La Biblioteca dispone de un espacio virtual central, pero igualmente está presente en aquellos ámbitos en los que puede servir de ayuda y apoyo. Es el caso de su presencia en las aulas y en las actividades de docencia e investigación.

2.2.2. Usuarios potenciales y usuarios virtuales Dentro de los usuarios potenciales de la Biblioteca se incluyen estudiantes matriculados en los diferentes estudios, el personal docente e investigador y el personal de gestión y colaborador. El usuario potencial mayoritario es la figura del estudiante, seguido por el personal docente e investigador. Por otro lado, se consideran usuarios virtuales al total de usuarios que han establecido una sesión en el servidor de la biblioteca. El número de usuarios de la Biblioteca ha ido incrementándose notablemente en el curso 2007-2008 eran 57000 usuarios, aumentando hasta los 61328 en el curso 2011-2012. El progreso de la cifra de usuarios que se conectan a este servidor refleja cómo los meses de una mayor conexión coincide con el inicio de los semestres.

2.2.3. Estructura y organización La Biblioteca Virtual se organiza en torno a las siguientes secciones: Gestión de Recursos, Servicios e Innovación y Comunicación. Según esta estructura interna, las tareas asignadas a cada una son:  

Gestión de Recursos: selecciona recursos y herramientas que permitan satisfacer las necesidades informacionales de la comunidad de usuarios Servicios, por su parte: selecciona y desarrolla servicios de información y hace entrega de documentación con objeto de satisfacer las necesidades de

32

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER



la comunidad a la que sirve en su aprendizaje, docencia, investigación y gestión. Innovación y Comunicación: da visibilidad a los servicios ofrecidos por la biblioteca virtual facilitando la implementación de mecanismos para la innovación y la mejora continúa.

Estas secciones son atendidas por el personal que se organiza de la forma que se , detalla en el siguiente apartado, dedicado a los recursos humanos de la biblioteca

2.2.4. Los recursos humanos de la biblioteca: el personal El personal de la biblioteca se adscribe a cada una de las secciones descritas con anterioridad. De este modo se cuenta con un puesto de dirección, uno de administración, otro dedicado a la comunicación y análisis de datos y los siguientes grupos, todos ellos con un director del operativo. El grupo dedicado a la gestión del apoyo al aprendizaje -compuesto, a su vez, por bibliotecarios para la preservación de colecciones y bibliotecarios de apoyo al aprendizaje y la docencia- cuenta con once profesionales más el director del operativo. Un segundo grupo dedicado al apoyo a la investigación, además del director del operativo, cuenta con cuatro profesionales. Un último grupo operativo, formado por cuatro expertos, se dedica al desarrollo del programa y a la gestión de los contenidos web. Por lo tanto, un total de veinticinco profesionales forman parte de la plantilla, sin contar con becarios u otro personal temporal. Los profesionales que ocupan cada uno de estos puestos aparecen recogidos ordenados por secciones y operativos en el Anexo1. En cualquier caso se trata de personal preparado e implicado en las funciones que desempeñan.

DIRECCIÓN

1

ADMINISTRACIÓN

1

COMUNICACIÓN Y ANÁLISIS DE DATOS

1

SERVICIOS DE APOYO AL APRENDIZAJE -

Dirección del operativo

1

-

Bibliotecarios de gestión y preservación de colecciones

5

-

Bibliotecarios de apoyo al aprendizaje y a la docencia

6

SERVICIOS DE BIBLIOTECA DE APOYO A LA INVESTIGACIÓN -

Directora del operativo

1

-

Bibliotecarios de apoyo a la investigación

4

33

EVALUACIÓN DE BIBLIOTECAS DIGITALES

TECNOLOG ÍA DE LA BIBLIOTECA -

Dirección del operativo

1

-

Bibliotecario para el desarrollo del programario

2

-

Bibliotecario para la gestión de contenidos web

1

Tabla 4- Personal de la biblioteca

El acceso a la colección podría decirse que está cuidado y siempre actualizando las herramientas que lo permiten. Prueba de ello son las aplicaciones generadas por la biblioteca como Summon o Metalib, e incluso el cambio de la web parece síntoma de ese cuidado y actualización.

2.2.5. La colección digital Podemos definir la colección digital como el conjunto de recursos en formato digital que la biblioteca pone a disposición de sus usuarios. La Biblioteca Virtual de la UOC ofrece a sus usuarios información digital, tanto en el entorno académico como profesional, procedente de diversas fuentes como: revistas electrónicas, bases de datos, enciclopedias electrónicas, libros electrónicos, entre otros. El uso de estas fuentes está restringido a los usuarios de la biblioteca. Todos los recursos que forman la colección digital están descritos en de manera que se facilita a los usuarios una mejor valoración de su contenido y utilidad. Este fondo de acceso restringido, se complementa con una selección de recursos gratuitos interesantes para los usuarios. El espacio ”Colección digital” de la página web de la biblioteca es la mejor manera de iniciar búsquedas temáticas en Internet, ya que ofrece acceso a los mejores portales temáticos, así como los principales buscadores, directorios y otras fuentes de información de la red. La organización de estas fuentes favorece un acceso eficiente a la información, mediante una estructura temática jerarquizada, combinada con una presentación por tipo de recurso, como revistas, bases de datos, etc. También permite el uso de un buscador en la misma Colección digital, que facilita el acceso directo a la información. Paralelamente, desde el repositorio O2 de la Universidad se ofrece acceso a los proyectos de final de carrera (TFC), prácticums y trabajos de investigación (TdI), de manera que estos trabajos también sean accesibles a los usuarios.

2.2.6. El acceso a la colección: la página web y el catálogo La página web de la biblioteca ofrece acceso a la colección electrónica por medio del catálogo y a todos los servicios de la biblioteca. La página web se estructura en: • Servicios: van desde los servicios personalizados, el préstamo, la obtención de documentos, la formación, los centros y puntos de apoyo y el apoyo a la investigación. 34

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER • Catálogos. da acceso al fondo bibliográfico del catálogo de la UOC, además de a otros catálogos de bibliotecas de Cataluña, de España y del resto del mundo. • Colección digital. Permite acceder a la consulta de bases de datos y revistas a texto completo, enciclopedias, libros electrónicos y otros recursos de información, organizados tanto por tipo de recurso como por las áreas académicas que se imparten en la Universidad. • Apoyo a la investigación: permite la publicación en el RECERCAT, en TDX, información sobre el factor de impacto, y sobre el empleo del gestor de referencias Refworks. El catálogo da acceso a todo el fondo bibliográfico de la universidad de una forma integrada; es decir recupera diversos materiales desde un mismo punto de acceso, entre ellos materiales audiovisuales, libros electrónicos… Además de la búsqueda simple ofrece una avanzada y recoge bibliografía recomendada y especializada y módulos didácticos. Incorpora la posibilidad de consultar otros catálogos de bibliotecas regionales catalanas, bibliotecas españolas y del resto del mundo.

Ilustración 4- Consulta al catálogo

Ilustración 5- Consulta al catálogo 2

35

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Por su parte, el buscador de recursos electrónicos permite acceder a la consulta de bases de datos y revistas a texto completo, enciclopedias y diccionarios en línea, libros electrónicos, portales temáticos y otros recursos de información, organizados tanto por tipo de recurso, como por las áreas académicas que se imparten en la Universidad. Se ponen a disposición del usuario desde la búsqueda más sencilla hasta una búsqueda avanzada. Es posible, del mismo modo acceder a búsquedas referidas a recursos en concreto como bases de datos, revistas electrónicas y otros recursos.

Ilustración 6. Búsqueda de recursos electrónicos

Ilustración 7- Búsqueda simple de recursos electrónicos

36

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER Son destacables, igualmente, cuatro hitos en el desarrollo de la biblioteca virtual: por un lado, en 2008, la implementación de SFX; la inclusión de un buscador de revistas electrónicas y localizador de artículos, Metalib en 2009; la incorporación de Summon en 2012; y en 2013 la puesta en marcha de una nueva web para la biblioteca virtual.

Ilustración 8- SFX buscador de revistas electrónicas

Ilustración 9- Metabuscador Metalib

37

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Ilustración 10- Summon

Una nueva página web, en versión beta se ha puesto en funcionamiento en 2013, paralelamente a la página web que hemos explicado. Esta nueva versión es accesible, en este momento, desde la página web de la biblioteca. Se pretende con ello estar mucho más cerca del usuario. En la que se ofrece un trato más personalizado y se valora la realimentación de los servicios prestados.

Ilustración 11- Página web beta

2.2.7. Servicios La Biblioteca Virtual presta servicios como el de préstamo, el de obtención de documentos propios y externos, el de información bibliográfica, el de búsquedas documentales, y algunos servicios personalizados que permiten ofrecer a cada usuario la información más relevante y más actualizada. Concretemos y detallemos algunos de los servicios: 

Préstamo: petición de documentos disponibles en el catálogo y consulta del estado de las peticiones realizadas. Las peticiones de documentación física

38

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

 



   

serán servidas en los puntos UOC o en caso de no contar con uno cercano, remitidos a la dirección postal del interesado. Obtención de documentos: solicitud de artículos y documentos que no se encuentran en el catálogo. Acceso a recursos electrónicos: se proporciona acceso a bases de datos, a revistas electrónicas, a enciclopedias y a libros electrónicos. En el caso de las bases de datos y revistas electrónicas han sido suscritas a través del Consorcio de Bibliotecas Universitarias de Cataluña. Servicios personalizados: Se tratan de servicios de difusión selectiva de información, es el caso de la subscripción a boletines electrónicos sobre distintas temáticas como noticias, €-conomía, dosieres de actualidad, publicaciones oficiales y distribución de sumarios de revistas, así como búsquedas de información sobre ciertos temas de interés del usuario. Formación: Este se trata de un servicio de formación al usuario a tres niveles, desde el nivel más bajo, a la formación del personal docente e investigador. Pregúntanos: responde a la necesidad de solucionar problemas de los usuarios relativos al funcionamiento de la biblioteca. Apoyo a la investigación: ofrece una selección de recursos para afrontar la investigación. Búsquedas bibliográficas: permite a los usuarios hacer llegar sus necesidades documentales y de información, a través de un formulario electrónico. El usuario recibirá los documentos y fuentes que responden a su necesidad, también se le muestra como plantear la búsqueda y el empleo de las fuentes de información para llegar a ella. Es decir, a parte de devolver al usuario la información demandada, se ofrece formación para desarrollar sus habilidades informacionales.

En la nueva página web en la que están trabajando y de la cual disponemos de una versión beta se nos muestra la relación de servicios prestados, veámosla.

Ilustración 12- Relación de servicios. Página web beta

2.2.8. Plan estratégico de la biblioteca (2008-2012) La Biblioteca virtual diseñó un plan estratégico a seguir durante el periodo que se extendía entre los años 2008 y 2012, con los objetivos de mejorar sus servicios a la vez que ofreció apoyo a la implementación del Espacio Europeo de Educación Superior (EEES) y lideraba proyectos a nivel nacional e internacional. Para el logro de este fin se constituyeron 4 grupos estratégicos coordinados por el Vicerrectorado de Innovación. 39

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Ilustración 13- Ejes estratégicos del Plan estratégico de la Biblioteca (2008-2012)

Se parte de la descripción e identificación de los ejes establecidos, el alcance de las áreas de actuación de cada eje y el establecimiento de unas líneas de actuación de las que se elabora una definición, se concretan unos objetivos y unos indicadores. Todo ello planeado sobre un calendario y unas fechas concretas. -

-

-

-

El eje de recursos: convierte a la biblioteca en un centro de recursos para el aprendizaje, la investigación y la docencia (CRAI) en el EEES. Estableciendo entre sus áreas de actuación: Los contenidos del aula, los depósitos digitales, las colecciones y la gestión de recursos. El eje servicios: debe adecuar los servicios a los usuarios que los puedan necesitar; es decir, alumnos, profesores e investigadores. Trabajar con cada colectivo como forma de potenciar su uso y favorecer la personalización de cada servicio. Y cuyas áreas de actuación se centran en cada uno de los servicios que se ofertan a los usuarios. Eje espacio virtual: Tiene como objetivo convertir a la biblioteca en un centro de recursos virtual innovador que facilite la personalización y el empleo de las Tecnologías de la Información y de la Comunicación (TIC). Incidiendo en la creación de un nuevo espacio virtual y una biblioteca personalizable, más participativa y sin barreras. Eje de la organización: Se basa en la mejora de la organización de la biblioteca, como de la comunicación interna y externa, de manera que se convierta en un centro de calidad y que contribuya a asegurar la satisfacción de los usuarios.

Cada uno de estos ejes está basado en unas áreas de actuación concretas e implican el desarrollo de determinados líneas de actuación. Nos centraremos en aquellas relacionadas con la colección y los servicios, por ser las que presentan un mayor interés para el análisis evaluador que vamos a llevar a cabo. El punto 1.3 del plan recoge las colecciones y medidas a tomar en torno a ellas. Son las siguientes: 40

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER ● “Facilitar el acceso directo a las colecciones mediante la personalización del acceso ● Potenciar el uso de la colección creando mecanismos que faciliten su conocimiento y utilización ● Desarrollar una política de evaluación del uso de las colecciones como instrumento para la toma de decisiones. ● Orientar el desarrollo de la colección a nuevos formatos que faciliten el acceso a la documentación”.(UNIVERSIDAD OBERTA DE CATALUÑA, 2008a:7) Si atendemos al servicio de atención de consultas tendríamos que recurrir al punto 2.1 dl plan estratégico, en el que se destacan las siguientes líneas de actuación: ● “Definir y explotar el conocimiento que se genera en las bases de (datos) de consultas. ● Potenciar el uso del servicio de atención de consultas de la Biblioteca haciéndolo presente en los espacios de la UOC que se consideren estratégicos. ● Crear canales de recogida de la satisfacción de los usuarios y su valoración de los contenidos y servicios de la Biblioteca para dar respuesta a nuevas peticiones. ● Analizar otros canales innovadores para hacer referencia virtual a ellos y estudiar posibles colaboraciones con otros sistemas de información para compartir el conocimiento en red.” (UNIVERSIDAD OBERTA DE CATALUÑA, 2008a:9) Si fijamos la atención en el punto 2.4 del Plan estratégico 2008-2012 se pone de manifiesto la necesidad de proporcionar habilidades informacionales mediante acciones formativas que permitan dotar a los distintos usuarios de unas capacidades mínimas que permitan su autonomía en el acceso a la información y su gestión y uso. Para ello se establecen las líneas de actuación que se recogen a continuación: ● “Liderar la formación en habilidades informacionales del colectivo ( que) configura la comunidad UOC. ● Diseñar y poner en marcha unidades temáticas de habilidades informacionales adaptadas a los distintos niveles de conocimientos y especialización de los usuarios. ● Poner en marcha acciones formativas dirigidas a los estudiantes, profesores e investigadores y otras iniciativas con los representantes de cada uno de estos colectivos. ● Desarrollar nuevos materiales de formación en línea para completar y mejorar la acción formativa”. (UNIVERSIDAD OBERTA DE CATALUÑA, 2008a:9) El mismo periodo recogido por este plan estratégico es el que se ha tomado para realizar este análisis. Creemos que es un período lo suficientemente amplio y representativo para analizarlo, además los datos obtenidos son interesantes puesto que coinciden con los comienzos de la crisis económica y refleja algunas de las dificultades a las que, en este caso, bibliotecas universitarias se han enfrentado.

41

EVALUACIÓN DE BIBLIOTECAS DIGITALES

2.3. Evaluación de la colección y servicios Se pretende evaluar con los datos obtenidos mediante el empleo de indicadores, tanto la colección como algunos servicios prestados. Para ello se partirá de un análisis de los usuarios de la biblioteca que usaremos en cálculos posteriores. Por un lado, para evaluar la colección se emplearán la tasa de crecimiento de los recursos electrónicos; así como su análisis según la tipología de los diversos recursos. Para terminar con el estudio de la colección, se pondrá la atención sobre el uso que se hace de ella empleando el indicador: “número de unidades de contenido descargadas “per cápita” (ISO 11620:2008). Por otro lado, se evaluará tanto el servicio de referencia como el de formación de usuarios mediante el indicador “Número de asistencias a sesiones de formación sobre recursos electrónicos ·per cápita” (ISO TR/20983:2003).

2.3.1 Usuarios de la biblioteca Una vez conocida la Biblioteca y su entorno externo, la Universidad, nos disponemos a hacer una evaluación que permita la toma de decisiones para la mejora de su funcionamiento. Tomando como punto de partida los datos facilitados por la UOC, nos centraremos tanto en el análisis de la colección como en los servicios prestados. Primeramente, analizaremos el número de usuarios potenciales de la biblioteca entre los que incluiríamos a todos los alumnos pertenezcan a títulos oficiales o títulos propios, el personal docente y de gestión y de servicios. La información está extraída de las memorias de la UOC de 2008 a 2012 resumidas en esta tabla

Cursos

Usuarios Estudiantes

2007/2008

57000

54245

2008/2009

57468

54378

2009/2010

60316

56787

2010/2011

64856

60876

2011/2012

77161

60096

Tabla 5- Usuarios y estudiantes por año

42

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

Usuarios potenciales 90000 77161

80000

70000 60000

57000

57468

60316

64856

50000 Usuarios potenciales

40000 30000 20000 10000 0 2008

2009

2010

2011

2012

Gráfico 1- Usuarios potenciales

Se observa como a lo largo del último lustro los usuarios potenciales se han ido incrementando debido al aumento en el número de estudiantes. Comparemos este incremento en los usuarios potenciales con el crecimiento de estudiantes, con el fin de asegurar que la subida se refiere, principalmente a ellos. Se observa que, aunque el número de estudiantes decrece a partir del curso 2010/2011, el número de usuarios asciende, debido a la incorporación de nuevo personal de gestión y de docencia.

90000 80000 70000 60000 50000

Usuarios

40000

Estudiantes

30000 20000 10000 0 2007/2008 2008/2009 2009/2010 2010/2011 2011/2012 Gráfico 2- Usuarios y estudiantes

Calculamos, a continuación, la tasa de crecimiento de los usuarios potenciales aplicando la siguiente fórmula

43

EVALUACIÓN DE BIBLIOTECAS DIGITALES

TC=total de usuarios potenciales en el último curso- total de usuarios potenciales en el año precedente)/ número de usuarios potenciales del año precedente

Cursos

Usuarios

TC

%

2007/2008 57000

-

2008/2009 57468

0,00821053 0.82%

2009/2010 60316

0,04955801 4.95%

2010/2011 64856

0,07527024 7.52%

2011/2012 77161

0,18972801 18.97%

-

Tabla 6- Usuarios por curso y Tasa de crecimiento

Comprobamos como la tasa de crecimiento se incrementa anualmente, el crecimiento es especialmente llamativo en el curso 2011/2012 donde alcanza casi un 20%, su mayor porcentaje (18.97%). Este crecimiento es debido principalmente a la incorporación de nuevos estudiantes que son el grupo de usuarios potenciales más significativo. Esto puede deberse a la aparición de nuevas titulaciones que aumentan la variedad, incluso al incremento del paro y a una mayor exigencia de formación con el objeto de encontrar empleo.

Tasa de crecimiento de usuarios potenciales 20,000 18,973 18,000 16,000 14,000 12,000 10,000

%

8,000

7,527

6,000 4,956 4,000 2,000 ,821

,000 2007/2008

2008/2009

2009/2010

2010/2011

2011/2012

Gráfico 3- Tasa de crecimiento de usuarios potenciales

44

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER Aunque distinguimos un crecimiento anual importante en los primeros años, es en el curso 2011/2012 cuando se produce un gran crecimiento desde el 7.53 % hasta un 18.97% como anteriormente comentábamos.

2.3.1. Evaluación de la colección y su uso Para llevar a cabo la presente evaluación contamos con los datos estadísticos suministrados por la Biblioteca y los recogidos de las memorias tanto de la Universidad como las del centro. Acotamos las fechas entre los años 2008 y 2012 en función del diseño del plan estratégico diseñado por la Biblioteca. Se valorará, en primer lugar, la colección y su formación mediante el empleo de la tasa de crecimiento de los recursos electrónicos y, en segundo lugar, el uso de la colección atendiendo a indicadores como el número de unidades de contenido descargadas “per cápita”; del mismo modo, se estudiarán detalles del uso de la colección atendiendo a ciertos datos estadísticos como el número de descargas efectuadas por cada año o las búsquedas y consultas realizadas a recursos electrónicos. a) Formación y crecimiento. En primer lugar Sería interesante calcular cuál ha sido la tasa de crecimiento de los recursos electrónicos. Para desarrollar dicho cálculo aplicaríamos la siguiente fórmula: TC=total de recursos en el último curso- total de recursos en el año precedente)/ número de recursos del año precedente.

Incremento Tasa de RE crecimiento

Curso

Nº de RE

2005/20063

31755

-

-

-

2006/2007

31839

84

0,002645

0.2%

2007/2008

61902

30063

0,944219

94.42%

2008/2009

59018

-2884

-0,04659

-4.65%

2009/2010

56937

-2081

-0,03526

-3.52%

2010/2011

61771

4834

0,084901

8.49%

2011/2012

60599

-1172

-0,018973

-1.89%

%

Tabla 7- Composición y crecimiento de la colección

3

A pesar de que el periodo empleado a lo largo del estudio es desde 2008 hasta 2012, se ha considerado oportuno ampliar la muestra para recoger el gran incremento que se produce el curso 2007/2008 respecto a anteriores años.

45

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Se recoge en la tabla anterior el número de recursos electrónicos por año y la tasa de crecimiento que durante los cursos 2008/2009, 2009/2010 y 2011/2012 es negativa; es decir, se produce una disminución de recursos respecto al año anterior. Debido en gran parte, y entre otras circunstancias, a la evaluación del uso de esos recursos, que ha demostrado que algunos recursos no merece la pena mantenerlos; la disminución presupuestaria y de las dotaciones destinadas a la colección.

Recursos electrónicos 70000

61902

60000

59018 56937 61771 60599

50000 40000

31755 31839

30000 20000

Recursos electrónicos

10000 0

Gráfico 4 Evolución del número de Recursos electrónicos.

Se puede apreciar cómo los recursos electrónicos han ido incrementándose progresivamente, siendo el año 2007/2008 en el que se produce un mayor aumento, triplicándose los recogidos durante el curso 2006/2007 y que muestra la importancia que estos recursos tienen tanto para el estudio como para la investigación. Las subidas y bajadas pequeñas se deben no sólo a la coyuntura económica, sino también, a la necesaria evaluación de las colecciones. Sin embargo, los grandes incrementos reflejan la apuesta del centro por los recursos digitales en cuestión.

46

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

Tasa de crecimiento 100,000

94,422

80,000 60,000 40,000

%

20,000 00,000

08,490 -03,526 -01,897 00,265 -04,659 2005/2006 2006/2007 2007/2008 2008/2009 2009/2010 2010/2011 2011/2012 00,000

-20,000 Gráfico 5 Tasa de crecimiento de la colección electrónica

Como demuestra el gráfico, durante el año 2007/2008 se produce un pico, debido a la inclusión e incorporación de un gran número de recursos electrónicos que en el año siguiente desciende de una manera importante. El incremento producido durante el curso 2007/2008 se debe, especialmente, a la incorporación a la colección de publicaciones periódicas de pago que tienen una mayor actualización del conocimiento científico respecto a las obras monográficas. La tasa se mantiene después por encima del 0, con sus bajadas y subidas atendiendo a diversos aspectos de la formación de la colección digital. Es importante que estudiemos el número de recursos según su tipología con objeto de entender y destacar qué recursos con exactitud son los que provocan esos incrementos y decrecimientos en la colección. Procedemos, a continuación, a evaluar en función del tipo de recurso electrónico, que nos puede ayudar a hacer una valoración más profunda sobre la elaboración de la colección.

Tipo de recurso

2005

2006

2007

2008

2009

2010

2011

Monografías electrónicas de pago o con licencia

19858 18240 18809 20003 19174 19857 12947

Publicaciones periódicas de pago o con licencia

11617 13374 11506 17077 15833 19991 44655

Bases de datos de pago o con licencia a las que se accede Recursos electrónicos propios

280

225

81

84

76

69

71

31506 21854 21854 21854

2926

Tabla 8- Desglose de Recursos electrónicos

47

EVALUACIÓN DE BIBLIOTECAS DIGITALES

El analizar cada categoría de los recursos electrónicos, nos permitirá hacer un análisis más concienzudo. Y permite fijar una política de adquisición de recursos según la institución a la que sirve.

Monografías electrónicas de pago o con licencia 25000 20000

19858

18240 18809

20003 19174 19857 12947

15000 10000

Monografías electrónicas de pago o con licencia

5000 0

Gráfico 6- Monografías electrónicas de pago o con licencia

En el gráfico se observa como las monografías electrónicas de pago han llegado a sumar un total de 20003 durante el curso 2008/2009, en el curso 2011/2012 se produce el mínimo de recursos adquiridos de este tipo. Fenómeno que tiene que ver en gran parte con la situación económica.

Publicaciones periódicas de pago o con licencia 50000

44655

40000 30000 20000 10000

11617 13374 11506

17077 15833

19991 Publicaciones periódicas de pago o con licencia

0

Gráfico 7- Publicaciones periódicas de pago o con licencia

Si nos centramos en el número de publicaciones de pago adquiridas, observamos desde el curso 2005/2006 una línea ascendente con sus altibajos; sin embargo en el curso 2011/2012 se produce un incremento de este tipo de recursos que duplica los 48

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER recogidos hasta entonces. Situación que consideramos debida a la firma de un consorcio en la compra o subscripción, de modo que su adquisición es más económica. El crecimiento de las publicaciones periódicas de pago, en relación al número de monografías electrónicas, muestra un mayor compromiso con contenidos de mayor actualización. No olvidemos que aunque se traten de monografías electrónicas su actualización es limitada y es en las publicaciones periódicas, sea cual sea su formato, cómo el conocimiento se comunica en el entorno científico.

Bases de datos de pago o con licencia a las que se accede 300 250

280 225

200 150 100 50

81

84

76

69

71

Bases de datos de pago o con licencia a las que se accede

0

Gráfico 8- Bases de datos de pago o con licencia a las que se accede

El número de bases de datos de pago a las que se accede sigue una línea descendente desde las 280 bases de datos del año 2005/2006 hasta las tan solo 71, lo podemos achacar tanto a la crisis económica como al alto coste de las mismas. Es destacable que el acceso a un mayor número de publicaciones periódicas, va acompañada de un descenso en el número de bases de datos a las que se ofrece acceso. Seguramente esté relacionado con la disminución en el uso de las mismas.

49

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Recursos electrónicos propios 35000

31506

30000 25000

21854 21854 21854

20000 15000

Recursos electrónicos propios

10000 2926

5000 0

Gráfico 9- Recursos electrónicos propios

Los recursos electrónicos propios, contabilizados de una forma exhaustiva, son recogidos a partir del curso 2007/2008, año en el que alcanzaron su máximo, en años posteriores y hasta el curso 2011/2012 el número de recursos electrónicos propios parece estabilizarse hasta que en el curso 2011/2012 se produce una caída importante, a la par que otros recursos han ganado protagonismo, estos han caído quizás motivado por el hecho de que en el entorno digital, las bibliotecas tienden a externalizar el acceso a sus recursos. b) Uso de la colección No menos importante que conocer el incremento de los recursos electrónicos, es conocer el uso que se realiza de ellos, ya que, en gran medida dependerá de ellos futuras inversiones y desembolsos económicos. A continuación, analizaremos la evolución del nº de descargas de recursos electrónicos a lo largo de los 5 años elegidos, para comprobar cómo ha evolucionado el uso de la colección. Cursos

Descargas

2007/2008 201676 2008/2009 420336 2009/2010 364628 2010/2011 607641 2011/2012 417419 Tabla 9- Descargas por año

La tabla muestra el número de descargas realizadas anualmente por los usuarios. En el año académico 2010/2011 el número de descargas casi duplica las del año anterior; sin embargo, en el año 2011/2012, el número de descargas desciende hasta situarse por debajo de las realizadas en el curso 2008/2009 y superando holgadamente las realizadas en el curso 2009/2010. Podemos tratar de buscarle una 50

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER explicación al fenómeno por la mejora de los sistemas de visualización de documentos, sin necesidad de efectuar la descarga, o a mejora de la accesibilidad a los recursos.

Descargas 700000

607641

600000 500000

420336

417419 364628

400000

300000 201676 200000 100000 0 2007/2008

2008/2009

2009/2010

2010/2011

2011/2012

Gráfico 10- Evolución de las descargas de recursos digitales

Se ve cómo existen años en los que el número de descargas es superior, es el caso de las realizadas en el curso 2008/2009 y en el 2010/2011. Sería interesante, de igual modo, comprobar cómo se relaciona el número de recursos con el número de descargas.

Cursos

Descargas

Recursos

2007/2008

201676

61902

2008/2009

420336

59018

2009/2010

364628

56937

2010/2011

607641

61771

2011/2012

417419

60599

Tabla 10- Número de descargas y de recursos por año

A priori, podríamos pensar que un incremento en el número de recursos electrónicos puestos a disposición de los usuarios, implicaría el aumento del número de descargas; sin embargo, no parece ser, necesariamente, así. Observemos que hay un descenso del número de descargas en los cursos 2007/2008, 2009/2010 y en 2011/2012, cuando en ambos períodos se produjo un ligero incremento del total de los recursos digitales, respecto a los respectivos años precedentes. Podemos, de igual modo, comprobar si existe relación entre el aumento del número descargas y el de usuarios, veámoslo. 51

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Cursos

Usuarios

Descargas

2007/2008 57000

201676

2008/2009 57468

420336

2009/2010 60316

364628

2010/2011 64856

607641

2011/2012 77161

417419

Tabla 11- Número de descargas y de usuarios por año

No parece, tampoco, existir una relación clara entre el progresivo aumento de usuarios potenciales de la biblioteca y el incremento de descargas. Si prestamos atención a las búsquedas o consultas a recursos electrónicos que la biblioteca pone a disposición de sus usuarios, representada en la siguiente tabla y su consiguiente gráfico, podemos apreciar el crecimiento del número de búsquedas y consultas a lo largo de los años que refleja el uso creciente que los usuarios han hecho de los mismos. Veamos, a continuación, el número de unidades de contenido descargadas “per cápita”, indicador extraído de la ISO 11620:2008. Con la información recogida en el epígrafe anterior y la proporcionada por la biblioteca procederemos al cálculo de dicho indicador. Para ello llevaremos a cabo el siguiente cálculo UCDPC=Total de descargas anuales/ Número de usuarios potenciales.

Cursos

Usuarios

Descargas Per cápita

2007/2008 57000

201676

3,5381754

2008/2009 57468

420336

7,3142619

2009/2010 60316

364628

6,0452948

2010/2011 64856

607641

9,3690792

2011/2012 77161

417419

5,4097148

Tabla 12- Descargas "per cápita"

Observamos, como era lógico, la misma situación que cuando analizábamos el número de descargas. En el año 2010/2011 se realiza el mayor número de descargas “per cápita·” en concreto unas 9 descargas “por cabeza”; por el contrario, el año que menos descargas por cabeza se han realizado ha sido durante el curso 2007/2008.

52

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

Descargas Per cápita 10 9,369079191

9 8 7,31426185

7

6,045294781

6

5,409714752

5

4 3,538175439 3 2007/2008

2008/2009

2009/2010

2010/2011

2011/2012

Gráfico 11- Descargas “Per cápita” por año

Se presenta la trayectoria que han tenido las descargas per cápita en estos años que, si bien durante los primeros años es ascendente, durante el curso académico 2009/2010 descendió levemente para incrementarse en el curso siguiente y desplomarse en el curso 2011/2012. Este acusado descenso bien podría deberse a esa mayor facilidad y comodidad para acceder y consultar los recursos en línea sin necesidad de descargarlos. A continuación estudiaremos el número de búsquedas y consultas realizadas a recursos electrónicos, lo que también nos permite hacernos una idea del uso de los mismos.

Año

Búsquedas 2008

246055

2009

553960

2010

833828

2011

1282342

2012

1413392

Tabla 13- Búsquedas y consultas a recursos electrónicos por año

53

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Búsquedas y consultas a recursos electrónicos 1600000 1400000 1200000 1000000 800000 600000 400000 200000 0 2008

2009

2010

2011

2012

Gráfico 12- Búsquedas y consultas a recursos electrónicos por año

Las búsquedas y consultas realizadas a recursos electrónicos muestran una clara trayectoria ascendente a lo largo de los años objeto de estudio. De 2008 a 2009 el número de búsquedas se mantiene constante creciendo cada uno de estos años en unas 300000 búsquedas. El curso 2010/2011 se produce un aumento de búsquedas y hablamos de unas 400000 consultas más. Esta tendencia en el curso 2011/2012 se relaja y solo crece en 200000 búsquedas.

2.3.2. Evaluación del servicio de referencia En este epígrafe nos centraremos en el servicio de referencia del que se empezaron a recoger estadísticas de una forma más constante a partir del año 2008. Para interpretar estos datos y conocer su extensión se recurrió de nuevo a la Biblioteca y se nos ofreció una explicación de cada categoría establecida. De esta manera, podemos distinguir entre: 

Información y búsquedas bibliográficas: hace referencia a todas las consultas relacionadas con el apoyo a la investigación, y la petición de búsquedas bibliográficas.



Servicios: se refiere a todas las consultas relacionadas con los servicios que se ofrecen desde la biblioteca.



Recursos electrónicos: hace referencia todas las consultas relacionadas con cualquiera de los recursos electrónicos que se ofrecen desde la BV ( bases de datos, revistas, artículos, libros electrónicos).



Información general: se incluyen todas aquellas cuestiones relativas al uso de la biblioteca que no se refieran al servicio de información y búsqueda bibliográfica, servicios y recursos electrónicos.

Vamos a por los datos que podríamos considerar más propios de una definición tradicional de lo que supone un servicio de referencia; es decir, la categoría de Información y búsquedas bibliográficas. El resto de categorías las tomaremos juntas como parte de un servicio de información. No obstante la consulta de recursos electrónicos será retomada más adelante a parte del resto de consultas. 54

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

Información y búsquedas bibliográficas

Año 2008

379

2009

250

2010

191

2011

67

2012

62

Tabla 14- Datos del servicio de información y búsquedas bibliográficas

Desde 2008 el servicio de información y búsquedas bibliográficas ha sido menos empleado, pasando de las 379 consultas de este tipo ese año, a las 62 del año 2012. Esto muestra un claro decrecimiento de consultas desde 2008.

Información y búsquedas bibliográficas 400 350

379

300 250

250

200

191

150 100 67

50

62

0 2008

2009

2010

2011

2012

Gráfico 13- Empleo del servicio de referencia

La trayectoria en esta categoría es totalmente descendente, es decir, es un servicio que pierde consultas a lo largo de estos 5 años. Destacamos como el periodo en que más descendió el uso de este servicio, el comprendido entre los años 2008 a 2010. Puede ser debido a que un año después de la masiva incorporación de recursos digitales a la colección, los usuarios comenzaran a emplear éstos. Frente a este servicio, el de información mantiene un amplio número de consultas, aunque el último año analizado, las demandas han sido menores que en el año 2011.

55

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Información

Año 2008

1652

2009

1120

2010

4148

2011

5910

2012

5547

Tabla 15- Consultas y peticiones de información

Desde 2008 las demandas de información de este tipo, han aumentado notablemente, especialmente en 2010 cuando casi se cuadruplican las consultas al respecto del año anterior; sólo en 2012 se produce un pequeño descenso de las mismas.

consultas a servicios de información 7000 6000

5910

5547

5000 4148

4000 3000 2000

1652 1120

1000 0 2008

2009

2010

2011

2012

Gráfico 14- Consultas a servicio de información

Frente a las consultas anteriores, este tipo de petición de información parece seguir una trayectoria ascendente, aunque presenta un pequeño declive en el año 2012. Consultas de recursos digitales

Años 2008

1

2009

327

2010

853

2011

1466

2012

1749

Tabla 16- Consultas sobre recursos electrónicos

56

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER Las consultas en cuanto a recursos electrónicos han aumentado progresivamente desde 2008, a la par que han recibido estos una mayor atención y a la par que el servicio de información y búsquedas bibliográficas ha ido progresivamente perdiendo protagonismo. Puede ser interesante comparar ambas tendencias en un solo gráfico, veámoslo. 2000

1749

1800 1466

1600 1400

Consultas de recursos digitales

1200 1000

853

Información y búsquedas bibliográficas

800 600

400 200

379 1

327 250

191

0 2008

2009

2010

67

62

2011

2012

Gráfico 15-Relación entre las consultas sobre recursos digitales y las consultas de búsquedas bibliográficas

Observamos en este gráfico cómo a la vez que las consultas acerca de recursos electrónicos aumentan, las consultas de información y búsquedas bibliográficas descienden. Podríamos achacarlo, bien al logro de la capacidad informacional y autonomía del usuario; bien, y parece lo más plausible, a un desconocimiento del servicio y el valor añadido del mismo. Por ello, vamos a analizar el servicio de formación de usuarios a continuación.

2.3.3. El servicio de formación de usuarios La biblioteca concede una gran importancia a las sesiones de formación de usuarios: durante el curso académico se celebran varias sesiones, según las necesidades del tipo de usuario. A la hora de valorar la formación, podemos calcular el indicador Número de Asistencias a Sesiones de Formación sobre Servicios Electrónicos per Cápita (NASFSEPE) Norma ISO TR/20983:2003, especialmente en los cursos 2010/2011 y 2011/2012, años de los que tenemos datos estadísticos al respecto. NAFSEPE= Número de asistentes a sesiones de formación / Número de usuarios potenciales de la biblioteca

57

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Año

Asistentes Usuarios

NASFSEPE

2008

629

57000 0,011035088

2009

590

57468 0,010266583

2010

215

60316

0,00356456

2011

900

64856

0,0138769

2012

743

77161

0,00962922

Tabla 17- Número de asistentes a sesiones de formación por año

Asistentes a sesiones de formación 1000

900

900 800 700

743 629

600

590

500

Asistentes

400 300

215

200 100 0 2008

2009

2010

2011

2012

Gráfico 16- Número de asistentes a sesiones de formación por año

Durante los 3 primeros años analizados, y hasta 2010 se produce un descenso en el número de asistentes a sesiones de formación. Lo que podría justificar parcialmente el descenso en el número de recursos electrónicos y del número de descargas. En el año 2011 el número de asistentes vuelve a crecer hasta los 900 usuarios. Durante el año 2012 el número de asistentes decae hasta aproximadamente los 750 usuarios..

58

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

Número de asistencias a sesiones de formación sobre servicios electrónicos per cápita 0,016 0,014

0,0138769

0,012 0,011035088 0,01

0,010266583

0,00962922

0,008 0,006 0,004

0,00356456

0,002 0 2008

2009

2010

2011

2012

Gráfico 17- Número de asistencias a sesiones de formación per cápita

El indicador calculado, el número de asistencias a sesiones de formación sobre servicios electrónicos per cápita, muestra ese descenso comentado. Evidentemente, el indicador se mueve entre el 0 y el 1; es decir, entre la no asistencia de usuarios a esas sesiones y la asistencia de su totalidad. Destacamos, la máxima asistencia a estas sesiones producida en 2011 con los citados 900 usuarios y que corresponde al 0.01 y el mínimo de 215 usuarios asistentes producido en 2010 y que corresponde a ese 0.003.

59

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Capítulo 3. RESULTADOS DEL ANÁLISIS REALIZADO Y PROPUESTAS DE MEJORA Se pretende en el presente epígrafe mostrar los resultados de nuestro análisis DAFO y una propuesta para mejorar los aspectos negativos y el aprovechamiento de las oportunidades y fortalezas encontradas en los entornos externo e interno del sistema de información analizado.

3.1 Resultados del análisis DAFO El objetivo final del análisis externo es identificar las oportunidades y amenazas que afectan a la biblioteca. Se han establecido como oportunidades el crecimiento anual de estudiantes de la UOC que son potenciales usuarios de la biblioteca; así como la participación de la UOC en la Sociedad del conocimiento y el e-Learning, y el modelo de formación on-line. En cuanto a amenazas, consideramos como tal el hecho que la información relativa a la biblioteca, unas veces aparezca en memorias generales de la UOC (UNIVERSIDAD OBERTA DE CATALUÑA, 2011; UNIVERSIDAD OBERTA DE CATALUÑA., 2012) y otras en memorias propias de la biblioteca (UNIVERSIDAD OBERTA DE CATALUÑA. 2008b; UNIVERSIDAD OBERTA DE CATALUÑA. 2009) y la coyuntura socioeconómica. Si, en cambio nos referimos al entorno interno, hemos de centrarnos en los puntos fuertes y débiles detectados en el funcionamiento de la biblioteca lo que nos permitirá orientar las propuestas de mejora y las relacionaremos con las desarrolladas en el plan estratégico 2008-2012 (UNIVERSIDAD OBERTA DE CATALUÑA, 2008) La Universidad Oberta de Catalunya considera a la biblioteca como un pilar fundamental para el desarrollo de su función y el cumplimiento con sus servicios, lo consideramos una fortaleza pues es la Universidad la que respalda, en cierta manera, el funcionamiento de la biblioteca, de este modo podría explicarse que los datos de la biblioteca fueran recogidos en las memorias de la UOC. El personal, adecuadamente formado, parece sentirse apoyado en su labor y responde a lo que se espera de él en todo momento, cumpliendo objetivos y ayudando en la mejora del servicio prestado. Así se desprende del plan estratégico y de su implicación en el cambio de herramientas, buscando una mayor accesibilidad a la colección. Centrándonos en la colección electrónica, se observa como el crecimiento de los recursos electrónicos es imparable. En el curso 2007/2008 duplicó el número de recursos de este tipo y la cifra de recursos electrónicos ha ido incrementándose desde entonces año tras año, tratando de cumplir en todo momento con las necesidades de sus usuarios. El cálculo del indicador Descargas “per cápita” muestra también el creciente interés por los recursos electrónicos que disponen de la posibilidad de descargar documentos, pese a su caída de las descargas en el último año analizado. Por otro lado, las consultas a recursos electrónicos se disparan, al igual que las peticiones de información relativas a ellos. Si ponemos atención en la evaluación de los servicios, en concreto del servicio al que hemos venido a denominar: Servicio de referencia y que asimilamos a las consultas sobre información y búsquedas bibliográficas, podemos decir que se trata de un servicio infravalorado pese a que lo consideramos fundamental a la hora de asegurar una investigación y trabajos académicos de calidad. El gráfico presenta una trayectoria descendente frente a la línea ascendente que trazan las consultas acerca de los recursos electrónicos, esto puede darnos una idea del lugar que ocupa el servicio frente a otras herramientas para la investigación como Google Schoolar, se ofrece un valor añadido, pues no solo se da respuesta al usuario, sino que además se le ofrece 60

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER la ecuación de búsqueda empleada y las fuentes y recursos empleados para darle solución a la cuestión planteada. Todo esto se presenta como otra forma de formar a los usuarios en competencias informacionales. Como fortaleza de la Biblioteca Virtual, también, destacamos el esfuerzo realizado en la formación de usuarios, tanto en las sesiones de formación organizadas como en la prestación de otros servicios como el de búsquedas bibliográficas en el que las respuestas a las consultas son acompañadas de las expresiones de búsqueda empleadas en su resolución. Frente a estos vastos esfuerzos se esconde una debilidad de gran importancia, la escasa participación de los usuarios en las sesiones de formación. Destacamos, también, como debilidad el hecho de que cada vez menos usuarios recurran al servicio de referencia, bien porque consideren que desde un buscador genérico como pueda ser Google toda la información habida sobre un tema les es revelada o porque se creen preparados para afrontar la búsqueda por su cuenta. De este modo el acceso a multiplicidad de recursos electrónicos parece favorecer una cierta autonomía en el usuario, quien cree oportuno prescindir de la formación de usuarios ofrecida por la biblioteca. También consideramos una debilidad la variedad de documentos en los que es posible encontrar los datos de la Biblioteca, así como la variedad de los datos recogidos. De este modo, encontramos información unas veces en las propias memorias de la Biblioteca y en otras ocasiones en las memorias generales de la UOC. Hubiera sido interesante, por otra parte valorar la parte del presupuesto destinada a la colección electrónica, en este sentido disponíamos, únicamente, de información extraída de las memorias de la Biblioteca entre los años 2005 y 2008. Proponemos, a pesar de su buen funcionamiento, una mayor promoción del servicio de consultas bibliográficas, que remarque su importancia en la calidad de la docencia y la investigación y el valor añadido que supone respecto al empleo de otras herramientas en internet. A continuación, incluimos la matriz DAFO, en la que se recogen las debilidades, amenazas, fortalezas y oportunidades identificadas en el análisis de los entornos.

Entorno Interno

FORTALEZAS

DEBILIDADES

La Universidad cuenta con la Biblioteca Escasa participación en los cursos de virtual como pilar fundamental para su formación de usuarios. funcionamiento. Personal preparado para el desarrollo Aparición en el espacio web de información de sus funciones e implicado en ellas. no actualizada. Disponibilidad de recursos digitales El servicio de referencias no es demasiado suficientes para satisfacer las usado por los usuarios. necesidades de los usuarios potenciales. Se pone especial hincapié en la formación de usuarios para buscar la autonomía de éstos. 61

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Actualización de herramientas búsqueda y recuperación de información. Crecimiento electrónica.

anual

de

la

de la

colección

Buena accesibilidad a la colección a través del catálogo y otras herramientas creadas con ese fin como Summon o Metalib Entorno Externo

OPORTUNIDADES

AMENAZAS

Titulaciones online

Situación económica

Nuevas titulaciones

La información relativa al funcionamiento de la biblioteca en ocasiones se recoge en las memorias de la propia biblioteca y otras en las memorias de la UOC.

El incremento anual de estudiantes supone un aumento de usuarios potenciales. La importancia que brinda la UOC a la Sociedad del Conocimiento Tabla 18- Matriz DAFO

3.2 Opciones de mejora Pretendemos, a continuación, recoger de manera clara nuestras propuestas para mejorar el funcionamiento de la biblioteca y las comparamos con las propuestas planteadas en el plan estratégico de la biblioteca 2008-2012 (UNIVERSIDAD OBERTA DE CATALUÑA, 2008a). ● Promoción y potenciación del uso de la colección. Esta mejora aparece en dos de las líneas de actuación planteadas en el plan estratégico de la biblioteca 2008-2012 recoge en cuanto a la colección y cuyo objetivo es disponer de una colección, tanto física como digital, acorde a las necesidades de los usuarios, facilitar el acceso a la misma y fomentar su uso. Para ello entre la lista recogida anteriormente se expresa la necesidad de potenciar el uso de la colección mediante mecanismos que fomenten su conocimiento y uso. Además se propone desarrollar una política de evaluación del uso de las colecciones como instrumento para la toma de decisiones, una idea que ha estado implícita en este trabajo desde su comienzo. 62

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER ● Promoción del servicio de consultas bibliográficas, que remarque su importancia en la calidad de la docencia y la investigación y el valor añadido que supone respecto al empleo de otras herramientas en internet. Se recoge en general para todo el servicio de información y se habla de “Potenciar el uso del servicio de atención de consultas de la Biblioteca haciéndolo presente en los espacios de la UOC que se consideren estratégicos”. No obstante, parecen haber obviado la situación concreta del servicio de información y búsqueda bibliográfica. ● Promocionar y seguir ofreciendo formación a los usuarios según sus necesidades con el fin de mejorar sus habilidades informacionales, ofreciéndoles un grado de autonomía. En el Plan estratégico 2008-2012 se pone de manifiesto la necesidad de proporcionar habilidades informacionales mediante acciones formativas que permitan desarrollar unas capacidades mínimas que permitan su autonomía en el acceso a la información y su gestión y uso. La propuesta de mejora estaría en consonancia en especial con estas dos líneas de actuación: ● Diseñar y poner en marcha unidades temáticas de habilidades informacionales adaptadas a los distintos niveles de conocimientos y especialización de los usuarios. ● Poner en marcha acciones formativas dirigidas a los estudiantes, profesores e investigadores y otras iniciativas con los representantes de cada uno de estos colectivos. Por último y pensando en debilidades se hace esta propuesta ● Normalización y sistematización de los datos recogidos en las memorias de la Biblioteca, de manera que se ofrezcan de una manera más clara, pensemos, por ejemplo en los datos recogidos en las tablas resumen de las memorias de la UOC 2010/2011 y 2011/2012 (UNIVERSIDAD OBERTA DE CATALUÑA, 2011, UNIVERSIDAD OBERTA DE CATALUÑA., 2012).

63

EVALUACIÓN DE BIBLIOTECAS DIGITALES

Capítulo 4. CONCLUSIONES Y VALORACIÓN PERSONAL El proceso de evaluación gana importancia en entornos cada vez más exigentes que buscan la eficiencia y eficacia de los sistemas de información. Por supuesto, el buen funcionamiento de éstos dependerá de una correcta planificación, de la correcta formulación de metas y objetivos y la elaboración de programas que nos lleven a su consecución. La literatura respecto al tema es, en su mayor parte, en lengua inglesa y mientras la bibliografía consultada, una y otra vez, hace referencia a la necesidad de que toda la información recogida pueda ser accesible de una manera pública, pocas son las bibliotecas que ponen a disposición del público sus estadísticas. Mediante la publicación de éstas se permitiría acercar la transparencia, tan mencionada en estos tiempos, junto a la rentabilidad de las bibliotecas y servicios bibliotecarios. La evaluación de bibliotecas digitales, es de gran importancia debido a la gran cantidad de recursos a la que se da acceso a los usuarios, en la gran mayoría son recursos muy costosos y sobre los cuales la biblioteca no es autónoma, sino que requiere de los servicios prestados por un proveedor externo. Las distintas normas y proyectos ofrecen distintas estadísticas que recoger del funcionamiento de las bibliotecas digitales y aquéllos indicadores que podemos calcular para su evaluación. Se sugieren, a continuación, algunas nuevas líneas de investigación futura surgidas de la elaboración del presente trabajo: - Aplicación de la evaluación a otros campos no cubiertos en la presente investigación, de manera que se consiga una evaluación más completa de la biblioteca. - Profundizar en las diversas propuestas para la evaluación de bibliotecas digitales, tanto en la recogida de estadísticas, como en la formulación de indicadores para su evaluación. - Comparación entre los resultados obtenidos en el estudio de ésta biblioteca virtual, con otros centros; es decir, llevar a cabo, en palabras de Marta de la Mano, una evaluación exógena. La realización de este estudio ha sido muy interesante, pese a los límites temporales impuestos, ya que ha sumido al alumno en un proceso de investigación en el campo escogido y que, en último término podría pasar a formar parte de la bibliografía sobre el tema en cuestión permitiendo, también, la apertura de nuevas líneas de investigación surgidas durante la realización del presente estudio. También, durante la redacción de este estudio se pusieron en práctica muchas de las competencias desarrolladas en el master en Sistemas de Información Digital, más allá de los conocimientos meramente organizacionales y metodológicos de lo que es la planificación y evaluación de sistemas de información digital, adquiridos en la asignatura razón de ser del presente trabajo: fuentes de información, métodos y técnicas de investigación bibliográfica y otras competencias transversales como pueden ser el inglés, el empleo de software de gestión de referencias… Las competencias adquiridas y desarrolladas en la elaboración del presente trabajo quedan reflejadas en la tabla que se recoge a continuación.

64

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

TIPO

COMPETENCIAS

Transversales Instrumentales

- Capacidad de organización y planificación - Comunicación oral y escrita en la lengua nativa - Conocimiento de una lengua extranjera (inglés) - Conocimientos de informática relativos al ámbito de estudio - Capacidad de gestión de la información - Resolución de problemas - Toma de decisiones

Personales

- Razonamiento crítico

Específicas

- Conocimiento del proceso de planificación de una unidad de información virtual. - Capacidad para implementar un proceso de evaluación que permita la toma de decisiones. - Capacidad para interpretar y evaluar los resultados obtenidos, utilizando las medidas obtenidas y los correspondientes indicadores. Tabla 19- Competencias adquiridas

65

EVALUACIÓN DE BIBLIOTECAS DIGITALES

5. Bibliografía BISHOP, Ann P.; VAN HOUSE, Nancy A.; BUTTENFIELD, Barbara P. (2003). Digital Library use: Social Practice in Design and Evaluation. Cambridge, Massachusetts; London, England: The MIT Press. BLIXRUD J, C. (2002). Measures for electronic use: the ARL E-Metrics project. Statistics in practice – measuring & management. Disponible en: http://www.lboro.ac.uk/microsites/infosci/lisu/downloads/statsinpractice-pdfs/blixrud.pdf [Consultado el 1 de abril de 2013] BORREGO, Ángel y URBANO, Cristóbal. (2005). Estadísticas e indicadores de rendimiento de colecciones y servicios bibliotecarios de carácter electrónico: estudio de caso de las revistas electrónicas. El profesional de la información, 2005, enerofebrero, v. 14, n. 2, pp. 30-38. Disponible en: http://www.elprofesionaldelainformacion.com/contenidos/2005/enero/4.pdf [Consultado el 26 de marzo de 2013] BROPHY, Peter. (2001). Electronic Library Performance Indicators: the EQUINOX Project. Serials, marzo, v.14, n. 1, pp. 5-9. Disponible en: http://uksg.metapress.com/content/2a7agfwnl0wlk5wq/fulltext.pdf [Consultado el 5 de abril de 2013] CULLEN, Rowena. (2001). Setting Standards for Library and Information Service Outcomes, and Service Quality. En: Northumbria International Conference on performance measurements in libraries and information services (IV. 2001. Pittsburgh). Washington DC: Association of Research Libraries. pp. 9-17. Disponible en: http://old.libqual.org/documents/admin/cullen1.pdf [Consultado el 7 de enero de 2013] DOLE W. V.; LIEBST, A.; HURYCH, J. M. (2006). Using Performance Measurement for Decision Making in Mid-Sized Academic Libraries. Performance Measurement and Metrics, vol. 7, no. 3. pp. 173-184. Disponible en: http://www.emeraldinsight.com/journals.htm?issn=14678047&volume=7&issue=3&articleid=1581950&show=html [Consultado el 4 de enero de 2013] DUARTE BARRIONUEVO, Miguel. (1995) Indicadores como instrumento de evaluación de los servicios bibliotecarios: 1.- Aspectos metodológicos, pp. 96-106. Disponible en: http://dialnet.unirioja.es/servlet/articulo?codigo=50955 [Consultado el 24 de junio de 2013] FUENTES, Juan J. (1999). Evaluación de bibliotecas y centros de documentación e información. Gijon: Trea INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. (1998). ISO 11620: Information and documentation: library performance indicators. Ginebra: ISO INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. (2003). ISO 2789: Information and documentation: international library statistics. Ginebra: ISO INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. (2003). ISO 11620: Additional performance indicators for libraries. Ginebra: ISO INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. (2003). ISO/TR 20983: Information and documentation: performance indicators for electronic library services. Ginebra: ISO

66

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER GÓMEZ HERNÁNDEZ, José A. (2002). Tema 4. Gestión de bibliotecas, calidad y evaluación. p. 65-76. En: Gestión De Bibliotecas: Texto-Guía De Las Asignaturas De “Biblioteconomía General” y “Biblioteconomía Especializada”. 1ª ed. Murcia: Dm Disponible en: http://eprints.rclis.org/10372/1/Gestion_de_Bibliotecas_GomezHernandez_2002.pdf [Consultado el 4 de enero de 2013] GRIFFITH, J. M.; KING, D. (1991). A manual on the evaluation of information centers and services. (Wahsington): American Institute of Aeronautic and Astronautics, 1991. HERNON, Peter; MCCLURE, Charles R. (1990) Evaluation and library decision making. Norwood: Ablex HILLER, S.; KYRILLIDOU, M. ; SELF, J. (2008). When the evidence is not enough: organizational factors that influence effective and successful library assessment. Performance Measurement and Metrics, vol. 9, no. 3. pp. 223-230. Disponible en: http://libqual.org/documents/admin/HillerKyrillidouSelfPMM2008.pdf [Consultado el 5 de febrero de 2013] Información y Documentación. Indicadores de rendimiento para Servicios Bibliotecarios Electrónicos. ISO/TR 20983: 2003. (2005). Revista Española de Documentación Científica, vol. 28, nº 4, p. 542-584. LANCASTER, F. W (1996). Evaluación De La Biblioteca. Madrid: Anabad. LEE, Hsin Ju. (2011). Google Analytics for digital libraryeEvaluation. [?]:Universidad de Parma: Universidad de Tallin: Universidad de Oslo. Disponible en: https://oda.hio.no/jspui/bitstream/10642/987/2/Lee_Hsin_Ju.pdf [Consultado el 5 de marzo de 2013] LOPEZ GIJON, Javier. (1995). Evaluar para mejorar la calidad en la biblioteca pública. En: VII Jornadas de Bibliotecas públicas San Sebastián: Asociación de bibliotecarios y documentalistas de Guipúzcoa, pp.77-105. Disponible en: http://eprints.rclis.org/9057/ [Consultado el 6 de enero de 2013] LÓPEZ YEPES, José. (2004). Diccionario enciclopédico de Ciencias de la Documentación. Madrid: Síntesis LYNCH, B.P. (1997). Research as basis of the development of standards for libraries. IFLA journal, vol. 23 (2), p. 127 MANO GONZALEZ, Marta de la. (1998). Propuesta de un sistema de evaluación para bibliotecas universitarias. Revista Española De Documentación Científica, vol. 21, no. 2. pp. 174-197. MANO-GONZÁLEZ, Marta de la; ALBELDA-ESTEBAN, Beatriz. (2009) Evaluación De Bibliotecas Nacionales: elaboración de una normativa internacional y su aplicación en la Biblioteca Nacional de España. El profesional de la información, vol. 1, no. 6. pp. 660-668. Disponible en: http://www.elprofesionaldelainformacion.com/contenidos/2009/noviembre/10.pdf [Consultado el 6 de Enero de 2013] MARKLAND, M.; BUTTERS, G.; BROPHY, P. (2007). The history of the future: evaluating projects and service developments before they begin. Performance Measurement and Metrics, vol. 8, no. 1, pp. 34-40. Disponible en: http://www.emeraldinsight.com/journals.htm?articleid=1599352 [Consultado el 6 de enero de 2013] MCCLURE, Charles R. (2002).Statistics, measures and quality standards for assessing digital reference library services: guidelines and procedures. Syracuse: Information Institute of Syracuse.

67

EVALUACIÓN DE BIBLIOTECAS DIGITALES

MCClure, C.R.; LOPATA, C.L. (1997), Assessing the academic networked environment: strategies and options. Education for Information, vol. 15, no. 1, pp. 6163. NORTHUMBRIA INTERNATIONAL CONFERENCE ON PERFORMANCE MEASUREMENT IN LIBRARIES AND INFORMATION SERVICES (2002). Meaningful measures for emerging realities. (4th. 2001. Pittsburgh, Estados Unidos). Washington, D.C.: Association of Research Libraries. Disponible en: http://old.libqual.org/Publications/all.cfm?PubType=8 [Consultado el 6 de enero de 2013] POLL, Roswhita (2011). Performance indicators for the digital library. Liber Quarterly, 11, pp. 244-258 TAMMARO A. M.; MARLINO, M. [s.f]. Digital Library evaluation. [diapositivas de PowerPoint]. Disponible en: http://www.delos.info/files/pdf/DELOS_NSDL_sschool_07/Presentations/Marlino_Tam maro.pdf [Consultado el 1 de febrero de 2013] TRAMULLAS SAZ, J. (2002). Propuestas de concepto y definición de la biblioteca digital. III Jornadas de Bibliotecas Digitales. Madrid: Universidad Politécnica de Madrid, pp. 11-20. Disponible en: http://eprints.rclis.org/15118/1/04_2002.pdf [Consultado el 15 de abril de 2013] UNIVERSIDAD OBERTA DE CATALUÑA. Biblioteca Virtual de la Universidad Oberta de Cataluña. Disponible en: http://biblio.uoc.es/esp/index.html [Consultado el 3 de julio de 2013] UNIVERSIDAD OBERTA DE CATALUÑA (2013). Biblioteca Virtual de la Universidad Oberta de Cataluña (versión beta). Disponible en: http://beta.biblioteca.uoc.edu/?q=es [Consultado el 27 de julio de 2013). UNIVERSIDAD OBERTA DE CATALUÑA. (2008a). Plan estratégico de la biblioteca 2008-2012. Disponible en: http://biblioteca.uoc.edu/cgibin/pass/byteserver.pl/docs_elec/articles/PLA_ESTRATEGIC_BIBLIOTECA_20082012_esp.pdf [Consultado el 3 de julio de 2013] UNIVERSIDAD OBERTA DE CATALUÑA. (2008b). Síntesis de la memoria 2007-2008. Disponible en: http://www.uoc.edu/portal/_resources/ES/documents/memories/0708/sintesis_memoria 0708.pdf [Consultado el 3 de julio de 2013] UNIVERSIDAD OBERTA DE CATALUÑA. (2009). Síntesis de la memoria 2008-2009. Disponible en: http://www.uoc.edu/portal/_resources/ES/documents/memories/0809/uoc_sintesis_cur so_0809_esp.pdf [Consultado el 3 de julio de 2013] UNIVERSIDAD OBERTA DE CATALUÑA. (2010). Síntesis de la memoria 2009-2010. Disponible en: http://www.uoc.edu/portal/_resources/ES/documents/memories/0910/sintesis-memoria0910.pdf [Consultado el 3 de julio de 2013] UNIVERSIDAD OBERTA DE CATALUÑA. (2011). Síntesis de la memoria 2010-2011. Disponible en: http://www.uoc.edu/portal/_resources/ES/documents/memories/1011/uoc-sintesiscurso10-11.pdf [Consultado el 3 de julio de 2013] UNIVERSIDAD OBERTA DE CATALUÑA. (2012). Síntesis de la memoria 2011-2012. Disponible en: http://www.uoc.edu/portal/_resources/ES/documents/memories/1112/sintesi-1112es.pdf [Consultado el 3 de julio de 2013] 68

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

VAN HOUSE, Nancy A. (1987). Output Measures for Public Libraries: A Manual of Standardized Procedures. 2ª ed. Chicago, etc.: American Library Association. VAN HOUSE, Nancy A.; WEIL, Beth T.; MCCLURE, Charles R. (1990). Measuring Academic Library Performance: A Practical Approach. Chicago, etc.: American Library Association. WHITE, A. C.; KAMAL, E. D. (2006). E-metrics for library and information professionals: how to use data for managing and evaluating electronic resource collections. New York: Neal-Schuman Publishers.

69

EVALUACIÓN DE BIBLIOTECAS DIGITALES

ANEXOS

70

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

ANEXO 1- Plantilla

DIRECCIÓN: Pep Torn Poch

1

ADMINISTRACIÓN: Secretaria

1

COMUNICACIÓN Y ANÁLISIS DE DATOS: Gerard Pagès i Camps

1

SERVICIOS DE APOYO AL APRENDIZAJE

-

Dirección del operativo: Cristina López Pérez

-

Bibliotecarios de gestión y preservación de colecciones: Pepi Capdevila Bustinza, Wagdy Fawaz García, Maria Puigdueta Miralles, Ander Gámez Domínguez, Elisabet Cervera Biedma Bibliotecarios de apoyo al aprendizaje y a la docencia: Maria Gema Santos Hermosa, Cristina Vaquer Suñer, Sara Vilar Gil, Lis Balcells Escude, Albert Cervera Farré, Magda Lizano Llecha

-

1

5

6

SERVICIOS DE BIBLIOTECA DE APOYO A LA INVESTIGACIÓN -

Directora del operativo: Anna Zuñiga Ruiz

-

Bibliotecarios de apoyo a la investigación: Mireia Pérez Cervera, Rosa Padrós Cuxart, Clara Riera Quintero, Mari Vállez Letrado

1

4

TECNOLOGÍA DE LA BIBLIOTECA -

Dirección del operativo: Josep Rivera López

-

Bibliotecario para el desarrollo del programario: Francesc March Mir, Xavier Duran Albareda

-

Bibliotecario para la gestión de contenidos web: Mireia Leg Gil

1

2

1

Tabla 20- Plantillla

71

EVALUACIÓN DE BIBLIOTECAS DIGITALES

ANEXO 2- Datos remitidos por la Biblioteca a.) Datos relativos a los recursos electrónicos

Tabla 21- Datos suministrados por la Biblioteca acerca de los recursos electrónicos

Ilustración 14- Gráfico suministrado por la Biblioteca en que se representan las búsquedas y las descargas.

Monografías electrónicas de pago o con licencia Publicaciones periódicas de pago o con licencia Bases de datos de pago o con licencia a las que se accede Recursos electrónicos propios

2005 2006 2007 2008 2009 2010 2011 19858 18240 18809 20003 19174 19857 12947 11617 13374 11506 17077 15833 19991 44655 280

225

81

84

76

69

71

31506 21854 21854 21854

2926

Tabla 22- Recursos electrónicos por categoría y año

72

FIDEL ANTONIO BELLIDO HERNÁNDEZ – TRABAJO FIN DE MASTER

b.) Datos relativos a las consultas recibidas por la Biblioteca

Ilustración 15- Datos suministrados por la Biblioteca acerca del servicio de referencia

Ilustración 16- Se muestran por años y tipología las consultas recibidas por el servicio de referencia

73

EVALUACIÓN DE BIBLIOTECAS DIGITALES

74