Métricas para el Análisis de Calidad en Servicios de Vídeo-Bajo-Demanda Reales

Métricas para el Análisis de Calidad en Servicios de Vídeo-Bajo-Demanda Reales David Melendi, Xabiel G. Pañeda, Victor G. García, Roberto García, A. Neira Departamento de Informática, Universidad de Oviedo, Campus Universitario de Viesques, Sede Departamental Oeste, 33204, Xixón, Asturies, España Telf: +34 985-182477 – Fax: +34 985-181986 E-mail: {melendi, xabiel, victor, roberto, neira}@correo.uniovi.es Abstract La aparición del vídeo-bajo-demanda ha levantado un gran interés en muchos sectores al tratarse del preludio de la futura televisión digital. Inevitablemente, la comparación con el vídeo convencional hace que las expectativas de los clientes sean muy altas. Todo esto, unido al gran consumo de recursos computacionales y de red que caracteriza a esta tecnología, obliga a los proveedores a prestar especial atención en la configuración de sus servicios. Es imprescindible mantener unos estándares de calidad aceptables con el menor coste y consumo de recursos posible. El éxito de una configuración capaz de alcanzar estas metas estriba en la realización de análisis exhaustivos de los servicios ofrecidos. Estos análisis deberán utilizar una serie de métricas que proporcionen información detallada que permita valorar diversos parámetros de funcionamiento. Hasta ahora, las métricas utilizadas eran similares a las de los servicios Web y en general no consideraban el carácter continuo de las peticiones de vídeo. Este artículo presenta un conjunto de métricas de calidad adaptadas para el análisis de servicios de vídeo reales. Su principal característica radica en que centran su atención en el carácter continuo de la información transmitida. Además, los datos con los que se calculan son fácilmente obtenidos a partir de los logs de los servidores. Su validez ha sido comprobada en el análisis del servicio de vídeo-bajodemanda del periódico La Nueva España, una de los 10 publicaciones digitales más importantes de España. Palabras Clave Vídeo bajo demanda, Análisis, Métrica, Streaming, Calidad de Servicio. 1. INTRODUCCIÓN A lo largo de los últimos años, los servicios Web en Internet se han desarrollado de forma exponencial. Paralelamente, y con la finalidad de controlar y mejorar la calidad de estos servicios, han aparecido diferentes sistemas y herramientas de análisis que en un principio solo comprobaban el número de accesos de los usuarios, pero que en la actualidad son complejos sistemas que generan informes de muy diverso índole. Con la aparición del vídeo en Internet, estas herramientas se han comenzado a utilizar para analizar este nuevo tipo de servicios. Herramientas como [1, 2] se están empleando en la actualidad para el análisis de servicios de

vídeo-bajo-demanda en abundantes sitios. Sin embargo, la todavía reciente aparición de este tipo de servicios, no ha permitido realizar los ajustes necesarios, para que estas herramientas se adapten a los requisitos implícitos en el análisis de servicios que proveen información de tipo continuo. Actualizar estas herramientas obliga a disponer de métricas capaces de evaluar parámetros que no están presentes en los servicios Web clásicos. En este campo son de especial relevancia los aspectos relacionados con la calidad de servicio. Mientras que en los servicios Web la calidad se limitaba a conseguir un tiempo de respuesta mínimo, en los servicios de vídeo evaluar la calidad resulta una tarea de especial complejidad. Será necesario comprobar cómo la información va llegando al usuario a lo largo de la reproducción, es decir: si hay cortes de visionado, si se pierden frames tanto de vídeo como de audio, si la calidad ha tenido que ser reducida por falta de ancho de banda, etc. En este artículo se presenta un conjunto de métricas que evalúan aspectos cualitativos en servicios de vídeo-bajodemanda. El objetivo de estas métricas es el de proveer a los administradores y a los desarrolladores de herramientas de los instrumentos necesarios para analizar determinados parámetros, que debido al tipo de información transmitida resultan complejos de evaluar. Además, se ha dado una vertiente práctica a las métricas, de forma que los datos necesarios para su cálculo puedan ser extraídos con facilidad de los logs generados por los servidores que soportan el servicio. Las métricas presentadas en este artículo han sido utilizadas con éxito en el análisis de la sección multimedia del periódico La Nueva España durante los últimos 9 meses. La combinación de estas métricas con una metodología de análisis y configuración, ha permitido ajustar tanto parámetros del operador de red como del proveedor de contenidos, contribuyendo a una importante mejora del servicio. El resto del trabajo se distribuye como sigue. La sección II realiza un recorrido por los trabajos relacionados con la materia. La sección III proporciona una descripción detallada de las métricas presentadas en este trabajo. La sección IV presenta el caso de estudio en el que se han aplicado las métricas. Finalmente, la sección V aporta las conclusiones extraídas del trabajo.

2. TRABAJOS RELACIONADOS La mayoría del trabajo desarrollado para el análisis de sistemas Web no es aplicable a los servicios de vídeo-bajodemanda debido a las diferencias entre estas peticiones y las de vídeo. Si bien es verdad que parte de los análisis diseñados para sistemas Web puede aplicarse a los servicios de vídeo-bajo-demanda, el carácter continuo de las peticiones de estos servicios obliga a tener en cuenta nuevos aspectos que no se habían considerado hasta ahora. El análisis específico de servicios de vídeo-bajo-demanda es un campo relativamente joven. No hace muchos años que estos servicios han comenzado a utilizarse y los trabajos en este campo aún no son muy numerosos. Han aparecido recientemente artículos que intentan ahondar en su análisis. Algunos de ellos se centran en aspectos generales como [3] y otros, tocan algunas características del vídeobajo-demanda [4, 5] como la duración de la sesión o el volumen de información distribuido. Algunos trabajos publicados proponen métricas sobre la calidad de vídeo, pero desde el punto de vista de la generación o codificación de los contenidos y no de su posterior distribución mediante streaming [6, 7]. Otros trabajos también aportan métricas para el análisis de servicios de vídeobajo-demanda, como [8], pero de una forma demasiado teórica y utilizando información no disponible en servicios reales. Este artículo presenta novedades en dos puntos: se aporta un conjunto de métricas específicas para el análisis de la calidad en servicios de vídeo-bajo-demanda y se proporciona un enfoque práctico a esas métricas, al tomar como referencia datos que es posible obtener con facilidad en servicios reales. Ambas novedades tendrán como objetivo final el de proporcionar los instrumentos necesarios que permitan el análisis de la calidad en servicios reales. 3. DESCRIPCIÓN DE LAS MÉTRICAS El objetivo primordial de cualquier proveedor de servicios de vídeo-bajo-demanda es el de ofrecer una calidad de servicio óptima con la menor utilización de recursos posible. Para ello, es necesario controlar los diferentes problemas que pudieran ocurrir durante la reproducción de los vídeos que distribuye. El estudio de estos problemas junto con la disponibilidad de métodos de análisis y configuración, pueden ayudar a estos proveedores a mitigar cualquier tipo de incidencia y a mejorar la calidad de sus servicios. La evaluación cualitativa de los servicios de vídeo-bajodemanda no puede realizarse sin un método de análisis fiable que utilice un conjunto de métricas solventes. Las métricas que aquí se presentan facilitan la detección de problemas de calidad en la distribución de los vídeos, suponiendo una herramienta fundamental en la gestión de cualquier servicio que se precie. Además, uno de los objetivos iniciales de estas métricas era el de dotarlas de un alto componente práctico. Así, los datos necesarios para su cálculo se pueden extraer fácilmente

de los mecanismos de log proporcionados por cualquier servidor multimedia comercial [9]. Entregas satisfactorias: Esta métrica pretende contabilizar todas aquellas peticiones que llegan a entregar un mínimo de contenidos multimedia a los clientes. Se consideran satisfactorias las peticiones que por lo menos han conseguido transmitir 10 segundos de reproducción. Entregas erróneas: Por otro lado, es también interesante controlar el porcentaje de peticiones fallidas, es decir, aquellas peticiones en las que no se han podido transmitir contenidos multimedia. Este tipo de peticiones puede ser detectado gracias a que el tiempo de vídeo transmitido es de 0 segundos. Índice de espera o WI: El tiempo que tarda en iniciarse una reproducción desde que el usuario realiza la solicitud es determinante en el éxito o fracaso de este tipo de servicios. Un tiempo demasiado elevado puede decepcionar a los usuarios provocando un abandono precipitado. Este índice corresponde al porcentaje de peticiones con tiempo de inicio menor de 10 segundos. La utilización combinada de esta métrica y la de Entregas Erróneas permite detectar problemas durante la distribución de los contenidos. Índice de interrupción deseada o ES: Además de un tiempo de inicio razonable, es muy importante que la reproducción se detenga por motivos naturales, esto es, por expreso deseo del usuario o porque se han terminado los contenidos. Esta métrica se calcula por tanto a partir del porcentaje de peticiones que terminan con la interacción STOP o alcanzan el tiempo máximo de reproducción. Índice de calidad de audio o QA: Pretende servir como indicador a la hora de evaluar la calidad de transmisión del sonido a los clientes. Corresponde al porcentaje de peticiones sin problemas en la distribución de la señal de audio, es decir, sin reenvíos fallidos, sin paquetes de audio perdidos y sin paquetes retrasados. Tasa de pérdidas de audio o AL: Esta métrica proporciona un enfoque alternativo a la hora de evaluar la calidad de transmisión de audio, centrándose en el estudio de la relación existente entre el número de paquetes perdidos con respecto al número total de paquetes enviados. Para su cálculo se utiliza la siguiente fórmula: AL =

PaquetesPerdidosAudio PaquetesTotalesAudio

Tasa de retrasos de audio o APD: Otro problema existente durante la transmisión del audio es el del retraso de los paquetes de sonido. La expresión utilizada para su cálculo es la siguiente: APD =

Paquetes Re trasadosAudio PaquetesTotalesAudio

Deterioro en la calidad esperada de audio o AD: Otro de los parámetros fundamentales durante la producción de vídeo-bajo-demanda es el ancho de banda del que disponen los usuarios del servicio.

Índice de continuidad o CI: Otro factor a considerar durante la transmisión de vídeo-bajo-demanda es el número de interrupciones que sufren los clientes debido a las recargas del buffer de reproducción.

Durante la producción de los vídeos, el proveedor de los contenidos supone ciertas capacidades de transmisión en los clientes, escogiendo los parámetros de calidad oportunos. La desadaptación de anchos de banda entre lo que espera el proveedor y lo realmente disponible para los clientes puede redundar en una pérdida de calidad notable.

Los reproductores de vídeo-bajo-demanda mantienen un buffer en el que disponen de unos segundos de reproducción que permiten amortiguar errores durante la transmisión de los contenidos. A medida que se va reproduciendo el vídeo se va recargando este buffer, pero si llega a consumirse todo su contenido, es posible que se detenga la reproducción por unos instantes, con la consiguiente decepción del usuario.

Esta métrica pretende detectar problemas durante la transmisión de audio debidos a esta desadaptación de anchos de banda. Para calcular el Deterioro en la Calidad Esperada de Audio se utiliza la siguiente ecuación: 0 OAB ≥ EAB OAB AD =  OAB < EAB 1 −  EAB

Donde OAB es la tasa de transferencia de audio obtenida durante la reproducción -o bitrate- y EAB es la tasa de transferencia esperada durante la producción de los contenidos. Índice de calidad de vídeo o QV: Esta métrica intenta determinar la calidad de transmisión de vídeo percibida por los clientes. Para ello se calcula el porcentaje de peticiones sin problemas durante la transmisión de vídeo, es decir, sin pérdidas de paquetes de vídeo y sin reenvíos fallidos. Tasa de pérdidas de vídeo o VL: Al igual que sucedía con la Tasa de Pérdidas de Audio, la Tasa de Pérdidas de Vídeo estudia la calidad de transmisión centrándose exclusivamente en el número de paquetes perdidos: VL =

PaquetesPerdidosVídeo PaquetesTotalesVídeo

Deterioro en la calidad esperada de vídeo o VD: La métrica del Deterioro en la Calidad Esperada de Audio tiene su homóloga para el vídeo, que es capaz de detectar problemas durante la transmisión de los paquetes de vídeo debidos a la desadaptación de anchos de banda. Para su obtención se utiliza la siguiente fórmula: 0 OVB ≥ EVB OVB VD =  OVB < EVB 1 −  EVB

Donde OVB es la tasa de transferencia obtenida durante la reproducción -o bitrate- y EVB es la tasa de transferencia esperada durante la producción de los vídeos. Tasa de error de reenvíos o FR: Esta métrica estudia otro de los posibles problemas durante la recepción de la información multimedia, que es el de los reenvíos fallidos de paquetes. La expresión que permite obtener esta tasa es la siguiente: FR =

Re enviosFallidos Re envíosTotales

Este índice representa el porcentaje de peticiones que se han ejecutado sin interrupciones. Para ello se consideran aquellas peticiones que han tenido una única recarga de buffer, esto es, la correspondiente a la carga inicial necesaria para la reproducción. Recargas por reproducción o BCR: El número de peticiones con recargas es interesante, pero no lo es menos el número de recargas realizado por cada petición. Esta métrica se utiliza para contabilizar el número de recargas de buffer producidas durante las reproducciones, sin tener en cuenta la carga inicial del buffer. La relación utilizada sería entonces la siguiente: BCR =

Re c arg as − Re producciones Re producciones

Tasa de recarga o RR: Otro factor de gran relevancia a la hora de evaluar el impacto de las recargas de buffer es la relación existente entre el tiempo invertido en la recarga y el tiempo total de reproducción. No es lo mismo que haya recargas en un vídeo de una duración muy larga, a que haya el mismo número de recargas en otro vídeo de duración inferior. Esta métrica pretende evaluar el impacto de las recargas, teniendo en cuenta la duración de los vídeos. Para ello, se relaciona el tiempo de espera correspondiente a las recargas de buffer con el tiempo de vídeo visualizado. Su cálculo se realiza a través de la siguiente ecuación: t rec arg a ≥ t reproducción  RR =  t rec arg a < t reproducción 

1

t t

rec arg a

reproducción

Transparencia del servicio o TS: La calidad óptima de servicio para el vídeo-bajo-demanda, y por extensión para cualquier clase de servicio remoto, es aquella en la que el usuario no es capaz de determinar si el vídeo se está retransmitiendo desde un punto lejano de la red o está almacenado en su propio computador. Los usuarios de cualquier servicio de vídeo-bajo-demanda de alta calidad deberán percibir todas las reproducciones como locales.

Para calcular la transparencia de un servicio de vídeo-bajodemanda puede utilizarse la siguiente fórmula: TS =

σ * (QA + QV + CI ) + WI + ES 3 *σ + 2

El coeficiente σ representa la prioridad que tiene la continuidad de la reproducción sobre otro tipo de factores como el Índice de Espera WI o el Índice de Interrupción Deseada ES. Lo habitual es que el coeficiente σ sea mayor que 1, aunque este valor dependerá del método de análisis utilizado y de los objetivos de los proveedores del servicio. 4. CASO DE ESTUDIO Las métricas han sido utilizadas en la herramienta presentada en [10, 11], que ha servido para analizar el servicio de vídeo-bajo-demanda del periódico La Nueva España. Este periódico es una de las 10 publicaciones digitales más visitadas del país, según la empresa de control de visitas OJD. El servicio multimedia de la www.lne.es inició su andadura a principios de 2001 y en la actualidad la sección de vídeo-bajo-demanda goza de una gran reputación debido fundamentalmente al nivel de producción propia.

Fig. 1 Reproducciones fallidas y no satisfactorias

Fig. 2 Pérdidas de paquetes

Resultados obtenidos de la aplicación de estas métricas, como los que se muestran en las figuras 1 y 2, han sido claves a la hora de mejorar la calidad del servicio. A través del estudio de la calidad se han podido realizar los ajustes necesarios para conseguir un mayor grado de satisfacción en los usuarios. De este modo problemas como: cortes en la reproducción, pérdidas y retrasos en la transmisión de paquetes tanto de audio como de vídeo o reproducciones fallidas, han sido corregidos mediante la modificación de anchos de banda (salida de los servidores), incorporación de scripts para la comprobación de plug-ins y modificaciones en la codificación de los vídeos.

5. CONCLUSIONES Para establecer unas cotas de calidad aceptables en los servicios de vídeo-bajo-demanda, es necesario analizar los problemas que hoy existen y encontrar soluciones sin un incremento excesivo del coste. Para ello, es necesario el desarrollo de herramientas de análisis eficaces que sean capaces de determinar qué ocurre cuando algo va mal. Estas herramientas deben apoyarse en métricas fiables, que proporcionen información suficiente para cumplir los objetivos establecidos de rendimiento, eficacia y calidad de servicio. Las métricas presentadas suponen un gran avance, al tratarse de elementos indispensables a la hora de realizar buenos análisis de calidad de servicios de vídeo-bajo-demanda. Es necesario ampliar los trabajos en este campo, aportando nuevas métricas que evalúen otros aspectos como la fidelidad de los usuarios, la popularidad de los servicios o la eficiencia de los mismos. REFERENCIAS [1] http://www.analog.cx [2] http://www.sane.com [3] D. Loguinov y H. Radha, “Measurement Study of Low-bitrate Internet Video Streaming”, ACM SIGCOMM Internet Measurement Workshop, 2001. [4] M. Chesire et al, “Measurement and Analysis of a Streaming-Media Workload”, USENIX Symposium on Internet Technologies and Systems, 2001. [5] Eric W. Wong, “Multimedia-on-Demand System”, ICC2001 IEEE International Conference on Communications, Helsinki, Finlandia, 2002. [6] Stefan Winkler et al, “Perceptual Video Quality and Blockiness Metrics for Multimedia Streaming Applications”, 4th Symposium on Wireless Personal Multimedia Communications, Aalborg, Dinamarca, 2001, pp 553-556. [7] Andrew B. Watson et al, “Design and Performance of a Digital Video Quality Metric”, Proc. SPIE, California, EEUU, 1999, vol 3644, pp 168-174. [8] J.R. Arias et al, “A Set of Metrics for Evaluation of Interactive News-on-Demand Systems”. ACM International Multimedia Conference, Juan les Pins, Francia, 2002. [9] RealNetworks, “Helix Universal Server Administration Guide”, RealNetworks., 2002. [10] X. G. Pañeda et al, “Analysis Tool for a video-ondemand service based in streaming technology”, a presentar en HSNMC’03 High Speed Networks and Multimedia Communications, Estoril, Portugal, 2003. [11] X. G. Pañeda et al, "Análisis de un Servicio de Vídeo Bajo Demanda Basado en Tecnología de Streaming", a presentar en IV Jornadas en Ingeniería Telemática, JITEL 2003, Gran Canaria, 2003.