Captura de Escala Humana y su Integración en Animaciones de Proyectos Arquitectónico en Tercera Dimensión

Captura de la Escala Humana y Su Integración en Animaciones de Proyectos Arquitectónico en Tercera Dimensión Dr. Arq. Daniel Celis Flores Arq. Julio Gerardo Lorenzo palomera Arq. Hilario Manuel Radillo Llera

Arq. Carlos Alberto Fuentes Arq. Judith del Carmen Garcés Carrillo Arq. Juan José Cuevas Lomeli

Resumen Hoy día los sistemas de captura de movimiento (MoCap) son sumamente costosos y complicados, solamente las grandes compañías se pueden dar el lujo de poseer uno de estos equipos, por lo cual la creación de un sistema capas de capturar la escala humana y sus movimientos es imperativo. El objetivo de este estudio es integrar la escala humana en proyectos arquitectónicos presentados en animaciones en tercera dimensión, usando para ello video cámaras caseras, procesamiento de imágenes y gráficos en tercera dimensión. Esta investigación uso lámparas de luz negra y marcadores fluorescentes, la meta es crear un sistema económico de captura de movimiento. Los marcadores son seguidos por un algoritmo que detecta los puntos blancos en una imagen con fondo obscuro y proporciona las coordenadas de las mismas para que estas sean alimentadas en un programa de tercera dimensión. Con ello logramos hacer que un modelo en tercera dimensión se moviera de de acuerdo a los movimientos de un actor real. Este sistema puede ser usado para agregar movimiento humanos que se vean más reales y no robóticos en ambientes o animaciones arquitectónicas en tercera dimensión.

Abstract Today Motion capture Systems (MoCap) are expensive and cumbersome. Only big companies can afford to have one of these systems designing a new cheap and practical MoCap system is imperative. The aim of this work is to integrate human figure in 3D animation from architectural projects, using video and image processing techniques with 3D graphics in order to create 3D animations. Our study uses UV-A “Black Lights”, two Handy cams, glow-inthe-dark spheres and tracking algorithm. Our research focuses on finding out how many UV-A “Black Lights” are needed and the best fluorescent colours for the markers. These markers were followed through a video frame sequence using a tracking algorithm designed for the purpose. We were able to track the markers’ 3D coordinates from a live performer and use them off-line to animate a 3D character. This system can be use to include human movement that looks more realistic and not robotic in 3D environmental or architectural animations.

Résumé Aujourd'hui, la motion capture Systems (MoCap) sont coûteux et encombrants. Seules les grandes entreprises peuvent se permettre d'en avoir un de ces systèmes, la conception d'un nouveau bon marché et pratique MoCap système est impérative. L'objectif de ce travail est d'intégrer la figure humaine dans l'animation 3D de projets architecturaux, de la vidéo et de techniques de traitement d'images avec le graphisme 3D en vue de créer des animations 3D. Notre étude utilise les UV-A "Black Lights", deux cames Handy, glow-in-the-dark domaines de suivi et de l'algorithme. Notre recherche se concentre sur la recherche de combien de rayons UV-A "Black Lights" sont nécessaires et les meilleures couleurs fluorescentes pour les marqueurs. Ces marqueurs ont été suivies par le biais d'une séquence d'images vidéo en utilisant un algorithme de suivi conçus à cet effet. Nous avons été en mesure de suivre les marqueurs' coordonnées 3D à partir d'un interprète en direct et de les utiliser hors ligne pour animer un personnage 3D. Ce système peut être utilisé pour y inclure le mouvement humain qui semble plus réaliste et non pas dans la robotique ou de l'environnement architectural 3D animations.

1 Introducción El todos los dibujos arquitectónicos es casi imprescindible la presencia de la figura humana para dar la impresión del tamaño del proyecto sirviendo como una medida implícita y mas aun en las

compañías de animación en tercera dimensión siendo esta una alternativa mas viable que un sistema infrarrojo. Es sumamente fácil conseguir todos los elementos que constituyen este sistema abatiendo los costos en un 90%. Esta investigación se baso en los

animaciones en tercera dimensión la figura humana y

experimentos de G. Johansson’s (Johansson 1973),

objetos comunes sirven para dar la sensación de

que usando a un actor con luces en las principales

espacio habitable.

coyunturas (tobillos, rodillas, muñecas, codo, hombro

Cuando empezó la captura de movimiento en los años 30’s con el fotógrafo Eadward Muybridge solo era una serie de fotografías de un caballo

y cabeza), contra un fondo obscuro donde el movimiento humano pudo ser detectado. Este sistema ultravioleta es practico, rápido

corriendo realizada con una serie de cámaras

y sencillo; solo toma unos minutos capturar el

fotográficas disparadas a diferente tiempo, tiempo

movimiento y aplicárselo a un modelo humano en

después se descubrió que el ser humano puede

tercera dimensión para que este se mueva en la misma

reconocer a una persona moviéndose a partir de una

forma que se movió el actor, esto hace que al poner al

serie de puntos blancos sobre un fondo negro. Pero

modelo dentro de un ambiente de 3ra dimensión la

poco a poco estos sistemas se han hecho más costosos

animación arquitectónica se vea mas natural y creíble.

y complicados. Existe muy poca evidencia de la

Después de experimentar con colores fluorescentes y su correlación con la luz negra y las

investigación en el ramo de la luz negra y

cámaras este estudio encontró cuales son los más

especialmente en la aplicación de la captura de

apropiados para la captura, así mismo el número de

movimiento. Este estudio se enfocara a demostrar que

lámparas de luz negra necesarias y la cantidad

es posible capturar e incluir el movimiento humano

máximo de lux en la habitación; esto depende de la

con la ayuda de cámaras caseras y luz negra en una

cantidad de luz reflejada por los esferas o marcadores

forma muy económica y sencilla, ayudando con esto a

fluorescentes al ser capturada por las cámaras en la

un sin numero de animadores y a pequeñas

obscuridad. Las esferas usadas en este estudio como

marcadores solo pelotas de pin pon pintadas con

proponiendo un sistema económico, práctico y fácil

colores fluorescentes, estos marcadores fueron video

de usar. Tratamos de capturar los reflejos de los

grabados y sus coordenadas fueron extraídas de cada

marcadores en un cuarto semi-obscuro con cámaras

uno de los cuadros del video y grabadas en un archivo

casera, y con la aplicación de un programa de

de texto para después copiarlo y pegarlo en el script

algoritmo creado para tal efecto, determinar de cada

editor de Maya 8.5 para después ligarlo a un

cuadro del video las coordenadas en los ejes X - Y y

esqueleto de un modelo en tercera dimensión que

Z - Y, de cada uno de los marcadores colocados en

iguala los movimientos del artista.

las coyunturas de una bailarina, generalmente en las

Este articulo esta organizado de la siguiente manera: la sección 2 presenta una breve descripción de las luces usada en estos sistemas, la metodología se encuentra en la sección 3, los resultados están en la sección 4 mientras que la conclusión y los trabajos futuros se establecen en las secciones 5 y 6 respectivamente.

diferentes pruebas solo las esferas fluorescente se pueden ver, sin que la bailarina o el fondo se note en el video. Un sistema basado en estos conceptos ha sido implementado y los resultados obtenidos del experimento son presentados, mostrando su efectividad en la propuesta de este sistema para obtener suficiente información (Data) en tercera dimensión. Información que puede ser usada en

1.1 Objetivos

paquetes de animación con resultados positivos. El resultado positivo de nuestro acercamiento en esta

Existe mucha información referente a los sistemas ópticos de captura de movimiento que utilizan luz infrarroja, pero es casi inexistente la investigación que hay sobre el uso de la luz negra y marcadores fosforescentes, sobre todo en el campo de la animación de proyectos arquitectónicos en tercera

rama de la arquitectura, permitirá la creación de una nueva generación de sistemas de captura de movimientos disponibles, abriendo un área para muchas personas que trabajan en el área de la animación tanto en segunda como en tercera dimensión.

dimensión, muchos animadores han rechazado la idea de realizar sus capturas con estos sistemas debido a su

1.2 Esquemas Relacionados

alto costo y dificultad al usarlos [1]. Realmente solo algunas compañías tienen la capacidad de poder poseer un sistema MoCap. Nosotros estamos

Debido al alto costo de los sistemas MoCap existentes como los usados por las compañías de cine

o algunos de los canales de televisión internacionales

información (Data) de video para generar movimiento

que tienen un costo aproximado a los dos millones de

en tiempo real.

pesos, por lo cual muchos investigadores estamos buscando nuevas formas de resolver esta problemática con sistemas más baratos, prácticos y

2 Luces en los Sistemas de Captura

fáciles una forma de hacerlo es reaplazar uno o varios de sus elementos como ejemplo esta la investigación en los algoritmos sobre imágenes de Cho [2], con un sistema para capturar movimientos de cosas a alta velocidad, también existen en la actualidad sistemas MoCap relativamente baratos [3], [4], pero estos sistemas aun son muy caros para el publico en general. Un estudio de J. L. Garrido que esta tratando de introducir un sistema de bajo costo para la captura de movimiento utilizando una secuencia de imágenes obtenidas por cámaras de bajo costo [5], así como

Existen varios tipos de sistema de captura de movimiento: los ópticos, electromecánicos, mecánicos e híbridos, esta investigación se basa en un sistema ópticos los cuales usan luz como fuente de iluminación, el tipo mas común usado en estos sistema es la lámpara de LEDs infrarrojos Vicon, aunque no es la única fuente de luz utilizada, en muchos estudios bacteriológicos y microbiológicos se usa la luz ultravioleta para realzar ciertas características de las células.

otro estudio muy parecido realizado por Cheung [6], dentro de este campo Margaret S. Geroch [7], hace

2.1 Luz Infrarroja

unas sugerencias de cómo enfocarse a conseguir información (Data) en forma mas económica y en la forma de trabajar este sistema dentro de este campo de la arquitectura. En el estudio realizado por S. Kim. [8], con su sistema libre de marcadores donde trata de captura la escala humana de un modo mas económico. En una investigación de Akazawa [9], propone como tener una captura en tiempo real en un sistema de captura con solo una cámara de video e

Esta fuente de luz es la más usada por los sistemas MoCap, debido a su facilidad de manejo. El reflejo de esta luz en los marcadores es capturado con cámaras infrarrojas en blanco y negro. Desgraciadamente los cambios en la temperatura ambiente y el calor corporal son también una fuente infrarroja, por lo cual es también capturada por estos sistemas, razón por la cual se deben tener bajas temperaturas en las áreas de captura.

2.2 Luz Ultravioleta UV-A

el brillo de los mismos en un cuarto con luz tenue. Un algoritmo que escanea la imagen para detectar

La luz ultravioleta se encuentra en el lado

cualquier cambio de brillantes fue utilizado. La

opuesto que la infrarroja en el espectro

cámara que mejor se adecuo a este estudio fue una

electromagnético [10], la luz ultravioleta se encuentra

Sony HD. Para obtener la brillantez necesaria en las

en el rango de ondas de 315 – 440 nanometros y la

imágenes esta investigación uso de una a cuatro

luz negra esta localizada entre los 345 – 400 nm.

lámparas de luz negra, lo anterior fue con el fin de

Muchos estudio en radiación ultravioleta

encontrar el número máximo y mínimo de lámparas

demuestran que esta radiación puede ser perjudicial

así como de la cantidad de lux captada por las

para la cornea y la piel humana [11], pero muy pocos

cámaras. Es muy importante encontrar la cantidad

estudios existen sobre el uso de la luz negra en seres

exacta de brillantes en las imágenes [14], muy poca y

humanos, los estudios existentes sugieren que este

el algoritmo no lo notara y mucha brillantes el

tipo de luz no causa cáncer en la piel ni en la retina

programa no responderá. Por lo cual se realizaron

humana.

infinidad de pruebas con los diferentes colores fluorescentes rojos, amarillos, azules verdes etc. Y De acuerdo con [12], la sobre exposición de cada uno de ellos se experimentó con diferente

radiación ultravioleta sin ningún tipo filtro es dañina número de lámparas de luz negra. Así la brillantez a la piel. Por esa razón las lámparas de luz negra dada por el reflejo de luz en los marcadores se calculo Commercial están protegidas con un vidrio cubierto teniendo en cuenta los valores RGB en la imagen. El de fósforo azul para absorber las ondas de radiación algoritmo utilizado para encontrar las coordenadas de UV-A y solo dejar pasar las ondas larga de radiación. los marcadores depende totalmente de encontrar un Otro nuevo método de capturar el brillo de algunos área de brillo en un fondo negro. fosfatos en imágenes capturadas con cámaras tipo CCD, ha sido creado [13].

2.3 Brillantes El uso de las luces negras y los marcadores fluorescentes permitirán a las cámaras poder capturar

3 Metodología Este estudio tiene tres secuencias importantes. El acomodo de este sistema se explica en la sección 3.1, la detección y seguimiento de los marcadores con el algoritmo se presenta en la sección

3.2 y la interfase de la animación o recorrido

coordenada encontrada de cada marcador en un

arquitectónico en tercera dimensión se encuentra en la

archivo de texto (ASCII), realizando esto en cada

sección 3.3

cuadro del video para después combinar los dos archivos en uno solo, donde estarán las coordinas X,

3.1 Acomodo del Sistema de “Luz

Y y Z.

Negra” El cuarto o área de captura deberá de estar pintado de color no reflejante y de preferencia de color obscuro, sus medidas mínimas son de cuatro por cuatro metros; teniendo la posibilidad de bloquear la entrada de luz exterior. Las dos cámara en tripees fijos se colocan a 3 metros del centro del área de volumen, apuntándose al centro de la misma, donde

Figure 1 Secuencia en el sistema de luz ultravioleta.

el actor vestido con ropa obscura y pelotas de pin pon pintadas con colores fosforescentes adheridas a su ropa actuara, las dos cámaras se encuentran a 90 grados una de la otra. En algunas pruebas premilitares los movimientos del actor siguieron un protocolo de movimientos con la finalidad de mantener una igualdad en las tomas y al mismo tiempo tratar de no perder ningún marcador por movimientos repentinos. Las dos cámaras cubrirán tres lados del actor, a una de ellas se le denomina X, considerando que captara el plano XY y la otra se le denominara Z y captara el plano ZY, teniendo como factor común el eje Y (altura), los archivos de video resultantes son después escaneados por el algoritmo que imprime la

Figure 2 Arreglo típico, el actor se coloca frente a una luz negra y a 45 grados de las cámaras, de tal manera que estas dos cubrirán su lado izquierdo frente y derecho.

3.2 Detección y Seguimiento de los Marcadores El algoritmo diseñado para este propósito, trabaja con una secuencia de imágenes extraídas de las cámaras de video. Analiza cada cuadro y detecta la diferencia de brillantes en ella, localizado cada punto y generando un archivo ASCII donde indica la coordenada del cambio de luz encontrada en la imagen, esta información se ejecuta dentro del Maya script editor para ser aplicado en un carácter en tercera dimensión en un ambiente arquitectónico digital.

Figure 4 Seguimiento de 200 cuadros del video de un marcador localizado en la mano izquierda del actor, se puede apreciar en la parte superior izquierda la vista de arriba en la superior derecha se encuentra la vista de perspectiva y en las inferiores se encuentran la vista de frente y lateral.

Figure 3 Imagen de las coordenadas detectadas en una cámara donde se notan seis marcadores localizados en los brazos de un actor. Figure 5 En esta imagen se muestran 200 cuadros del video donde la animación en 3D, pero son suficientes para demostrar que las cámaras han recogido las coordenadas en los ejes X, Y y Z.

Este estudio siguió los pasos de Yamane [15], al utilizar cámaras heterogéneas y

que tonos blancos y azules se capturaran igual al igual que el verde y el amarillo.

encontrándose que es mas sencillo utilizar cámaras de igual características y cuadros por segundo de grabación.

4 Resultados Este estudio utilizo varios tipos de cámaras (digital DV, DVD, Súper 8), al final se decidió utilizar la Sony de alta definición por su facilidad de

Figure 7 Esta fotografía muestra los mismos marcadores pero iluminados solamente con la luz negra. Los datos recopilados se pudieron aplicar

captura, los mejores resultados se obtuvieron cuando

perfectamente a modelos en tercera dimensión

se utilizaron tres lámparas de luz negra, dos cámaras

haciéndolos interactuar con proyectos arquitectónicos

de alta definición y pintura fluorescente amarilla.

digitales sin necesidad de recurrir a una limpieza de

Algunos resultados dignos se obtuvieron con solo dos

los datos.

luces negras, pero también se encontró que al usar mas de tres luces hacia que ciertos detalles en el actor o en el fondo aparecían el en video impidiendo la captura limpia de datos.

Figure 6 Esta fotografía muestra los marcadores en las principales coyunturas del actor, y fue tomada con las luces blancas prendidas. Se encontró también que los colores cambian de tono al ser iluminados por la luz negra haciendo

Figure 8 Esta imagen muestra al modelo en 3D que se utilizo en algunas pruebas para seguir los movimientos del actor.

5 Conclusión

Una vez capturados los movimientos del actor y aplicados en el modelo tercera dimensión, se

El beneficio que un sistema como este va a

inserta o importa el proyecto arquitectónico y se

proporcionar a los animadores de proyectos

acomoda de forma tal que el modelo en tercera

arquitectónicos así como a cualquier persona que

dimensión quede en la posición que se busca

desee capturar el movimiento es inmenso. Cualquier

interactúe con el ambiente arquitectónico.

persona o compañía pequeña de animación podrá crear animaciones más reales que sirvan para

6 Trabajo para el Futuro

demostrar la escala o el uso de un área arquitectónica, Aunque este estudio obtuvo excelentes esto debido al bajo costo en comparación con los resultados utilizando cámaras similares, los mismo sistemas comerciales y por su simplicidad de uso. resultados se pueden obtener con cámaras diferentes Para construir este sistema de captura de movimiento ultravioleta solo se requiere de: dos cámaras, tres luces negras, seis pelotas de pin pon

siempre y cuando los cuadros por segundo sean los mismos, aunque el tratamiento de estas imágenes requiera de un poco mas de edición.

pintadas y de la paquetería de acceso libre que se Existen aun algunos problemas como la utilizo para extraer, escalar y capturar los marcadores, oclusión que se pueden atacar de diferentes maneras todo lo anterior con un valor inferior a los $5,000 una es la de alterar el algoritmo para que haga una pesos mexicanos. predicción de donde va posiblemente aparecer el Una de las limitaciones de este sistema es que no se pueden reproducir los resultados al mismo tiempo que se captura así mismo otro problema es la oclusión de algún marcador por causa de un movimiento muy rápido o de un giro.

marcador en caso de que se le pierda a una cámara, la otra opción es agregar una cámara para ser utilizada en caso de pérdida de un marcador.

Referencias [1] N. Brian, Motion-capture myths revealed, New Bay Media LLC, New York, 2000. [2] Y. Cho, and J. Lee, High speed tracking algorithm of moving object, Institute of Electrical and Electronics Engineers Inc., Pusan, 2001, pp. 1563-1569. [3] H. Dworczak, Animazoo Ships GypsyGyro-18 Motion Capture Suit Utilizing InterSense's Sensors, 2005. [4] M. Freeman, Cheap motion capture, Game Developer, San Francisco, 1998. [5] J.L.G. Castro, and R.M.-C.a.A.M. Galisteo, Design and evaluation of a new three- dimensional motion capture system based on video. Gait & Posture 24 (2006) 126. [6] K.M. Cheung, S. Baker, and T. Kanade, Shape-From-Silhouette across time part II: Applications to human modeling and markerless motion tracking. International Journal of Computer Vision 63 (2005) 225-245. [7] M.S. Geroch, Motion capture for the rest of us, J. Comput. Small Coll, 2004. [8] S.-E. Kim, C.-J. Park, R.-H. Lee, and I.-H. Lee, A tracking method for analyzing 3D motions of a human in a marker-free motion capture system, Int. Assoc. of Science and Technology for Development, Calgery Alberta, T3B OM6, Canada, Honolulu, HI, United States, 2003, pp. 183-188. [9] Y. Akazawa, Y. Okada, and K. Niijima, Real-time motion capture system using one video camera based on color and edge distribution. Recent Advances in Circuits, Systems and Signal Processing (2002) 368-373. [10] B. Diffey, and G. Hart, Ultraviolet and blue light phototherapy principles, sources dosimetry and safety, IPEM, York :, 1997. [11] N. Azzam, D. Levanon, and A. Dovrat, Effects of UV-A irradiation on lens morphology and optics. Experimental Gerontology 39 (2004) 139-146. [12] A.W. Garrett, UV-A light. Drug & Cosmetic Industry 153 (1993) 14. [13] S.T. Hess, T.P.K. Girirajan, and M.D. Mason, Ultra-high resolution imaging by fluorescence photoactivation localization microscopy. BIOPHYSICAL JOURNAL 91 (2006) 4258-4272. [14] G. Demos, The use of logarithmic and density units for pixels. SMPTE JOURNAL 100 (1991) 805-816. [15] K. Yamane, T. Kuroda, and Y. Nakamura, High-precision and high-speed motion capture by combining heterogeneous cameras. 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 1 (2004) 279-286.