Experiencias en Artes Interactivas Física – Música – Lingüística - Movimiento corporal

Experiencias en Artes Interactivas Física – Música – Lingüística - Movimiento corporal 1

Antonio Quintero Rincón , Mariano Merchante 2 , Gisela Jessamine de la Villa 2 , C Xin Wei Gou 1 2

2

Estudiante de Doctorado en Ingeniería ITBA [email protected],

Estudiantes de Ingeniería Informática ITBA [email protected], [email protected], [email protected] Instituto Tecnológico de Buenos Aires Av. Eduardo M adero 399

Abstract. El presente trabajo hace un recorrido por diferentes formas de comunicar ciencia en forma de arte interactiva: la física con un juego no convencional de ping-pong que explora diferentes conceptos cinéticos, la música donde se expresa la gran diferencia entre el sonido estático y el sonido en movimiento, la lingüística donde se hace una analogía entre la geometría algebraica y las palabras y el movimiento corporal donde el usuario crea figuras y formas con las manos. Sus autores exploran diferentes tipos de interacción con el usuario y muestran posibilidades de presentar contenidos científicos en forma atractiva a un público general. Keywords: Comunicación de Ciencia, Arte Interactiva, Física, M úsica, Lingüística, M ovimiento Corporal, Didáctica M atemática, Cinderella 2, Surfer, Imaginary, Kinect, Pintura, Dibujo, Arte en M ovimiento, Arte, OpenNI,

NITE, Escala Pitagórica.

1 Introducción Desde hace tiempo se están combinando diferentes tipos de expresiones artísticas con las ciencias exactas. En las últimas décadas el desarrollo de la visualización digital y el boom de comunicación de ciencia en museos y exposiciones creó una gran oferta y demanda en este ámbito [9], [10]. Claros ejemplos se pueden encontrar en programas interactivos como el Surfer [1], el Cinderella [2] y el Morenaments [3] usados en la exposición itinerante IMA GINA RY y en museos de ciencias en diferentes países del mundo para por ejemp lo co municar matemáticas [ 11]. Los programas interactivos usados en comunicación de ciencia están basados en interactividad y en diseño o arte involucrado para atraer el público. Los cuatro proyectos presentados en es te trabajo exploran cada uno una forma de interacción y de arte d iferente con el objetivo de poder usar sus ideas en futuras instalaciones en museos o exposiciones. Todas las ideas de las experiencias surgieron en un curso llamado Arte y Ciencia Interactiv os

que se imparte en el Instituto Tecnológico de Buenos Aires en el Departamento de Informática. Proyectos relacionados, metodología y resultados de cada proyecto se presentaran en la siguiente sección.

2 Proyectos

2.1 Música y Arte La co mparación entre la música y la p intura ocupa un lugar destacado en la historia [4], Así como la p intura no es el arte de combinar colores de una manera agradable a la vista, la música tampoco es el arte de de combinar sonidos de una manera agradable al o ído; la música es dinámica, tiene mov imiento y flu idez, es decir, tocar una nota o un acorde puede que no sea molesto para el oído, pero no diría nada; sería simp lemente un sonido estático en el tiempo y tendría su analogía con un color. Sin embargo, si se tocan varias notas durante un transcurso de tiempo, sabiendo que este es efímero, se tendrá el gusto de oír una melodía, la cual tendría su analogía con la pintura: ¡el d ibujo! La implementación del proyecto se llevó a cabo en Cinderella [2]. Se desarrolló una superficie donde el usuario puede mover el mouse en cualquier dirección. Al hacerlo, se pueden escuchar secuencialmente los puntos efímeros en el tiempo que se dibujan, y también puede hacer clic con el mouse y escuchar un sonido estático. Primero se imp lementó una grilla diferenciando tres elementos: Polígonos entre tres puntos, Segmentos entre dos puntos y Puntos que conforman los elementos anteriores. En esta instancia, el usuario escucha sonidos estáticos al dar clic sobre la superficie, ya sea a un punto para que suene una nota, a un segmento para que suenen dos notas o a un polígono para que suene un acorde. Luego se imp lementaron las cuerdas de un arpa sobre la grilla anterior. Ver Fig1. Esta disposición de las cuerdas tiene como finalidad que si el usuario mueve el mouse con el clic oprimido en cualquier dirección, tenga sonidos que cambian con el tiempo, cu mpliendo con la analogía con la pintura, el d ibujo. La textura final del sonido es interesante al haber una superposición de tonos, acordes y notas, con la cual el usuario puede disfrutar mientras dibuja. El algorit mo base de los sonidos se imp lementó de acuerdo a la escala pitagórica, la cual dice que en promedio la mejor relación armónica entre dos tonos con diferentes alturas es de 3/2. Pitágoras [5] desarrolló un método de ajuste de las notas en una escala por relación de quintas, empezando con una frecuencia arbitraria f seguido de multip licaciones sucesivas de 3/2. Ver tabla 1. Así, la escala pitagórica se obtiene por un ajuste de secuencia de quintas [6] Ver Tabla 2.

Fig. 1. La figura representa las instancias ocultas al usuario: la grilla de polígonos, segmentos y puntos y las cuerdas de una harpa en este caso. Tabla 1. Relación de frecuencias de la escala Pitagórica

.

N1: f N2: (3/ 2)N1= 3/ 2 f N3: (3/ 2)N2=(3/ 2)2 f =(9/ 4) f. N4: (3/ 2)N3=(3/ 2)3 f =(27/8) f. N5: (3/ 2)N4=(3/ 2)4 f =(81/16) f. N6: (3/ 2)N5=(3/ 2)5 f =(243/32) f. N7: (3/ 2)N6=(3/ 2)6 f =(729/64) f.

Tabla 2. Escala Pitagórica

nota Ratio

do 1:1

re 9:8

mi fa 81:64 4:3

sol 3:2

la si 27:16 243:128

do 2:1

Una vez definida la frecuencia fundamental con la cual se quiere trabajar, se programaron las rutinas correspondientes en Cinderella para poner a oscilar las ondas sinodales a medida que el usuario determina cómo mover el mouse con el clic presionado. El resultado obtenido es un programa interactivo que comb ina música, arte y teoría de sonido. Se puede instalar en museos y exposiciones o también p resentar en una pa áina web co mo Java applet.

2.2 Lingüística y Matemátic a La lingüística y las matemáticas, entre otros, tienen muchos aspectos que no son innatos a la naturaleza hu mana y que deben aprenderse mediante un proceso determinado. Sin embargo, este proceso no siempre p roduce aprendizaje, ya que éste sucede en el alumno y depende de las perspectivas de cada persona en entenderlas y absorberlas. Las dificultades en el aprendizaje de las matemát icas no es un problema nuevo; existen diversos estudios científicos sobre el mis mo que surgen desde el siglo XX, hasta fines de la década de los años 50 en Europa Occidental y Norteamérica [ 7]. Actualmente existe un área de estudio que ha sido reconocido en Europa como

Didáctica de la Matemática, en Norteamérica co mo Educación Matemát ica y en Latinoamérica co mo Matemática Educativa [8]. El objetivo principal de este proyecto es el acercamiento de la matemática desde el lenguaje coloquial, e incentivar y atraer a las personas con dificultades a que no sólo puedan aprender sino que puedan entender los conceptos básicos sobre la interacción de superficies algebraicas a través de gráficos en tiempo real. La solución que se propone es una aplicación en la que el usuario pueda escribir palabras y frases, y que med iante un algoritmo que puede ser definido por el usuario mis mo traduzca n lo escrito a fórmulas matemáticas, luego reproduciéndolas en gráficos en tiempo real. Ésta solución está integrada al programa de visualización de superficies algebraicas Jsurfer. La idea del Lenguaje junto al JSurfer es traducir palabras y frases a fórmulas matemát icas, y a la vez también permitir frases compuestas por palabras reservadas tales como “con”, “sin”, “y”, “o” y “por”. En cuanto a las Palabras, el algorit mo de traducción se basa en la definición de funciones de una variable para letras consonantes, y se define cuasi-constantes para las letras vocales. El concepto de cuasi-constantes es que sean una fórmula matemát ica válida. Ante la conjunción de una consonante y una vocal, se evalúa lo defin ido para el vocal en la función del consonante. Si una palabra emp ieza con un vocal, se hace una operación suma entre lo defin ido para el vocal con lo que sigue de la palabra. Si la palabra termina en una consonante, la consonante se transforma en un constante pre-establecido, en este caso el valor -1. Por ejemp lo: si defin imos M = F($) = ($)*(-z)^2-0.01 A = x+y Si el usuario escribe “MA”, como resultado obtendría (((x+y))*(-z)^2-0.01), si escribiese “MMA”, se evalúa recursivamente teniendo como resultado (((((x+y ))*(-z)^2-0.01))* (-z)^2-0.01). Si el usuario escribe “AMA”, se obtendría (x+y+(((x+y))*(-z)^2-0.01)). Si el usuario escribe “AM” se obtendría (x+y+-0.01). En cuanto a las Frases, al ser un conjunto de palabras, el algorit mo interpreta la frase en sus respectivas palabras y los une con la operación suma.

Fig. 3. La Figura muestra en primera instancia la superficie algebraica de M A, luego la de MA CON MA.

Se le permite al usuario definir palabras claves de tal forma de que sean funciones de dos parámetros. El primer parámetro será el resultado de la palabra transformada previo a la palabra clave, y el segundo parámetro será el resultado de la palabra transformada posterior a la palabra clave. Por ejemp lo si se definió “CON” = ($1)^2+($2)^2-0.01 entonces, al escribir “ma con ma” obtendría (((((x+y +(((x+y))*(z)^2-0.01)))* (-z)^2-0.01))^2+((((x+y +(((x+y))*(-z)^2-0.01)))*(-z)^2-0.01))^2) -0.01 ver Figura3. El resultado del proyecto es un modulo que se agrega al software Surfer para poder ingresar, en vez de formulas solas, también palabras y frases. En experimentos con este modulo hicimos la experiencia que el publico pone sus nombres, nombres de amigos y emp ieza cada vez mas “jugar” con frases observando las formu las y sobre todo las superficies conectadas a su “input. El software se puede usar en exposiciones, e instalaciones en museos.

2.3 Arte, Cienci a y Movi miento Una forma muy utilizada de acercar a la gente a las maravillas de la ciencia es med iante aplicaciones o actividades cotidianas, relacionándolas de alguna manera al conocimiento científico que se quiera transmit ir. Con el avance de la tecnología de sensores de reconocimiento de movimiento, fue posible desarrollar una aplicación que, utilizando el sensor Kinect de Microsoft permit iera al usuario pintar en un lienzo digital con el movimiento de sus manos en el aire. El algorit mo de la aplicación es sencillo: al iniciar, espera detectar el gesto de saludo para reconocer la mano de algún usuario. Luego de reconocer y calibrar la posición de dicha mano, por cada bucle de la aplicación, calcula la d istancia de la mano a una barrera invisib le a apro ximadamente un metro del sensor. Si la mano del usuario atraviesa la barrera, se dispara un evento que simu la ser un clic del mouse, y si la mano sale de dicha barrera, se dispara otro evento que indica que el usuario dejó de presionar el botón izquierdo. Además, la aplicación, gracias a las librerías que utiliza, permite el reconocimiento de múlt iples manos de forma simultánea e independiente, de forma que cada mano tiene sus propiedades, pinceles y colores. Un aspecto interesante del proyecto es que se tuvo que desarrollar una capa intermedia que abstrae las librerías del sensor, de forma que si las librerías llegaran a camb iar o se quisiera cambiar incluso de sensor, solo haya que reescribir ciertos aspectos de esa capa de abstracción. Por otro lado, la forma en la cual interactúa con la aplicación (simulando eventos) permite que además de las manos, se pueda utilizar el mouse, e incluso se puede utilizar sólo dicha capa para escribir un controlador de mouse y utilizar el sistema operativo con las manos.

La aplicación fue desarrollada en C++ en conjunto con las librerías SDL, Open GL, OpenNI y NITE. El resultado obtenido es un programa de pintura con gestos para varias manos y la posibilidad de crear un controlador general de interfaz para Kinect. Se piensa usar este programa en exposiciones de arte y movimiento.

2.4 Física y Educación La idea de este proyecto es de crear un juego digital de p ing -pong para aprender conceptos básicos de física de una manera diferente. El juego, a pesar de tener sus leyes típicas de ping-pong, permite que el jugador que obtiene un punto agregue uno de los siguientes cambios físico al juego: camb io de la fricción del entorno, cambio de la gravedad, tanto en dirección como en magnitud, cambio de la masa de la bola o agregar una sol que atrae masas. Con estos cambios el juego no sólo se torna divertido, sino desafiante y educativo. La imp lementación del p ing-pong se llevo a cabo con el software Cinderella [ 2], el escenario usa las configuraciones estándares de Física Cinética defin idas en el software en las propiedades no modificab les durante el juego, co mo por ejemp lo la atracción del sol y el rebote de la pelota en la mesa. Durante el juego, cuando uno de los dos jugadores hace un punto, puede cambiar una característica física de las enunciadas. Así, los jugadores pueden entender los conceptos físicos y cambiar las variables para su provecho. A su vez, tiene un atractivo natural que es el de los juegos, es pecialmente cuando el mis mo es conocido y apreciado por muchos. Esto lleva a los jugadores a esforzarse por entender el efecto de cada variable y aprender có mo mod ificarlas para su provecho. Las propiedades son entendidas a un nivel intuitivo que no involu cra las fórmulas que desalentarían a algunos de entender la física.

Fig. 1. Captura de pantalla de la aplicación.

Sin embargo, el juego no es presentado solo. Al mis mo lo aco mpañan explicaciones básicas de la in fluencia de cada propiedad modificab le, ayudando a la comprensión del concepto físico relacionado. De este modo, el juego es apto para todos los niveles de conocimiento, desde el de un niño hasta el conocimiento de un adulto. El resultado obtenido es un programa interactivo que comunica propied ades de Física en forma de un juego entretenido. Se puede instalar en museos y exposiciones o también presentar en una página web como Java applet.

3 Conclusiones y Futuro Los cuatro trabajos presentados exploran diferentes tipos de p rogramas interactivos e interfaces. La idea general es de ofrecerlos bajo una licencia Open Source como GPL o MIT a museos y exposiciones de ciencia y de observar su impacto en interacción con un público general. Relacionado a las herramientas de software usado podemos constatar que Cinderella es una herramienta poderosa que permite desarrollar grandes proyectos que inculquen no solo la matemática y la Física sino también la música y las artes en general de una manera dinámica. Se piensa extender el programa de música para poder diseñar sonidos más complejos y distintos de los patrones estándar, guardar dibujos con sonidos hechos por los usuarios y optimizar los algorit mos tanto de imagen como de sonidos. El mayor problema que se tuvo con el módulo de Jsurfer fue el sobre uso de paréntesis, ya que para asegurar que sean fórmu las válidas, el algorit mo sobrecarga la expresión de paréntesis. En el futuro se podría resolver el p roblema con un árbol de análisis sintáctico de expresiones. La versión preliminar del Jsurfer co n palabras es

subirlo a la página de Imaginary para que los usuarios empiecen a crear sus propios “diccionarios” de nombres y uniones de palabras. El detector de movimiento del Kinect no es perfecto, por lo que surgen diversos problemas al querer utilizar ambas manos. Además, se puso énfasis en la performance gráfica, ya que el sensor tiene un límite de 30fps y por ende es el cuello de botella del sistema. En el futuro planificamos agregar más funcionalidades al programa de Kinect, co mo pintar con todo el cuerpo, generar música con movimiento, o incluso agregar modos de "juego", como un simu lador de autómatas celulares interactivo. Al juego de Ping-Pong se le podrían agregar escenarios diversos en los cuales jugar, cada uno con sus propias configuraciones iniciales. Se le podría agregar también interacción con el hardware del dispositivo, en particular con el aceleró metro de una computadora portátil, para que detecte el cambio de orientación de la computadora y se modifique la gravedad en función de ello. Usando Música/Arte, Movimiento corporal, Lingüística/Matemática y Física/Juego creemos poder ofrecer una experiencia nuev a de comunicar contenidos científicos. También está planificado combinar los proyectos, por ejemplo agregarle la interfaz Kinect a todos los programas y comb inar el p rograma de música con el programa de p intar. Agradeci mientos. Los autores agradecen al profesor Andreas Daniel Matt por su ayuda en editar este trabajo.

Referencias 1. 2.

http://www.imaginary-exh ibition.co m/surfer.php

J. Richter-Gebert and U.H. Kortenkamp. The interactive geometry software Cinderella. Springer, 1999. http://cinderella.de/tiki-index.php 3. http://www.morenaments.de/euc/ 4. Rousseau, J.-J.: Ensayo sobre el origen de las lenguas. M adrid, Akal, 1980. Ensayo sobre el origen de las lenguas 5. Fessel, P.: Jean-Jacques Rousseau y al M úsica Abstracta, en Transposiciones, Ideas sobre música y pintura, 2007. 6. Benson, D.: M usic: A M athematical Offering. Versión web http://www.maths.abdn.ac.uk/~bensondj/html/maths-music.html, 2007. 7. Berlinghoff W.P. and Gouvêa F. Q., M ath Through the Ages: A Gentle History for Teachers and Others. 8. Ede, S., Art and Science, IB Tauris & Co Ltd, 2005 L.L. Christensen. Hands-on Science Communication, IAU Special Session, 2, 2006 9. G.-M . Greuel and A.D. M att. IMAGINARY through the eyes of mathematics. Travelling Exhibition Catalogue. 2009. 10. Garousi, M ., M athematical Art and Surfer, Proceedings of ISAM A 2011, pages 43-47, 2011. 11. M athe Vital, M atemática y Estructuras de M úsica, http://www-m10.ma.tum.de/bin/view/M atheVital/M usic/WebHome