II Congreso Nacional de I+D en Defensa y Seguridad, 2014
Integración de Simulaciones en Entornos de Visualización Inmersiva Romero San Martín, Diego1*, Lacueva Pérez, Francisco José1, Gracia Murugarren, Joaquín1, Beltrán Blázquez, José Ramón2 1
2
ITAINNOVA - Instituto Tecnológico de Aragón. Emails:
[email protected] (FJLP),
[email protected] (DRSM),
[email protected] (JGM) Universidad de Zaragoza; Email:
[email protected] (JRBB)
* Autor Principal y responsable del trabajo; E-Mail:
[email protected] (DRSM);
Abstract: Este trabajo presenta las acciones que estamos realizando para crear una herramienta de generación y ejecución de entornos virtuales y simulación altamente inmersivos de bajo coste. El objetivo de la herramienta es que usuarios no expertos (en las tecnologías implicadas) definan entornos de simulación combinando aplicaciones de M&S y dispositivos COTS con un reducido coste operacional. La herramienta debe, además, permitir incorporar y evaluar simuladores que recojan el estado del arte de la investigación permitiendo su evolución con costes reducidos. La integración de aplicaciones de M&S se basa en HLA (High Level Architecture). Este estándar es soportado por numerosos simuladores y garantiza la interoperabilidad, distribución y sincronización de sus ejecuciones en tiempo real. En particular, su implementación por distintos Game Engines (GEs) permite que la capa de interacción con usuario aproveche las ventajas ofrecidas por estos (mulitplataforma y multiusuario) pero fundamentalmente la incorporación de nuevos dispositivos de interacción multimodal de bajo coste. La combinación de herramientas de M&S y GEs permite que los escenarios generados sean unos serious games cada vez más realistas y por lo tanto de mayor aplicabilidad para el entrenamiento en los ámbitos militar (meta tecnológica 6.5.2 del ETID) y civil. Contribuyen, por lo tanto, a la reducción de costes y riesgos implícitos en la ejecución de determinados ejercicios. A pesar de la calidad y especialización de los simuladores existentes, así como, del grado de inmersión generado por los GEs y los dispositivos actuales, siguen existiendo oportunidades de mejora. Este trabajo presenta dos. En primer lugar, el servicio de terrenos correlados con alta precisión en tiempo real. En segundo lugar, la Síntesis de Sonido 3D (SS3D) en tiempo real. Se analiza también la influencia que la calidad de la descripción del terreno tiene en la SS3D, en particular, en la simulación de sonido en campo cercano. Keywords: HLA; simulación; visualización; inmersividad; COTS; bajo coste; 1. Introducción El objetivo de la herramienta es que usuarios no expertos (en las tecnologías implicadas) definan entornos de simulación combinando aplicaciones de Modelado y Simulación (M&S) y dispositivos 411
II Congreso Nacional de I+D en Defensa y Seguridad, 2014 COTS (Commercial-Off-The-Shelf) con un reducido coste operacional. Además, la herramienta debe ser interoperable con simuladores físicos externos que recojan el estado del arte de la investigación en sus campos. A continuación, realizamos una breve revisión del estado de las herramientas de generación de Serious Games (SG) en el ámbito militar con el objetivo de presentar las oportunidades de mejora que hemos detectado. 1.1. Entornos Inmersivos de Bajo Coste. La cantidad de herramientas de M&S existentes, en particular para sintetizar el canal visual y el auditivo, permite que los Entornos Virtuales Inmersivos o IVE (Inmersive Virtual Environment) reduzcan sus costes: tanto en la dimensión de los sintetizadores (SW/HW) como en las dimensiones de los dispositivos y/o habitáculos utilizados para su despliegue. Las costosas Salas de Realidad Virtual o caves (proyectores de alta resolución, sensores de movimiento, equipos de sonido multicanal [1] etc.) se sustituyen por HMDs (Head Mounted Displays) que incorporan dispositivos de visualización 3D (Oculus Rift™ [2], SONY™ [30], etc.) y reproducen sonido 3D sintetizado[3]: pueden crearse IVEs altamente inmersivos con equipamiento doméstico de altas prestaciones y, por lo tanto, de bajo coste. Las capacidades de estos IVEs se incrementan aprovechando las redes de alta capacidad disponibles (LAN/WAN). HLA (High Level Architecture) es el estándar utilizado para la integración de aplicaciones de M&S. Soportado por numerosos simuladores, HLA garantiza la interoperabilidad, distribución y sincronización de ejecuciones (datos) en tiempo real. La implementación de sus interfaces por distintos Game Engines (GEs), permite que la capa de interacción con usuario aproveche las ventajas ofrecidas por estos: multiplataforma, multiusuario y la incorporación de nuevos dispositivos de interacción multimodal de bajo coste. Además, la implementación del interfaz HLA por redes de sensores, permite incorporar a las simulaciones datos del mundo real en Tiempo (Cercano al) Real (TR) mejorando el realismo de la simulación. 1.2. Uso de Game Engines como IVEs distribuidos de bajo coste para crear Military SGs (MSG) La utilización de GEs para soportar MSGs se ha generalizado en los últimos años [8]. La implementación por numerosos desarrolladores de GEs [9] (VBS2[10], Unity3D[11], Delta 3D[12], etc.) de los interfaces del estándar HLA (VR-Link for Unity de VT MÄK [14], LVC Game de Calitryx [15]) ha permitido la generación de una simbiosis GEs/Sistemas de M&S HLA. Por una parte, los GEs se liberan de la necesidad de tener que gestionar la comunicación con otros actores; de tener que sincronizar eventos; de tener que conocer el estado global de la simulación; o de realizar copias para poder reproducir la simulación y/o lanzarla a partir de un determinado escenario. Por otra parte, los Sistemas de M&S HLA aprovechan: las capacidades de interacción con el usuario provistas por los GEs (visualización 3D, sonido estereoscópico, físicas, AI, multiusuario, etc.); o, gracias a la compatibilidad de gadgets con los GEs, la rápida y testada incorporación de innovaciones tecnológicas (p.e. Oculus Rift[13]) o científico-técnicas (p.e. algoritmos HRTF para sintetizar sonido 3D) que contribuyen a incrementar el realismo de las simulaciones. En definitiva, la incorporación de los GEs a los Sistemas de M&S HLA permite reducir los costes de generación de MSGs consiguiendo elevados grados de inmersión en el usuario. Sin embargo, esta simbiosis crea nuevas necesidades impuestas por las necesidades de evolución de los MSGs y por las carencias actuales de los GEs actuales. [5, 6] realizan un análisis de los entornos de operaciones actuales con el fin de determinar las áreas de evolución futura de los MSGs. En primer lugar, los nuevos MSGs deberán permitir crear Entornos Dinámicos de Simulación. Este dinamismos vendrá dado por la dotación de Movimiento al terreno sobre el que se realice la simulación y/o a los objetos existentes sobre el mismo (modificación de su estado y posición) como consecuencia de la interacción [7]. Por otra, será necesario mejorar la Percepción del usuario. Al objeto de entrenar al usuario se le permitirá identificar los objetos y 412
II Congreso Nacional de I+D en Defensa y Seguridad, 2014 mostrar las interacciones con los mismos así como los riesgos que en estas puedan incurrir. Esta capacidad se incrementa haciendo capaz al usuario de Intercambiar/Cambiar información con los objetos (niveles de combustible, munición, estado de funcionamiento de armas, etc.). Muchas de estas necesidades son carencias de los motores de físicas [31] de los GEs especializados en la representación gráfica de cuerpos continuos. Carecen, por lo tanto, de capacidades para simular el comportamiento de los terrenos o de los objetos dispuestos sobre los mismos como respuesta a eventos naturales (cómo se comporta el suelo en caso de lluvia) o artificiales (el impacto de un proyectil en el terreno o construcciones). Capacidades que son menores para simular el comportamiento de fluidos, dificultando la síntesis de sonido 3D que, en escenarios espacialmente reducidos (interiores de edificios, zonas urbanas antiguas, etc.), es considerada esencial para conseguir un alto grado de inmersión y realismo. 1.3. Descripción de actuaciones propuestas. De cara a sacar el máximo partido a los MSGs es necesario actuar en varias direcciones. Por una parte, como hemos comentado y presentamos en [32], es necesario dotar a los usuarios de herramientas de edición que permitan crear, modificar y mantener escenarios sin necesidad de tener un conocimiento profundo de las tecnologías subyacentes. Estas herramientas deberán permitir incorporar nuevas simulaciones y gestionar nuevos datos de manera sencillas. Por otra, es necesario que las plataformas de simulación permitan gestionar, distribuir y escalar unas necesidades de cálculo y almacenamiento cada vez mayores. En el resto del artículo presentamos una posible solución mediante la utilización de HLA como una de las estrategias de mejora. En particular centrados en dos casos que, bajo nuestro punto de vista, tienen especial importancia para mejorar las capacidades de inmersión en esta aplicación de los MSGs: la correlación de terrenos y la síntesis de sonido 3D. En primer lugar, el apartado 2 propone generar un Servidor de Terrenos Correlados. Este servidor debe permitirá abstraer la complejidad de las físicas utilizadas para simular la evolución de los terrenos con el desarrollo de la simulación permitiendo que los resultados, con distinto nivel de detalle, puedan reutilizar por desde distintos dispositivos. Por otra parte, permitirá incorporar datos reales a las representaciones del terreno para su uso por los distintas aplicaciones de M&S como, por ejemplo, la visualización realista del terreno utilizando reconstrucción mediante fotogrametría o técnicas equivalentes o la facilitación de datos físicos de composición del terreno a otros simuladores de físicas específicas como por ejemplo el de sonido 3D presentado en el apartado 3. El apartado 4 presenta el prototipo de sintetizador de HRTF para Unity3D™ en el que estamos trabajando dedicando el apartado 5 a presentar las conclusiones y el trabajo futuro a realizar. 2. Servidor de Terrenos Correlados (TC) Compatible HLA La capacidad de inmersión de los IVEs actuales ha incrementado las expectativas de calidad y precisión en las presentaciones que los usuarios esperan percibir. En particular en el ámbito militar, se ha producido un incremento en los requisitos de calidad y precisión de las representaciones del TC al objeto de que los escenarios empleados sean lo más similares posible a los que posteriormente las tropas van a encontrase en sus acciones. El primer reto es crear herramientas que permitan diseñar los procesos de generación de TCs incorporando características (por ejemplo los materiales que los componen) procedentes de distintas fuentes. El segundo reto es generar en tiempo real los TCs (ver figura 1) y transferirlos para ser utilizada por distintos sistemas de simulación. La solución, en evaluación por la comunidad de los MSG, es la generación de los TCs en un formato intermedio común. De esta manera, las fuentes de datos GIS convergen a un formato común posteriormente exportables en el formato y con el contenido del sistema que va a usarlos: simuladores, GEs o sensores desplegados en áreas reales (p.e. fotografías 413
II Congreso Nacional de I+D en Defensa y Seguridad, 2014 de satélites, UAVs, etc.) [24, 25]. Esto permite reutilizar y actualizar el modelo intermedio de datos GIS (on line o batch); mejorar la interoperabilidad; reducir tiempo y costes (de aprendizaje) de creación de terreno; mejorar la correlación utilizando un dato; introducir dinamismo mediante físicas en el modelo GIS[25].
Figura 1. Generación de Terrenos con Varias Fuentes y para Varios Usuarios [26] Common Database(CDB)[25] un estándar abierto, desarrollado por el SOCOM (Special Operations Command)[26], que permite definir el formato del repositorio común. Provee de un formato para representar el formato de los datos en tiempo de ejecución, es decir, de un nivel básico de correlación. CDB permite crear representaciones completas de la tierra facilitando la búsqueda y recuperación de datos organizando estos en teselas (tiles), capas (imágenes, elevación, materiales, luces, etc.) y niveles de detalle (levels of detail-LOD). Esta organización permite realizar cambios en las capas de manera independiente en cada tesela y LOD [27]. Para soportar el acceso directo a los datos CDB introduce el concepto de Runtime Time Publisher (RTP): un transformador de datos, en tiempo de ejecución, del formato común al formato de la aplicación demandante. De esta manera el código generado para crear TCs puede reutilizarse; optimizarse (maximizar el uso de CPUs o GPUs); o distribuir el trabajo y el almacenamiento manera transparente a los sistemas usuarios.
C2 Viewer
Analisys Tools
Scenario Editor
Sensors
F(1')3
=&*0* !%6E'
D*%%6(0 4>E.%) =&%(E)(01
A'B3(&3
D..?3
@;#$+8(.
C'6%6&)*% $0(>6)(.0
!6>* C.8* =(>+?6).%3
Robots
Sensors
!"#$%&'()*&)+%* 23*% 40)*%56&* ,.) 7(8*.# 7(8*.9$+8(. $+8(. 49:#;*
