CAPITULO 14. LA IMAGEN HUMANA VIRTUAL.

Prof. Dr. D. Francisco José Perales López

Prof. Dr. D. Ramón Mas-Sansó

Unidad de Gráficos y Visión por Ordenador e IA (UGivIA)

Universidad de les Illes Balears. UIB. Palma de Mallorca. Spain.

“…el Patrimonio Virtual, es la memoria virtual de nuestra historia”.

Sofía Pescarin.2011.

BREVE DESCRIPCIÓN DE LOS CONTENIDOS

En este tema se presenta una breve síntesis de los sistemas actuales de captura de movimiento y modelado de la imagen humana desde diferentes puntos de vista. En primer lugar, se introduce la idea y métodos de la captura de movimiento para animación por computadora y las aplicaciones en videojuegos. En segundo lugar la perspectiva de análisis o captura de movimiento se trata mediante el estudio de diferentes técnicas: la infografía y visión por computador.

A posteriori el capítulo se centra en el movimiento humano articulado, mostrando las ideas principales de la combinación de las técnicas de captura y sistemas de animación para alcanzar una representación realista del movimiento y la geometría de los sistemas complejos articulados.

Por último, la materia se centra en propuestas existentes de productos comerciales utilizados para arqueología y patrimonio virtual, destinadas al modelado de Avatares Virtuales en un mundo sintético 3D, y mostrando algunos ejemplos de los mismos.

OBJETIVOS ALCANZADOS

Con el trabajo de la temática y actividades de este capítulo, se ha pretendido transmitir una visión general de las técnicas y métodos actuales de la modelización de personajes virtuales en entornos 3D, y desde mi caso específico, he logrado adquirir las competencias básicas para su diseño y modelización, pero continúo trabajando con los procedimientos de animación.

Pese a ello, las aptitudes desarrolladas en este capítulo son las siguientes:

• Capacidad para entender que es la creación de avatares virtuales y sus características.
• Capacidad para diseñar y comenzar a animar personajes virtuales humanos.
• Capacidad para tener una visión general de los personajes y su importancia en arqueología y patrimonio virtual.
• Conocer y manejar las técnicas habituales y programas comerciales de captura del movimiento humano y su modelización en el ordenador.

DATOS DE INTERÉS ASIMILADOS

CONCEPTOS

Flujo f óptico. Aproximación del movimiento del campo 2D denominado U, en el sensor de imagen.

Animación por ordenador. Trabajo global de los animadores para transformar un carácter (objeto, persona, etc.) a la vida, independientemente de la tecnología utilizada; es el producto final de un carácter generado por un intérprete o sistema.

Captura de movimiento. Tecnología utilizada para recoger el movimiento, es la recopilación de datos que representan el movimiento inicial.

Sistema outside-in. Sistemas de captura de movimiento que utiliza sensores externos para recoger datos de fuentes colocadas en el cuerpo. Son sistemas basados en cámaras, donde las cámaras son los sensores y los marcadores reflectivos son las fuentes.

Sistema Inside-out. Sistemas de captura de movimiento que tienen sensores colocados en el cuerpo y las fuentes recopilan los datos de forma externa. Sistemas electromagnéticos cuyos sensores se mueven en un campo electromagnético generado en el exterior.

Sistema Inside-in. Sistemas de captura de movimiento que tienen sus fuentes y sus sensores colocados en el cuerpo del usuario. Son trajes electromecánicos, en el que los sensores son potenciómetros y las fuentes son las articulaciones reales dentro del cuerpo.

Gyros. Pequeños sensores inerciales de estado sólido para medir con precisión las rotaciones exactas de los huesos de los actores en tiempo real consiguiendo que captura de movimiento sea increíblemente realista.

Xsens Motion MVN. Sensores inerciales adheridos al cuerpo mediante un traje de lycra (también disponible en tiras). Da mucha libertad de movimiento porque no utiliza cámaras. Es un sistema de captura de movimiento flexible y portátil que se puede utilizar en interiores y al aire libre, no sólo en el estudio, sino también en entornos abiertos.

Impulse System. Sistema de captura  de movimientos de PhaseSpace, desarrollado para la investigación, las artes industriales y gráficos. Fue desarrollado como una nueva generación de sistemas ópticos 3D de captura de movimiento diseñado para estar al alcance de las PYMES, las universidades y los individuos autónomos, reduciendo el coste de manera que fuera una herramienta económicamente viable para un solo artista o investigador.

Vicom Motus 9.0. Sistema de captura  de movimientos de Vicon4. La presentación de Vicon Motus 9,0. permite un ahorro de tiempo con seguimiento sin marcadores y de forma automática de vídeo y captura simultánea de múltiples videos 2D. Logra más precisión a través de todas las imágenes estroboscópicas y da soporte a las últimas cámaras de alta velocidad y de alta resolución.

Motion Orgánic. Tecnología de la empresa Motion Orgánic, que utiliza múltiples cámaras de vídeo en 2D para seguir al sujeto. La salida de datos de cada cámara alimenta a un procesador de visión que mapea cada píxel de información y triangula la localización del sujeto para ver donde las imágenes de cada cámara diferente se cruzan. El método radica en la metodología de análisis de este conjunto de datos tan voluminoso. El sistema de toma decisiones es de forma dinámica para designar y seleccionar los píxeles más similares a otros.

Uniones. Conjunto de segmentos interconectados mediante articulaciones utilizados para el modelado de estructuras articuladas.

Movilidad de un sistema articulado. Número de parámetros independientes necesario para especificar completamente la posición de cada segmento en el sistema en un instante dado. Cada uno de estos parámetros recibe el nombre de grado de libertad (gdl).

Redundancia. Una estructura articular se dice que es redundante cuando su número de grados de libertad es superior a la dimensión de la tarea que se pretende realizar.

Cinemática inversa. Es una técnica utilizada fundamentalmente para el control o la restricción de partes estratégicas de una estructura articulada cuya situación depende de un conjunto de parámetros, normalmente articulaciones. Las partes controladas se denominan segmentos o efectores finales (o end-effectors).

Cinemática directa. Se basa en la evaluación de variaciones instantáneas de la posición y orientación del segmento final de la cadena para cada articulación individual en el estado actual del sistema articular.

Performance Animation o Live Recording. Registro en tiempo real. Técnica prometedora para el control del movimiento y el posicionamiento 3D de modelos humanos con un número importante de grados de libertad. Se basa en el seguimiento en tiempo real de un conjunto de sensores normalmente asociados a las articulaciones más relevantes de un actor humano.

SOFTWARE

Markerless Maskarad Facial Motion Capture.

Autodesk MotionBuilder.

Sistema Cybergloves. Es un software y hardware especial para la mano y la captura de movimiento facial, de MetaMotion.

MVN Studio. Software del sistema de captura llamado Xsens Motion MVN, que muestra una visualización en tiempo real en la Pantalla de las mismas.

OpenStage. Software que aprovecha Motion Orgánic como principal tecnología de visión, lo que permite a los ordenadores cognitivamente "ver" los movimientos complejos y generar datos 3D de alta precisión del seguimiento en tiempo real. El sistema ha eliminado la necesidad de marcadores, largos tiempos de puesta a punto, los esfuerzos de calibración, errores de oclusión, y el tiempo de los técnicos. En cambio, El OpenStage puede calibrarse en minutos, proporcionar análisis inmediatos de temas incluyendo accesorios simples y de flujo de datos en tiempo real hacia el Autodesk MotionBuilder.

MakeHuman. Software para el modelado y la animación humana.

EMPRESAS

Metamotion. Empresa que proporciona asesoramiento para una captura sobre movimiento y la venta de cinco sistemas diferentes de cuerpo entero para la captura del movimiento, cuatro diferentes tecnologías de captura de movimiento de los dedos de las manos y cinco diferentes sistemas de captura del movimiento facial.

PhaseSpace3. Empresa que ha revolucionado el proceso de captura de movimiento, convirtiéndolo en fácil, económico y rápido. El sistema de captura de movimiento de Impulse es reconocido como una de las soluciones de la industria de seguimiento de movimientos más avanzada. La empresa PhaseSpace tiene patentada tecnología del sistema de indicadores LED's activos y un proceso sofisticado en tiempo real que elimina el intercambio de marcadores y reduce significativamente su perdida.

Vicon4. Empresa con una larga historia en la visión por computador y en particular en captura del movimiento humano. Se puede considerar una de las empresas más importantes en este ámbito, los primeros sistemas de seguimiento de movimiento primero fueron propuestos con marcadores pasivos reflectantes.

REFLEXIONES

El objetivo del capítulo es familiarizar al estudiante con las técnicas avanzadas de modelización, animación y captura de personajes virtuales humanos. En la actualidad en las aplicaciones comerciales que requieren de un alto grado de realismo, los seres humanos forman un apartado primordial, y por ende, en la Arqueología Virtual.

El uso de avatares en la modelización del Patrimonio presenta muchas ventajas, entre las que cabe destacar ante todo su función pedagógica. A través de los mismos es posible sumergir al usuario, de un modo más o menos profundo –según se requiera o estime-, en la apreciación del Patrimonio a representar, y a la par le ayuda a asimilar conocimientos directamente relacionados con el factor humano intrínsecamente vinculados con el yacimiento en cuestión, fragmentos de la Historia del lugar. Me refiero a los modos de vida, tipos de vestimentas, relaciones sociales y económicas, modos de culto, etc… que son difíciles de detectar y concebir tan solo con las recreaciones arquitectónicas del sitio.

Ejemplo de ello lo tenemos por ejemplo en el Museo Virtual de la Vía Flaminia (2008), del Departamento de Sofía Pescarín, en el que se plantearon y crearon ambientes de realidad virtual a través de un ordenador central capaz de controlar a otros cuatro ordenadores enlazados, en los que el espectador podía crear su propio avatar para navegar por la ya desaparecida Vía Flaminia reproducida ahora, virtualmente. En este caso, el espectador que lleva unas gafas estereoscópicas para 3D, vive la vida de Augusto y de su familia a través de su avatar. En la primera visita se mueve en el lugar arqueológico, en la segunda se dirige a los objetos tridimensionales y en la tercera se mueve por el interior de la vivienda y se encuentra con Augusto y Livia.

Pero hemos de ser cautos con su uso dentro de los modelos tridimensionales del Patrimonio. La función de la Arqueología Virtual es la Investigación y Documentación, Conservación y Preservación, y la Difusión y Presentación del Patrimonio; y el avatar ha de ser una herramienta o medio más para ayudar a cumplir esta serie de funciones, sobre todo la de transmitir y complementar la información que se intenta hacer llegar al usuario, nunca ha de convertirse en el objeto central del modelo.

Somos Restauradores Virtuales no Cineastas, nuestra finalidad no ha de ser crear un mundo como Second Life.

Respecto a las actividades de esta semana destacar que han estado dirigidas al modelado de personajes con diferentes grados de precisión mediante la herramienta Makehuman y en la animación de los mismos, haciendo uso de otras herramientas y aplicaciones.

En mi caso, conseguí modelar dos avatares, Iulia de 5 años, y Lucia de 33. El resultado fue el siguiente:

            

Fig. Iulia. Modelo renderizado .png y detalle de modelo en MakeHuman.

               

  

Fig. Lucia. Modelo renderizado .png y detalle de modelo en MakeHuman.

MakeHuman es una herramienta cómoda e intuitiva que permite desarrollar avatares completos de forma sencilla. Presenta un elevado número de complementos que permiten aplicar numerosos modificadores a los modelos, pudiendo variar parámetros como textura, esqueletos, poses, expresiones, etc.

A su vez permite exportar los modelos en diferentes formatos compatibles con software de modelado y animación, como Blender o 3D Max.

En mi caso los exporté en formatos Collada (.dae) y Blender (.mhx), y seguí trabajando con ellos en Blender para experimentar con algunas técnicas. Actualmente estoy indagando en la modificación y modelado de ropas, peinados –por medio del modificador de partículas- y sobre todo en la animación.

       

Fig. Iulia. Pruebas de modificación de cabello.

      

Fig. Lucia. Vestido elaborado a partir del modelo del cuerpo y ropas modelados en MakeHuman.

A posteriori descubrí que algunas de estas modificaciones son posibles realizarlas a su vez en MakeHuman, descargando un modelo de su página, con vestimentas predefinidas y modificarlas a posteriori con el software, al igual que con los peinados.

Otra de las técnicas que he estado, y estoy, indagando es en el rigging y animación. Animo a que se descarguen el manual y hagan uso de los innumerables tutoriales que se pueden encontrar en la red acerca del uso de este software.

MakeHuman me resulta un software muy interesante, tanto por su facilidad de uso como por las posibilidades que ofrece, por lo que seguiré indagando en total las utilidades que presenta.

Conjungado con Blender y otros programas, como Lumion -programa sencillo y completo, con interfaz también muy intuitiva- ofrecen multitud de posibilidades.

PROYECTO. DOMUS DEL MITREO.

Estas semanas, por diversos motivos ajenos al proyecto, los trabajos no han avanzado en demasía.

Conseguí compilar un conjunto de planos en formato papel, elaborados con cinta métrica, de la totalidad de la planta de la domus, pertenecientes al Proyecto de Cubrición del yacimiento, llevado a cabo en torno a los años 90, y que me fueron facilitados por el Consorcio de la ciudad Monumental de Mérida.

Conseguí los permisos para digitalizarlos y los he integrado en el modelo georreferenciado que elaboré de la planta de la domus las semanas anteriores.

Ha sido un proceso bastante laborioso, ya que las precisiones en las medidas y orientaciones no eran muy exactas, pero el procedimiento en general ha sido muy útil ya que estos planos recogían elementos constructivos actualmente modificados o desaparecidos.

El resultado ha sido el siguiente:

Fig. Planta general de la Domus.

 Fig. Detalle de la planta de las termas.

Fig. Detalle de la planta de una de las habitaciones de la Domus.

...continúo trabajando en ello!!.