Entre bastidores en Blue Dot: MetaHuman Animator aporta una fidelidad asombrosa a las cinemáticas
20 de septiembre de 2023
En el mundo de los gráficos por ordenador, crear humanos digitales fotorealistas ha sido algo parecido al Santo Grial desde hace un par de décadas. Muchas personas han conseguido crear una imagen estática de un humano digital que no se puede diferenciar de la realidad. Pero, a menudo, cuando estos personajes tienen que actuar, sobre todo si hay que renderizarlos en tiempo real, es cuando aparece el efecto del «valle inquietante».
El equipo de MetaHuman de Epic Games, que trabaja con los innovadores humanos digitales 3Lateral y Cubic Motion, tiene la misión de cambiar todo esto. Primero, con MetaHuman Creator, crearon humanos digitales fotorealistas y accesibles para todo el mundo. Después, con Mesh to MetaHuman, llevaron la tecnología un paso más allá al permitir que se pudiera crear un MetaHuman a partir de una escultura de un personaje o del escaneado de una persona real.
En su actualización más reciente, el equipo presentó MetaHuman Animator, que permite capturar la actuación de un actor y convertirla en una animación facial de alta fidelidad para tu MetaHuman en cuestión de minutos al usar una cámara estereoscópica vertical montada en un casco o incluso con un iPhone. MetaHuman Animator recrea fielmente cada matiz de la interpretación del actor en un personaje digital, algo que antes habría llevado meses a un equipo de expertos.
Para llevar MetaHuman Animator al límite durante el desarrollo, el equipo de 3Lateral, con sede en Serbia, colaboró con cineastas y artistas locales para producir Blue Dot, un corto en el que participan el famoso actor Radivoje Bukvić y el director de fotografía Ivan Šijak. La secuencia completa, incluido el pelo, se renderizó por completo con Unreal Engine y puede ejecutarse en tiempo real.
La película demuestra cómo MetaHuman Animator otorga a los equipos la capacidad de crear cinemáticas con una repercusión y fidelidad asombrosas mediante un proceso creativo propio de la cinematografía tradicional para dirigir y grabar una actuación. Además, la calidad de la animación fue tan alta que solo se necesitó un pequeño equipo de animadores para los retoques finales.
El equipo de MetaHuman de Epic Games, que trabaja con los innovadores humanos digitales 3Lateral y Cubic Motion, tiene la misión de cambiar todo esto. Primero, con MetaHuman Creator, crearon humanos digitales fotorealistas y accesibles para todo el mundo. Después, con Mesh to MetaHuman, llevaron la tecnología un paso más allá al permitir que se pudiera crear un MetaHuman a partir de una escultura de un personaje o del escaneado de una persona real.
En su actualización más reciente, el equipo presentó MetaHuman Animator, que permite capturar la actuación de un actor y convertirla en una animación facial de alta fidelidad para tu MetaHuman en cuestión de minutos al usar una cámara estereoscópica vertical montada en un casco o incluso con un iPhone. MetaHuman Animator recrea fielmente cada matiz de la interpretación del actor en un personaje digital, algo que antes habría llevado meses a un equipo de expertos.
Para llevar MetaHuman Animator al límite durante el desarrollo, el equipo de 3Lateral, con sede en Serbia, colaboró con cineastas y artistas locales para producir Blue Dot, un corto en el que participan el famoso actor Radivoje Bukvić y el director de fotografía Ivan Šijak. La secuencia completa, incluido el pelo, se renderizó por completo con Unreal Engine y puede ejecutarse en tiempo real.
La película demuestra cómo MetaHuman Animator otorga a los equipos la capacidad de crear cinemáticas con una repercusión y fidelidad asombrosas mediante un proceso creativo propio de la cinematografía tradicional para dirigir y grabar una actuación. Además, la calidad de la animación fue tan alta que solo se necesitó un pequeño equipo de animadores para los retoques finales.
Técnicas cinematográficas tradicionales aplicadas a producciones digitales
Para poner el proyecto en marcha, se capturó la imagen de Bukvić en 3Lateral usando las técnicas de escaneado en 4D personalizadas de la empresa. Aunque el equipo de 3Lateral creó un equipo a medida para MetaHuman a partir de esta información, los datos de animación creados por MetaHuman Animator a partir de una actuación grabada pueden aplicarse a cualquier personaje digital cuyo rig facial use la lógica de control que se corresponde con el estándar de descripción facial de MetaHuman, entre los que se incluyen los creados con MetaHuman Creator o Mesh to MetaHuman.A pesar de que la obra iba a ser completamente digital, Šijak y su equipo recurrieron en gran medida a su experiencia cinematográfica tradicional durante todo el proceso.
Para diseñar la iluminación tal y como harían para un rodaje de imagen real, llevaron luces al plató y las ajustaron para que quedaran como querían iluminar a Bukvić. Al recrear digitalmente en Unreal Engine la iluminación elegida, podían previsualizar con rapidez cómo quedaba la luz con el MetaHuman animado de Bukvić mientras el actor aún estaba en el plató de captura de movimiento y podían hacer otra toma si lo necesitaban. Y, por supuesto, a diferencia de la iluminación real, la digital puede ajustarse a posteriori. Las ventajas no pasaron desapercibidas para Šijak.
«Para ver los resultados de la iluminación sobre el actor, sin luz en el plató, y cambiarla más adelante, este tipo de entorno es ideal», afirma. «Parecía natural, y el resultado fue impresionante».
Para mayor realismo, se llevaron al estudio cámaras de cine reales con sus correspondientes raíles y dolly. Las cámaras seguían los movimientos de Bukvić y, evidentemente, su rostro. Todo esto permitió que el equipo recreara con precisión los movimientos de las cámaras en Unreal Engine, con el MetaHuman de Bukvić actuando frente a la cámara.
«Un factor crucial de la actuación es la imaginación», afirma. «Si sigues tus emociones internas, moverás el cuerpo de forma espontánea frente a la cámara. […] En este proyecto, he intentado explorar mi mundo interior y el resultado fue impresionante».
«Los primeros planos son la base de una película y del cine», dice Šijak. «Así es cómo el espectador se comunica e intercambia emociones con el personaje. Se muestra todo».
De cerca y en persona
Quizá el desafío clave que se propuso el equipo fue que la acción se centrara casi por completo en el rostro del personaje.«Los primeros planos son la base de una película y del cine», dice Šijak. «Así es cómo el espectador se comunica e intercambia emociones con el personaje. Se muestra todo».
Uroš Sikimić, responsable de desarrollo empresarial de 3Lateral, explica cómo se utilizó este desafío para impulsar el desarrollo de MetaHuman Animator. «El rostro humano es sumamente complejo», comenta. «Necesitamos una herramienta tan potente como para analizar toda esa información, en vez de intentar recrear manualmente cada movimiento muscular del rostro humano».
Aleksandar Popov, director artístico de 3Lateral, retoma el hilo. «Los ojos son uno de los aspectos más importantes, obviamente», afirma. «Es lo que da o quita credibilidad. Por eso nos esforzamos mucho en diseñar desde ese punto de vista artístico y dejamos que la tecnología hiciera el resto».
La actuación facial de Bukvić se grabó usando un par de cámaras estereoscópicas verticales montadas en un casco. A continuación, el vídeo y los datos de profundidad calculados se procesaron en MetaHuman Animator mediante un programa de resolución en 4D que captura todos los detalles sutiles y los matices de la actuación e incluso reconstruye los movimientos de la mirada.
Con MetaHuman Animator, los resultados se pueden revisar en cuestión de minutos. De ser necesario, la animación se puede retocar aún más en Unreal Engine para mejorarla o darle un toque dramático. Sin embargo, el equipo de Blue Dot comprobó que la intervención manual para pulir la animación producida por MetaHuman Animator fue mínima.
«No me esperaba que mi actuación fuera tan natural como lo es», comenta Bukvić. «Me quedé alucinado al ver que todos los detalles estaban ahí».
Gracias a la inmediatez de estos resultados y el proceso repetitivo que facilita la colaboración entre artistas, animadores y actores (junto con la fidelidad de la grabación), MetaHuman Animator es una herramienta potente para crear cinemáticas. Ahora, los estudios de animación pueden trabajar con un actor en el plató usando la intuición creativa para dirigir una actuación que se traducirá de forma fiel al contenido animado para crear cinemáticas cargadas de emociones.
«No se puede diferenciar la calidad de los resultados de esta tecnología de la de las tomas realizadas en plató con una cámara real», explica Šijak. «Los ángulos de cámara, la actuación del actor y todo lo que hace que el público se sienta dentro de la toma está ahí. No se pierde nada».
Gracias a la inmediatez de estos resultados y el proceso repetitivo que facilita la colaboración entre artistas, animadores y actores (junto con la fidelidad de la grabación), MetaHuman Animator es una herramienta potente para crear cinemáticas. Ahora, los estudios de animación pueden trabajar con un actor en el plató usando la intuición creativa para dirigir una actuación que se traducirá de forma fiel al contenido animado para crear cinemáticas cargadas de emociones.
«No se puede diferenciar la calidad de los resultados de esta tecnología de la de las tomas realizadas en plató con una cámara real», explica Šijak. «Los ángulos de cámara, la actuación del actor y todo lo que hace que el público se sienta dentro de la toma está ahí. No se pierde nada».
Animaciones faciales de alta calidad con tu iPhone
Una de las ventajas de MetaHuman Animator es que no hace falta tener una cámara estereoscópica vertical profesional montada en un casco u otro material caro, ya que también funciona con un iPhone (12 o superior) y un ordenador de sobremesa, por lo que puedes crear tus propias cinemáticas en Unreal Engine usando cualquier personaje de MetaHuman y el equipo que ya tengas en casa.Puedes obtener más información sobre cómo empezar, así como leer toda la documentación y hablar sobre tus proyectos con otros desarrolladores y creadores en nuestro centro de la comunidad de MetaHuman.
Obtén MetaHuman Animator
MetaHuman Animator tiene todo lo que necesitas para hacer sonreír a tus humanos digitales. Es parte del complemento de MetaHuman para Unreal Engine y debes tener instalado Unreal Engine 5.2 o posterior. Descarga la última versión para empezar hoy mismo.