Nos bastidores do Blue Dot: MetaHuman Animator traz uma fidelidade impressionante à cinemática
20 de setembro de 2023
No mundo da computação gráfica, já há algumas décadas, a criação de seres humanos digitais realistas tornou-se uma espécie de Santo Graal. Muitos alcançaram o objetivo de criar uma imagem estática de um ser humano digital indistinguível da realidade. Mas, muitas vezes, quando é chegada a hora desses personagens atuarem — especialmente se precisarem ser representados em tempo real — surge o "vale da estranheza".
A equipe MetaHuman da Epic Games, que inclui os inovadores 3Lateral e Cubic Motion, especialistas em humanos digitais, pretende mudar tudo isso. Primeiro, com o MetaHuman Creator, eles tornaram a criação de seres humanos digitais realistas acessível a todos. Depois, com o Mesh to MetaHuman, eles levaram a tecnologia mais longe, permitindo criar um MetaHuman com base em uma escultura de um personagem ou em uma digitalização de uma pessoa existente.
Na versão mais recente, a equipe apresentou o MetaHuman Animator, que permite capturar o desempenho de um ator e transformá-lo em uma animação facial de alta fidelidade para o seu MetaHuman em questão de minutos, através de um sistema vertical estéreo de câmera montado na cabeça ou até mesmo de um iPhone. O MetaHuman Animator recria fielmente cada nuance do desempenho do ator em um personagem digital — algo que antes levaria meses para uma equipe de especialistas.
Para levar o MetaHuman Animator aos seus limites durante o desenvolvimento, a equipe da 3Lateral, sediada na Sérvia, colaborou com artistas e cineastas locais para produzir o Blue Dot, um curta-metragem com o renomado ator Radivoje Bukvić e com o diretor de fotografia Ivan Šijak. Toda a sequência, incluindo o cabelo, foi renderizada na Unreal Engine e executada em tempo real.
O filme demonstra como o MetaHuman Animator libera a habilidade das equipes de criar cinemáticas de fidelidade e impacto impressionantes ao usar um processo criativo no set, típico da produção cinematográfica tradicional, para dirigir e capturar uma performance. Além disso, a qualidade da animação fornecida diretamente do software era tão alta que apenas uma pequena equipe de animadores foi necessária para o acabamento.
A equipe MetaHuman da Epic Games, que inclui os inovadores 3Lateral e Cubic Motion, especialistas em humanos digitais, pretende mudar tudo isso. Primeiro, com o MetaHuman Creator, eles tornaram a criação de seres humanos digitais realistas acessível a todos. Depois, com o Mesh to MetaHuman, eles levaram a tecnologia mais longe, permitindo criar um MetaHuman com base em uma escultura de um personagem ou em uma digitalização de uma pessoa existente.
Na versão mais recente, a equipe apresentou o MetaHuman Animator, que permite capturar o desempenho de um ator e transformá-lo em uma animação facial de alta fidelidade para o seu MetaHuman em questão de minutos, através de um sistema vertical estéreo de câmera montado na cabeça ou até mesmo de um iPhone. O MetaHuman Animator recria fielmente cada nuance do desempenho do ator em um personagem digital — algo que antes levaria meses para uma equipe de especialistas.
Para levar o MetaHuman Animator aos seus limites durante o desenvolvimento, a equipe da 3Lateral, sediada na Sérvia, colaborou com artistas e cineastas locais para produzir o Blue Dot, um curta-metragem com o renomado ator Radivoje Bukvić e com o diretor de fotografia Ivan Šijak. Toda a sequência, incluindo o cabelo, foi renderizada na Unreal Engine e executada em tempo real.
O filme demonstra como o MetaHuman Animator libera a habilidade das equipes de criar cinemáticas de fidelidade e impacto impressionantes ao usar um processo criativo no set, típico da produção cinematográfica tradicional, para dirigir e capturar uma performance. Além disso, a qualidade da animação fornecida diretamente do software era tão alta que apenas uma pequena equipe de animadores foi necessária para o acabamento.
Utilização de técnicas tradicionais de produção de filmes em produções digitais
Para dar início ao projeto, a imagem de Bukvić foi capturada na 3Lateral, através das técnicas de digitalização 4D personalizadas da empresa. Embora a equipe da 3Lateral tenha criado uma malha MetaHuman sob medida a partir dos dados dessa imagem, os dados de animação criados pelo MetaHuman Animator a partir de uma performance capturada podem ser aplicados a qualquer personagem digital cuja malha facial use a lógica de controle correspondente ao Padrão de Descrição Facial MetaHuman — incluindo aqueles criados com MetaHuman Creator ou Mesh to MetaHuman.Apesar de a peça ser totalmente digital, Šijak e sua equipe se basearam muito em sua experiência tradicional de produção de filmes durante todo o processo.
Para projetar a iluminação exatamente como fariam em uma filmagem ao vivo, trouxeram luzes físicas e as ajustaram para obter o visual que queriam em Bukvić. Com a configuração de iluminação escolhida recriada digitalmente na Unreal Engine, foi rápido visualizar como a iluminação funcionava com o MetaHuman animado enquanto o ator ainda estava no set de captura de movimento e, se necessário, poderiam fazer outra tomada imediatamente. E, claro, ao contrário da iluminação física, a iluminação pode ser ajustada depois. Os benefícios não se perderam no Šijak.
"Para ver os resultados da luz no ator — mesmo quando a luz não estava presente no set — e para mudar a luz mais tarde, é importante trabalhar nesse tipo de ambiente", diz. "Ficou bem natural e o fluxo de trabalho foi muito, muito incrível."
Para aumentar o realismo, eles trouxeram para o estúdio de captura digital câmeras de cinema reais completas, com trilhos dolly. Tudo foi rastreado, juntamente com o corpo de Bukvić e, é claro, seu rosto. Tudo isso permitiu que a equipe recriasse com precisão os movimentos da câmera na Unreal Engine, com o MetaHuman de Bukvić atuando diretamente para a câmera.
"Um dos principais motores da atuação é a imaginação", comenta. "Se você seguir suas emoções internas, seu corpo se moverá espontaneamente na frente da câmera. [...] Neste trabalho, tentei explorar meu mundo interior. O resultado ficou incrível."
"A tomada em close-up é de fato a base do filme e do cinema", diz Šijak. "É assim que o espectador se comunica e troca emoções com o personagem. Tudo aparece."
Bem perto e pessoal
Talvez o principal objetivo que a equipe estabeleceu foi concentrar a ação quase que inteiramente no rosto do personagem."A tomada em close-up é de fato a base do filme e do cinema", diz Šijak. "É assim que o espectador se comunica e troca emoções com o personagem. Tudo aparece."
O chefe de desenvolvimento de negócios da 3Lateral, Uroš Sikimić, explica como esse objetivo foi usado para impulsionar o desenvolvimento do MetaHuman Animator. "O rosto humano é muito complexo", diz. "Precisávamos de uma ferramenta poderosa o suficiente para analisar todas essas informações, e não somente tentar recriar manualmente cada movimento muscular individual do rosto humano."
Aleksandar Popov, diretor de arte da 3Lateral, continua o papo. "Um dos aspectos mais importantes são, obviamente, os olhos", diz ele. "Isso é o que cria ou destrói toda a aparência. Por isso, nos esforçamos muito para projetar a partir desse tipo de ponto de vista artístico e permitir que a tecnologia fizesse o resto."
O desempenho facial de Bukvić foi gravado com um sistema vertical estéreo de câmera montado na cabeça. O vídeo e os dados de profundidade calculados foram processados no MetaHuman Animator com um solucionador 4D que capturou todos os detalhes e nuances sutis do desempenho, e até mesmo reconstruiu o direcionamento do olhar.
Com o MetaHuman Animator, os resultados estão disponíveis para visualização em minutos. Quando preciso, a animação pode ser ajustada na Unreal Engine para aperfeiçoamento ou criação de efeito dramático. No entanto, a equipe do Blue Dot constatou que seria necessário uma intervenção manual mínima para aprimorar a animação produzida pelo MetaHuman Animator.
"Eu não esperava que meu desempenho fosse ficar tão natural assim", diz Bukvić. "Fiquei impressionado quando vi todos esses mínimos detalhes que estavam lá."
O imediatismo dos resultados e o processo iterativo facilitador entre artistas, animadores e atores — combinados com a fidelidade da captura — é o que torna o MetaHuman Animator uma ferramenta tão poderosa para a criação de filmes. Agora, estúdios de animação podem trabalhar com um ator no set, usando sua intuição criativa para dirigir uma performance que será fielmente traduzida ao conteúdo animado, criando peças cinematográficas emocionantes.
"Não é possível distinguir a qualidade da produção feita com essa tecnologia ou filmada no set com uma câmera real", diz Šijak. "Todo o trabalho de câmera, o desempenho do ator e tudo o que envolve o público na filmagem está lá. Nada se perde."
O imediatismo dos resultados e o processo iterativo facilitador entre artistas, animadores e atores — combinados com a fidelidade da captura — é o que torna o MetaHuman Animator uma ferramenta tão poderosa para a criação de filmes. Agora, estúdios de animação podem trabalhar com um ator no set, usando sua intuição criativa para dirigir uma performance que será fielmente traduzida ao conteúdo animado, criando peças cinematográficas emocionantes.
"Não é possível distinguir a qualidade da produção feita com essa tecnologia ou filmada no set com uma câmera real", diz Šijak. "Todo o trabalho de câmera, o desempenho do ator e tudo o que envolve o público na filmagem está lá. Nada se perde."
Animação facial de alta qualidade a partir do iPhone
Uma das vantagens do MetaHuman Animator é que não é obrigatório ter um sistema vertical estéreo de câmera montado na cabeça nem nenhum outro hardware caro: ele também funciona com um iPhone (12 ou mais recente) ou um PC, o que significa que é possível criar suas próprias peças cinematográficas na Unreal Engine que tenha um personagem MetaHuman usando o equipamento que você já tem em casa.Para saber mais sobre como começar, além de navegar pela documentação completa e conversar com outros desenvolvedores e criadores sobre os projetos, visite o hub da comunidade MetaHuman.
Obtenha o MetaHuman Animator
MetaHuman Animator está pronto para colocar um sorriso no rosto do seu humano digital. Ele faz parte do MetaHuman Plugin para Unreal Engine e requer Unreal Engine 5.2 ou superior. Baixe a versão mais recente e comece agora.