Dans les coulisses de Blue Dot : MetaHuman Animator apporte un incroyable réalisme aux cinématiques
20 septembre 2023
Depuis maintenant deux décennies, créer des humains numériques réalistes a été considéré comme le Saint Graal dans le monde des graphismes. Nombreux sont ceux qui sont parvenus à produire l'image fixe d'un humain numérique indiscernable de la réalité. Mais souvent, c'est lorsque ces personnages sont sollicités — surtout s'ils doivent être reproduits en temps réel — qu'une impression de « vallée de l'étrange » s'immisce.
L'équipe MetaHuman d'Epic Games, qui inclut les innovateurs en matière d'humains numériques 3Lateral et Cubic Motion, s'est donné comme mission de changer tout cela. Tout d'abord, grâce à MetaHuman Creator, ils ont rendu accessible à tous la création d'humains numériques. Ensuite, avec Mesh to MetaHuman, ils ont porté la technologie à un stade supérieur en permettant de créer un MetaHuman basé sur une sculpture d'un personnage ou sur le balayage d'une personne réelle.
Dans son itération la plus récente, l'équipe a introduit MetaHuman Animator,qui permet de capturer la performance d'un acteur et de la transformer en une animation faciale de haute fidélité pour le MetaHuman en seulement quelques minutes, avec pour seul matériel une caméra stéréo montée sur la tête, ou même un iPhone. MetaHuman Animator reproduit avec fidélité toutes les nuances de la performance d'un acteur sur un personnage numérique — quelque chose qui nécessitait auparavant des mois de travail à une équipe d'experts.
Pour repousser les limites de MetaHuman Animator au cours de son développement, l'équipe de 3Lateral, basée en Serbie, a collaboré avec des artistes et des cinéastes locaux pour produire Blue Dot, un court métrage mettant en avant le célèbre acteur Radivoje Bukvić, ainsi qu'Ivan Šijak comme directeur de la photographie. La séquence entière, y compris les cheveux, a été rendue dans l'Unreal Engine et peut être traitée en temps réel.
Le film montre comment MetaHuman Animator donne la possibilité de créer des cinématiques d'un réalisme et d'un impact époustouflants par le biais d'un processus créatif qui commence directement sur le plateau digne de la direction cinématographie classique, et qui permet de capturer la performance d'un acteur. De plus, la qualité de l'animation fournie dès le début était si élevée qu'une petite équipe d'animateurs suffisait pour la finition.
L'équipe MetaHuman d'Epic Games, qui inclut les innovateurs en matière d'humains numériques 3Lateral et Cubic Motion, s'est donné comme mission de changer tout cela. Tout d'abord, grâce à MetaHuman Creator, ils ont rendu accessible à tous la création d'humains numériques. Ensuite, avec Mesh to MetaHuman, ils ont porté la technologie à un stade supérieur en permettant de créer un MetaHuman basé sur une sculpture d'un personnage ou sur le balayage d'une personne réelle.
Dans son itération la plus récente, l'équipe a introduit MetaHuman Animator,qui permet de capturer la performance d'un acteur et de la transformer en une animation faciale de haute fidélité pour le MetaHuman en seulement quelques minutes, avec pour seul matériel une caméra stéréo montée sur la tête, ou même un iPhone. MetaHuman Animator reproduit avec fidélité toutes les nuances de la performance d'un acteur sur un personnage numérique — quelque chose qui nécessitait auparavant des mois de travail à une équipe d'experts.
Pour repousser les limites de MetaHuman Animator au cours de son développement, l'équipe de 3Lateral, basée en Serbie, a collaboré avec des artistes et des cinéastes locaux pour produire Blue Dot, un court métrage mettant en avant le célèbre acteur Radivoje Bukvić, ainsi qu'Ivan Šijak comme directeur de la photographie. La séquence entière, y compris les cheveux, a été rendue dans l'Unreal Engine et peut être traitée en temps réel.
Le film montre comment MetaHuman Animator donne la possibilité de créer des cinématiques d'un réalisme et d'un impact époustouflants par le biais d'un processus créatif qui commence directement sur le plateau digne de la direction cinématographie classique, et qui permet de capturer la performance d'un acteur. De plus, la qualité de l'animation fournie dès le début était si élevée qu'une petite équipe d'animateurs suffisait pour la finition.
Transposer les techniques cinématographiques traditionnelles aux productions numériques
Pour démarrer le projet, l'apparence de Bukvić a été capturée chez 3Lateral en utilisant les techniques de balayage 4D personnalisées de l'entreprise. Si l'équipe 3Lateral a choisi de créer une configuration MetaHuman sur mesure à partir de ces données, les données d'animation créées par MetaHuman Animator à partir d'une interprétation capturée peuvent être appliquées à n'importe quel personnage numérique dont la configuration faciale utilise la logique de commande correspondant aux normes de description faciale de MetaHuman — y compris les personnages créés avec MetaHuman Creator ou Mesh to MetaHuman.Bien que l'œuvre devait être entièrement numérique, Šijak et son équipe se sont largement inspirés de leur expérience de la cinématographie traditionnelle tout au long du processus.
Pour concevoir l'éclairage exactement comme ils le feraient pour un tournage en prise de vue réelle, ils ont apporté des éclairages physiques et les ont ajustés pour obtenir l'aspect souhaité pour Bukvić. En recréant numériquement la configuration d'éclairage choisie dans l'Unreal Engine, ils ont pu rapidement prévisualiser la façon dont l'éclairage se comportait avec le MetaHuman animé de Bukvić alors que l'acteur était encore sur le plateau de capture de mouvement, et pouvait réaliser une autre prise immédiatement si nécessaire. Et bien sûr — contrairement à l'éclairage physique — cet éclairage-là pouvait être ajusté après la capture. Šijak n'a pas manqué de profiter de ces avantages.
« Voir les résultats de la lumière sur l'acteur même en l'absence d'éclairage sur le plateau puis changer cet éclairage. Cela donne envie de travailler dans un tel environnement », dit-il. « C'était naturel et le flux de travail était vraiment incroyable. »
Pour un réalisme renforcé, des caméras de cinéma authentiques, équipées de rails dolly, ont été intégrées dans le studio de capture de mouvement. Celles-ci étaient suivies, avec le corps de Bukvić, et bien évidemment, son visage. Tout cela a permis à l'équipe de recréer avec précision les mouvements de la caméra dans l'Unreal Engine, le MetaHuman de Bukvić jouant directement devant la caméra.
« L'un des principaux moteurs du métier d'acteur est l'imagination », dit-il. « Si vous écoutez vos émotions internes, votre corps bougera spontanément devant la caméra. […] Dans ce projet, j'essayais simplement d'explorer mon monde intérieur et le résultat est époustouflant. »
« Le gros plan est vraiment la base du film et du cinéma », dit Šijak. « C'est vraiment la manière à travers laquelle le spectateur communique et échange des émotions avec le personnage. Tout s'affiche. »
Au plus près de l'acteur
Le principal défi que s'est fixé l'équipe était peut-être de concentrer l'action presque entièrement sur le visage du personnage.« Le gros plan est vraiment la base du film et du cinéma », dit Šijak. « C'est vraiment la manière à travers laquelle le spectateur communique et échange des émotions avec le personnage. Tout s'affiche. »
Uroš Sikimić, responsable du développement des affaires chez 3Lateral, explique comment ce défi a été mis à profit pour développer MetaHuman Animator. « Le visage humain est extrêmement complexe », dit-il. « Il nous fallait un outil assez puissant pour pouvoir analyser toutes ces informations au lieu de chercher à recréer manuellement chaque muscule mouvement de muscle individuel sur le visage humain. »
Aleksandar Popov, directeur artistique chez 3Lateral, prend le relais. « L'un des aspects les plus importants est bien évidemment, les yeux », dit-il. « C'est ce qui fait ou défait l'impression entière. Et nous avons redoublé d'efforts pour concevoir à partir ce point de vue artistique et permettre à la technologie de s'occuper du reste. »
L'interprétation du visage de Bukvić a été enregistrée à l'aide d'une paire de caméras stéréo montées sur la tête. La vidéo et les données de profondeur calculées ont ensuite été traitées dans MetaHuman Animator à l'aide d'un solveur 4D, capturant chaque détail subtil et chaque nuance de l'interprétation et reconstruisant même les mouvements du regard.
Avec MetaHuman Animator, les résultats peuvent être examinés en quelques minutes. Si nécessaire, l'animation peut être ajustée davantage dans l'Unreal Engine pour la raffiner ou lui donner un effet dramatique — cependant, l'équipe Blue Dot a constaté que peu d'interventions manuelles étaient nécessaires pour peaufiner le rendu de l'animation de MetaHuman Animator.
« Je ne m'attendais pas à ce que mon interprétation soit aussi naturelle que ça », dit Bukvić. « J'ai été bluffé en voyant tous les petits détails. »
C'est le caractère immédiat de ces résultats et le processus itératif que cela favorise entre les artistes, les animateurs et les acteurs — combinés à la fidélité de la capture — qui font de MetaHuman Animator un outil si puissant pour la création de cinématiques. Les studios d'animation peuvent désormais travailler avec un acteur sur le plateau, faisant appel à leur intuition créative pour réaliser une performance qui se traduira fidèlement dans le contenu animé afin de créer des œuvres cinématographiques riches en émotions.
« On ne parvient pas à différencier la qualité du produit créé grâce à cette technologie des prises faites sur le plateau avec la vraie caméra », dit Šijak. « Le travail de caméra, la performance de l'acteur et tout ce qui interpelle le spectateur y sont présents. Rien n'est perdu. »
C'est le caractère immédiat de ces résultats et le processus itératif que cela favorise entre les artistes, les animateurs et les acteurs — combinés à la fidélité de la capture — qui font de MetaHuman Animator un outil si puissant pour la création de cinématiques. Les studios d'animation peuvent désormais travailler avec un acteur sur le plateau, faisant appel à leur intuition créative pour réaliser une performance qui se traduira fidèlement dans le contenu animé afin de créer des œuvres cinématographiques riches en émotions.
« On ne parvient pas à différencier la qualité du produit créé grâce à cette technologie des prises faites sur le plateau avec la vraie caméra », dit Šijak. « Le travail de caméra, la performance de l'acteur et tout ce qui interpelle le spectateur y sont présents. Rien n'est perdu. »
Des animations faciales de haute qualité depuis votre iPhone
L'un des points forts de MetaHuman Animator est qu'il ne nécessite pas de caméra stéréo montée sur la tête professionnelle ou d'autres équipements au tarif prohibitif : il fonctionne aussi avec un iPhone (12 ou plus) et un PC de bureau, ce qui vous permet de créer vos propres cinématiques dans l'Unreal Engine avec n'importe quel personnage de MetaHuman, en utilisant l'équipement dont vous disposez peut-être déjà chez vous.Vous pouvez en savoir plus sur la manière de vous lancer, consulter la documentation complète et discuter de vos projets avec d'autres développeurs et créateurs dans notre hub de communauté MetaHuman.
Obtenir MetaHuman Animator
MetaHuman Animator est prêt à mettre un sourire sur le visage de votre humain numérique. Pour cela, installez le plugin MetaHuman pour l'Unreal Engine. L'Unreal Engine 5.2 ou une version ultérieure sera nécessaire. Téléchargez la dernière version pour vous lancer dès aujourd'hui.