Coup de projecteur
5 mai 2026
Créer des humains numériques stylisés pour Daughter of the Inner Stars avec MetaHuman et l'UE5
Daughter of the Inner Stars est une expérience orchestrale symphonique originale de 50 minutes qui mêle narration en direct, animation et partition cinématique. Créé par Nicholas Buc et Melanie Hiluta et écrit et réalisé par James Vinson, le spectacle suit le voyage de Fia, une jeune fille courageuse à la recherche de son père disparu, Burto, au milieu d'une guerre cosmique futile.
Ce qui rend cette histoire particulièrement captivante n'est pas seulement le résultat final, qui est clairement envoûtant, mais la manière dont il a été obtenu.
Avec une petite équipe et des ressources limitées, les créateurs se sont appuyés sur MetaHuman et l'Unreal Engine pour repousser les limites de ce qu'ils pensaient auparavant possible. Cela a ouvert la porte à un nouveau type de flux de travail, qui combine des visuels stylisés, la production en temps réel et la capture de performance haute fidélité dans un pipeline cohérent pour la narration moderne.
Ce qui rend cette histoire particulièrement captivante n'est pas seulement le résultat final, qui est clairement envoûtant, mais la manière dont il a été obtenu.
Avec une petite équipe et des ressources limitées, les créateurs se sont appuyés sur MetaHuman et l'Unreal Engine pour repousser les limites de ce qu'ils pensaient auparavant possible. Cela a ouvert la porte à un nouveau type de flux de travail, qui combine des visuels stylisés, la production en temps réel et la capture de performance haute fidélité dans un pipeline cohérent pour la narration moderne.
Mélanger le photoréalisme avec un style visuel pictural
L'un des aspects les plus distinctifs de Daughter of the Inner Stars est son identité visuelle. Plutôt que de s'appuyer entièrement sur le photoréalisme, l'équipe d'Inferstudio, qui était chargée de créer l'univers visuel de l'expérience, a visé une esthétique plus tactile et expressive.
"Quelque chose qui évoque davantage la physicalité mate d'un livre pour enfants illustré et moins les conventions des médias brillants sur écran," explique Nathan Su, chef décorateur, directeur de la photographie et superviseur des effets visuels.
Parallèlement, Inferstudio avait déjà décidé que les flux de travail en temps réel dans l'Unreal Engine seraient la seule approche réalisable pour eux, compte tenu de la petite taille de leur équipe et de leurs compétences respectives.
Lors des premiers tests pour les visuels de l'émission, l'équipe a créé des environnements d'arrière-plan picturaux et les a intégrés à des personnages illustrés en 2,5D avec une animation limitée. "Nous avons considéré les scènes comme des portraits figés ou des tableaux immersifs", déclare Nathan Su.
Lorsque MetaHuman Animator a été publié, ils ont testé la conversion des personnages en MetaHumans complets, juste pour le plaisir, et ont effectué un test de capture de mouvement facial de base.
"C'est à ce moment-là que James, le réalisateur, s'est vraiment enthousiasmé à l'idée d'intégrer une véritable performance humaine dans le spectacle, nous sommes donc rapidement passés de l'idée de tableaux figés à une approche plus animée", explique Nathan Su.
La fidélité et la précision de MetaHuman ont représenté une avancée considérable pour le projet, car elles ont permis à l'équipe d'explorer les nuances et les subtilités des émotions complexes des personnages. Toutefois, cela a également créé une tension. Bien que la force de MetaHuman réside dans le réalisme, cela a poussé les visuels dans une direction involontaire.
"La très haute résolution des personnages a fait que nos scènes ont commencé à ressembler à des cinématiques de jeu vidéo", explique Nathan Su.
Ils devaient retrouver une esthétique plus picturale et se sont lancés dans une nouvelle série d'expérimentations. Cela a conduit au développement d'un pipeline hybride combinant les rendus de l'Unreal Engine avec une stylisation assistée par l'IA.
"Nous avons essentiellement fait un rendu de tout ce qui sortait de l'Unreal Engine avec une qualité de production, puis nous avons introduit chaque image finale du spectacle dans un script AnimateDiff personnalisé que nous avons développé", explique Nathan Su.
Le passage de l'IA de Stable Diffusion était volontairement léger et n'a pas fondamentalement modifié l'image, mais a plutôt supprimé les petits détails qui étaient clairement numériques, tels que le crénelage, les artefacts de flou et les jointures de texture, et a ajouté une certaine variation et de la douceur aux bords et aux intersections sur des zones comme les cheveux.
L'objectif n'était pas de refaire entièrement l'image, mais de la remodeler subtilement. En superposant les résultats, ils ont introduit la diffusion et des qualités picturales sans perdre le contrôle de l'éclairage et de la composition.
"La plupart du temps, il s'agissait d'une opération d'opacité assez simple. Nous fusionnions environ 30 à 50% de l'image Stable Diffusion sur le rendu."
Le résultat est un style visuel qui se situe quelque part entre l'illustration et le réalisme cinématique, démontrant à quel point les pipelines en temps réel peuvent être flexibles lorsqu'ils sont combinés avec des techniques de post-traitement.
Images reproduites avec l'aimable autorisation d'Inferstudio.
Personnaliser les MetaHumans pour qu'ils correspondent au style des personnages stylisés
Pour obtenir cet aspect stylisé, il a fallu faire plus que du simple post-traitement. L'équipe a également modifié directement les ressources MetaHuman, en particulier pour le personnage principal, Fia. "Elle avait une coiffure personnalisée que nous avons créée dans Blender, des yeux agrandis, ainsi que des textures de peau personnalisées", explique Nathan Su.
Pour ses yeux, l'équipe voulait des proportions qui allaient au-delà de ce que MetaHuman Creator (MHC) pouvait réaliser. Pour obtenir le bon aspect, ils ont d'abord créé un personnage aussi proche que possible du résultat souhaité dans MHC, puis ils ont exporté le maillage de la tête directement depuis l'Unreal Engine pour l'éditer dans Blender.
"Il n'y a que les maillages des yeux eux-mêmes qui devaient être agrandis, il s'agissait donc d'un processus de modélisation assez simple", note Nathan Su.
La mise à l'échelle d'éléments comme les yeux au-delà des limites standard a finalement permis à l'équipe de rapprocher le design d'un style d'illustration 2D. "Nous avons été honnêtement époustouflés par la facilité avec laquelle tout cela était réalisable, d'autant plus que dans de nombreux cas, nous apprenions à utiliser les outils au fur et à mesure", déclare Nathan Su.
Pour les autres humanoïdes, l'équipe a utilisé des visages et des corps MetaHuman de base, avec des personnalisations des cheveux, des costumes et des visages qui ont donné une esthétique plus stylisée et peinte à la main.
"La logique du blueprint MetaHuman a rendu très facile l'échange de textures et de maillages corporels afin que nous puissions créer des personnages qui semblent vraiment originaux."
Alors que les MetaHumans fournissaient une base flexible pour les personnages humanoïdes, l'approche a changé de manière significative lorsqu'il a été question de créatures non humanoïdes comme le Léviathan. Cela a nécessité des squelettes entièrement personnalisés et une logique d'animation adaptée à l'anatomie de chaque créature.
Contrairement aux MetaHumans, qui bénéficient d'outils et de flux de travail standardisés, ces personnages s'appuyaient sur des techniques plus expérimentales, entre les squelettes procéduraux et l'animation basée sur des splines, ce qui a souligné la nécessité d'adapter les pipelines lorsque l'on s'éloigne des formes humaines.
Images reproduites avec l'aimable autorisation d'Inferstudio.
Combiner la capture de mouvement faciale et corporelle pour une performance réaliste
La capture de performance a joué un rôle central pour donner vie aux personnages humanoïdes. L'équipe a combiné MetaHuman Animator pour la capture faciale avec Autodesk Flow Studio pour le suivi du corps, puis a fusionné les données à la main.
"La synchronisation des données corporelles avec les données de capture faciale était un processus manuel que nous devions effectuer pour chaque animation, mais une fois la synchronisation effectuée, la magie a opéré", explique Nour Hassoun, fondateur et PDG d'IMPERSONAS, un studio d'humains numériques qui a travaillé sur le projet.
Comme elle utilisait un système de capture basé sur une seule caméra pour le visage et le corps, l'équipe pouvait avoir plusieurs acteurs interagissant les uns avec les autres en même temps.
"Si nous avions eu besoin de plusieurs combinaisons ou de systèmes de suivi plus haut de gamme, nous n'aurions certainement pas pu nous permettre de faire de la capture de mouvement sur ce projet, et la capacité de capturer chaque interprète dans une scène simultanément était essentielle", explique Nathan Su.
L'équipe a également tiré parti de la puissance de Live Link Face pour réaliser une capture de performance à moindre coût, en utilisant un téléphone pour la capture faciale.
"Nous avons assemblé un dispositif de capture faciale très rudimentaire en utilisant un casque de vélo, une perche à selfie, des poids de cheville et un peu trop de ruban adhésif et, étonnamment, cela a fonctionné de manière assez fiable", déclare Nathan Su.
Images reproduites avec l'aimable autorisation d'Inferstudio.
"La capture de performance était quelque chose que je n'aurais jamais imaginé qu'une équipe de notre taille et de nos compétences puisse réaliser, même un an seulement avant que nous ne nous lancions dans ce projet."
Pour le reciblage des performances d'acteurs capturées sur leurs personnages stylisés, il a fallu procéder par tâtonnements. Un mouvement des yeux trop important entraînerait un chevauchement des yeux de Fia, tandis que certains mouvements du corps feraient passer ses bras à travers ses manches.
"Nous avons pu résoudre tous les problèmes avec des masques de texture, des astuces de caméra et un nettoyage soigné de l'animation", déclare Nour Hassoun.
L'équipe a découvert que l'une des principales différences entre le travail avec des personnages réalistes et stylisés réside dans le fait que le nettoyage des mocaps n'est pas simplement un "nettoyage" : tout un processus d'animation créative supplémentaire s'y ajoute, soit pour compenser certaines bizarreries, soit pour donner un peu plus de vie aux proportions exagérées.
"Le flux de travail, malgré ces particularités, a tout de même été extraordinaire par rapport aux pipelines d'animation traditionnels, déclare Nour Hassoun. D'autant plus que personne dans l'équipe n'est un animateur d'images clés de personnages au sens classique du terme."
Tout ce nettoyage d'animation a eu lieu directement dans l'Unreal Engine. Cela a été possible grâce à la haute qualité des données de performance que l'équipe a obtenues de MetaHuman Animator.
"Le niveau de contrôle de l'animation, les outils, les contraintes, les commutateurs… tout cela en plus de la possibilité de rendre en temps réel, c'est tout simplement génial, déclare Nour Hassoun.
Surtout lors du nettoyage de la capture faciale avec tant de petites subtilités. Il est très utile de voir le résultat rendu à l'écran immédiatement pour l'ajuster, le tester et l'améliorer. Nous sommes une très petite équipe : le fait de pouvoir exporter et importer des données entre les outils est du temps gagné que nous pouvons consacrer à l'amélioration du film."
Pour le reciblage des performances d'acteurs capturées sur leurs personnages stylisés, il a fallu procéder par tâtonnements. Un mouvement des yeux trop important entraînerait un chevauchement des yeux de Fia, tandis que certains mouvements du corps feraient passer ses bras à travers ses manches.
"Nous avons pu résoudre tous les problèmes avec des masques de texture, des astuces de caméra et un nettoyage soigné de l'animation", déclare Nour Hassoun.
L'équipe a découvert que l'une des principales différences entre le travail avec des personnages réalistes et stylisés réside dans le fait que le nettoyage des mocaps n'est pas simplement un "nettoyage" : tout un processus d'animation créative supplémentaire s'y ajoute, soit pour compenser certaines bizarreries, soit pour donner un peu plus de vie aux proportions exagérées.
"Le flux de travail, malgré ces particularités, a tout de même été extraordinaire par rapport aux pipelines d'animation traditionnels, déclare Nour Hassoun. D'autant plus que personne dans l'équipe n'est un animateur d'images clés de personnages au sens classique du terme."
Tout ce nettoyage d'animation a eu lieu directement dans l'Unreal Engine. Cela a été possible grâce à la haute qualité des données de performance que l'équipe a obtenues de MetaHuman Animator.
"Le niveau de contrôle de l'animation, les outils, les contraintes, les commutateurs… tout cela en plus de la possibilité de rendre en temps réel, c'est tout simplement génial, déclare Nour Hassoun.
Surtout lors du nettoyage de la capture faciale avec tant de petites subtilités. Il est très utile de voir le résultat rendu à l'écran immédiatement pour l'ajuster, le tester et l'améliorer. Nous sommes une très petite équipe : le fait de pouvoir exporter et importer des données entre les outils est du temps gagné que nous pouvons consacrer à l'amélioration du film."
Images reproduites avec l'aimable autorisation d'Inferstudio.
L'Unreal Engine pour la production cinématique en temps réel
L'Unreal Engine a servi de pilier à l'ensemble de la production. Ses capacités de temps réel ont fondamentalement changé ce qui était possible pour l'équipe.
"Une pièce de cette longueur et de cette complexité n'aurait pas été possible pour nous en utilisant les flux de travail de rendu PBR traditionnels, déclare Nathan Su. Les temps de rendu nous auraient paralysés, sans parler de l'ambition du projet de créer de longs plans panoramiques à travers des paysages extraterrestres et des mondes denses de vie et de géométrie."
Elle a réalisé que les technologies de rendu principales de l'Unreal Engine lui permettraient de faire plus avec une équipe plus petite.
"Quand nous avons commencé à travailler sur Daughter of the Inner Stars, nous avons supposé assez tôt que la conception et le rendu se feraient dans l'Unreal Engine grâce à Lumen et Nanite. L'accès aux ressources et aux matériaux Quixel Megascans était également quelque chose sur lequel nous nous sommes beaucoup appuyés."
Au-delà du rendu, l'Unreal Engine a permis la collaboration en temps réel. "Nous pouvions collaborer avec le compositeur Nick et le réalisateur James par le biais de réunions en ligne où nous pouvions prendre des notes sur les environnements ou les mouvements de caméra en temps réel via le partage d'écran, explique Nathan Su. La nature en temps réel des scènes que nous créions a rendu beaucoup plus facile pour James de voir et d'affiner la chorégraphie au sein de chaque plan."
Cela a permis de prendre des décisions créatives plus rapidement et de manière plus collaborative que dans les pipelines traditionnels.
Images reproduites avec l'aimable autorisation d'Inferstudio.
Donner aux petites équipes les moyens de raconter de grandes histoires
Daughter of the Inner Stars témoigne de la façon dont la combinaison du rendu en temps réel, de la capture de performance accessible et des outils de personnages flexibles peut permettre à de petits studios de créer des expériences cinématiques à grande échelle.
Mais surtout, cela témoigne d'une évolution plus générale de la technologie créative.
Des outils comme MetaHuman et l'Unreal Engine ne se contentent pas d'améliorer les flux de travail, ils redéfinissent ce qui est possible pour les créateurs indépendants. "Il n'est pas exagéré de dire que la sortie de MetaHuman Animator a totalement changé nos ambitions et notre approche de ce projet", conclut Nathan Su.
Images reproduites avec l'aimable autorisation d'Inferstudio.