Pour son épisode de Noël des Green à Big City, l'équipe de Disney Television Animation a souhaité adopter une nouvelle approche en s'éloignant du style 2D habituel pour faire évoluer les Green dans le monde virtuel en 3D de "Outpost Infinity".
Il n'est cependant pas si facile de transposer des personnages 2D dans un environnement en 3D. En travaillant avec les équipes de Disney Technology et en utilisant l'Unreal Engine, Disney Television Animation a développé un style graphique fidèle à l'œuvre d'origine en construisant un pipeline d'images de synthèse en temps réel tout à fait différent de l'approche 3D conventionnelle. En définitive, l'équipe a dû prendre un pipeline 2D et inverser le script.
La portion 3D de l'épisode "Virtually Christmas" dure 16 minutes, est très stylisée et a été créée presque entièrement dans l'Unreal Engine. Il s'agit de la première création épisodique réalisée à l'aide de l'Unreal Engine par Disney, mais également du plus long épisode d'animation reposant principalement sur la technologie en temps réel.
Dans l'épisode spécial des Green à Big City, ces derniers sont confrontés à un dilemme lorsque Cricket Green est pris au piège dans une tempête de neige qui l'empêche de rentrer chez lui pour Noël.
Fort heureusement, l'ami de Cricket, Remy, a une solution : la famille peut fêter Noël dans l'environnement 3D de son nouveau jeu de réalité virtuelle. "Cela nous a donné l'occasion de fusionner l'art 2D habituel avec l'animation 3D en temps réel, puisque c'est aussi le parcours que suivent les personnages lorsqu'ils pénètrent dans un monde virtuel", explique Kaki Navarre, vice-présidente de l'ingénierie logicielle des technologies chez Disney.
La conversion de l'animation 2D en 3D comporte de nombreux défis, aussi bien d'un point de vue artistique que technique. Tout d'abord, les versions 3D des personnages doivent rester fidèles à leurs homologues en 2D.
"Nous souhaitions nous assurer que les Green se ressemblaient, qu'ils soient immédiatement identifiables, aussi bien au niveau de leurs mouvements que de leur apparence", déclare Jennifer Burchfield, superviseuse d'animation 3D chez Disney.
Le projet a été configuré avec un pipeline en temps réel basé sur l'Unreal Engine, mais le style artistique de l'épisode a nécessité une approche différente, puisque nous ne souhaitions pas obtenir le rendu habituel d'un moteur de jeu. Nous cherchions à créer un rendu stylisé plutôt que photoréaliste.
L'équipe s'est inspirée de la technique du stop-motion et de divers styles illustratifs pour développer un style sur mesure autour de différentes techniques artistiques et d'animation. Par souci de cohérence, il a fallu créer un guide de style. Ce dernier a permis de caractériser les divers aspects de l'épisode, notamment l'interaction de la lumière et des ombres avec les personnages, la réflectivité des surfaces et bien plus.
Image reproduite avec l'aimable autorisation de The Walt Disney Company
L'équipe s'est également inspirée de l'animation 2D pour identifier les techniques qu'il lui était possible d'utiliser afin de combler le fossé entre la 2D et la 3D. "Les Green à Big City est un dessin animé", explique Mark Droste, réalisateur d’animation 3D chez Disney. "Les bras des personnages sont démesurés, leurs yeux sont grands et larges et leurs corps peuvent faire des mouvements que l'animation 3D ne permet pas. Souvent, avec les images de synthèse, on a peur que le résultat soit un peu figé, surtout lorsqu'on travaille habituellement en 2D."
Pour s'assurer que les personnages conservent cet aspect propre au dessin animé, l'équipe a dû axer ses efforts sur deux aspects : compression et étirement.
Compression et étirement sont des techniques utilisées par les animateurs 2D pour traduire l'élasticité et la souplesse. Cela permet de rendre les mouvements des personnages plus naturels et plus dynamiques. "Si on s'arrête sur une image, on remarque souvent des compressions et des étirements assez incroyables, comme des visages qui se déforment sur le côté", explique Droste. "Cela rend l'animation encore plus percutante et fidèle au style des Green à Big City ."
Image reproduite avec l'aimable autorisation de The Walt Disney Company
L'équipe a également utilisé le maculage géométrique. Le maculage est une technique d'animation 2D qui consiste à introduire plusieurs images derrière un objet en déplacement pour produire un effet de bavure. Cette technique donne l'illusion d'un mouvement continu. "Nous avons ainsi obtenu un style proche de celui de Peanuts ou de Spider-Man: New Generation", explique Burchfield. "Nous avons travaillé sans flou de mouvement. Le résultat est donc plus stylisé."
Pour mettre en place ces techniques, il a fallu commencer par travailler avec les squelettes des personnages. L'équipe a créé des squelettes dans Maya, puis les a importés dans le moteur pour effectuer une prévisualisation de l'animation avec Control Rig.
Les données ont ensuite été prégénérées afin d'obtenir une séquence d'animation, puis exportées dans FBX pour permettre aux animateurs d'effectuer les dernières passes dans Maya. "Nous souhaitions vraiment aller au bout de ce principe de compression et d'étirement et nous ne voulions pas avoir à éditer quoi que ce soit en dehors du moteur", précise Evan Binder, superviseur de pipeline d'animation 3D chez Disney.
"Pour des raisons de performance, nous avons décidé de travailler dans FBX, notamment parce que nous savions que cet outil fonctionne très bien avec Control Rig, mais aussi parce que cela permettait à nos artistes de modifier le rendu plus tard dans le moteur."
Une fois les dernières passes effectuées dans Maya, nous avons réimporté le projet dans le moteur afin de permettre à l'équipe de le voir en contexte, d'ajouter le maculage et d'effectuer les modifications nécessaires. "On réimporte tout dans le moteur pour pouvoir découvrir le projet dans son intégralité", explique Droste. "On peut le voir avec l'éclairage et découvrir ce à quoi l'animation ressemblera au final. Et puis, on continue à proposer diverses itérations. Cela va très vite, alors on peut prendre des décisions rapidement."
Image reproduite avec l'aimable autorisation de The Walt Disney Company
De l'Unreal Fellowship au premier projet
Disney travaille avec des flux de travail en temps réel depuis quelque temps déjà. L'été dernier, plusieurs membres de l'équipe ont pris part au programme Unreal Fellowship. "Virtually Christmas" est le premier projet de l'équipe avec l'Unreal Engine. "J'ai vraiment appris à aimer l'Unreal Engine", déclare Burchfield. "Je ne l'avais jamais utilisé auparavant, mais j'ai trouvé le moteur facile à prendre en main. Il est très intuitif. Je me suis vite senti à l'aise."
Le temps réel a permis aux diverses équipes d'œuvrer en parallèle. Si un pipeline de production hors ligne traditionnel avait été utilisé, les diverses étapes auraient dû être réalisées les unes après les autres. Puisque les équipes de rédaction, de configuration, d'éclairage et d'effets visuels travaillaient en même temps, l'histoire a pu être élaborée de façon itérative, c'est-à-dire en œuvrant de concert dans un environnement unifié.
Pour Megan Stifter, superviseuse CG de l'animation 3D chez Disney, il s'agit de l'un des aspects les plus intéressants du flux de travail en temps réel. "Dans l'animation traditionnelle, les artistes et les ingénieurs sont habitués à travailler dans l'abstraction", explique-t-elle.
Image reproduite avec l'aimable autorisation de The Walt Disney Company
"Les équipes ne savent pas à quoi va véritablement ressembler leur travail. Celui-ci repose donc majoritairement sur des conjectures et des vérifications. Les nombreuses modifications peuvent alors prendre des jours, des semaines ou même des mois à mettre en place. Le temps réel permet de réduire drastiquement ces délais. L'impact d'une modification apparaît presque instantanément."
Généralement, cela suscitait l'enthousiasme. Quand des départements habituellement cloisonnés peuvent travailler simultanément, les actualisations dynamisent l'expérience. En règle générale, le processus commençait avec des cubes, des cylindres et des ressources de prévisualisation créés par le département des cinématiques. Ces éléments pouvaient désormais être élaborés pendant la configuration, alors même que les ressources finales étaient en production. L'équipe pouvait alors utiliser Blueprint, imbriquer les sous-niveaux, sculpter des paysages et des accessoires pour permettre aux équipes de l'animation, de la cinématographie, de l'éclairage et à l'équipe technique d'avancer. Une fois les modèles terminés, il suffisait de les échanger ou de les actualiser dans le moteur.
"Chaque jour, après avoir synchronisé tous les dossiers dans Perforce et appuyé sur Play dans Sequencer, nous découvrions un nouveau projet", explique Christina Douk, superviseuse des ressources 3D chez Disney. "Il était donc très amusant et très intéressant de proposer des itérations dans le moteur et l'équipe de production y a vu une source d'inspiration."
Des outils de réalisation 3D en temps réel
Les outils de réalisation de l'Unreal Engine sont une reproduction des outils que l'on trouverait sur un véritable plateau de tournage. Au début du projet, Droste s'est plongé dans le moteur et a ébauché un scénario. "C'était génial ! J'ai pu profiter de ce bac à sable numérique pour donner vie à mes idées dans le moteur", déclare-t-il.
Image reproduite avec l'aimable autorisation de The Walt Disney Company
"Je me souviens encore du jour où on avait terminé la configuration et paramétré les ressources de prévisualisation. Tout d'un coup, mon idée est apparue à l'écran. C'est ce que je préfère dans l'Unreal Engine : c'est très facile de créer des environnements, d'ajouter de l'éclairage, de configurer des personnages... Et soudain, votre idée se concrétise sous vos yeux !"
Chaque séquence de "Virtually Christmas" a été assemblée sur une timeline globale à l'aide de Sequencer. En menant à bien le processus éditorial dans l'Unreal Engine, l'équipe a pu travailler plus rapidement, obtenir un aperçu de l'intégralité de l'épisode et de chaque image en contexte, mais aussi effectuer des modifications à la volée. Tout cela sans avoir à exporter et synchroniser les prises vers des packs de logiciels de montage traditionnels.
Image reproduite avec l'aimable autorisation de The Walt Disney Company
"Il s'agit d'un gros projet auquel nous pouvons apporter des modifications à la volée, ce qui serait impossible dans un pipeline traditionnel. La suite de création de contenu centralisée de l'Unreal Engine nous offre cette possibilité", explique Andy Wood, directeur de la technologie des médias en temps réel chez Disney.
La possibilité d'ajuster les prises à la dernière minute a porté ses fruits, notamment lorsqu'une importante modification a été demandée à la fin de la production. "Nous souhaitions retravailler une longue séquence, ce qui, d'ordinaire, n'est pas possible", selon Droste. "J'ai pu m'entretenir avec le producteur exécutif et refaire la séquence de trois minutes en seulement deux heures dans l'Unreal Engine."
Un pipeline de contenu multiplateforme
Disney a toujours repoussé les limites des technologies d'animation et ses équipes ont souvent brisé les frontières de la visualisation en temps réel. L'utilisation du temps réel pour "Virtually Christmas" est donc une évolution naturelle. "À mesure que la technologie progresse, une question se pose : comment est-il possible d'obtenir davantage de contexte plus rapidement ? Comment pouvons-nous travailler de façon novatrice ?" se demande Wood. "Il était tout simplement logique d'envisager le temps réel pour ce genre de projet."
L'utilisation de la technologie en temps réel pour "Virtually Christmas" n'est que l'un des nombreux enjeux pour Disney. Les équipes créatives et technologiques de l'entreprise ont commencé à expérimenter l'utilisation des flux de travail en temps réel dans d'autres domaines, notamment la production virtuelle, l'interactivité des contenus et la visualisation des données, entre autres. La création de contenu en temps réel et en tandem suggère également une nouvelle possibilité : la création d'un pipeline de contenu multiplateforme.
Image reproduite avec l'aimable autorisation de The Walt Disney Company
Si, dès le début du projet, les ressources et les environnements créés sont optimisés, il devient possible de les utiliser pour d'autres projets. "Les ressources adaptées au temps réel et au contenu interactif nécessitent un investissement en amont, mais elles peuvent ensuite être utilisées pour la création de contenu linéaire traditionnel, ou bien pour la production de nouveaux types de format, qu'il s'agisse d'une expérience interactive ou plus immersive", estime Navarre. "Rien n'est impossible."
L'épisode "Virtually Christmas" des Green à Big City est disponible sur Disney Channel et Disney Plus.
Obtenez l'Unreal Engine dès maintenant !
Procurez-vous l'outil de création le plus ouvert et le plus avancé au monde.
L'Unreal Engine est prêt à l'emploi, avec toutes les fonctionnalités et un accès complet au code source.