Courtesy of Warner Brothers Pictures
La narration en temps réel : l'Unreal Engine permet d'itérer rapidement sur les plans complexes de Sinners
Le film d'horreur Sinners se déroule dans le delta du Mississippi des années 1930. Il met en scène deux frères jumeaux qui retournent dans leur ville natale du Sud soumise aux lois Jim Crow. C'est ici qu'ils devront faire face à un mal surnaturel.
Le film comporte des séquences très techniques, dont un montage musical filmé en IMAX et au rythme effréné, mais également une grande scène d'arrivée d'un train. Il était nécessaire que l'œuvre paraisse fidèle à l'époque tout en restant cinématographique, et ce dans des conditions de production très strictes.
Pour y parvenir, l'équipe s'est appuyée sur un flux de travail de visualisation en temps réel conçu autour de l'Unreal Engine. Elle l'a utilisé non seulement comme outil de prévisualisation, mais également comme un espace créatif partagé dans lequel les idées de chacun pouvaient être explorées, remises en question et harmonisées bien avant le début du tournage.
Nous avons rencontré Michael Ralla, superviseur des effets visuels de Sinners nommé aux Oscars et Pepe Valencia, superviseur de la visualisation chez Baraboom! et récompensé par un Emmy Award. Nous avons discuté de la manière dont ils ont utilisé l'Unreal Engine pour réaliser certains des moments les plus complexes du film. Découvrez notre entretien ci-dessous.
Le film comporte des séquences très techniques, dont un montage musical filmé en IMAX et au rythme effréné, mais également une grande scène d'arrivée d'un train. Il était nécessaire que l'œuvre paraisse fidèle à l'époque tout en restant cinématographique, et ce dans des conditions de production très strictes.
Pour y parvenir, l'équipe s'est appuyée sur un flux de travail de visualisation en temps réel conçu autour de l'Unreal Engine. Elle l'a utilisé non seulement comme outil de prévisualisation, mais également comme un espace créatif partagé dans lequel les idées de chacun pouvaient être explorées, remises en question et harmonisées bien avant le début du tournage.
Nous avons rencontré Michael Ralla, superviseur des effets visuels de Sinners nommé aux Oscars et Pepe Valencia, superviseur de la visualisation chez Baraboom! et récompensé par un Emmy Award. Nous avons discuté de la manière dont ils ont utilisé l'Unreal Engine pour réaliser certains des moments les plus complexes du film. Découvrez notre entretien ci-dessous.
Réinventer le pipeline de réalisation
Traditionnellement, les flux de travail des effets visuels intègrent les artistes au bout du pipeline et les font travailler sur les scènes une fois que la plupart des décisions créatives sont déjà prises.Pour Michael Ralla, superviseur en effets visuels de Sinners, le but était justement d'éviter cette distanciation avec l'histoire. "Les compositeurs sont généralement les derniers maillons de la chaîne, explique Michael Ralla. Ils doivent terminer le plan de quelqu'un d'autre, sans forcément comprendre l'intention créative originale."
Après s'être plongé dans l'Unreal Engine à travers l'Unreal Fellowship, Michael Ralla a imaginé un avenir différent, où la visualisation peut s'effectuer en temps réel, en tandem avec les réalisateurs, où elle est au service de l'histoire plutôt qu'un simple outil d'exécution.
Cette approche correspondait parfaitement à celle de Pepe Valencia, superviseur en visualisation chez Baraboom!, dont le parcours dans le domaine de la narration a façonné sa vision de la visualisation. La première fois que Michael Ralla a contacté Pepe Valencia, ce dernier n'a posé aucune question sur les budgets ou les calendriers.
"Je peux lire le script ?" a-t-il demandé.
Dès cet instant, le ton était donné pour tout le reste de leur collaboration.
"Lorsque j'ai lu le script pour la première fois, une séquence en particulier m'a marqué : celle que nous avons appelée montage surréaliste. Dans cette scène, Sammie commence à jouer dans un état de transe et le spectateur se retrouve à traverser l'histoire tout d'un coup", raconte Michael Ralla.
Le montage surréaliste fait office d'expérience culturelle, en mêlant percussions de l'Afrique de l'Ouest, blues, funk et hip-hop.
Cette approche correspondait parfaitement à celle de Pepe Valencia, superviseur en visualisation chez Baraboom!, dont le parcours dans le domaine de la narration a façonné sa vision de la visualisation. La première fois que Michael Ralla a contacté Pepe Valencia, ce dernier n'a posé aucune question sur les budgets ou les calendriers.
"Je peux lire le script ?" a-t-il demandé.
Dès cet instant, le ton était donné pour tout le reste de leur collaboration.
Mettre tout le monde sur la même longueur d'onde dès le départ
L'une des scènes les plus fascinantes de Sinners est une séquence musicale hallucinante. Elle se déroule dans un piano-bar du Mississippi des années 1930 et on y voit Sammie (interprété par Miles Caton) jouer du blues et déclencher une fusion temporelle de l'histoire de la musique noire."Lorsque j'ai lu le script pour la première fois, une séquence en particulier m'a marqué : celle que nous avons appelée montage surréaliste. Dans cette scène, Sammie commence à jouer dans un état de transe et le spectateur se retrouve à traverser l'histoire tout d'un coup", raconte Michael Ralla.
Le montage surréaliste fait office d'expérience culturelle, en mêlant percussions de l'Afrique de l'Ouest, blues, funk et hip-hop.
Courtesy of Warner Brothers Pictures
Cette scène s'est vraiment démarquée, mais chacun l'imaginait un peu différemment.
Par exemple, Michael Ralla imaginait les personnages du montage comme des fantômes translucides flottant un peu partout dans la scène. "Mais lorsque je les évoquais, personne ne voyait de quoi je parlais", raconte-t-il.
L'équipe devait trouver une méthode pour mettre tout le monde sur la même longueur d'onde ; un moyen d'explorer les innombrables possibilités créatives offertes par cette séquence. C'est là que l'Unreal Engine est entré en jeu.
Le moteur est devenu leur langue commune : une version ludique et partagée de la séquence. Avec l'Unreal Engine, Pepe Valencia a commencé à créer la séquence avec seulement quelques éléments : le script, la photo d'un plan de niveau fourni par les décorateurs, la trajectoire de caméra dessinée par le directeur de la photographie ainsi qu'une liste de personnages couvrant plusieurs générations.
Par exemple, Michael Ralla imaginait les personnages du montage comme des fantômes translucides flottant un peu partout dans la scène. "Mais lorsque je les évoquais, personne ne voyait de quoi je parlais", raconte-t-il.
L'équipe devait trouver une méthode pour mettre tout le monde sur la même longueur d'onde ; un moyen d'explorer les innombrables possibilités créatives offertes par cette séquence. C'est là que l'Unreal Engine est entré en jeu.
Le moteur est devenu leur langue commune : une version ludique et partagée de la séquence. Avec l'Unreal Engine, Pepe Valencia a commencé à créer la séquence avec seulement quelques éléments : le script, la photo d'un plan de niveau fourni par les décorateurs, la trajectoire de caméra dessinée par le directeur de la photographie ainsi qu'une liste de personnages couvrant plusieurs générations.
Courtesy of Warner Brothers Pictures
Au bout de deux jours, la première passe de visualisation était prête. Cette vitesse de travail a tout changé.
Au lieu de débattre des interprétations, les différents métiers pouvaient désormais examiner la même séquence, la parcourir et discuter de ce qui fonctionnait (et de ce qui ne fonctionnait pas) tout en ayant le temps d'ajuster les choses au besoin.
De plus, plusieurs services pouvaient utiliser ce travail pour obtenir des réponses à leurs questions plus tôt. Par exemple, les monteurs pouvaient demander d'ajouter des plans manquants et les machinistes pouvaient planifier l'emplacement et l'empreinte des squelettes.
La prévisualisation n'était plus un simple livrable. "Nous avons utilisé cette visualisation tout au long de la production", explique Michael Ralla.
Le montage surréaliste était conçu pour ressembler à un plan-séquence, mais il a été tourné sur une pellicule IMAX 65 mm avec de lourdes caméras, des rouleaux de film trop courts et une chorégraphie complexe.
En visionnant la séquence avec l'Unreal Engine, l'équipe pouvait identifier les moments où des raccords invisibles étaient nécessaires à cause des limitations de la pellicule, planifier les transitions sans recourir à des astuces classiques comme des panoramiques filés et tester les mouvements de la Steadicam face aux contraintes physiques réelles.
De plus, l'équipe pouvait répéter en tenant compte de la musique et des temps de jeu. L'Unreal Engine l'a aidée à repérer les problèmes potentiels en amont du tournage, avant qu'il ne soit trop tard ou trop difficile de les résoudre.
Au lieu de débattre des interprétations, les différents métiers pouvaient désormais examiner la même séquence, la parcourir et discuter de ce qui fonctionnait (et de ce qui ne fonctionnait pas) tout en ayant le temps d'ajuster les choses au besoin.
De plus, plusieurs services pouvaient utiliser ce travail pour obtenir des réponses à leurs questions plus tôt. Par exemple, les monteurs pouvaient demander d'ajouter des plans manquants et les machinistes pouvaient planifier l'emplacement et l'empreinte des squelettes.
La prévisualisation n'était plus un simple livrable. "Nous avons utilisé cette visualisation tout au long de la production", explique Michael Ralla.
Identifier les problèmes rapidement
La visualisation technique avec l'Unreal Engine a permis de repérer les problèmes potentiels dès le début du processus, en testant les décisions en conditions réelles.Le montage surréaliste était conçu pour ressembler à un plan-séquence, mais il a été tourné sur une pellicule IMAX 65 mm avec de lourdes caméras, des rouleaux de film trop courts et une chorégraphie complexe.
En visionnant la séquence avec l'Unreal Engine, l'équipe pouvait identifier les moments où des raccords invisibles étaient nécessaires à cause des limitations de la pellicule, planifier les transitions sans recourir à des astuces classiques comme des panoramiques filés et tester les mouvements de la Steadicam face aux contraintes physiques réelles.
De plus, l'équipe pouvait répéter en tenant compte de la musique et des temps de jeu. L'Unreal Engine l'a aidée à repérer les problèmes potentiels en amont du tournage, avant qu'il ne soit trop tard ou trop difficile de les résoudre.
Courtesy of Warner Brothers Pictures
Comme l'itération était rapide (une nouvelle version était généralement créée chaque jour), l'équipe pouvait tester des idées audacieuses, voir ce qui n'allait pas et tout repenser avant le début du tournage, une étape coûteuse de la réalisation d'un film.
"Si une idée ne fonctionne pas, nous le remarquons rapidement", affirme Michael Ralla.
Les pellicules IMAX étant limitées et coûteuses, tester et rejeter des idées peut s'avérer extrêmement onéreux. L'Unreal Engine procure un moyen d'explorer des idées avant l'utilisation de la première pellicule.
Cette vitesse n'était pas un avantage uniquement en préproduction. Elle était importante également lors du tournage.
Pour la scène du train, Michael Ralla a capturé des images de référence sur son téléphone et les a envoyées directement à Pepe Valencia. Ce dernier a alors pu créer rapidement une passe de visualisation en ajoutant un train en images de synthèse.
En utilisant des ressources de l'Unreal Engine et du Marché de l'Unreal Engine (désormais nommé Fab), Pepe Valencia a pu travailler assez rapidement pour influencer les décisions suivantes.
Il n'était pas uniquement question des pixels finaux. Le plus important était de vérifier si tout fonctionnait.
"Je me disais : c'est génial, j'adore ça, raconte Michael Ralla. Puis, nous passions au tournage du reste de la séquence."
Ce type de prototypage rapide (pouvoir déplacer les caméras directement, partager les écrans et ajuster des idées en temps réel) a transformé l'Unreal Engine en un bac à sable créatif dans lequel les décisions pouvaient être testées avant d'investir du temps et de l'argent.
"Si une idée ne fonctionne pas, nous le remarquons rapidement", affirme Michael Ralla.
Les pellicules IMAX étant limitées et coûteuses, tester et rejeter des idées peut s'avérer extrêmement onéreux. L'Unreal Engine procure un moyen d'explorer des idées avant l'utilisation de la première pellicule.
Cette vitesse n'était pas un avantage uniquement en préproduction. Elle était importante également lors du tournage.
Pour la scène du train, Michael Ralla a capturé des images de référence sur son téléphone et les a envoyées directement à Pepe Valencia. Ce dernier a alors pu créer rapidement une passe de visualisation en ajoutant un train en images de synthèse.
En utilisant des ressources de l'Unreal Engine et du Marché de l'Unreal Engine (désormais nommé Fab), Pepe Valencia a pu travailler assez rapidement pour influencer les décisions suivantes.
Il n'était pas uniquement question des pixels finaux. Le plus important était de vérifier si tout fonctionnait.
"Je me disais : c'est génial, j'adore ça, raconte Michael Ralla. Puis, nous passions au tournage du reste de la séquence."
Ce type de prototypage rapide (pouvoir déplacer les caméras directement, partager les écrans et ajuster des idées en temps réel) a transformé l'Unreal Engine en un bac à sable créatif dans lequel les décisions pouvaient être testées avant d'investir du temps et de l'argent.
Courtesy of Warner Brothers Pictures
Préparer des plans complexes en toute confiance
Contrairement à la prévisualisation traditionnelle, les visualisations de Sinners créées avec l'Unreal Engine n'ont pas disparu après le début du tournage.Elles ont été utilisées pour combler les manques lors du montage, explorer des plans alternatifs plus tard lors de la production et conserver l'intention en postproduction.
Michael Shawver, l'un des monteurs du film, a même demandé des plans de visualisation pour l'aider à concevoir le montage. Il les a utilisés en tant que plans temporaires et comme outils de planification.
À bien des égards, une grande partie du travail sur les effets visuels du film a été effectué avant même que l'équipe n'arrive sur le plateau.
Pour Michael Ralla et Pepe Valencia, l'Unreal Engine a permis d'obtenir une vision claire et partagée de l'histoire de Sinners, et ce assez tôt pour que chaque métier puisse apporter leurs meilleures contributions.
"Communiquer cette intention créative très tôt et au plus grand nombre nous a permis d'être tous sur la même longueur d'onde", insiste Michael Ralla.
L'Unreal Engine a aidé l'équipe à travailler plus rapidement, à collaborer plus efficacement et à mettre des idées ambitieuses à exécution en toute confiance. C'est une preuve que les flux de travail en temps réel ne changent pas uniquement la manière dont les films sont réalisés, mais également les moments où les décisions créatives les plus importantes sont prises.