Phish est un groupe populaire du Vermont réputé pour ne jamais jouer deux fois le même set. Lors de ses concerts, les titres de ses albums évoluent en des versions inédites au fil des improvisations.

Alors naturellement, quand il a été programmé pour une série de quatre soirées à la Sphere de Las Vegas, le groupe a offert un spectacle hors du commun.

La Sphere est une salle ultramoderne surplombée d'un écran LED géant de 76 mètres qui enveloppe le public. Inspirés par ce lieu épique, le groupe et une audacieuse équipe issue de plusieurs studios créatifs se sont donné pour mission de créer la plus grande et la plus immersive expérience numérique au monde.

Moment Factory a cocréé les spectacles, participant à la conception de scène et à la production du contenu, en collaboration avec Phish, la cocréatrice et directrice de spectacle Abigail Rosen Holmes et le concepteur d'éclairage Chris Kuroda. En travaillant sur le plus grand écran au monde, l'équipe a mis en place une approche innovante du contenu vidéo génératif en temps réel.

Cependant, il ne s'agissait pas simplement de fournir de belles images pour un très gros écran.

Outre la taille de l'écran, la quantité de contenu nécessaire (quatre concerts de quatre heures chacun avec des visuels différents) était d'une ampleur sans précédent.

Comme le fait remarquer Zane Kozak, superviseur des images de synthèse chez Moment Factory, l'équipe dispose d'habitude de beaucoup de temps pour ce genre de formats. "Au moins six mois à un an pour tout préparer, mettre au point notre planning et déterminer comment transférer 400 To de contenu, explique-t-il. Là, on a eu trois mois."

Tout prérendre pour un écran 16K était hors de question. L'empreinte des données aurait été phénoménale et le processus extrêmement long. "Et puis, ce n'était pas le but, puisqu'on voulait justement suivre la musique jouée par les membres du groupe, ajoute Manuel Galarneau. L'Unreal Engine a été un outil essentiel pour générer des visuels en même temps qu'eux dans cette immense salle."

La nature interactive des visuels sur scène nécessitait un moteur en temps réel, mais Manuel Galarneau note que le temps réel a également joué un rôle primordial dans l'exploration des idées et leur prévisualisation dans la salle.

Moment Factory se sert d'ailleurs de l'Unreal Engine pour la prévisualisation depuis des années. Ils créent un double numérique de la salle et l'utilisent pour évaluer les problèmes qu'ils risquent de rencontrer et les résoudre avant de se rendre sur place.

Un processus qui s'est révélé vital sur le projet de la Sphere, puisqu'il a permis à l'équipe d'identifier rapidement les problèmes d'échelle ou de synchronisation des animations qu'elle pourrait rencontrer en projetant sur cet écran gigantesque et ainsi faire les ajustements nécessaires.

"On n'allait pas pouvoir apporter de modifications, surtout de grosses modifications, à du contenu prérendu, déclare Zane Kozak. L'Unreal Engine nous a offert la possibilité de faire des changements et des ajustements pour répondre à la direction artistique et de travailler en contexte."

En essayant de prérendre différents visuels pour les concerts, l'équipe s'est très vite rendu compte qu'ils étaient incroyablement lourds, beaucoup plus que tout ce qu'elle avait vu auparavant. "Il fallait des heures, des semaines, voire des mois pour télécharger quoi que ce soit", explique Manuel Galarneau.

Au contraire, en travaillant dans l'Unreal Engine, l'équipe pouvait effectuer des changements dans le build et les voir sur l'écran de la Sphere la minute d'après.

"C'était très intuitif, on pouvait itérer rapidement et voir les variations, explique Manuel Galarneau. En quelques minutes, les images se rendaient du sous-sol de la Sphere à l'écran. C'était plus long de faire le trajet à pied que de mettre la scène à jour."

La possibilité d'apporter des modifications à la volée a permis à l'équipe de tester des idées de dernière minute et d'ajouter des touches finales, comme du flou ou des particules supplémentaires. "On n'aurait peut-être pas fait ces changements si on avait utilisé la méthode de prérendu classique", confirme Manuel Galarneau.

Comme l'explique Björn Myreze, PDG et fondateur de l'entreprise, les experts internes de Myreze se qualifient eux-mêmes d'"ingénieurs virtuels". Ce qui les motive par-dessus tout, c'est de pouvoir jouer avec les principes de la technologie immersive.

Ils étaient donc tout désignés pour résoudre le casse-tête technique que représentaient les concerts de Phish.

Myreze s'est lancé dans le développement d'une trousse à outils qui permettrait à un opérateur d'improviser en même temps que le groupe, de manière symbiotique. Mais le fait que cette trousse à outils soit destinée à des personnes extérieures s'est vite révélé un problème.

"La plupart du temps, quand on crée des visuels, c'est nous, les opérateurs finaux, explique Håvard Hennøy Vikesland, artiste Unreal Engine chez Myreze. Mais ce n'était pas le cas sur ce projet. On allait confier toutes les scènes à quelqu'un qui n'en connaissait pas le fonctionnement interne."

Myreze devait construire une console facile à utiliser et à comprendre, capable de produire des visuels qui se fondraient les uns dans les autres, quelle que soit la combinaison activée.

Pour ce faire, l'équipe s'est lancée dans un vaste processus de R&D. "On devait développer des systèmes, des calculs et des systèmes de shaders qui pourraient être déclenchés en direct d'une manière inédite", explique Björn Myreze.

Après de nombreux tests, l'équipe a choisi dix paramètres qui pouvaient être réglés pour modifier certains aspects des visuels comme leur vitesse, leur couleur et d'autres éléments esthétiques tels que le flou lumineux des scènes.

Ils étaient contrôlés par un tableau d'éclairage doté de plusieurs curseurs connecté au plug-in DMX de l'Unreal Engine afin de diriger l'éclairage et les effets à l'écran. "En gros, on crée un jeu pour les opérateurs graphiques, explique Håvard Hennøy Vikesland. Et le but, c'est d'improviser avec le groupe."

Cette approche vidéoludique signifiait que chaque scène du projet devait être construite de façon beaucoup plus mathématique et algorithmique que d'habitude. Et ce, car chaque visuel devait suivre le groupe qui pouvait partir dans n'importe quelle direction.

"Si un arbre pousse, il doit le faire en rythme avec le groupe, explique Håvard Hennøy Vikesland. On ne pouvait pas se contenter d'une animation de croissance unique précalculée. Car imaginez que le groupe fasse quelque chose d'inattendu. Les graphismes ne suivront pas. On devait construire des systèmes assez souples pour suivre le groupe où qu'il aille."

Il a donc fallu tout construire de manière paramétrique, selon une série de règles prédéfinies.

L'équipe est partie de zéro. Au lieu de calculer les animations à partir d'un autre logiciel de 3D, elle utiliserait des calculs et des décalages de shader.

Cette nouvelle approche a donné naissance à des méthodes de développement aussi intéressantes qu'originales. Les bulles qu'on voit dans le spectacle en sont un bon exemple. "Quand on les regarde, on voit juste des bulles, décrit Håvard Hennøy Vikesland. C'est évident. C'est simple. Mais en réalité, ce qui se passe en dessous est l'un des shaders les plus compliqués qu'on n'ait jamais créés."

On pourrait croire que les bulles sont des sphères tridimensionnelles, mais en fait, ce sont des plans plats.

En utilisant ces plans plats et une configuration mathématique complexe, l'équipe a pu imiter la façon dont la lumière interagissait avec une bulle en trois dimensions dotée de propriétés physiques réalistes. "C'est une sorte de ray tracing dans le matériau, explique-t-il. Mais sur un plan plat en deux dimensions. Au final, ça donne une scène extrêmement performante."

Le problème était le même avec les arbres.

"Logiquement, on aurait pris une ressource d'arbre et on aurait habillé la scène avec pour créer une forêt. Mais un modèle prégénéré n'aurait pas pu faire ce qu'on attendait de lui."

Au lieu de cela, l'équipe a développé son propre outil de création d'arbres avec Houdini et l'a exporté dans l'Unreal Engine, profitant ainsi de nombreux paramètres auxquels elle n'aurait pas eu accès en temps normal.

"On dispose de textures d'UV qui décrivent la longueur et l'épaisseur des branches, et on peut utiliser ces données pour animer l'arbre de façons intéressantes, explique Håvard Hennøy Vikesland. On peut l'agrandir ou le rétrécir, évidemment. Mais on peut aussi faire bouger des motifs sur sa surface dans un style psychédélique ou encore faire exploser des feux d'artifice le long de ses branches."