Anyma sur scène à Coachella.
Avec l'aimable autorisation d'Anyma
Reconnu comme pionnier de la techno mélodique cinématique et des expériences audiovisuelles hyper-immersives, Anyma n'est pas étranger au spectacle, mais à Coachella cette année, l'artiste multidisciplinaire et de musique électronique Matteo Milleri s'est peut-être enfin surpassé avec la première mondiale de son spectacle audiovisuel 2026, ÆDEN.

Son set visuellement spectaculaire et à succès a laissé les fans bouche bée, l'artiste étant à un moment donné élevé jusqu'à 15 mètres dans les airs entre des piliers massifs tandis que tout l'écran de la scène principale affichait des sculptures numériques dystopiques et inspirées de la tragédie grecque.

Si cela semble impressionnant, imaginez ce qu'ont ressenti les fans qui regardaient le livestream YouTube chez eux.

Ils ont eu droit à toute une série de graphiques de réalité augmentée supplémentaires, y compris un humain numérique colossal qui a surplombé la zone alors que la superstar internationale LISA lançait sa nouvelle chanson Bad Angel.

Propulsés par l'Unreal Engine, ces visuels ont étendu l'univers d'Anyma au-delà des écrans physiques et dans le livestream lui-même, en brouillant la frontière entre ce qui se passait sur scène et ce qui était créé en temps réel pour le public de la diffusion. "Avec ÆDEN, notre vision a toujours été de construire un monde où la mythologie ancienne et le monde numérique coexisteraient, explique Matteo Milleri. L'introduction de la série, avec l'extension en réalité augmentée du bâtiment du temple et son effondrement, a immédiatement donné le ton, d'une manière à la fois cinématique et réelle. Le show de LISA a été un autre véritable moment fort de ce que la collaboration avec l'Unreal Engine a rendu possible. Sa présence physique sur scène, avec l'extension naturelle du visuel du spectacle, a parfaitement capturé cette synergie entre le numérique et l'humain qui occupent le même espace. La réaction des fans après coup, en sachant qu'ils avaient l'impression d'être dans un monde à part et de ne pas simplement regarder une émission, est exactement ce que j'ai voulu créer."

La toile évolutive de Coachella


Ryan Cenicola est le producteur principal de l'innovation au sein de l'équipe d'innovation de Coachella. Son travail consiste à aider à élargir l'expérience Coachella pour les personnes qui sont sur place, sur le terrain et en ligne.

"Coachella est un endroit où les artistes donnent vie à leurs visions les plus ambitieuses, et nous nous tournons toujours vers les nouvelles technologies pour leur offrir une plus grande toile sur laquelle jouer", déclare Ryan Cenicola. 

La recherche d'outils de diffusion en direct de pointe par l'équipe d'innovation les avait déjà vus s'associer à des studios utilisant la technologie de l'Unreal Engine, en commençant par une expérience de diffusion en direct en réalité augmentée révolutionnaire avec Flume en 2022.

Puisqu'il était déjà connu pour la construction de mondes, les personnages imposants et les visuels cinématiques, Anyma était le choix idéal pour la prochaine étape de cette évolution.

Ses spectacles en direct sont remarquables par leur sens de l'échelle. Plutôt que de simplement remplir un grand écran de mouvement, les visuels s'élèvent souvent, avec des personnages monumentaux qui semblent éclipser le public.

Ce langage visuel a rendu le projet particulièrement excitant pour Berto Mora, directeur technique d'All Of It Now, la société de production visuelle en temps réel à l'origine du travail d'AR diffusé.

Berto Mora était déjà un fan des spectacles d'Anyma en raison des graphiques sur scène : l'ampleur, la qualité et la façon dont un seul personnage pouvait retenir l'attention du public. "Cela m'a attiré, car je n'ai pas vraiment vu cela avec beaucoup d'artistes. Jusqu'où pourrions-nous aller ?"

Pour cette performance de Coachella, le défi allait au-delà de la simple reproduction de cette esthétique. Il s'agissait de l'étendre à la diffusion en direct, en mélangeant le monde visuel d'Anyma avec du contenu en temps réel de manière fluide.

L'Unreal Engine a joué un rôle clé dans le pipeline et dans la réalisation du moment.

Mora décrit l'Unreal Engine comme le noyau qui a rassemblé les nombreux éléments nécessaires à la diffusion de la réalité augmentée. "Le plus difficile est de fusionner le monde physique et le monde virtuel", affirme-t-il.

Pour ce faire, vous devez comprendre les espaces physiques et virtuels et savoir comment les associer afin que lorsque vous déplacez la caméra physique sur le site, elle se déplace en parfaite synchronisation avec une caméra virtuelle dans l'Unreal Engine.

Lorsque la caméra réelle se déplace d'un mètre, la caméra virtuelle doit se déplacer de la même manière. Lorsque l'objectif change, le monde virtuel doit répondre correctement. Si les deux mondes ne s'alignent pas, l'illusion se brise.

L'équipe a développé un outil pour que les personnages virtuels du spectacle se sentent pleinement ancrés dans l'environnement réel du festival, comme s'ils occupaient vraiment le même espace que la scène, les écrans, les lumières et la foule. Cette innovation a impliqué le réemploi d'une caméra rarement vue lors de concerts : la spidercam.
L'humaine numérique Beatrix créée avec MetaHuman lors du spectacle d'Anyma à Coachella.
Avec l'aimable autorisation d'Anyma

Combiner les mondes physiques et virtuels


Vous avez probablement vu une spidercam, qui est plus couramment utilisée dans le sport : un système de caméra suspendu par câble qui permet à une caméra vidéo stabilisée de se déplacer verticalement et horizontalement dans un espace tridimensionnel, en suivant les joueurs alors qu'ils traversent le terrain.

Pour la performance d'Anyma à Coachella, la spidercam a ouvert la porte à un monde de possibilités. Au lieu d'être limitée à des angles de caméra plus statiques, la diffusion pouvait se déplacer dynamiquement dans l'espace et même orbiter autour de personnages virtuels. "Vous êtes capable d'expérimenter l'espace tel qu'il est réellement dans le monde physique, explique Berto Mora. C'est une chose magique à voir."

La spidercam a pris tout son sens dans le spectacle lorsque LISA a sorti son nouveau titre Bad Angel. Ce segment a vu un hologramme AR géant de l'hybride humaine-ange-androïde Beatrix, un alter ego et un personnage numérique créé par Anyma, s'élever au-dessus du public.

Pendant que Beatrix lévitait au-dessus de la foule, la spidercam a tourné en douceur autour d'elle, offrant une vue à 360° du spectacle à ceux qui regardaient le livestream.

Comme l'explique Geoffrey Hepburn, artiste technique principal pour All Of It Now, les anciens éléments d'AR pouvaient paraître impressionnants, mais sans mouvement de caméra, ils donnaient toujours l'impression d'objets placés en arrière-plan. Avec la spidercam, le public du livestream pouvait ressentir l'échelle du personnage virtuel par rapport à la foule et à la scène.

"En pouvant l'orbiter entièrement, vous obtenez ce sentiment impressionnant de 'wouah, elle domine le public'", explique-t-il.

All Of It Now, partenaire de service de l'Unreal Engine, avait précédemment fourni des éléments tels que des animaux, des logos et des objets 3D stylisés pour des émissions en direct. Travailler avec un personnage humain numérique gigantesque qui participerait à la performance de manière plus immersive était quelque chose de nouveau.

L'équipe a utilisé MetaHuman pour créer Beatrix, en tirant parti du framework pour produire un personnage convaincant et animé qui pouvait se produire en temps réel dans l'Unreal Engine.

"Avec le pipeline MetaHuman, vous obtenez les humains les plus réalistes, explique Berto Mora. Pouvoir les jouer en temps réel et animer les personnages avec toutes les articulations et les données squelettiques est quelque chose d'extrêmement spécial."
L'humaine numérique Beatrix comme visuel de diffusion en AR lors du spectacle d'Anyma à Coachella.
Avec l'aimable autorisation d'Anyma

Itération en temps réel sous la pression des spectacles en direct


Dans un festival comme Coachella, le calendrier de production en direct ne s'arrête pour personne. Si vous utilisez le rendu hors-ligne traditionnel pour vos visuels, il n'y a pratiquement aucune flexibilité : vous n'avez pas le temps d'attendre des heures pour que les modifications soient appliquées. 

Une mise à jour de l'éclairage, du cadrage ou de l'animation peut nécessiter un rendu, une révision et un nouveau rendu. Dans un environnement de production en direct, ce retard peut constituer un obstacle majeur. "Ce qui intéresse les artistes avec l'Unreal Engine, c'est la quantité d'itérations que vous pouvez effectuer et la rapidité avec laquelle vous pouvez les faire", déclare Berto Mora.

Comme le contenu de l'Unreal Engine s'exécute en temps réel, les artistes et les équipes techniques peuvent examiner les modifications immédiatement. L'éclairage peut être ajusté, les ressources peuvent être optimisées et les scènes peuvent être testées et affinées sans attendre un rendu hors-ligne.

Pour Geoffrey Hepburn, ce flux de travail en temps réel crée également une plus grande cohésion au sein de la production. "Lorsque nous répétons des choses pour les réalisateurs, je peux leur donner un iPad pour qu'ils puissent se déplacer dans leur environnement et le concevoir, explique-t-il. Cette liberté vous permet de donner vie aux choses d'une manière pour laquelle les outils d'animation traditionnels ne sont pas vraiment conçus."

Au lieu d'avoir un seul expert en images de synthèse qui prend des notes sur les commentaires et disparaît pendant quelques heures pour les mettre en œuvre, l'équipe créative peut désormais explorer la scène ensemble et apporter ces modifications à la volée. 

"En temps réel, vous pouvez discuter avec un réalisateur ou participer à un appel Zoom et lui dire : 'Tu veux déplacer le soleil ? Je viens de déplacer le soleil', explique Geoffrey Hepburn. Je peux simplement saisir des objets, les déplacer, même sur le plateau, jusqu'à la dernière minute."

Plutôt que de "régler le problème en postproduction", l'équipe résout les problèmes créatifs intentionnellement avant le début du spectacle, en veillant à ce que tout le monde soit sur la même longueur d'onde, de l'équipe chargée de l'éclairage à l'équipe chargée de l'environnement en passant par le réalisateur.
L'Unreal Engine est à l'origine des visuels du spectacle d'Anyma à Coachella.
Avec l'aimable autorisation d'Anyma

De la performance en direct au monde en temps réel 


La diffusion en réalité augmentée est encore un espace émergent pour la musique, mais Coachella et Anyma ont montré à quel point elle peut être puissante.

Les émissions sportives utilisent la réalité augmentée depuis des années pour afficher des données, des graphiques et des analyses. La musique offre quelque chose de différent : la possibilité d'élargir l'univers d'un artiste, d'approfondir l'histoire et de créer une version de la performance unique pour la diffusion en direct.

Pour le public à domicile, cela signifie que l'émission n'est pas simplement une caméra pointée vers la scène. Cela devient sa propre expérience créative.

Et pour les équipes travaillant avec l'Unreal Engine, cela signifie que les performances en direct peuvent devenir des mondes en temps réel : réactifs, cinématiques et conçus pour passer du physique au virtuel.
Anyma se produit devant des visuels alimentés par l'UE à Coachella.
Avec l'aimable autorisation d'Anyma