A adorada banda de jam de Vermont, Phish, é famosa por nunca repetir um setlist. As músicas dos álbuns se transformam em algo original e novo enquanto a banda as improvisa durante os shows ao vivo.

Assim, quando a banda conseguiu uma série de quatro noites na arena Sphere em Las Vegas, fiel ao seu estilo, os shows que apresentaram foram diferentes de tudo o que já havia sido visto antes.

A Sphere é um espaço de última geração, dominado por uma gigantesca tela de LED com 76 metros de altura que envolve o público. Com inspiração nessa épica arena musical, a banda e uma equipe audaciosa de estúdios criativos embarcaram numa missão: produzir a maior e mais imersiva experiência digital do mundo.

Em colaboração com o Phish, Abigail Rosen Holmes, cocriadora e diretora do show, e Chris Kuroda, designer de iluminação, a Moment Factory cocriou os shows, contribuindo com o design do palco e a produção de conteúdo. Trabalhando com a maior tela do mundo, a equipe introduziu uma abordagem inovadora para conteúdos de vídeo generativos em tempo real.

No entanto, isso envolvia muito mais do que apenas oferecer ótimos elementos visuais numa tela muito grande.

Além da dimensão da tela, o volume de conteúdo necessário (quatro shows de quatro horas, cada um com elementos visuais diferentes) tinha um escopo igualmente épico.

Zane Kozak, supervisor de CG na Moment Factory, destaca que, normalmente, a equipe teria um longo período de preparação para entregar formatos grandes como esse. “Pelo menos de seis meses a um ano para preparar tudo, alinhar todo o nosso planejamento, descobrir como vamos transferir 400 TB de conteúdo”, explica ele. “Mas, neste caso, tivemos apenas três meses.”

Pré-renderizar tudo para uma tela de 16K estava fora de cogitação. O volume de dados seria enorme e o processo extremamente demorado. “Mas, além disso, comprometeria o objetivo: acompanhar a banda no que eles fazem musicalmente”, diz Galarneau. “A Unreal Engine foi uma ferramenta-chave para gerar elementos visuais com eles neste gigantesco espaço.”

Embora a natureza interativa dos elementos visuais ao vivo no palco naturalmente exigisse o uso de uma engine em tempo real, Galarneau observa que o tempo real também foi crucial quando se tratou de explorar ideias criativas e pré-visualizar como elas ficariam no local.

A Moment Factory vem usando a Unreal Engine para a pré-visualização de RV há vários anos. Eles criavam uma cópia digital de um local e a utilizavam para avaliar problemas ou desafios com uma localização específica e os resolviam antes de chegar ao local.

Esse processo se tornou indispensável no projeto da Sphere, permitindo à equipe identificar rapidamente quaisquer problemas potenciais com a escala ou o tempo de animação que poderiam surgir ao projetar na gigantesca tela da Sphere e fazer os ajustes necessários.

“Fazer qualquer tipo de mudança, ainda mais grandes mudanças, no nosso conteúdo pré-renderizado não seria uma possibilidade”, diz Kozak. “A Unreal nos deu liberdade para fazer ajustes e alterações, além de nos adaptar às orientações do diretor de arte e trabalhar num espaço mais contextual.”

Quando a equipe originalmente tentou pré-renderizar diferentes elementos visuais para os shows, rapidamente perceberam que o resultado era incrivelmente pesado, muito além de qualquer coisa que já tinham visto antes. “São horas, semanas, dias para baixar qualquer coisa”, diz Galarneau.

Por outro lado, ao trabalhar na Unreal Engine, a equipe podia fazer mudanças na compilação e, logo em seguida, vê-las na tela da Sphere.

“Tudo estava pronto para uso imediato, rápido para iterar e ver as variações”, diz Galarneau. “Do subsolo da Sphere até a tela, o conteúdo chegava lá em minutos. Leva mais tempo para caminhar de um lugar ao outro do que para atualizar a cena.”

A capacidade de fazer mudanças em tempo real permitiu à equipe experimentar ideias criativas até o último momento, adicionando detalhes como desfoque ou partículas adicionais. “Essas alterações talvez não tivessem sido feitas se estivéssemos seguindo uma rota clássica de pré-renderização”, diz Galarneau.

Como explica o CEO e fundador Björn Myreze, os especialistas internos da Myreze se autodenominam “engenheiros virtuais”. A empresa é impulsionada, em grande parte, por uma paixão por ajustar e experimentar com a tecnologia imersiva.

Isso os tornou a escolha perfeita para resolver o quebra-cabeça técnico de montar o show do Phish.

A Myreze começou a trabalhar no desenvolvimento de um kit de ferramentas que permitisse que um operador improvisasse junto com a banda, de forma simbiótica. No entanto, o fato de que eles não seriam os únicos a usarem esse kit de ferramentas representou um desafio imediato.

“Muitas vezes, quando criamos gráficos, somos os operadores finais”, diz Håvard Hennøy Vikesland, artista da Unreal Engine na Myreze. “Neste projeto, não fomos. Iríamos entregar todas as cenas para alguém que não conhecia o funcionamento técnico interno.”

A Myreze precisaria construir um console simples de usar e entender, que pudesse gerar elementos visuais que se mesclassem perfeitamente, independentemente das combinações acionadas.

Para desenvolver isso, a equipe embarcou num extenso processo de pesquisa e desenvolvimento. “Precisávamos criar sistemas, cálculos matemáticos e sistemas de shader que pudessem ser acionados ao vivo de uma forma nunca vista antes”, diz Björn Myreze.

Após muita experimentação, a equipe definiu dez parâmetros que poderiam ser ajustados para alterar diferentes aspectos dos elementos visuais, incluindo velocidade, cores e outros elementos estéticos, como o efeito bloom nas cenas.

Esses parâmetros foram controlados por um painel de iluminação com várias barras conectadas ao plugin DMX da Unreal Engine que direcionava a iluminação e os efeitos na tela. “Essencialmente, estamos criando um jogo para o operador gráfico”, diz Vikesland. “E o objetivo do jogo é improvisar junto com a banda.”

Adotar uma abordagem orientada para jogos significou que cada cena do projeto precisou ser construída de uma maneira muito mais matemática e algorítmica do que seria normalmente. Isso porque cada elemento visual precisava acompanhar a banda, e a banda poderia ir para qualquer direção.

“Se você tem uma árvore crescendo, ela precisa crescer junto com a banda”, explica Vikesland. “Você não pode simplesmente ter uma animação de crescimento única, pré-renderizada. Porque e se a banda fizer algo que você não espera que eles façam? Os gráficos não irão acompanhar. Precisávamos construir sistemas flexíveis o suficiente para ir aonde quer que a banda fosse.”

Isso significava que tudo precisava ser construído de forma paramétrica, ou seja, com base num conjunto predefinido de regras.

A equipe construiu tudo do zero. Não era permitido pré-renderizar animações de outros softwares 3D: eles animariam utilizando cálculos matemáticos e deslocamentos de shader.

Essa abordagem inovadora levou a alguns métodos de desenvolvimento interessantes e exclusivos. As bolhas no show são um exemplo disso. “Você olha para elas e vê somente bolhas”, diz Vikesland. “É algo simples. Muito simples. Mas o que está acontecendo por trás disso é, na verdade, um dos shaders mais complexos que já construímos.”

Pode parecer que as bolhas são esferas tridimensionais, mas, na verdade, elas são superfícies planas.

Usando essa superfície plana e uma configuração matemática complicada, a equipe conseguiu simular a interação da luz com uma bolha tridimensional com propriedades físicas realistas. “De certo modo, isso é semelhante ao traçado de raios no material”, diz Vikesland. “Mas tudo isso está acontecendo numa superfície plana. E isso, por fim, resulta numa cena extremamente performática.”

A história era semelhante quando se tratava das árvores.

“O que você imagina é que, ao encontrar um ativo de árvore e preencher a cena com ele, você tem uma floresta”, diz Vikesland. “Mas um modelo de árvore pré-construído nunca seria capaz de fazer o que precisávamos.”

Em vez disso, usando o Houdini, a equipe construiu sua própria ferramenta para criar árvores, que, quando exportadas para a Unreal Engine, traziam consigo muitos atributos úteis aos quais a equipe normalmente não teria acesso.

“Você tem mapas UV que descrevem o comprimento e a espessura dos galhos e pode usar esses dados para animar a árvore de maneiras interessantes”, diz Vikesland. “Você pode, é claro, fazê-la crescer e encolher. Mas também pode ter padrões se movendo ao longo da árvore de uma maneira muito psicodélica: você pode ter fogos de artifício explodindo ao longo dos galhos da árvore.”