El popular grupo de improvisación de Vermont, Phish, es famoso por no repetir nunca sus listas de canciones. Las canciones de los álbumes evolucionan hasta convertirse en algo totalmente nuevo a medida que el grupo las improvisa en directo.

Así que cuando la banda cerró un concierto de cuatro noches seguidas en el Sphere de Las Vegas, como era de esperar, el espectáculo que ofrecieron no se parecía a nada que se hubiera visto antes.

El Sphere es un recinto vanguardista con una pantalla LED gigante de 75 metros de altura que envuelve al público. Inspirándose en este épico recinto musical, el grupo y un intrépido equipo de estudios creativos se embarcaron en una misión: producir la experiencia digital más grande e inmersiva jamás creada.

Junto a Phish, la cocreadora y directora del espectáculo Abigail Rosen Holmes y el diseñador de iluminación Chris Kuroda, Moment Factory colaboró en la creación de los espectáculos y contribuyó al diseño del escenario y a la producción de contenido. Al trabajar con la pantalla más grande del mundo, el equipo le dio un enfoque futurista al contenido de vídeo generativo en tiempo real.

Sin embargo, esto iba mucho más allá que ofrecer grandes elementos visuales en una pantalla gigante.

Además del gigantesco tamaño de la pantalla, el volumen de contenido requerido (un cuarteto de espectáculos de cuatro horas, cada uno con diferentes elementos visuales) resultaba igual de colosal.

Zane Kozak, supervisor de gráficos generados por ordenador en Moment Factory, señala que, en condiciones normales, el equipo habría tardado muchísimo en producir para formatos tan grandes como este. «Al menos entre seis meses y un año para prepararlo todo, tener lista toda la planificación y averiguar cómo transferir 400 TB de contenido», explica. «Pero en este caso, solo teníamos tres meses».

Hacer un renderizado previo de todo para una pantalla de 16K resultaría imposible. La huella de datos sería enorme y el proceso llevaría muchísimo tiempo. «Además, eso iba en detrimento de nuestro objetivo: seguir al grupo en lo que hacen musicalmente», dice Galarneau. «Unreal Engine ha sido una herramienta clave a la hora de generar elementos visuales que siguieran la actuación en este gigantesco lugar».

Si bien la naturaleza interactiva de los elementos visuales en directo en el escenario obviamente requería el uso de un motor de tiempo real, Galarneau señala que el tiempo real también fue una ayuda a la hora de explorar ideas creativas y previsualizar cómo quedarían en el recinto.

Moment Factory lleva años usando Unreal Engine para la previsualización de RV. Crean un doble digital de un lugar y lo usan para evaluar problemas o desafíos con una posición en particular y para resolverlos antes de que se produzcan.

Ese proceso fue realmente crucial en el proyecto del Sphere, ya que permitió al equipo detectar rápidamente todos los problemas potenciales con la escala o el tiempo de animación que pudieran surgir al proyectar en la pantalla gigante del Sphere y realizar los ajustes necesarios.

«Hacer cualquier tipo de cambio en nuestro contenido prerrenderizado, sobre todo cambios grandes, no iba a ser posible», afirma Kozak. «Unreal Engine nos dio la libertad de hacer retoques y ajustes, así como seguir las notas del director de arte y trabajar en un espacio más contextual».

Cuando el equipo intentó renderizar previamente diferentes elementos visuales para el espectáculo, pronto se dio cuenta de que eran increíblemente pesados, mucho más de lo que habían visto hasta entonces. «Se tardaban horas, semanas, días en descargar cualquier cosa», dice Galarneau.

Sin embargo, al trabajar con Unreal Engine, el equipo pudo realizar cambios en la compilación y verlos un minuto después en la pantalla del Sphere.

«No tuvimos que realizar demasiadas configuraciones; iterar y ver las variaciones fue rapidísimo», afirma Galarneau. «Se llegaba del sótano del Sphere a la pantalla en cuestión de minutos. Se tarda más en llegar ahí andando que en actualizar la escena».

Gracias a la posibilidad de realizar cambios sobre la marcha, el equipo pudo experimentar con ideas creativas hasta el último momento y añadir toques finales, como desenfocar detalles o añadir partículas adicionales. «Tal vez no hubiéramos hecho esos cambios de haber optado por una ruta de prerrenderizado clásico», dice Galarneau.

Tal y como explica el director ejecutivo y fundador, Björn Myreze, los expertos internos de Myreze se refieren a sí mismos como «ingenieros virtuales». Lo que impulsa a la empresa es, en gran medida, su amor por experimentar con los aspectos prácticos de la tecnología envolvente.

Así lograron que encajaran a la perfección a la hora de resolver el rompecabezas técnico de montar el espectáculo de Phish.

Myreze se puso a trabajar en el desarrollo de un conjunto de herramientas que permitiera a un operador improvisar junto con el grupo de forma simbiótica. Pero el hecho de que no fueran ellos quienes usaran este conjunto de herramientas planteó un desafío inmediato.

«A menudo, cuando construimos gráficos, somos los operadores finales», comenta Håvard Hennøy Vikesland, artista de Unreal Engine en Myreze. «Pero en este proyecto, no. Íbamos a encargar todas las escenas a alguien que no conocía los aspectos técnicos».

Myreze tenía que crear una consola que fuera fácil de usar y de entender y que pudiera ofrecer elementos visuales que se combinaran a la perfección, independientemente de las combinaciones desencadenadas.

Para desarrollarlo, el equipo se embarcó en un extenso proceso de I+D. «Necesitábamos crear sistemas, matemáticas y sistemas de sombreadores que pudieran activarse en directo como nunca antes se había hecho», dice Björn Myreze.

Después de experimentar mucho, el equipo se decidió por diez parámetros que podrían ajustarse para modificar distintos aspectos de los elementos visuales, como la velocidad, los colores y otros elementos estéticos como el bloom en las escenas.

Estos se controlaban mediante una panel de iluminación con múltiples controles deslizantes que se conectaba al complemento DMX de Unreal Engine para dirigir la iluminación y los efectos en pantalla. «Lo que hicimos fue crear un juego para el operador gráfico», afirma Vikesland. «El objetivo del mismo era tocar junto al grupo».

Al adoptar un enfoque orientado al juego, cada escena del proyecto tuvo que construirse de una manera mucho más matemática y algorítmica de lo normal. Esto se debe a que todos los elementos visuales debían seguir al grupo, y este podía hacer cualquier cosa.

«Si tienes un árbol creciendo, tiene que hacerlo al ritmo del grupo», explica Vikesland. «No puedes tener una sola animación de crecimiento preconfigurada. Porque, ¿y si el grupo hace algo que no esperas que haga? Los gráficos no lo seguirán. Necesitábamos construir sistemas que fueran lo suficientemente flexibles como para poder seguir al grupo».

Eso significaba que todo tenía que compilarse paramétricamente, es decir, en función de un conjunto predefinido de reglas.

El equipo creó todo esto desde cero. No se podía preparar a partir de animaciones de otro software 3D, se iba a animar con matemáticas y compensaciones de sombreadores.

Este novedoso enfoque llevó a métodos de desarrollo únicos y muy interesantes. Las burbujas del espectáculo son un buen ejemplo de ello. «Si te fijas bien, no son más que burbujas», Vikesland. «Es sencillo. Muy sencillo. Pero lo que hay detrás es uno de los sombreadores más complicados que hayamos creado jamás».

Las burbujas parecían esferas tridimensionales, pero en realidad eran elementos planos.

Al usar estos elementos planos y una configuración matemática compleja, el equipo fue capaz de simular cómo la luz interactuaría con una burbuja tridimensional con propiedades físicas realistas. «En cierto modo, es un trazado de rayos sobre el material», afirma Vikesland. «Pero se hace sobre un plano raso de dos dimensiones, lo que conduce a una escena extremadamente eficaz».

Sucedió algo similar con los árboles.

«Lo más sencillo sería buscar un recurso de árbol y poblar la escena con él para conseguir un bosque», dice Vikesland. «Pero un modelo de árbol precompilado nunca nos permitiría conseguir lo que necesitábamos».

En lugar de eso, al usar Houdini, el equipo diseñó su propia herramienta de creación de árboles, y al exportarla a Unreal Engine, incluía muchos atributos útiles a los que el equipo normalmente no tendría acceso.

«Teníamos mapas de UV que describían la longitud y el grosor de las ramas y podíamos usar estos datos para animar el árbol de formas interesantes», afirma Vikesland. «Puede crecer y encogerse. Pero también podemos tener distintos patrones moviéndose por el árbol de forma muy psicodélica, como fuegos artificiales saliendo de las ramas del árbol».