Moment Factory definiert Konzerte mit Echtzeit-Grafiken für Phish in der Sphere neu
Die beliebte Jam-Band Phish aus Vermont ist berühmt dafür, nie eine Setlist zweimal zu spielen. Songs aus den Alben entwickeln sich zu etwas Frischem und Neuem, wenn die Band sie bei Live-Auftritten improvisiert.
Als die Band also ein vier Nächte langes Engagement in der Sphere in Las Vegas an Land zog, lieferte sie eine Show ab, die anders war als alles, was je zuvor geboten wurde.
Die Sphere ist ein hochmoderner Veranstaltungsort mit einer riesigen, 75 Meter hohen LED-Leinwand, die die Zuschauer umgibt. Die Band und eine unerschrockene Crew kreativer Studios ließen sich von dieser epischen Musik-Arena inspirieren und fanden eine Mission: die größte und immersivste digitale Erfahrung zu erschaffen, die die Welt je gesehen hatte.
In Zusammenarbeit mit Phish erschufen Co-Creative und Show Director Abigail Rosen Holmes und Lighting Designer Chris Kuroda von Moment Factory gemeinsam die Shows, wobei sie Bühnendesign und Inhaltsproduktion mitgestalteten. Bei ihrer Arbeit mit dem größten Bildschirm der Welt stellte das Team einen zukunftsweisenden Ansatz für generative Echtzeit-Videoinhalte vor.
Dabei ging es um weit mehr als nur großartige Bilder auf einer enorm großen Leinwand.
Vorvisualisierung des Auftritts in VR
Der Mann an der Spitze des Teams für kreative Ideen und künstlerische Leitung der Sphere-Shows war Manuel Galarneau, Multimedia Director bei Moment Factory.Neben der schieren Größe des Bildschirms war die Menge der nötigen Inhalte – ein Quartett vier Stunden langer Shows mit jeweils eigenen Bildern – gleichermaßen episch.
Zane Kozak, CG Supervisor bei Moment Factory, deutet darauf hin, dass das Team bei derartig großen Formaten normalerweise eine ganze Weile Vorlaufzeit hat. "Mindestens sechs Monate bis zu einem Jahr, um alles vorzubereiten, die Planung zu perfektionieren und herauszufinden, wie wir 400 TB Inhalte übertragen", erklärt er. "Aber in diesem Fall hatten wir drei Monate."
Bei einem 16K-Bildschirm konnten wir auf keinen Fall alles im Voraus rendern – der Daten-Footprint wäre gewaltig und der Prozess unfassbar zeitaufwändig. "Außerdem wäre das am Ziel vorbei: der Band bei ihrer Musik zu folgen", sagt Galarneau. "Die Unreal Engine war das wichtigste Werkzeug bei der begleitenden Erstellung von Bildern in dieser gigantischen Kugel."
Natürlich erforderte die interaktive Natur der Grafik live auf der Bühne den Einsatz einer Echtzeit-Engine, aber Galarneau weist darauf hin, dass die Echtzeit-Berechnung auch bei der Verfolgung kreativer Ideen und der Vorschau, wie diese auf den Bildschirmen aussehen würden, extrem Zeit sparte.
Moment Factory setzte die Unreal Engine schon seit Jahren für VR-Vorvisualisierung ein. Dabei wird ein digitales Abbild des Veranstaltungsorts erstellt, um Probleme und Herausforderungen schon vor der Ankunft vor Ort zu identifizieren und zu lösen.
Dieser Prozess war beim Sphere-Projekt von unschätzbarem Wert und ermöglichte dem Team, sämtliche möglichen Probleme mit Skalierung oder Animationstiming schnell zu sehen, die durch die Projektion auf den riesigen Bildschirm der Sphere entstehen könnten.
"Jede Art von Änderung – und große Änderungen ganz besonders – an unseren vorab gerenderten Inhalten war absolut unmöglich", erklärt Kozak. "Unreal gab uns die Freiheit, Anpassungen und Änderungen vorzunehmen, den Notizen des Art Directors zu folgen und in einer kontextbezogenen Umgebung zu arbeiten."
Als das Team anfangs mit vorab gerenderten Grafiken für die Shows experimentierte, wurde schnell klar, dass diese extrem rechenintensiv waren – sehr viel mehr als alles, was sie bisher erlebt hatte. "Es dauerte Stunden, Tage, Wochen, um etwas herunterzuladen", sagt Galarneau.
Im Gegensatz dazu konnte das Team bei der Arbeit mit der Unreal Engine Änderungen am Build vornehmen und diese eine Minute später auf dem Bildschirm der Sphere sehen.
"Das war sehr Plug-and-Play, Iterieren ging sehr schnell und wir konnten die Varianten direkt sehen", erinnert sich Galarneau. "Vom Keller der Sphere auf den Bildschirm, das ging innerhalb von Minuten. Es dauert länger, da hochzugehen, als die Szene zu aktualisieren."
Die Möglichkeit, Änderungen quasi nebenbei vorzunehmen, ermöglichte dem Team, bis zum letzten Moment mit kreativen Ideen zu experimentieren und den letzten Schliff in Form von Detail-Weichzeichnen oder zusätzlichen Partikeln vorzunehmen. "Diese Änderungen hätten wir vielleicht nicht vorgenommen, wenn wir den klassischen Weg mit vor-gerenderten Inhalten gegangen wären", sagt Galarneau.
Ein Spiel für Live-Event-Grafiken erschaffen
Die Entwicklung des Bildmaterials für die Phish-Shows begann mit einer ganz normalen Setliste, wie für jede Band.Wie CEO und Gründer Björn Myreze erklärt nenne sich die Experten bei Myreze "Virtuelle Ingenieure". Die Firma wird vor allem von einer Vorliebe zum Tüfteln mit den Grundlagen immersiver Technologien getrieben.
Damit war sie perfekt dafür geeignet, das technologische Rätsel zu lösen, das die Zusammenstellung einer Phish-Show darstellte.
Myreze entwickelte zuerst einen Werkzeugsatz, mit dem ein Operator direkt und symbiotisch mit der Band improvisieren konnte. Aber die Tatsache, dass die Firma den Werkzeugsatz nicht selbst einsetzen würde, war sofort ein Problem.
"Wenn wir Grafiken erstellen, sind wir oft selbst die, die sie am Ende einsetzen", sagt Håvard Hennøy Vikesland, Unreal Engine Artist bei Myreze. "Bei diesem Projekt aber nicht. Wir standen vor der Herausforderung, dass wir sämtliche Szenen an jemanden weitergeben würden, der deren innere technische Funktionen nicht kannte."
Myreze musste also eine Konsole erstellen, die einfach zu verwenden und zu verstehen war sowie Grafiken lieferte, die unabhängig von den ausgelösten Kombinationen nahtlos ineinander übergehen würden.
Dafür musste das Team umfangreiche Forschung und Entwicklung durchführen. "Wir mussten Systeme, Mathematik und Shader-Systeme erschaffen, die live auf eine Art und Weise ausgelöst werden können, die es noch nie gab", sagt Björn Myreze.
Nach umfangreichen Experimenten entschied sich das Team für zehn Parameter, die angepasst werden konnten, um verschiedene Aspekte der Grafik zu ändern, darunter Geschwindigkeit, Farben und andere ästhetische Elemente wie Bloom in den Szenen.
Diese wurde über ein Lichtschaltpanel mit mehreren Slidern kontrolliert, das mit dem DMX-Plugin der Unreal Engine verbunden war, um Beleuchtung und Effekte auf dem Bildschirm zu steuern. "Im Grund erstellen wir ein Spiel für den Grafik-Operator", sagt Vikesland. "Und Ziel des Spiels ist es, gemeinsam mit der Band zu jammen."
Der Ansatz, das Projekt als Spiel zu behandeln, bedeutete, dass jede Szene sehr viel mathematischer und algorithmischer aufgebaut werden musste als normalerweise. Der Grund dafür war, dass jedes Bild der Band folgen musste, und die Band buchstäblich überallhin gehen könnte.
"Wenn ein Baum wächst, muss er zusammen mit der Band wachsen", erklärt Vikesland. "Man kann nicht einfach eine einzelne Wachstumsanimation verwenden, die vorab gebakt wird. Ich meine, was passiert, wenn die Band etwas tut, das man nicht erwartet? Dann folgen die Bilder ihr nicht. Wir mussten Systeme bauen, die flexibel genug sind, um der Band überallhin zu folgen."
Das bedeutet, dass wir alles parametrisch aufbauen mussten, also basierend auf einem bestehenden Regelsatz.
Das Team erstellte alles von Grund auf. Baking aus Animationen von anderer 3D-Software gab es nicht – alles sollte mit Mathematik und Shader-Offsets animiert werden.
Diese neuartige Herangehensweise führte zu einigen interessanten und einzigartigen Entwicklungsmethoden. Die Blasen in der Show sind ein Beispiel dafür. "Man sieht sie sich an und es sind einfach Blasen", sagte Vikesland. "Sie sind schlicht. Sie sind einfach. Aber unter der Haube arbeitet einer der kompliziertesten Shader, die wir je erstellt haben."
Man könnte meinen, die Blasen seien dreidimensionale Kugeln, aber tatsächlich sind es nur Flächen.
Mit diesen Flächen und einem komplexen mathematischen Setup konnte das Team nachahmen, wie Licht mit einer dreidimensionalen Blase mit realistischen physischen Eigenschaften interagieren würde. "In gewissem Sinne ist es Ray Tracing im Material", beschreibt es Vikesland. "Aber es geschieht auf einer zweidimensionalen Fläche. Und das liefert am Ende eine Szene, die extrem performant ist."
Bei den Bäumen lief es ähnlich.
"Man könnte ja meinen, man schnappt sich ein Baum-Asset und bevölkert die Szene damit, um einen Wald zu bekommen", sagt Vikesland. "Aber ein bereits existierendes Baum-Modell würde gar nicht können, was wir brauchen."
Stattdessen nutzte das Team Houdini, um ein eigenes Werkzeug für die Erschaffung von Bäumen zu gestalten, das nach dem Export in die Unreal Engine eine Menge nützliche Attribute mit sich brachte, zu denen das Team sonst keinen Zugang gehabt hätte.
"Wir haben UV-Maps, die die Länge und Dicke der Äste beschreiben, und können die Bäume mithilfe dieser Daten auf interessante Weisen animieren", eklärt Vikesland. "Man kann sie natürlich wachsen und schrumpfen lassen. Aber man kann auch sehr psychedelische Muster über den Baum laufen lassen – als würde Feuerwerk entlang der Äste explodieren."
Grenzenlose kreative Möglichkeiten
Kein Teil der Technologie, die bei der Produktion von Phish Live at Sphere zum Einsatz kam, ist brandneu – Spielengines gibt es mittlerweile seit Jahrzehnten, und das war auch nicht der erste Auftritt in der Sphere.