Bild mit freundlicher Genehmigung von The Walt Disney Company

Mit Unreal Engine verwandelt sich Big City Greens von 2D zu 3D

8. Dezember 2022
Disney Television Animation wollte der Weihnachtsausgabe von Big City Greens ein frisches Aussehen verpassen. Man entschied sich dafür, die Greens auf eine realitätsverzerrende Reise in die virtuelle Welt von „Outpost Infinity“ zu schicken. Dafür setzte das Team auf dreidimensionale Techniken und nicht mehr auf den 2D-Stil.

Die Umsetzung einer sehr bekannten 2D-IP in eine 3D-Umgebung ist aber viel schwieriger, als man erwarten mag. Die Entwickler arbeiteten mit den Disney Technology-Teams zusammen und nutzten die Unreal Engine, um einen Stil zu erarbeiten, der dem Original treu bleibt, und um eine Echtzeit-CG-Pipeline aufzubauen, die kaum etwas mit dem üblichen 3D-Arbeitsansatz zu tun hat. Schlussendlich musste das Team die 2D-Pipeline umkrempeln und das Skript völlig neu angehen.

Die 3D-Inhalte in „Virtually Christmas“ sind mit 16 Minuten Spieldauer, dem extrem stilisierten Stil und fast vollständig in der Engine erstellen Inhalten die erste Episodenarbeit, die Disney in der Unreal Engine produziert hat – und die längste animierte Einzelepisode, die es hauptsächlich mit Echtzeit-Technologie erstellt hat.
 

Im Weihnachtsspezial von Big City Greens müssen die Greens ein Dilemma lösen. Cricket Green sitzt in einem Schneesturm fest und schafft es nicht rechtzeitig zur Weihnachtsfeier mit der Familie nach Hause.

Crickets Freund Remy hat aber eine Idee. Die Familie kann zusammen in der 3D-Welt seines VR-Spiels feiern. „Das gab uns die Möglichkeit, traditionelle 2D-Erzähltechniken mit 3D-Echtzeit-Techniken zu verbinden, indem die Charaktere selbst auf die Reise gehen, um einen Weg in die virtuelle Welt zu finden“, erklärt Kaki Navarre, Vice President, Software Engineering in Technology bei Disney.

Animationen aus der 2D-Welt in 3D zu übertragen, bringt sowohl bei künstlerischen wie auch technischen Aspekten einige Herausforderungen mit sich. Zum einen müssen die 3D-Versionen der Charaktere originalgetreue Umsetzungen ihrer 2D-Gegenstücke sein.

„Wir wollten sichergehen, dass die Greens ganz sie selbst sind. Die Bewegungen und Designs sollten sich keinesfalls unterscheiden, damit die Zuschauer ganz klar erkennen ‚Oh, das da ist Cricket!‘“, sagt Jennifer Burchfield, 3D Animation Supervisor bei Disney.

Das Projekt wurde mit der Echtzeit-Pipeline aus der Unreal Engine angegangen, aber der Kunststil der Episoden verlangte nach einem ganz anderen Ansatz für das physikbasierte Spielaussehen. Ein sehr stilisierter Stil und kein Fotorealismus war gefragt.

Von Stop-Motion und Illustrationsstilen inspiriert entwickelte das Team einen ganz eigenen Stil, in dem verschiedene Kunst- und Animationstechniken verschmolzen. Dafür mussten spezielle Stilregeln für Aspekte wie etwa die Interaktion von Licht und Schatten mit den Charakteren entworfen werden, oder wie reflektierende Oberflächen aussehen sollten.
Bild mit freundlicher Genehmigung von The Walt Disney Company
Das Team sah sich auch 2D-Animationen an, um Techniken zu identifizieren, mit denen die Lücken zwischen 2D- und 3D-Stilen überwunden werden konnten. „Big City Greens ist ein Cartoon“, sagt Mark Droste, Director 3D Animation bei Disney. „Die Arme der Charaktere können sich extrem lang strecken, ihre Augen werden riesengroß und ihre Körper schaffen Sachen, die wir nicht können. Eine Sorge beim Umstieg auf CG ist immer wieder, dass aus der Sicht von 2D alles zu rigide, zu starr wird.“

Damit die Charaktere in 3D ihren cartoonhaften 2D-Stil nicht verlieren, war dem Team klar, dass sie einem Animationsprinzip ganz besonderen Vorrang geben musste: Quetschen und Strecken.

Quetschen und Strecken ist eine Technik, mit der 2D-Animatoren Elastizität und Flexibilität vermitteln. So können sich Charaktere natürlicher und lebendiger bewegen. „Pausiert man mal bei einem Bild, erkennt man total wildes Quetschen und Strecken, was etwa Gesichter lustig verzerrt“, sagt Droste. „Das erhöht die Zackigkeit der Animation und sorgt dafür, dass alles genau zum gewohnten Stil von Big City Greens passt.“
 
Bild mit freundlicher Genehmigung von The Walt Disney Company

Das Team setzte auch sehr stark auf geometrisches Verschmieren. Verschmierte Einzelbilder sind eine 2D-Animationstechnik, bei dem ein sich bewegendes Objekt von mehreren Abbildern verfolgt wird. Das ähnelt dem Verschmieren oder Verwischen. Die Technik soll die Illusion einer fortlaufenden Bewegung erzeugen. „Damit haben wir uns mehr Peanuts oder Spider-Man: Into the Spider-Verse angenähert“, sagt Burchfield. „Wir haben alles völlig ohne Bewegungsunschärfe gemacht, damit der stilisierte Charakter zum Tragen kommen kann.“

Die Umsetzung der Techniken beginnt mit dem Charakter-Rigging. Das Team erstellte Rigs in Maya und übertrug sie dann in die Engine für einen ersten Animationsdurchlauf mit Control Rig.

Die Daten wurden dann in eine Animationssequenz übertragen und in FBX exportiert, damit die Animatoren in Maya den Feinschliff vornehmen konnten. „Wir wollten den Quetschen-und-Strecken-Stil wirklich hervorheben und keine Nachbearbeitungen außerhalb der Engine durchführen“, sagt Evan Binder, Pipeline Supervisor, 3D Animation bei Disney.

„Aus Performance-Gründen entschieden wir uns, bei FBX zu bleiben, da wir wussten, dass es gut mit Control Rig zusammenarbeitet, und weil wir diese Bedienelemente später unseren Künstlern zugänglich machen wollten, die sie in der Engine bearbeiten sollten.“

Nachdem der letzte Feinschliff in Maya abgeschlossen war, wurde alles komplett in die Engine zurückgeholt, damit das Team alles im ganzen Kontext betrachten, die Schmier-Einzelbilder einfügen und noch letzte Änderungen vornehmen konnte. „Man bringt alles zurück in die Engine und alles ist fertig und bereit“, sagt Droste. „Man betrachtet alles mit der richtigen Beleuchtung und sieht alles so, wie es in der finalen Version aussieht. Man arbeitet immer weiter daran und alles geht so schnell, dass man rasch Entscheidungen treffen und umsetzen kann.“
Bild mit freundlicher Genehmigung von The Walt Disney Company

Von einem Unreal Fellowship zum ersten Projekt

Disney arbeitet schon länger mit Echtzeit-Arbeitsabläufen. Letzten Sommer nahmen einige Teammitglieder am Unreal-Fellowship-Programm teil. „Virtually Christmas“ ist das erste Projekt des Teams in der Unreal Engine. „Ich habe Unreal lieben gelernt“, so Burchfield. „Ich hatte bis dahin noch nie damit gearbeitet, aber der Einstieg war sehr einfach. Für mich war alles sehr intuitiv. Die Eingewöhnung ging extrem schnell.“

Mit dem Echtzeit-Ansatz eröffnete sich die Möglichkeit, Disziplinen parallel arbeiten zu lassen, was in der traditionellen Offline-Produktionspipeline nicht möglich gewesen wäre. Editorial, Layout, Beleuchtung und VFX konnten zur selben Zeit arbeiten, was dem Team die Möglichkeit gab, die Geschichte iterativ zu entwickeln und reibungslos in einer konsolidierten Umgebung zusammenzuarbeiten.

Für Megan Stifter, CG Supervisor, 3D Animation bei Disney, war das einer der eindrucksvollsten Aspekte im Echtzeit-Arbeitsablauf. „Bei der traditionellen Animation sind es Künstler und Techniker gewohnt, auf abstrakte Art zu arbeiten“, sagt sie.
Bild mit freundlicher Genehmigung von The Walt Disney Company
„Man arbeitet nicht im finalen Kontext, wie das Werk am Ende gesehen wird. Das führt dazu, dass viel geraten und nachgeprüft werden muss, wodurch ständig massive Änderungen vorgenommen werden müssen, was Tage, Wochen oder sogar Monate dauern kann, bis man das Ergebnis sieht. Wenn man in Echtzeit arbeitet, schrumpft die Zeit auf fast null. Man kann die Auswirkungen von Änderungen fast sofort sehen.“

Das löste häufig richtig freudige Aufregung aus. Wenn abgeschottete Abteilungen plötzlich simultan zusammenarbeiten können, dann wird der Anpassungsprozess geradezu euphorisierend. Üblicherweise begann der Prozess mit Würfeln, Zylindern und Previs-Assets von den Regisseuren. Nun konnte daran während des Layouts gearbeitet werden und gleichzeitig waren die finalen Assets in der Produktion. Das Team konnte auf Blueprints, Sub-Level-Nesting, Landschaftsgestaltung und Platzhalter-Props setzen, um die Produktion von Animation, Kinematografie, Beleuchtung und Technologie am Laufen zu halten. Sobald die Modelle fertig waren, konnten sie ganz einfach in der Engine eingesetzt werden.

„Jeder Tag war wie ein neues Geschenk, wenn wir alle Dateien mit Perforce synchronisieren und das ganze Projekt im Sequenzer abspielen konnten“, sagt Christina Douk, 3D Asset Supervisor bei Disney. „Die fortlaufende Arbeit in der Engine war sehr angenehm und interessant und die Produktion blieb mit fortschreitender Projektentwicklung immer inspiriert.“

Echtzeit-3D-Werkzeuge für die Filmproduktion

Die Filmproduktionswerkzeuge der Unreal Engine bilden die Technologien nach, die Sie auf einem realen Filmset finden. Zu Anfang des Projekts ging Droste selbst in die Engine und legte einen groben Ablaufplan der Geschichte fest. „Das war großartig. Ich konnte diese digitale Sandbox aus meinem Kopf wunderbar in die Engine übertragen“, sagt er.
Bild mit freundlicher Genehmigung von The Walt Disney Company
„Ich weiß noch, einer der coolsten Tage war der, als wir alles mit Previs-Asset eingerichtet hatten. Da wurde aus einer Idee etwas Sichtbares auf dem Bildschirm. Das ist das Tollste an Unreal. Man kann so einfach Umgebungen aufbauen, Beleuchtung einrichten, Charaktere anlegen und schon wird die Idee zu etwas konkret Sichtbarem und Erlebbarem.“

Jede Sequenz in „Virtually Christmas“ wurde zusammen in einer übergreifenden Zeitleiste im Sequenzer bearbeitet. Dank der Umsetzung des Editorial-Prozesses in der Unreal Engine konnte das Team schneller arbeiten, die ganze Episode und einzelne Abschnitte im Kontext betrachten und Änderungen direkt vornehmen. Der zeitaufwendige Prozess des Exportierens und Synchronisierens einzelner Aufnahmen in traditionellen, nicht-linearen Bearbeitungssoftwarepaketen entfiel.
 
Bild mit freundlicher Genehmigung von The Walt Disney Company

„Alles ist ein riesiges Projekt, in dem wir uns bewegen und rasch Änderungen vornehmen können, was in der traditionellen Pipeline nicht möglich wäre. Ein zentralisiertes Inhaltserstellungspaket wie Unreal ermöglicht das aber“, erklärt Andy Wood, Director of Technology, Real-Time Media bei Disney.

Die Möglichkeit, Aufnahmen in letzter Minute noch mal bearbeiten zu können, macht sich bezahlt – insbesondere dann, wenn gegen Ende des Projekts noch größere Veränderungen verlangt werden. „Wir wollten einen ziemlich langen Abschnitt überarbeiten. Das hätte zum Showstopper werden können“, sagt Droste. „Ich habe mich mit dem Show-Runner zusammengesetzt und wir haben die dreiminütige Sequenz in etwa zwei Stunden in der Unreal Engine neu angelegt.“

Eine Pipeline für plattformübergreifende Inhalte

Disney ist dafür bekannt, die Grenzen der Animationstechnologie auszureizen, und die Technology Teams sind oft in neue Bereiche der Echtzeit-Visualisierung vorgestoßen. Daher war es nur natürlich, Echtzeitanimationen für „Virtually Christmas“ einzusetzen. „Mit fortschreitender Technologieentwicklung stellst du dir immer wieder die Frage, wie wir schneller mehr Kontext bekommen können. Wie können wir auf neue, innovative Art arbeiten?“, sagt Wood. „Es kam uns einfach sinnvoll vor, Echtzeit als Möglichkeit für so ein Projekt zu erkunden.“

Der Einsatz von Echtzeit-Technologie in „Virtually Christmas“ von Disney ist Teil einer viel größeren Anstrengung. Die kreativen und die Technology Teams des Unternehmens haben Echtzeit-Arbeitsabläufe in anderen Bereichen erforscht, darunter die virtuelle Produktion, Inhaltsinteraktivität, Datenvisualisierung und mehr. Wenn Abteilungen Echtzeit-Inhalte simultan erstellen können, ergeben sich interessante Entwicklungen: die Möglichkeit, Pipelines für die Inhaltserstellung für mehrere Plattformen zu entwickeln.
Bild mit freundlicher Genehmigung von The Walt Disney Company
Mit den richtigen Optimierungsentscheidungen zu Beginn eines Projekts können CG-Assets und -Umgebungen für ein vertikales Segment erstellt und dann auch für andere wiederverwendet werden. „Man investiert einmal im Voraus in Echtzeit-Assets, die mit einer interaktiven Framerate laufen können, und dann nutzt man sie für traditionelle, lineare Flat-Inhaltserstellung oder zur Produktion beliebiger neuer Formate, ganz egal, ob interaktive Erlebnisse oder andere immersive Projekte“, so Navarre. „Allein die eigene Vorstellungskraft setzt hier Grenzen.“

Die Episode „Virtually Christmas“ von Big City Greens ist jetzt auf dem Disney-Kanal und Disney Plus verfügbar.

    Sichern Sie sich die Unreal Engine noch heute!

    Sichern Sie sich das offenste und fortschrittlichste Werkzeug der Welt.
    Die Unreal Engine wird mit allen Funktionen und vollem Zugriff auf den Quellcode geliefert und ist sofort einsatzbereit.
    Besuchen Sie uns online oder persönlich auf der GDC 2024.
    Event
    17. Januar

    Besuchen Sie uns online oder persönlich auf der GDC 2024.

    Schauen Sie sich State of Unreal an, um die neuesten Ankündigungen zu Epic und unseren Partnern zu erhalten, vertiefen Sie sich in unsere Tech-Talks und lassen Sie sich von unseren Sitzungen und dem Learning Theater inspirieren und informieren.
    Besuchen Sie uns online oder persönlich auf der GDC 2024.
    Event

    Besuchen Sie uns online oder persönlich auf der GDC 2024.

    Schauen Sie sich State of Unreal an, um die neuesten Ankündigungen zu Epic und unseren Partnern zu erhalten, vertiefen Sie sich in unsere Tech-Talks und lassen Sie sich von unseren Sitzungen und dem Learning Theater inspirieren und informieren.
    GDC 2023
    Event
    15. Februar

    GDC 2023

    Besuchen Sie Epic Games auf der GDC 2023 für State of Unreal, faszinierende Tech-Vorträge und die Gelegenheit, die neuesten Unreal Engine-Spiele an unseren Ständen auf der Showbühne zu spielen. 
    GDC 2023
    Event

    GDC 2023

    Besuchen Sie Epic Games auf der GDC 2023 für State of Unreal, faszinierende Tech-Vorträge und die Gelegenheit, die neuesten Unreal Engine-Spiele an unseren Ständen auf der Showbühne zu spielen. 
    Kostenlose Inhalte auf dem Unreal Marketplace – Februar 2024
    Neuigkeiten
    6. Februar

    Kostenlose Inhalte auf dem Unreal Marketplace – Februar 2024

    Fantasy-Inneneinrichtung, stilisierte Kristallminen, eine Reise zurück in die Neunziger und vieles mehr – die kostenlosen 3D-Assets im Februar auf dem Unreal Engine Marketplace sind da!
    Kostenlose Inhalte auf dem Unreal Marketplace – Februar 2024
    Neuigkeiten

    Kostenlose Inhalte auf dem Unreal Marketplace – Februar 2024

    Fantasy-Inneneinrichtung, stilisierte Kristallminen, eine Reise zurück in die Neunziger und vieles mehr – die kostenlosen 3D-Assets im Februar auf dem Unreal Engine Marketplace sind da!