Image courtesy of Lastpixel Pty Ltd

New in-camera VFX onboarding resources for virtual production

17. September 2020
Capturing real-time visual effects during a live-action film shoot relies on the mixture of LED lighting, camera tracking technology, and real-time rendering with off-axis projection to create a seamless integration between foreground actors and virtual backgrounds. In many cases, it can remove the need for green-screen compositing and can produce final-pixel results in camera. It has the potential to revolutionize filmmaking.
Image courtesy of Lastpixel Pty Ltd
Trailblazers like Sam Nicholson at Stargate Studios are already using the technique in production, while visionary director Jon Favreau harnessed the technology to turn conventional filmmaking on its head in ‘The Mandalorian’. It’s one of the emerging trends our expert panel discussed on a recent episode of the ‘The Pulse’ that focused on virtual production.
Image courtesy of Industrial Light & Magic / Lucasfilm Ltd
At Siggraph this past year, we had the privilege of collaborating with some of the leaders of the industry to demonstrate real-time in-camera VFX as a feature of Unreal Engine on a project of our own. The sneak peek and behind the scenes videos generated a lot of excitement; they also generated lots of questions about how people could do this themselves. 

To address these requests, we’ve added a new In-Camera VFX Example project in the Learn tab of the Epic Games launcher that will guide you through the various steps you need to configure the system on a single machine—a setup you can then extrapolate to multiple machines in your production deployment on stage. The project is accompanied by comprehensive new step-by-step documentation to guide you through how the pieces all fit together.
The project and documentation will take you through the various hardware components you need to configure from LED panels to camera tracking systems, and explain the Unreal Engine systems that support the technique, such as nDisplay, Live Link, Multi-User Editing, and Web Remote Control.

We hope these resources give you the help you need to get your projects going. You can find other useful links for free community-based support and online learning, as well as contact information for UDN, our premium Epic-monitored offering, on our Support page.

For more virtual production resources, visit our Virtual Production hub, where you can find articles, podcasts, case studies, and white papers, and download your free copy of the Virtual Production Field Guide.

    Get started with in-camera VFX

    To get familiar with all the components of in-camera VFX, download the example project and browse the comprehensive new documentation from the links below.
    GDC 2023
    Event
    15. Februar

    GDC 2023

    Besuchen Sie Epic Games auf der GDC 2023 für State of Unreal, faszinierende Tech-Vorträge und die Gelegenheit, die neuesten Unreal Engine-Spiele an unseren Ständen auf der Showbühne zu spielen. 
    GDC 2023
    Event

    GDC 2023

    Besuchen Sie Epic Games auf der GDC 2023 für State of Unreal, faszinierende Tech-Vorträge und die Gelegenheit, die neuesten Unreal Engine-Spiele an unseren Ständen auf der Showbühne zu spielen. 
    Erschaffen Sie realistische Animationen in kürzerer Zeit mit Pose Driver Connect
    Neuigkeiten
    6. Dezember

    Erschaffen Sie realistische Animationen in kürzerer Zeit mit Pose Driver Connect

    Ihre Knöchel sind mit dem Kniegelenk verbunden, aber wie steht es mit Schulterblatt und Schlüsselbein? Sehen Sie sich unseren neuen Werkzeugsatz an, mit dem Sie sekundäre Animationen in Maya erstellen und direkt in der Unreal Engine weiterverwenden können.
    Erschaffen Sie realistische Animationen in kürzerer Zeit mit Pose Driver Connect
    Neuigkeiten

    Erschaffen Sie realistische Animationen in kürzerer Zeit mit Pose Driver Connect

    Ihre Knöchel sind mit dem Kniegelenk verbunden, aber wie steht es mit Schulterblatt und Schlüsselbein? Sehen Sie sich unseren neuen Werkzeugsatz an, mit dem Sie sekundäre Animationen in Maya erstellen und direkt in der Unreal Engine weiterverwenden können.
    Kostenlose Inhalte auf dem Unreal Marketplace – Dezember 2023
    Neuigkeiten
    5. Dezember

    Kostenlose Inhalte auf dem Unreal Marketplace – Dezember 2023

    Die Monatsauswahl an Gratisinhalten aus dem Unreal Marketplace sind hier! Erstellen Sie mit diesen Angeboten einen riesigen Wald, ein detailreiches viktorianisches Haus oder eine sonnige griechische Insel. Es gibt auch ein Kombo-Bufferingsystem für Ihr Kampfspiel oder ein Werkzeug, mit dem Sie NPC-Massen generieren können. Schauen Sie es sich an!
    Kostenlose Inhalte auf dem Unreal Marketplace – Dezember 2023
    Neuigkeiten

    Kostenlose Inhalte auf dem Unreal Marketplace – Dezember 2023

    Die Monatsauswahl an Gratisinhalten aus dem Unreal Marketplace sind hier! Erstellen Sie mit diesen Angeboten einen riesigen Wald, ein detailreiches viktorianisches Haus oder eine sonnige griechische Insel. Es gibt auch ein Kombo-Bufferingsystem für Ihr Kampfspiel oder ein Werkzeug, mit dem Sie NPC-Massen generieren können. Schauen Sie es sich an!