Image courtesy of The Weather Channel

The Weather Channel の新スタジオで高没入型 MR が日々のライブ放送に登場

Andy Blondin
私たち全員を結びつけることができるもの ― それは、天気の話題です。最近は、ますますその話題が増えているようです。猛烈なハリケーンや、記録的な高温、洪水を引き起こす集中豪雨、破壊的な火災など、話題は尽きません。

The Weather Channel テレビ放送ネットワークは、専門的な天気予報と分析を米国の視聴者に提供するようになってからおよそ 40 年となります。近年、同社は視聴者を魅了し、情報を伝達する新たな方法を試みるようになりました。 2018年、The Future Group と協力して、没入型複合現実で雷と竜巻を作り出す特別なコーナーを番組に新設したのです。その年の後半には高潮と山火事も題材となりました。

これらの単発のコーナーはきわめて印象的なものでした。現実の危険な天候を伝えるその能力は、多数のマスコミによって報道され、広く称賛を得ています。そのうちの 1つのコーナーは、エミー賞を受賞しています。しかし、その企画と演出にはかなりの時間がかかります。Unreal Engine のリアルタイム レンダリングを使用しながらも、ライブで放映されることはありませんでした。放送の数時間前にライブで録画され、ポスト プロダクションで編集されていました。 

しかし、もし The Weather Channel がライブの没入型複合現実 (IMR)を毎日の天気予報に取り入れられるのなら、どうなるでしょうか?2020年6月2日に、この放送ネットワークは、まさにこのための IMR 天候スタジオを新設しました。
 
この新しいスタジオは、物理的なスペースを拡張することによって、スタジオの半分を物理に、残り半分をバーチャルにしています。司会者は両方の空間をシームレスに移動できます。バーチャルの方の境界にはガラスの壁があります。この壁は下に落とすことができるため、司会者は、壁の向こうに見えるバーチャル環境にアクセスできます。それにより、「屋外の」天気を見せたり、その空間に足を踏み入れることさえできるようになります。 
環境は、主題を反映して変化します。たとえば、ハリケーンが近づいている場合は、沿岸地域に変化し、スキーヤー向けの降雪レポートの場合は、山岳地域になります。これらの環境をスタジオにもたらすために、チームは、全国の 50 の主要な場所から HDR 映像をキャプチャしました。
Image courtesy of The Weather Channel
「これは、情報伝達を強化する、ものすごく価値あるツールです」と、The Weather Channel で Weather Presentation のディレクターを務める Mike Chesterfield 氏は言います。 「人々はコンテンツを本当に認めています。とてもリアルであるため、彼らはそれらの状況の中に自分自身を見ることができるのです。」

さらに、この新スタジオでは、ライブの気象データによって、3D 天気図と棒グラフを動かしたり、一週間の天気予報を、アニメートされた 3D MR の気象要素 (雨、雲、太陽、稲妻など) を使って仮想都市上空に表示できます。1,200 インチ (30 メートル) モニターをボタンをクリックするだけで呼び出すことができます。あるいは、文字通り地球規模の気象システムを表示できます。これには、巨大な 3D のバーチャル地球が使われます。
「このスタジオは、真に有用なフルタイムのバーチャル スタジオです。このように米国の情報ネットワークで使用されているのは、これ以外で私は見たことがありません」と Chesterfield 氏は言います。「私たちは天気予報のためにまったく新しいことをやっています。しかも、すべてライブでやっているのです。」
 

舞台裏: そのテクノロジーは

ライブに関係するすべての要素をバーチャル環境に統合するのは、ネットワークのシニア テクニカル アーティストの Warren Drones 氏が担当しています。あらゆるものを一体化する方法について説明しています。
Image courtesy of The Weather Channel
スタジオのパイプラインでは、従来の放送のセットアップが利用されており、カメラとグリーン スクリーン セットが使われます。同時に Zero Density の Reality Engine や、Unreal Engine ベースのリアルタイム放送コンポジット システム、Reality Keyer (Zero Density によると、GPU 上で動作する世界初で唯一のリアルタイムの映像ベースのキーヤー) が並行して活用されます。クロマキーイングのように背景全体に単一のカラー値を使うのではなく、映像ベースのキーイングによって、キャプチャされたビデオがクリーンプレートと比較され、微妙に透明なディテールとシャドウが保持できるようになっています。

Reality Keyer では、クリーンプレートを動くカメラのために作成するために、バーチャル版グリーン スクリーン サイクロラマ背景を作成できる機能があります。物理的なグリーン スクリーン セットのキャプチャ映像がこのデジタルダブルにマッピングされます。カメラからのトラッキング データ (ネットワークでは、Mo-Sys システムが使われています) は、このノードに送られてくることによって、システムが毎フレーム、クリーンプレートを作り出すことができるようになります。
バーチャル セットの静的な要素は、その前の物理的なセットから大量に引き出されます。実際、チームは、物理的な素材をスキャンすることによって、完全に一致するようにしています。プロップ (小道具) は、3ds Max で作成され、Unreal Engine に FBX として取り込まれます。環境的な要素については、ハイクオリティな 2D および 3D Quixel Megascans (Unreal Engine でのあらゆる使用が無料となりました) の広範なライブラリを使用しています。 

VFX アーティストは、雨や雪、火、水などのエフェクトを Unreal Engine の Niagara VFX システムで作成します。アニメーションは、シーケンサーというマルチトラックのノンリニア エディタによって制御されています。ライブの気象データは、API からインポートされ、3D 天気図とグラフを制御するために使われます。このデータは、さらには、雨を降らしたり、太陽を雲隠れさせたりも可能です。 
Image courtesy of The Weather Channel
チームは、ブループリント ビジュアル スクリプティング システムをさまざまに活用することで、振る舞いを規定し、ロジックをスクリプト化し、イベントをトリガーします。ある利用例では、セット全体がディレクターの指示でワンクリックで再構成できます。しかも、ライブで放送中にです。また、ディレクターは、ライティングを変更し、異なるフィードに切り替え、新たな位置へと画面を切り替えたりすることも、すべてリアルタイムで可能です。

Drones 氏によると、ライブのバーチャル放送によって、制作の容貌は変わります。従来から行われていたことに比べると、バーチャルなコンテンツに対するこの最新のアプローチは、より挑戦的なものですが、その同時感覚は視聴者を惹きつけます。  

「情報伝達はライブ形式で行うのが最善です」と彼は言います。「最新の情報を真に即時的なリアクションで伝えなければ、視聴者とつながることはできません。事前に録画されたビジュアル コンテンツであれば、機能に制約が出てきます。ライブの情報伝達とグラフィックスとの関連性が保たれなくなるのです。私たちの新たなライブ バーチャル スタジオはそのような制約を除去できます。」

Drones 氏は、Unreal Engine 5 の発表があってから、MR 放送の未来にさらに大きな期待を寄せています。

「感動しました」と彼は言います。 「開発と 3D グラフィックスへの参入障壁は、時間の経過とともに少しずつ消えてきましたが、私の考えでは、Unreal Engine ほどこの障壁の除去に貢献したソフトウェア ソリューションはありません。Unreal Engine 5 の発表はそのことを完全に証明したものであり、続報が入るのを非常に楽しみにしています。」 


Unreal Engine によるライブ コンテンツ制作については、放送&ライブイベントのページに詳しく書かれています。 

    Unreal Engine を今すぐ入手しましょう!

    世界で最もオープンで先進的な制作ツールを手に入れてください。 
    Unreal Engine は、あらゆる機能が含まれ、ソースコードへの完全なアクセスが可能なため、満載の機能がすぐに使える状態で入手できます。