Image courtesy of Disney+
Jim Henson Company が宇宙人ネッドのトークショーでデジタルのパペットをリアルタイムで操り、テレビ放送レベルの品質を実現
Rob DiFiglia
2021年5月18日Jim Henson Company は、60 年以上にわたり、演技を中心としたファミリー向けエンターテインメントを提供してきました。その過程で、エミー賞を 50 回以上、グラミー賞 9 回受賞するなど、無数の賞を獲得しています。マペットの生みの親として知られる Jim Henson Company は、イノベーターとして広く認識されており、従来の手によるパペットの操作から、アニマトロニクス、リアルタイム デジタル アニメーションまで、業界をリードするツールやテクニックを導入してきました。その膨大なポートフォリオには、フラグルロック、ダーククリスタル、ラビリンス/魔王の迷宮、ファースケープなど、記憶に残る作品が数多く存在します。
創業者ジム・ヘンソン氏の息子であり、現在同社の会長を務めるブライアン・ヘンソン氏は、このイノベーションの文化を熱心に維持しています。その一例として、ヘンソン氏は、数十年にわたり、バーチャル プロダクションをさまざまな形で取り入れてきました。現在は、複数のエピソードで構成される番組、宇宙人ネッドのトークショーで新しい境地を切り開いています。ヘンソン氏はこの番組のフォーマットについて「エイリアン SF + アメリカのトーク ショー」と説明しています。
創業者ジム・ヘンソン氏の息子であり、現在同社の会長を務めるブライアン・ヘンソン氏は、このイノベーションの文化を熱心に維持しています。その一例として、ヘンソン氏は、数十年にわたり、バーチャル プロダクションをさまざまな形で取り入れてきました。現在は、複数のエピソードで構成される番組、宇宙人ネッドのトークショーで新しい境地を切り開いています。ヘンソン氏はこの番組のフォーマットについて「エイリアン SF + アメリカのトーク ショー」と説明しています。
Disney+ で配信されている宇宙人ネッドのトークショーは、実写およびアニマトロニクスと、セットでの演技に基づいてリアルタイムに動かされる CG アニメーションを組み合わせています。侵略のために地球に送られたエイリアンがポップ カルチャーに魅せられて、トーク ショーを作って人間のセレブリティにインタビューすることにした、という設定の番組です。
実際のセレブリティがゲストとして登場し、アニマトロニクスで表現されたエイリアン、ネッドとコーネリアスが司会を務めます。ほかにも、CG で表現される人工知能のベティが登場します。ベティは粒子の集まりとして描かれ、セットで Unreal Engine によってリアルタイム レンダリングされます。
Image courtesy of Disney+
CG によってキャラクターにデジタルでアニメーションを付け、それを演技によって動かすというアイデアは、ジム・ヘンソン氏まで遡ることができるものですが、定着したのは 1994 年になってからのことでした。当時、Jim Henson Company は、風刺が効いたシットコム シリーズ、恐竜家族の制作の終盤に差し掛っていました。この番組は、数十個のモーターを搭載した巨大なアニマトロニクス スーツを使って作成されていました。このスーツは、熱くなって演者を不快にさせるうえに、壊れやすいものでした。
ヘンソン氏は次のように述べています。「次のように考え始めました。もし、CG のアニメーションを使うことができたらどうだろうか。演者がスーツを着て巨大な皮をかぶることなく、恐竜の体の演技をすることができたら。頭についても、45 個の壊れやすいモーターを使うことなく、同等のエネルギーをとらえながら演じることができたらどうだろうか、と」
ヘンソン氏は次のように述べています。「次のように考え始めました。もし、CG のアニメーションを使うことができたらどうだろうか。演者がスーツを着て巨大な皮をかぶることなく、恐竜の体の演技をすることができたら。頭についても、45 個の壊れやすいモーターを使うことなく、同等のエネルギーをとらえながら演じることができたらどうだろうか、と」
Image courtesy of Disney+
当時としては革新的だったこのコンセプトを実現するために、演者にリアルタイムのフィードバックを与えるシステムを開発する必要がありました。
「モーション キャプチャをしに行って恐竜のふりをして演じ、1 週間待ってからどのような恐竜になっていたか確認するというやり方はしませんでした。それではうまくいきません。自分たちの周りのスクリーンで、恐竜としての姿をすぐに確認できるようにする必要がありました」とヘンソン氏は述べています。
Jim Henson Company が独自に開発したそのシステムは長く使われるものとなり、現在でも使われていますが、そのビジュアルの品質は、出力として直接使えるほどのものではなく、すべてをオフラインでレンダリングする必要がありました。
Jim Henson Company のクリエイティブ スーパーバイザー (デジタル担当)、Dan Ortega 氏は次のように述べています。「そのシステムはプリビジュアライゼーション用に作られたものです。エフェクトをリアルタイムでかけたり、高解像度の画像を作成したりすることはできません。それは意図的にそうしたものです。データをキャプチャして、パイプラインのあとの部分に取り込めるようにするツールも開発しました」
宇宙人ネッドのトークショーでは、ベティをセットでリアルタイム レンダリングし、そのまま放送できる品質を達成する計画を立てました。これは既存のシステムではできないことです。それだけでなく、ベティのキャラクターに特有のいくつかの要件にも対処する必要がありました。ヘンソン氏は、ベティが電気からできているように見せたいと考えていました。また、変形して人間型の外見とエイリアン風の外見を切り替えられるようにしたいとも考えていました。
「モーション キャプチャをしに行って恐竜のふりをして演じ、1 週間待ってからどのような恐竜になっていたか確認するというやり方はしませんでした。それではうまくいきません。自分たちの周りのスクリーンで、恐竜としての姿をすぐに確認できるようにする必要がありました」とヘンソン氏は述べています。
Jim Henson Company が独自に開発したそのシステムは長く使われるものとなり、現在でも使われていますが、そのビジュアルの品質は、出力として直接使えるほどのものではなく、すべてをオフラインでレンダリングする必要がありました。
Jim Henson Company のクリエイティブ スーパーバイザー (デジタル担当)、Dan Ortega 氏は次のように述べています。「そのシステムはプリビジュアライゼーション用に作られたものです。エフェクトをリアルタイムでかけたり、高解像度の画像を作成したりすることはできません。それは意図的にそうしたものです。データをキャプチャして、パイプラインのあとの部分に取り込めるようにするツールも開発しました」
宇宙人ネッドのトークショーでは、ベティをセットでリアルタイム レンダリングし、そのまま放送できる品質を達成する計画を立てました。これは既存のシステムではできないことです。それだけでなく、ベティのキャラクターに特有のいくつかの要件にも対処する必要がありました。ヘンソン氏は、ベティが電気からできているように見せたいと考えていました。また、変形して人間型の外見とエイリアン風の外見を切り替えられるようにしたいとも考えていました。
Image courtesy of Disney+
そのような厳しいリクエストを受ける側の立場となったのが Ortega 氏でした。「ブライアンの説明によると、球体のエネルギーで、テスラ コイルに似ていて、しかし実際には粒子からできている、ということでした。自身を部屋につながらせる稲妻をほとばしらせる必要があり、会話するときの顔に変形させる必要もありました」
Ortega 氏には、そのリアルタイムのエフェクトを実現するには Unreal Engine を使う必要があることがすぐにわかりました。
「Unreal によって、高い評価を受けている当社のパペット制御を利用して、仮想的な世界でやり取りすることができました。非常に美しく、高いフレームレートで、遅延は一切ありませんでした。Unreal のおかげで、複雑なマテリアル、パーティクル、エンジンでリアルタイムに実行し、アニメーションさせる必要があるエフェクトをすべて利用できました」と Ortega 氏は述べています。
Ortega 氏には、そのリアルタイムのエフェクトを実現するには Unreal Engine を使う必要があることがすぐにわかりました。
「Unreal によって、高い評価を受けている当社のパペット制御を利用して、仮想的な世界でやり取りすることができました。非常に美しく、高いフレームレートで、遅延は一切ありませんでした。Unreal のおかげで、複雑なマテリアル、パーティクル、エンジンでリアルタイムに実行し、アニメーションさせる必要があるエフェクトをすべて利用できました」と Ortega 氏は述べています。
Image courtesy of Disney+
ベティが物理的にセットに登場できるようにするために、セットにスクリーンを入れて、ベティが漂うことができる「部屋」を用意することになりました。すべてのカメラをリアルタイムでトラッキングすることで、正確なパララックス効果を生み出し、スクリーンの向こうに空間があり粒子の塊があるという錯覚を与えることができました。
「もう 1 つの課題として、ブライアンは、セットに 3 つある部屋をベティがテレポートできるようにしたいと考えていました。それをカメラ上でリアルタイムに、ポストプロセスなしで実行する必要がありました。そのミーティングが終わったとき、頭のなかで、今までにやったことがないことだ、そのようなものは見たことがない、と思いました」と Ortega 氏は述べています。
レンダリング エンジンとして Unreal Engine を選択した Ortega 氏は、Unreal Engine を既存のパイプラインと連携させる必要がありました。既存のパイプラインでは、キャラクターにリグを作成するために、Autodesk Maya を使っていました。また、Henson Digital Puppetry Studio もパイプラインに含まれていました。これは、Jim Henson Company 独自のハードウェアとソフトウェアのツールのスイートで、パフォーマンス キャプチャ システムと、機械的にパペットを操作するデバイスで構成されます。
この連携のために、Ortega 氏のチームは Henson Nodeflow エンジンを作成しました。これは独自のリアルタイム スタンドアローン アニメーション エンジンであり、システム間のゲートウェイとして機能します。
Maya のシーンは Nodeflow グラフにエクスポートされます。Nodeflow グラフは、Maya のディペンデンシー グラフを模したものであり、Maya のノードの機能をエミュレートして、インポートしたキャラクターを実行します。ジョイント、コンストレイント、カーブ、ブレンドシェイプや、ドリブン キーの設定などの複雑な機能をエミュレートします。それから Nodeflow はデータを Unreal Engine に渡します。ベティの場合、フレームあたり 1.5 ミリ秒で 4,000 ノードが Unreal Engine に送信されました。
キャラクターのスケルタル アニメーションをリアルタイムで実行するために、Ortega 氏のチームはカスタムのストリーミング アプリケーションを作成し、Henson Digital Puppetry Studio からの出力を Live Link 経由で Unreal Engine に送信しました。Live Link は、外部ソースからのアニメーション データをストリーミングして利用するための Unreal Engine のインターフェイスです。
「もう 1 つの課題として、ブライアンは、セットに 3 つある部屋をベティがテレポートできるようにしたいと考えていました。それをカメラ上でリアルタイムに、ポストプロセスなしで実行する必要がありました。そのミーティングが終わったとき、頭のなかで、今までにやったことがないことだ、そのようなものは見たことがない、と思いました」と Ortega 氏は述べています。
レンダリング エンジンとして Unreal Engine を選択した Ortega 氏は、Unreal Engine を既存のパイプラインと連携させる必要がありました。既存のパイプラインでは、キャラクターにリグを作成するために、Autodesk Maya を使っていました。また、Henson Digital Puppetry Studio もパイプラインに含まれていました。これは、Jim Henson Company 独自のハードウェアとソフトウェアのツールのスイートで、パフォーマンス キャプチャ システムと、機械的にパペットを操作するデバイスで構成されます。
この連携のために、Ortega 氏のチームは Henson Nodeflow エンジンを作成しました。これは独自のリアルタイム スタンドアローン アニメーション エンジンであり、システム間のゲートウェイとして機能します。
Maya のシーンは Nodeflow グラフにエクスポートされます。Nodeflow グラフは、Maya のディペンデンシー グラフを模したものであり、Maya のノードの機能をエミュレートして、インポートしたキャラクターを実行します。ジョイント、コンストレイント、カーブ、ブレンドシェイプや、ドリブン キーの設定などの複雑な機能をエミュレートします。それから Nodeflow はデータを Unreal Engine に渡します。ベティの場合、フレームあたり 1.5 ミリ秒で 4,000 ノードが Unreal Engine に送信されました。
キャラクターのスケルタル アニメーションをリアルタイムで実行するために、Ortega 氏のチームはカスタムのストリーミング アプリケーションを作成し、Henson Digital Puppetry Studio からの出力を Live Link 経由で Unreal Engine に送信しました。Live Link は、外部ソースからのアニメーション データをストリーミングして利用するための Unreal Engine のインターフェイスです。
Image courtesy of Disney+
また、同じ接続を Unreal Engine のビジュアル スクリプティング言語であるブループリントとも連動させました。これによって、稲妻、表情の変化、部屋の間のテレポーテーションなど、リアルタイムのエフェクトをパペットの操作者がトリガーできるようにしました。
Henson Performance Control System でプログラミングされたキャラクターの属性に、十数個のブループリント パラメーターを接続しました。これによって、パフォーマーは、アカデミー賞を受賞したパペット操作インターフェイスを使い、手の動き、ペダル、スライダーなどの入力によって、明るさ、頻度、エフェクトの度合いなどを調整できるようになりました。
こうした努力の甲斐あって、ベティはゲストとやり取りできるようになり、セレブリティを喜ばせています。
ヘンソン氏は次のように述べています。「ゲストは、セットに来て、ベティが本当にここにいるのだとわかったとき、とても喜んでいました。おそらくポスト エフェクトで追加されるものだと思っていたのでしょう。セットにいるゲストにとっては、錯覚は完全なものでした。操作者を目にすることはなく、ネッド、コーネリアス、ベティが目の前にいるだけです。これは実際に体験してみるとすばらしいものです」
Henson Performance Control System でプログラミングされたキャラクターの属性に、十数個のブループリント パラメーターを接続しました。これによって、パフォーマーは、アカデミー賞を受賞したパペット操作インターフェイスを使い、手の動き、ペダル、スライダーなどの入力によって、明るさ、頻度、エフェクトの度合いなどを調整できるようになりました。
こうした努力の甲斐あって、ベティはゲストとやり取りできるようになり、セレブリティを喜ばせています。
ヘンソン氏は次のように述べています。「ゲストは、セットに来て、ベティが本当にここにいるのだとわかったとき、とても喜んでいました。おそらくポスト エフェクトで追加されるものだと思っていたのでしょう。セットにいるゲストにとっては、錯覚は完全なものでした。操作者を目にすることはなく、ネッド、コーネリアス、ベティが目の前にいるだけです。これは実際に体験してみるとすばらしいものです」
Image courtesy of Disney+
宇宙人ネッドのトークショーで、そのまま放送できるレベルでのリアルタイム レンダリングに成功したことを受け、Jim Henson Company のチームでは、このコンセプトをどこまで拡張できるか試そうという機運が高まっており、さらなるテストがすでに行われています。
Image courtesy of Disney+
ヘンソン氏は次のように述べています。「全編 CG アニメーションのテレビ番組で、ポストプロダクションのパイプラインが不要なショットの割合が増えれば増えるほど、当然ながら制作の効率は向上します。Unreal を使えば、これまでよりずっと高い品質、完成品レベルの映像をリアルタイムで得ることができます。これは Unreal なしではできなかったことです。ずっと長い間努力してきたのですが、できていませんでした」
「Unreal を使えば、実写のセットで完成品の CG アニメーションを作り出し、それから実写の映像の制作と同じように編集に移って完成させることができます。これはすばらしいことです」
「Unreal を使えば、実写のセットで完成品の CG アニメーションを作り出し、それから実写の映像の制作と同じように編集に移って完成させることができます。これはすばらしいことです」
Unreal Engine を今すぐ入手しましょう！
世界で最もオープンで高度な制作プラットフォームを入手しましょう
Unreal Engine はそのままでフル機能と完全なソースコードアクセスを提供し制作準備ができています。
Unreal Engine はそのままでフル機能と完全なソースコードアクセスを提供し制作準備ができています。