AI、3Dなどとの連携で
常識を変える大きな可能性が
| ── | リアルタイム合成に興味を持っている映像や広告などの関係者は多く、私たちへもRealityに関する問い合わせはかなりあります。その中で多くの方が気にされているのがCGのコンテンツ制作についてでした。RealityはUnreal Engineというプラットフォームを採用していますが、このUnreal Engineでのコンテンツ制作環境について先駆者の津田さんはどう感じているでしょうか。 |
|---|---|
| 津田 | 当社の場合は自社内にCG制作チームがいるので、特に問題を感じたことはありません。僕がRealityに関わり始めた頃は、まだ国内ではUnreal Engine が主流ではありませんでした。でも最近では国内のクリエイターコミュニティもかなり大きくなってきていますし、世界を見渡すとすでに巨大なクリエイターのネットワークが存在しています。視野を大きく広げて制作方法を検討することが予算の問題を含め大切かなと思います。 |
| ── | 実際に海外のクリエイターにCGを発注されたこともあるんですか。 |
| 津田 | ええ、Unreal Engineに関しては旧東欧系に優秀なクリエイターが多いんです。僕自身、ポーランドのクリエイターにネットを介してバーのセットなどを発注したことがあって、日本の相場の3分の1ほどの金額で作ってもらえました。もちろん人によるとは思いますが、信頼おけるクリエイターとつながれば、クオリティはもちろん細かい修正などのサポートに関してもまったく問題がありません。 |
撮影状況に合わせてRealityのパラメーターを調整する津田氏
| ── | 海外に発注すると、たとえばバーといっても微妙に装飾の感性が違ったりすることはないのでしょうか。 |
|---|---|
| 津田 | 実際のイメージ写真を送ったり、きちんと情報が共有できていれば問題ないですね。先ほどのポーランドのクリエイターに日本の和室をオーダーしたことがありました。畳のサイズには規格があって何センチ×何センチだということなど、細かい情報を送って作ってもらいました。ただこのとき面白い話があって、ほぼ完璧なんですが、そのCG画面を拡大して確認していくと、和室なのにコンセントが３つ穴のヨーロッパ仕様になっていました（笑）。世界を相手にするということは、こうしたディテールにも気を配らければいけないんだと改めて思いました。 |
| ── | 今なお現在進行形で試行錯誤されている津田さんですが、ここまでRealityに関わってきて、その可能性、ポテンシャルをどう感じてらっしゃるでしょうか。 |
|---|---|
| 津田 | まず一つには、バーチャルなCG空間がレイヤー構造ではなく3D空間として定義できることです。今までのCG合成だとCGが前、実写の人は後ろという空間定義は絶対でしたが、RealityはCGオブジェクトと現実の被写体の前後関係をリアルタイムに動かすことができる。これは演出効果としては格段に有効なのは間違いありません。それだけで違和感のないリアルな空間が作れますから。 オペレーシションという点では、ネットワークで操作できることが大きいかもしれません。一人がCGの配置を調整して、もう一人がキーイングの調整をするといった作業が1つのノード上で同時にできる。複数のオペレーターが一つの映像制作に同時に関われることはリアルタイム作業にとって大きな利点だと思います。 また、本番時の演出効果で言うと、ノードの中にGUIのボタンを作り、そのボタン操作でCGオブジェクトを動かすことが可能です。たとえばボトルが落ちる、風でカーテンが大きく揺れるという動きのきっかけをGUIのボタンに割り当てておいて、演者の動きに合わせてボタンをクリックする。こうしたワークフローであれば操作が簡単なので、たとえば技術者ではない演出サイドの人に操作を任せることも可能です。 |
| ── | 今後はこんなことができるんじゃないか、と考えていることはありますか。 |
| 津田 | 海外との中継だと今はそれぞれが別フレームに収まって会話するのが普通で、画面はワイプやスプリットになります。でもRealityなら海外からグリーンバックの前で話す人の映像を中継してもらえれば、ローカルにいる演者さんの映像と合成して目の前に2人がリアルにいるかのような、生のトークショーが作れます。映画、ドラマ、CMだったらわざわざ来日せず、しかも日本側も大挙して現地に行かずに、出演シーンを収録できるなんてことも可能ですね。 |
| ── | その際、向こうから送られてくるのはグリーンバックの映像だけで大丈夫なんですか。 |
|---|---|
| 津田 | そうです。リアルタイムでの合成はデータを取り込んでこちら側で処理できますから。 |
| ── | 音楽ライブ配信などで、海外からサプライズゲスト登場なんてことも可能かもしれませんね。 |
| 津田 | 可能性は十分にあります。ただし音楽だと音のディレイ、ズレをどう解消するかといった課題はありますけど。 |
| ── | 津田さんが現在所属されているのはサイバーエージェントのAI事業本部 CG R&Dグループです。こちらではこのリアルタイム合成だけでなく、さまざまな最先端技術研究が進められていますね。 |
| 津田 | はい、AI技術を専門で研究しているメンバーもいます。人物の３DCG化やAIを使った大規模データ分析などと組み合わせることで、いろんな可能性が生まれてくると思います。そのためにもこのシステム単体の可能性、合成やトラッキング精度を高めていく、操作性を追求していくことはもちろんですが、可能性をもっと引き出すことが重要ですね。 |
| ── | 最後に紆余曲折があってこのバーチャルスタジオソリューションに関わることになり、まさにその先頭を走ることになったわけですが、率直な思いを聞かせてください。「とんでもないものに関わったな」でもいいので（笑）。 |
|---|---|
| 津田 | 大変でしたよ。いや今でも大変です（笑）。でもこんなチャンスはなかなかないし、何より最先端のシステムですから関われたのはラッキーでした。そしてなかなか実践に持っていけなかった試行錯誤の時期を大目に見てくれた関係者の皆さんには感謝しています。これからも、誰も見たことのない、やったことのない新しい映像作りにチャレンジしたいと思っています。 |
