リアルタイム合成への共通理解、新しいワークフローの確立へ｜ユーザーズボイス10

リアルタイムCG合成の世界
トップランナーだから見える未来

株式会社サイバーエージェント／株式会社CyberHuman Productions

津田信彦

リアルタイム合成への共通理解
新しいワークフローの確立へ

──	津田さんがそんな試行錯誤を続け、少しづつ改善というか、課題がクリアされていくなか、サイバーブルの会社としての方向性見直しの話が出てきましたよね。もしかしたらこのシステムも丸ごとどこかに売却されてしまうのではないかと。結果的にこのシステムはサイバーエージェントに移管される形になり、津田さんも併せて転籍されるわけですが。
津田	私が今、所属しているのはサイバーエージェントAI事業本部のCG R&Dグループ。ここでは人物や商品の3DCG化をはじめ、最先端のAIやVR技術を使ったさまざまな取り組みが行われています。このRealityとの親和性が高いことも、一連の動きの大きな要因ですね。
──	そんなAIとの連携などは最後にお聞きすることにして、試行錯誤が現在進行である一方、2020年に入ってからは実績も上がってきましたね。
津田	はい、人物や商品の3Dスキャニングや、Web広告のCGコンテンツ映像企画制作をする専門子会社として、「CyberHuman Productions」も同時期に始動したのでより加速化しました。本格的な実践運用の最初は、2020年1月に撮影したスチャダラパーのミュージックビデオです。これはスマートフォン用のゲームアプリ「ミニ四駆超速グランプリ」にメンバー自身が参加するというオンラインイベントに合わせて発表された書き下ろしの新曲で、スキャン、キャラクター制作、実写パートでのリアルタイム合成撮影を当社が行なっています。撮影はほぼ半日。MVの中で歌うシーンなどは通しで撮ったので、めちゃくちゃ手汗をかきました。「すいませんCGが合わないのでいったん止めてください」なんて言えないですからね。

──	これで驚きなのが撮影時間です。たった半日の収録時間だったわけですから、撮影の現場を知っている人が聞いたらほとんどの人が驚くんじゃないでしょうか。玩具店の店内で歌うメンバーも、CG上で接地感のある表現がしっかりマッチしています。この例は、収録段階でVFXがほぼ完結するRealityの特長の一つが生かされていますね。ところで、最大の売りでもあるライブでの初運用はいつだったんでしょうか。

2020年6月にABEMA TVで放送されたTokyo Virtual Runway Live by GirlsAward

津田	2020年6月にABEMA TVで放送したTokyo Virtual Runway Live by GirlsAwardです。ここのスタジオのグリーンバックをCGで拡張して広く見せながら、フル3DCGのランウェイステージを作り、そこを出演者がファッションショー同様に歩くという形でした。
──	この現場はどうだったんですか？
津田	いやすごかったですね。戦場でした（笑）。
──	意地悪な質問になるかもしれませんが、何が起きていたんでしょう。
津田	正直、合成のクオリティとしては、キーイングがうまくできていなかった場面が多々あります。これは言い訳に聞こえてしまうかもしれませんが、それはRealityやカメラトラッキングシステムの問題というより、CG合成チームと撮影、制作側の意思統一がうまくはかれていなかったことにあると思っています。具体的にいうと、このイベントに際してよりクオリティの高いリアルタイム合成を行うために、まず移動しながら撮影するカメラトラッキングシステムを取り付けたメインカメラが一台。それ以外は固定カメラのショットでとらえましょうという提案を打ち合わせの段階でしました。そうすれば決められた位置での固定ショットのノードをあらかじめ用意でき、キーイングの質も保てますから。ところが、こちらが提案した「設置したらカメラやレンズには一切触らない」という固定の意味が伝わらず、制作サイドが考える固定というのは、カメラの場所は固定だけれどパンしたりズームはするよということだったんです。お互い勘違いに気が付かないまま準備が進行してしまいました。制作サイドの希望を実現するには、各カメラのトラッキング情報がリアルタイムに取れるカメラトラッキングシステムを全カメラに用意すれば解決ですが、それは全体予算を考えると現実的ではない。そこで、カメラの多少の動きであれば、現場でCGオペレーターがリアルタイムに手動でソフトの設定をさわり、キーイングクオリティーを維持するということになったのです。しかし、いざ本番が始まると固定カメラは想定を超えてかなり動いてしまい、キーイングの調整が間に合わない。その度にインカムから怒号が聞こえるという状況でした。

──	それまでの現場のやり方をそのままリアルタイム合成の現場に持ち込んだ、だから現場が混乱したということですね。その点ではまだまだリアルタイム合成のためのワークフローがきちんと確立されていないということなのでしょうか。
津田	コロナ禍の影響もあってイベントやライブ系のオファーが非常に多くなってきていますが、従来の制作業務であればたいして問題でないことでも、合成チームにとっては重要だ・・・っていう部分の共通理解がまだまだできていなかったんです。たとえば先ほどの固定カメラがパンする、ズームするというのも、従来のやり方であれば「演者の動きに合わせてあとは成り行きで」で済むのが、合成サイドにとっては「いやいや、それは成り行きではすまないです」ってなるわけです。
──	実際、合成だから緑の服は着てこないでね、くらいの認識がまだ多いのかもしれません。
津田	ええ。この辺りはリアルタイム合成の現場を多くの人が経験していくことで深まっていくのだと思いますし、こちらサイドからも色々と啓蒙していく必要があると思います。

次ページは
AI、3Dなどとの連携で常識を変える大きな可能性が