映像制作におけるAIの役割、私たちの考え

ハイブリッドは未来のかたちか

映像をつくる人なら誰でも、ショットに入れたかったのに入れられなかったもののリストを持っています。ロケーション。セット。衣装。天気。光。手伝ってくれるもう一人。映像におけるAIの話題の多くは、ひとつの問いをめぐっています。AIは撮影に取って代わるのか。私たちは、それは問いの立て方が違うと考えています。より大切なのは、そのリストがどうなるかです。

AIを使わなくても、映像制作者は見応えのある良い作品をつくれます。それでも、頭の中にあるものは、画面に映るものよりいつも多いはずです。時間、予算、体力にもっと余裕があれば、さらに先へ進めたでしょう。もっと良いロケーション、もっと良い光、もっと多くの出演者、もっと大胆なカメラワーク。どこかの段階で、構想は実現できる範囲に合わせて削られていきました。

これが、私たちの言うハイブリッドワークフローです。自分が得意で好きな部分は、これまでどおり自分で行います。構想のうちフレームに収まらなかった部分を、あとからAIで補います。実際の映像を撮影し、その映像をもとに最終的な動画を生成します。私たちはこれが映像でAIを使ういちばん良い方法だと考えており、このページの例はすべてこの方法でつくりました。

撮影素材 AIで現像

先に進む前に、上の例を見てください。片方は私たちが撮影したもの、もう片方は公開したものです。私たちが自分で決めたことは、両方に入っています。自分たちだけでは用意できないものは、片方にしかありません。ここから先は、なぜこれが成り立つのかを説明します。

仕組み

空けておいた部分は、モデルが埋める

私たちの多くは、AI動画とよくない形で出会いました。オール・オア・ナッシングの技術として紹介されたからです。プロンプトをひとつ入力すれば、動画がまるごと出てくる。正直なところ、私たちのような人間にとっては受け入れがたいものでした。すでに得意で、楽しんでやっていることを、何かに取って代わられる必要はなかったからです。

当時見えていなかったのは、私たちが出会ったのが、とても広い幅のうちの片方の端にすぎなかったということです。その端では、プロンプトを入力すると動画全体が生成されます。カメラをまったく持たない人にとって、それは確かな入口です。けれども、映像におけるAIはオンとオフのスイッチではありません。幅のあるもので、どれだけ使うかは自由に決められます。そう紹介されなかったので、私たちの多くは中間を探そうとしませんでした。

根底にあるルールはシンプルです。空けておいた部分を、モデルが埋める。一文だけを渡せば、カメラ、俳優、タイミング、部屋まで、すべてをモデルが埋めます。完成した作品を渡せば、埋める部分は何も残りません。その両端のあいだはすべてハイブリッドで、どこに立つかはショットごとに自分で決められます。

撮影に持ち込んだものがひとつ増えるたび、モデルがつくり出すものはひとつ減ります。

ハイブリッドワークフロー

手元にある映像から始める

まず、シーンを実際に撮影します。本物のカメラ、本物のレンズ、本物の動き、本物のタイミング。レンズの前にあるものも、実際にそこにあるものです。次に、その映像をAIに渡してショットを仕上げます。撮影した動きとタイミングはそのままに、環境、衣装、小道具、ライティング、時代設定、さらには人物まで変えられます。最後の点について、ひとつ正直に付け加えておきます。画面に映る人物を変えるときは、事前に演者の同意を得ること。本人の知らないところで行うものではありません。

フィルムで撮影したことがある人なら、このたとえはすぐにわかるはずです。撮影はネガ、AIによる処理は暗室です。ネガには、その瞬間の真実がすべて記録されています。暗室は、それを世の中にどう見せるかを決めます。暗室を写真の作者と呼ぶ人はいません。写真のいちばん大切な部分は、すでにできあがっているからです。

このページの例は、当時手元にあった手段で撮影しました。スタジオ、自社の機材、少人数のチーム。思い描いていた作品のようには見えませんでしたし、そう見える必要もありませんでした。私たちが力を注いだのは、カメラの動きと、レンズの前で起きることです。完成版が撮影素材とどれほどきれいにつながっているか、ぜひ見てください。

撮影風景
元の仕上がり
AI-developed

片方からもう片方へ引き継がれているものは、すべて私たちが現場で決めたことです。

うまくいく理由

求めるものを、いちばん正確に伝える方法

クリエイティブのコントロールは、結局ひとつのことに尽きます。求めるものを、どれだけ正確にモデルへ伝えられるか。そして、いちばん正確に伝えられる言語は言葉ではありません。映像です。

モデルは映像を「構造」として読み取ります。動き、タイミング、フレーミング、シーンの空間的な配置。これらはすべてそのまま残ります。モデルがつくるのは「見た目」です。質感、光、顔、環境、空気感。つまり映像を渡すということは、ショットを説明するのではなく、見せるということです。カメラがどこにあり、その前で何が起き、それがいつなのか。誤解される余地はもう残っていません。

これは、カメラを持たずにAI動画を始めた人にとっても大切な話です。言葉だけで進めるほうがかんたんに見えます。けれども、求めるものはすべて文章にしなければならず、モデルはその文章から推測するしかありません。試して、確認して、調整して、また試す。AI動画の生成は無料ではないので、その一回一回にコストがかかります。

カメラがあれば、それが変わります。どんなカメラでも構いません。参考映像を撮ることは余計な手間ではなく、意図をいちばん直接的に表現する方法です。現実から集められるものが多いほど、モデルが推測する部分は少なくなります。多くの作品では、すべてをテキストから組み立てるより、そのほうが仕上がりもよく、費用も抑えられます。カメラを手にするつもりがなかった人も、一度考えてみる価値はあるはずです。

撮影した映像と仕上がりが一致しているのは、特別な工夫をしたからではありません。同じフレームをそのまま入力しただけです。

人間の核

もうひとつの価値、残る現実

このワークフローで得られるものが、もうひとつあります。予算表には決して載らないものです。

正直に言いましょう。何も撮影されていない映像を見るとき、多くの人が居心地の悪さを感じます。原因は映像の破綻ではありません。それは急速に減っています。作品の背後に、実際の瞬間がないことです。誰もどこにも立っておらず、誰も誰かを見ておらず、何も実際には動いていない。観る人は、言葉にできなくてもそれを感じ取ります。懸念は、AIが映像をつくることではありません。映像が、実際に起きた出来事とのつながりを失ってしまうことです。

撮影する手段がなければ、そのつながりは持てません。作品は別の方法で人を納得させる必要があり、実際にそれができている作品もたくさんあります。けれどもカメラがあれば、そのつながりを保てます。しかも、そのためのコストはほとんどかかりません。このページのどの例でも、目に見える動きは実際に起きた動きで、タイミングも本物のタイミングです。

Captured
AI-developed

現実をどこまで残すかは、スイッチではなくダイヤルのようなものです。一方の端では、目に見えない合成ツールとして使えます。ショットを撮影したほぼそのままに残し、VFXスタジオが手を加えるような部分だけを変える。背景、小道具、空などです。もう一方の端では、見えるものすべてを変え、人間の核となる部分だけを残せます。動き、演技、そして時間です。ショットごとにその幅のどこを選ぶかは、撮る人自身が決めることです。

カメラワーク

カメラの行き先も、物語の一部

カメラがどこにあり、どう動くかは、飾りではありません。作品が観る人に語りかける主要な手段のひとつです。カメラワークは、演者と同じように人に働きかけます。どこを、どの順番で見るべきかを伝え、何が重要で、何が背景にすぎないかを伝えます。雰囲気をつくり、観る人が誰の目を通して見ているのかを決めます。観る人が気づいていても、いなくても、その働きは変わりません。

そして、これこそが映像制作の大部分でもあります。ロケーション、セット、衣装、照明を取り除いたとき、残るのはフレームの技術です。立ち位置と動きの段取り(ブロッキング)、フレーミング、そしてカメラを動かすこと。各フレームに何を収め、いつ動かし、次にどこへ向かうかを決めること。それが映像を演劇ではなく映画にしているものであり、映像制作者が何年もかけて身につけてきた部分です。

だからこそ、制作の一部をAIに任せるときも、ここは自分の手に残しておく価値があります。カメラワークは生成できますし、多くの場合それなりに説得力のあるものになります。けれども、映像について言えることは、ここにもそのまま当てはまります。求める動きをもっとも正確に表したものは、自分で実際に動かしたものです。自分のタイミング、間の取り方、ターンに入るスピード。実際のカメラで撮った動きには、機材の重さ、それを動かし始めた手、通り抜けた空間が宿っています。そのどれも説明する必要はありません。ただそこにあるのです。

私たちの立場も、はっきりお伝えしておくべきでしょう。edelkroneは、ひとつの信念のもとに生まれました。フレームは物語の一部であり、カメラがどこへ向かうかが観る人の感じ方を形づくる、という信念です。私たちの製品はすべてそこから生まれています。ですから、この主張に私たちが利害を持っているのは明らかです。それでもこう主張するのは、これが私たちの最も強い信念であり、それを守ることが私たちの仕事であり、喜びでもあるからです。

実践に向けて

映像をつくる人にとって、これが意味すること

このページからひとつだけ持ち帰るなら、これです。問題はAIを使うかどうかではありません。AIに何を任せるかです。撮れるもの、撮りたいものは、すべて撮影する。演技、フレーム、カメラワーク、そのほか手段のあるものすべてです。そのうえで、手の届かなかった部分をモデルに補ってもらいます。撮影に持ち込むものが多いほど、モデルが推測する部分は少なくなり、完成した作品のより多くが自分のものになります。

この話には、もっと大きな側面があります。私たちがいちばんわくわくしているのは、そこです。映画が生まれてからずっと、画面に届くのは誰かの頭の中にあるものを縮めたものでした。そして多くの人は、それを何かをつくるための代償として受け入れてきました。その制約が外れようとしています。しかも最初に外れるのは、これまで手段を持てなかった人たちです。私たちはこれから、さまざまな人の頭の中をのぞくことになるでしょう。それは、このページで紹介したどのツールよりも大きな変化です。

カメラは、これからも欠かせません。演技も、監督も、これからも欠かせません。カメラでものをつくることを愛する人にとって、これ以上ない良い知らせです。

好きなことは、自分の手に残す。できなかったことを、完成させる。

私たち自身のAI利用について。当然気になる点だと思います。私たちはカメラモーション機材のメーカーであり、AI企業ではありません。モデルの学習は行っておらず、誰かの映像を販売することもありません。AIツールを使う場合は、一般的で日常的なシーンに限っています。特定のアーティストの作風をまねることはせず、権利で保護されたキャラクター、ブランド、肖像も使いません。こうしたモデルがどのように学習されているかという大きな問題は、まだ議論の途中にあり、それを決着させるのは私たちではありません。ただ、クリエイターは正当な対価を受け取るべきだと考えており、今後の動向を引き続き注視していきます。

DJI and DJI RS are trademarks of DJI.