Article
はじめに
今回は私が制作した動画生成AIによるオリジナルショートフィルム「SAMURAI CHEF」のメイキングについて紹介いたします。本記事はAI GENERATED VIDEO CONTESTの参加記録でもあります。
以下、動画生成AIの様々なノウハウを紹介しておりますが、2024年時点における手法である点、ご留意くださいませ。
[PRIZE]
AI GENERATED VIDEO CONTEST / 技術力部門 最優秀賞
| (1) 2024年時点における動画生成AIの概況
生成AIを用いて動画を作成する方法は、従来、フレームごとの静止画をStable Diffusionなどで連続して(前のフレームの画像を用いて次のフレームを)生成AIで作成したものをつなぎ合わせるものでした。
しかし2024年2月以降、OpenAI “Sora”、LUMA AI “DREAM MACHINE”、RUNWAY “GEN-3″はじめこれまでと飛躍的に精度が向上した動画生成AIソリューションがリリースされ続けています。2024年2月以前と以降で生成AIを用いた動画制作フローは大きく変化したと思いますし、期待される(できる)水準も大きく引き上がったと思います。
また生成AIで動画を制作する際、映像中のキャラクターの一貫性をもたせることが課題でした。これに対してLoRAと呼ばれるモデルのファインチューニングを行うことで、同一キャラクターの生成を可能にします。一方、近年ではCharacter Refferenceやその他の手法によってLoRAを用いずとも別々のカットで一貫性をもって同一キャラクターを用いた動画を生成することが容易になってきているという変化もありました。
| (2) AI GENERATED VIDEO CONTEST
上記概況の中、2024年7月〜8月にて、動画生成AI特化の映像コンテスト“AI GENERATED VIDEO CONTEST”が開催されました。このコンテストは大手広告映像制作プロダクションであるAOI Pro.が主催でした。
このコンテストは名前の通り、応募作品の条件として全編動画生成AIで作成している映像である上で、下記2つの部門がありました。
[クリエイティビティ部門]
-概要：「誰も見たことのない世界」を表現した作品の募集
-審査基準：①テーマとの関連性 ②創造性/独創性 ③技術的な完成度
[技術力部門]
-概要：「与えられたストーリーを再現」した作品の募集
-審査基準：①ストーリーの再現性 ②技術的な完成度
私は上記2部門のうち、後者の技術力部門が面白そうだと思いまして本コンテストに参加いたしました。ここからは主に技術力部門の話をしていきたいと思います。技術力部門での「与えられたストーリー」とは以下のようなものでした。
レストランのキッチンでロボットが調理をしている。様々な食材を使って美しい料理ができ上がる。最後にでき上がった料理がカウンターに並ぶ。
※別カットで3回以上、同じロボットが登場すること。
※30秒以内
上記の通り、「1つのカットで作りきらず3つ以上のカットを使用していること」、「その複数カットにおいて同じロボットが登場していること」が求められました。
| (3) 制作におけるポイント
ここからは具体的な制作手順、TIPSについて述べていきます。なお以降の内容は2024年執筆時点のものであり、今後更新されていく可能性が大きい点にご留意くださいませ。
[feature.01] : キャラクター生成
まずはロボットのシェフを生成AIで作成します。
本コンテストでは複数カットで一貫性のあるロボットの静止画を生成する必要があります。そこで意識した点は、生成AIでどうしても厳密に全く同じ画像を生成することは困難な中で、いわゆる表面が滑らかなプレーンなロボットではなく、特徴的なロボットのキャラクターにすることでむしろ細かい差異が気にならなくなるのでは、ということでした。
結果的に私は、「木笠を被り着物を着ている侍風のシェフ」をまずは生成AIで制作することにしました。
次にchat gpt-4oを用いてこの画像を制作するためのプロンプトを生成しました。このプロンプトおよび元の画像をCharacter Referrenceとして用いることで、同一キャラクターの複数アングル画像を生成することができます。
当初は生成したマルチアングル画像を用いて、この侍風ロボットのLoRAを作成しようと思ったのですが、ふとそんなことをしなくても上記手順を踏むことでこのロボットが登場する背景込みのシーンを直接生成できるのではと思い、結果的にLoRAは使用しませんでした。ここまでの手順で各シーンの静止画カットを生成しました。
[feature.02] : 動画生成
次に前述の手順で生成した静止画カットを動画生成AIにインプットしていきます。動画生成AIツールは今回GEN-3とDREAM MACHINEを用いています。全てのシーンで両方のツールを用いて良いアウトプットとなった方を採用しています。どちらのツールも基本的な使い方は同じで、「FIRST/END FRAMEの指定」「動画生成プロンプト」「OPTION SETTING」となります。動画生成は静止画を用いずともプロンプトのみから動画を生成(text2movie)もできるのですが、その場合、複数シーンをつなげてひとつの動画にする場合に各カットのトンマナの微調整は困難になります。今回はすべてのカットにおいてまずは静止画を生成AIで制作し、その画像をFIRST FRAMEあるいはEND FRAMEとして入力し動画を生成(image2movie)しています。
たとえばあるシーンにおける静止画および動画のプロンプトは以下のようなものとなります。
ポイントは2つあります。1つは冒頭の”A medium close-up shot”というプロンプトです。ショットには”over the shoulder”や”cowboy cut”など専門用語がありますので表現したい演出がありそのカットのイメージが有るならできるだけ専門用語を使用したほうがより狙い通りのカットがでることがあります。もうひとつは”sony α7c 28mm”です。写真はレンズなどのメタ情報が併記されていることが多いため、もしカットごとに絞りなどの狙いがクリアであればレンズ情報も想定して記載するとよいと思います。
その他、FIRST FRAME指定よりもEND FRAME指定のほうが破綻しづらいなど、細かいノウハウは沢山あるのですが、おそらく半年もしない間で各AIツールの進化が起きてそれらのノウハウが置き換わると思います。
| (4) 結果
本コンテストには、190以上の応募があったようです。特にAOI Pro.が映像クリエイターの方、SNSでAI動画を発信している方のスレッドに直接コメントしてコンテストを宣伝していたことから、映像コンテストとして活況であったと思います。実際、私もそのようなSNSコメントを通じて本コンテストを知りました。
技術力部門には最優秀賞1作品、優秀賞3作品が選定されるのですが、私の制作した「SAMURAI CHEF」が見事最優秀賞を受賞いたしました。受賞理由のフィードバックとして「再現度が高いだけではなく、設定にオリジナリティがあって非常にクオリティが高い作品だと思いました。」「ライティングやレンズ感、水・湯気などのシズル要素など、「食材・料理をおいしく見せよう」という意志を強く感じる。」といったコメントをいただいております。
| (5) おわりに
近年、生成AIを中心にテクノロジーの進化は目覚ましいものがあり、2024年における半年間の怒涛の動画生成AIの進化は、ニュースとして知っているだけではなく自らとことん使い込んでノウハウを貯めないとついていけなくなると思いました。本コンテストは、インプット＆アウトプットの場として最適であり、非常に楽しく1.5か月の間取り組むことができました。この場を借りてあらためてコンテストを主催くださったAOI Pro.の皆様にはお礼申し上げます。
人気記事:
