Stable DiffusionとLumaDreamMachineで挑む一貫性のある動画制作
今回は話題のAI技術、Stable DiffusionとLuma Dream Machineを駆使して、一貫性のある長い動画を作る挑戦をしてみました。
みなさんも「こんな朝が来たらいいな」と思うような理想的なシーンを、AIの力で現実にする旅に出発しましょう！
朝食シーンの構想：AIで描く理想の朝
まずこんな素敵なシーンを思い描きました。
朝の食卓で目の前で女性が微笑んでいて、そこから立ち上がり朝食を作る…。
何だか映画のワンシーンのようですね。
でもこれをAIで実現できたら凄くないですか？
Stable Diffusionでの画像生成：一貫性を求めて
さっそくStable Diffusionで画像を作成しました。
具体的には以下の4枚です。
座っている
立ち上がる
料理を作る
料理を運ぶ
実はこれが今回の挑戦で最も困難な部分でした。
Stable Diffusionで姿形に一貫性を持たせたまま画像を作るのは、想像以上に難しいんです。
この作業だけで3時間もかかってしまいました！
細部が若干異なっているのは避けられず、動画にする際にずれが出てしまいそうです。
でも諦めずに頑張りました！
何枚生成したか分かりません。
Stable Diffusionで同じような画像を作るコツ
ここでStable Diffusionで同じような画像を作るコツをご紹介します
- Seed値を同じにする
- ControlNetのreference_onlyを使う
これらのテクニックを使うと元画像の特徴を引き継ぎながら、背景や服装、画風を変更できるんです。
詳しい情報は、以下の記事を参考にしてみてください
LumaDreamMachineで動画化：試行錯誤の過程
次に作成した画像をLumaDreamMachineに投入します。
最初と最後のフレームに使う画像を指定しプロンプトを入力して生成開始！
ここでも予想外の困難が待っていました。
時々上手く繋いでくれることもありますが、突如としてバケモノのような映像になることも…。
動画を3本作るのにまたしても数時間を要しました。
課金してるからまだすぐ作れますけどね…月30ドルなので今月で解約予定ではあります。
それまでは楽しんでやろうと思ってます。
というのは、余談です。
さて安定した動画を作るのは本当に難しく、一貫した画像になっていない部分が邪魔をしてきます。
失敗作の山を乗り越えてようやく3本の動画が完成しました！
完成作品の評価：AIが描く「朝の物語」
最後に出来上がった3本の動画をChatGPTに入力し、マージしてもらいました。
そして完成した動画がこちら！
…うーん、確かに朝食シーンっぽい感じはしますが、まだまだ改善の余地がありそうですね。
限られた時間での挑戦だったので、ここまでが精一杯でした。
もう少し細かい動作も一貫性を持って作ることができれば、全然違った結果になったかもしれません。
比較のため、同じ光景をRunwayでも作ってみましたが…なんと、日本人ではなく外国人になってしまいました！
AIの想像力の豊かさを感じますね。
AIによる動画制作の未来：可能性と課題
おまけとして討論番組で女性と男性が論戦を繰り広げているシーンも作ろうとしてみました。
結果は…何これ！？という謎動画の誕生です！
今回の挑戦を通じて、AIによる連続動画生成の難しさを痛感しました。
でも技術の進歩は日々すさまじいスピードで進んでいます。
近い将来もっと自然で一貫性のある動画が簡単に作れるようになるかもしれません。
皆さんもAIを使った動画制作に挑戦してみませんか？
思わぬ発見や笑いが待っているかもしれません。
失敗を恐れずに新しい表現の可能性を探ってみてください。
最後にこれらのAI技術が進化していく中で、私たち人間の創造性や感性がどのように活かされていくのか。
そして倫理的な側面も含めて、今後どのような発展を遂げていくのか楽しみでなりません。
さあ、あなたも自分だけの「AI朝食ストーリー」を作ってみませんか？
