AIにより静から動へ: Stable DiffusionとLuma Dream Machineで30秒の動画を作る

先週に引き続きLuma Dream Machineで遊びます。
とにかく作った画像が動き出すというのが面白すぎてたまらないです。
今回はStable Diffusionで銃を持った女性を作るところから始めます。

背景

唐突ですが私ブラックラグーンが好きなんです。
あの世界観が好きなんですよね。
んで私、主要キャラのレヴィ好きなんです。
銃を持つ女性で真っ先に思い浮かんだのがレヴィだったので、それっぽいキャラクターを作ることにしました。

キャラクター設定

今回作成するキャラクターは以下の通りです

日本かアジア系の女性で20代ぐらい
タンクトップ…スポブラっぽいトップス
ボトムスはデニムのショートパンツ的な感じ
目つきは鋭くてちょっと筋肉質
健康的な美人を目指します

プロンプトの設定

プロンプトはこんな感じです。

, (1girl:1.5), (solo:1.5), (holding handgun with both hands:1.5), focused handgun, single Japanese woman, age 20s, slightly muscular, long legs, shoulder-length silky hair tied back, brown eyes, black pupils, sharp eyes, soft and natural gaze, detailed iris, natural makeup, high detail, sharp focus, realistic style, sports bra, tank top, jean shorts, wearing short boots, shoulder holster, hip holster, leaning against a wall, overlooking from a high vantage point

画像生成の挑戦

今回銃を使うLoRAを使ってみましたがあまり上手く出力されませんでした。
銃を構える手というのは難しいようです。
今回100枚以上作ってますが「これ！」という画像はなかなか出来ませんでした。
それでも何とかそれっぽい画像が出来たので、それを元に動画を作ります。

動画作成のプロセス

これが苦労して作り出した画像です。

プロンプトを微調整しては何枚も出力し全て確認する。
良い画像があればそれを元にして画像を作りまくる。
そしてまた確認するという作業を繰り返します。
絵が描けない人間が絵を生み出そうとするとこんな苦労が必要です。

この画像を元に動画を作ります。
5秒の動画なら結構自然に動いてくれるんですよね。

あまり動きを激しくするとぶっ壊れます。
例えばこんな動画になります。

元画像はちょっと違うんですけど急激に動かしたせいで全く別人になりました。誰！？
難しいんですよねぇ…少しずつ動かしていかないとぶっ壊れます。
一番最初が元画像です。

動画生成の苦労と楽しみ

最初の動画に戻ります。
5秒ずつゆっくりと動かして行こうとしていますが徐々に別人になっていくのです。
顔も変わるし胸もしぼんで男性みたいになってます。
う、うーん…。
何とか銃を撃たせようとしていますが、上手く行かないまま何個も同じような動画を作っています。

やっと出来たのがこれ。

…最後の顔誰！？という感じですけど、銃を撃っている風にはなりました。
銃口からじゃなくて銃の横が爆発してますけど。

マズルフラッシュや弾丸が銃口から出るようにしてとやったはずなのに爆発して大惨事になったりしてます。
なんじゃこりゃー！という感じですね。
まぁ…うん、面白いんですよ。
作り終わったあとに吹き出してますから

LumaDreamMachineのプロンプト

LumaDreamMachineのプロンプトはこちら。少しずつ少しずつ動作を加えていったりしてます。

“A woman in her 20s with shoulder-length hair, wearing a tank top and jean shorts, stands up slowly. The scene takes place in a dimly lit room.”

“Start with a close-up of a woman in her 20s with shoulder-length hair, holding a gun. Slowly pull the camera back as she brings the gun to her chest. She is wearing a tank top and jean shorts. The scene takes place in a dimly lit room.”

“Start with a close-up of a woman in her 20s with shoulder-length hair, holding a gun. Slowly pull the camera back to reveal her full body as she brings the gun to her chest. She is wearing a tank top and jean shorts. The scene takes place in a dimly lit room. Slowly, she points the gun towards the camera.”

“Start with a close-up of a woman holding a gun. Slowly pull the camera back to reveal her full body as she brings the gun to her chest. She then slowly points her right arm and the gun towards the camera, glaring intensely.”

“Start with a close-up of a woman holding a gun. Slowly pull the camera back to reveal her full body as she brings the gun to her chest. She then slowly points her right arm and the gun towards the camera, glaring intensely. She fires the gun. The bullet moves slowly through the air, and the shell casing ejects. The woman smiles.”

“Start with a close-up of a woman holding a gun. Slowly pull the camera back to reveal her full body as she brings the gun to her chest. She then slowly points her right arm and the gun towards the camera, glaring intensely. She pulls the trigger, a muzzle flash appears from the gun’s barrel, and the bullet slowly flies through the air. Afterwards, the woman smiles.”

“Start with a close-up of a woman holding a gun. Slowly pull the camera back to reveal her full body as she brings the gun to her chest. She then slowly points her right arm and the gun towards the camera, glaring intensely. She pulls the trigger. A bright muzzle flash bursts from the gun’s barrel, followed by a puff of smoke. The bullet flies out in slow motion, cutting through the air. The shell casing ejects from the side of the gun, spinning in the air. Afterwards, the woman smiles.”

“Start with a close-up of a woman holding a gun. Slowly pull the camera back to reveal her full body as she brings the gun to her chest. She then slowly points her right arm and the gun towards the camera, glaring intensely. She pulls the trigger. A bright muzzle flash bursts from the gun’s barrel, followed by a puff of smoke from the muzzle. The bullet flies out in slow motion from the barrel, cutting through the air. The shell casing ejects from the side of the gun, spinning in the air. Afterwards, the woman smiles.”

苦労しているのが分かると思います。

上のプロンプトはかなり細かく指定しています。

Enhance promptを付けるか付けないかd絵変わります。
細かく指定せずに「銃を撃つ」ぐらいにして作って見るとこんな感じになります。

1つめ

1つめの画像からはあまり動きを付けません

これが元画像となります。

続きの動画を作る

Extendを使うと、続きから作る事が出来ます。

銃を撃つとしたら大爆発して腕が焦げてました
…あははは

創作プロセスの解説

思ったようにいかないところが面白いところでもあります。
銃を持つまともな画像を作るのが一番苦労しますねぇ…。
指が…指が…指が…。銃も変だし。
指がまともなら銃がおかしかったり人がおかしかったり。
奇跡を待って画像を作り続けるだけです。
それでもこうして試行錯誤しながら作り上げていく過程は非常に楽しく、挑戦しがいがあります。

アイデアの発想から最終的な動画完成までの詳細なステップ

まず、Stable Diffusionでキャラクターの画像を生成し、その画像を元にLuma Dream Machineで動画を作成します。
プロンプトを微調整しながら少しずつ動きを加えていきます
。動きを急激にすると画像が破綻してしまうため、慎重に進めることが重要です。

試行錯誤の過程や、失敗から学んだ教訓

銃を持つ手の描写や動きの自然さを追求する中で、多くの失敗を経験しました。
しかしその中から得られる教訓も多く次の試行に活かすことができます。
失敗を恐れずにチャレンジすることが最終的に満足のいく作品を作り上げる鍵となります。

読者向けのアドバイス

初心者が始める際のアドバイス

Stable DiffusionやLuma Dream Machineを使い始める初心者に向けてのアドバイスとしては、まずは基本的な操作に慣れることが大切です。
プロンプトの設定や細かい調整を行うことで、より質の高い画像や動画を生成できます。
また最初は簡単な動きから始めて、徐々に複雑な動きを試すと良いでしょう。