Runway Gen-3 Alphaで実現する魔法のような動画変換
最新のAI技術が私たちの創造性の限界を押し広げ続けています。
今回はRunway社が最近リリースした Gen-3 Alpha モデルの革新的な機能である
「Video-to-Video」を使ってリアルな映像を魅力的な3Dカートゥーン風に変身させる過程をご紹介します。
Video-to-Video：動画スタイル変換の新時代
Runway Gen-3 Alphaの「Video-to-Video」機能は、
既存の動画を入力しテキストプロンプトを使って全く新しいスタイルの動画に変換することができます。
この機能は、動画の忠実度、一貫性、動き、処理速度において、以前のモデルから大幅に向上しています。
利用コスト
Video-to-Video機能の利用にはクレジットが必要です。
- 5秒以下の動画：50クレジット
- 5秒超の動画：100クレジット
最大10秒までの動画が処理可能でそれ以上の長さの動画は自動的に最初の10秒にトリミングされます。
実験：リアルな映像を3Dカートゥーンの世界へ
今回の実験では、2人の女性が都会的な背景で踊る優雅な実写映像を使用しました。
この映像を3Dカートゥーン風に変換することが目標です。
ステップ1：動画の解析とプロンプトの作成
まず、元の実写っぽいStable Diffusionで作った画像を
Claudeのプロジェクト機能を使って詳細に分析してRunway Gen-3のプロンプトを作りました。
※以前使った画像を使い回し
その結果以下のような詳細なプロンプトが作成されました。
“Elegant women dance in bustling cityscape. Graceful movements, flowing dresses. Blue dress twirls, white dress sways. Skyscrapers backdrop. Smooth camera pans, captures fluid motion. Soft diffused lighting, gentle lens flare. Cinematic style, 50mm lens. Dynamic motion alternates with slow motion. Transforms from individual to synchronized dance. Moody atmosphere, iridescent reflections on buildings.”
このプロンプトは映像の主要な要素（踊る女性たち、都市の背景、照明、カメラワークなど）を詳細に記述しており、
AIが理解しやすい形になっています。
ステップ2：Runway Gen-3 Alphaでの変換
作成したプロンプトをRunway Gen-3 Alphaの「Image-to-Video」機能に入力し変換を開始しました。
システムは入力された実写動画とプロンプトを基に実写風の新しい動画を生成しました。
ステップ3：プロフェッショナルな3Dレンダリング
さらに実験を進めてVideo-to-Videoで3Dカートゥーンスタイルを目指します。
新たなプロンプトを作成しました。
“3D cartoon, professionally rendered with volumetric lighting and shadows, womans in the style of professional 3D render, expressive features, 3D ray traced lighting and shadows, high fidelity 3D cartoon render.”
結果：魔法のような変身
結果は驚くべきものでした！
リアルな映像がまるで魔法をかけたかのように3Dカートゥーンの世界に変身しました。
動画は「まるっきり別物」に変化し、プロフェッショナルな3DCGアニメーションのような質感を獲得しました。
なかなか味のある感じではありますが。
女性たちの優雅な動きは維持されつつ、全体的な雰囲気は劇的に変化しました。
建物は幻想的な輝きを帯び、女性達の姿はすっかりアニメ風に…。
アニメーションらしい流動性も獲得しました。
技術の可能性と今後の展望
この実験はAI技術が創造的な表現の新しい可能性を開くことを示しています。
Video-to-Video技術の進歩により、映像制作者やアーティストは既存の素材を全く新しい方法で再解釈し表現することが可能になります。
今後、この技術がさらに発展すれば、
映画製作、広告、アートなど、様々な分野で革新的な表現が可能になるでしょう。
またアマチュアクリエイターにとっても、
高度な映像編集スキルがなくても独創的な作品を生み出せる可能性が広がっています。
一方で、この技術の利用にはクレジットコストがかかります。
長尺の作品を作る場合はかなりの費用がかかる可能性があり、
これは考慮すべき重要な要素です。
しかしその結果得られる創造的な可能性を考えると、
多くのクリエイターにとって価値ある投資となる可能性があります。
Runway Gen-3 Alphaの「Video-to-Video」機能は、まさにデジタルアートの新時代の幕開けを告げるものと言えるでしょう。
創造性の限界が、どこまで押し広げられるのか今後の展開が非常に楽しみです。
