Kling V4.0 Reference-to-Video: 画像、動画、声をひとつのクリップに

ほとんどの動画モデルは画像を1枚受け取り、残りを想像します。Kling V4.0 Reference-to-Video はフォルダごと受け取ります。最大10枚の参照画像、最大5本の参照動画、最大3つの音声クリップを使って、3から30秒の新しいクリップを組み立てます。ある画像のキャラクター、別の画像のジャケット、スマホ動画のカメラワーク、録音の声。カタログの中で、小さな撮影チームにブリーフを渡すのにいちばん近い体験です。そしてどんなブリーフとも同じく、誰が誰なのかがはっきりしているときにだけうまくいきます。

ただひとつのルール: すべての参照をプロンプトで名指しする

アップロードしたものには順番どおりにタグが付きます。1枚目の画像は @Image1、2枚目は @Image2、以下同様。動画は @Video1 から @Video5、音声クリップは @Audio1 から @Audio3 です。プロンプトは必須で、それぞれの参照が何のためのものかをそこに書きます。アップロードしたのに一度も触れない参照は、モデルにとって当て推量になります。アップロードの順番は覚えておきましょう。プロンプトを書いたあとで2枚の画像を入れ替えると、役割も黙って入れ替わります。

レシピ1: 同じキャラクターを新しいシーンへ

画像は2枚。キャラクターの正面と、衣装のディテールです。ほかには何もいりません。動きの参照を足す前に、モデルが顔と服を保てるかを確かめるいちばん簡単な方法です。

レシピ2: 実際の動画からカメラワークを借りる

参照動画は詳細設定の中にあります。動き、カメラ、テンポを導くので、あなたがテーブルのまわりを歩いて撮った10秒のスマホ動画が、存在しない製品のまわりを回るショットになります。動画は合わせて最大30秒まで使われます。

元の音を残すというスイッチもあります。オンにすると、新しい音声を生成する代わりに、参照動画の音がクリップに残ります。動画をアップロードしたときだけ使え、参照にすでにほしい音楽や環境音が入っているなら正解です。

レシピ3: 声と顔

参照音声クリップも詳細設定の中にあり、結果の声と音を導きます。それぞれ5から30秒にしましょう。クリップは同期したステレオ音声付きで出力されるので、モデルが作るシーンの中で、キャラクターがあなたの録音の声色で話せます。

大事な設定

• 解像度: 初期値は 720p、必要なら 1080p。下書きは 720p で。
• 長さ: 3から30秒の任意の整数で、初期値は5。長いクリップほどモデルが参照から離れていく時間が増えるので、まず短い版でうまくいってから長さを伸ばしましょう。
• アスペクト比: auto は参照画像や動画に従います。16:9、9:16、1:1、21:9 は出し先が求めるときだけ設定し、そのときは似た形の参照を渡しましょう。

苦手なところ

10枚の参照は上限であって、目標ではありません。食い違う画像(同じ人物なのに髪の色が2種類、昼の服装と夜のシーンなど)を渡すと、それらを平均したような結果になり、文字やアクセサリーのような細部は、たいてい最初にずれが出るところです。1枚の画像を動かしたいだけなら、Kling V4.0 Image-to-Video のほうがシンプルで、最初と最後のフレームを指定できます。食い違わない参照の選び方はスタイルをそろえる参照画像を、同じ仕事への別のアプローチはVidu Q4 reference-to-video のガイドを読んでください。全モデルはモデル一覧にあります。