视频

Kling V4.0 Reference-to-Video:把图片、视频和声音融进一段视频

Kling V4.0 Reference-to-Video 把最多十张图片、五段视频和三段音频融合成一段新视频。@ 标签的用法、三个配方和一次低成本测试。

阅读约 1 分钟
三张空的玻璃幻灯片靠在一个黄铜小胶片盘上,放在暗色桌面上,被一道斜向的紫色光束照亮

大多数视频模型接收一张图片,然后想象其余部分。Kling V4.0 Reference-to-Video 接收的是一整个文件夹:最多十张参考图片、最多五段参考视频和最多三段音频,并用它们生成一段 3 到 30 秒的新视频。一张图里的角色,另一张图里的夹克,一段手机视频里的运镜,一段录音里的声音。这是目录里最接近给一个小摄制组下简报的东西,而和任何简报一样,只有讲清楚谁是谁才行得通。

唯一的规则:在提示词里点名每个参考

每个上传的文件按位置获得一个标签:第一张图是 @Image1,第二张是 @Image2,以此类推;视频是 @Video1 到 @Video5,音频是 @Audio1 到 @Audio3。提示词是必填的,你要在这里说明每个参考的用途。上传了却从未提到的参考,对模型来说只能靠猜。记住上传的顺序,因为写好提示词后再调换两张图片,会悄无声息地调换它们的角色。

配方 1:同一个角色进入新场景

两张图片:角色的正面照和服装的细节图。别的都不要。这是在加入动作参考之前,检验模型能否保持脸和衣服的最简单方法。

提示词
@Image1 是那个女人,@Image2 是她的红色雨衣。她从夜市走进细雨中,拉起雨衣的兜帽,回头越过肩膀望去。湿漉漉的街道上映着霓虹倒影,从侧面缓慢跟拍。
时长 5,画面比例 auto。很适合第一次运行。

配方 2:从真实视频借一个运镜

参考视频位于高级设置中。它们引导动作、镜头和节奏,所以一段你绕着桌子走的十秒手机视频,可以变成围绕一件从未存在过的产品的环绕镜头。所有视频加起来最多使用 30 秒。

提示词
@Image1 是那只陶瓷茶壶。沿用 @Video1 的镜头路径:在桌面高度缓慢环绕,最后以壶嘴的特写结束。窗外照进晨光,蒸汽升起,一张木桌。
一张产品图,加一段你自己手持拍摄的环绕视频。

还有一个叫保留原声的开关。打开后,视频会保留你参考视频的声音,而不是生成新的音频。它只在你上传了视频时有效,当参考视频里已经有你想要的音乐或环境声时,这是正确的选择。

配方 3:一个声音和一张脸

参考音频同样位于高级设置中,用来引导结果的声音和音效。每段应在 5 到 30 秒之间。生成的视频带有同步的立体声音频,所以角色可以在模型构建的场景里,用你录音的语气说话。

提示词
@Image1 是年迈的灯塔看守人,@Image2 是灯塔。他提着一盏灯站在楼梯顶端,用 @Audio1 的声音对着镜头说话,缓慢而温暖,背景里有风声和海浪声。
两张图片和一小段语音样本。等 720p 草稿看起来没问题后再试 1080p。

重要的设置

  • 分辨率: 默认 720p,按需选择 1080p。草稿用 720p。
  • 时长: 3 到 30 秒之间的任意整数,默认 5。视频越长,模型就有越多时间偏离参考,所以先用一个好的短版本证明值得加长。
  • 画面比例: auto 会跟随你的参考图片或视频。只有在发布平台需要时才设置 16:9、9:16、1:1 或 21:9,并且要给它形状相近的参考素材。

它的不足之处

十个参考是上限,不是目标。互相矛盾的图片(同一个人的两种不同发色、白天的服装配夜晚的场景)会得到一个取平均的结果,而文字和首饰这类小细节通常最先出现偏差。如果你只需要让一张图片动起来,Kling V4.0 Image-to-Video 模型更简单,还能控制首帧和尾帧。想了解如何挑选彼此一致的参考,请阅读用参考图保持风格一致;同一任务的另一种做法,请看 Vidu Q4 参考生视频指南。完整列表在模型页面上。

常见问题

我怎么告诉模型哪个参考是哪个?

在提示词里用标签:图片按上传顺序是 @Image1、@Image2 等,视频用 @Video1,音频用 @Audio1。

我最多能用多少个参考?

最多十张图片、五段视频和三段音频。视频和音频位于高级设置中。

视频能有多长、多清晰?

3 到 30 秒,默认 5 秒,720p 或 1080p,带同步立体声音频。

#视频#模型#参考生视频

继续阅读

全部文章 →