视频

如何用彼此衔接的短片段做出更长的 AI 视频

AI 视频一次只生成一个短片段。先列好分镜表,锁定一种画面风格,再用首帧、尾帧和延长模型把片段接起来。

阅读约 1 分钟
三格透明电影胶片在深色桌面上首尾相接成一道弧线,两个接缝处闪着细小的紫色光点,一束紫色光从上方落下

工作室里的每个视频模型每次渲染只返回一个片段,而且片段很短。没有人能在提示词框里输入一部一分钟的电影然后直接拿到成片。人们实际的做法更接近传统电影制作:先定好镜头,逐个拍出来,再剪到一起。难点不在长度,而在于让四次独立渲染出来的四个片段,看起来像是同一个摄制组在同一个下午拍的。下面我们用一个小例子从头讲到尾,说明我们会怎样规划:一部关于深夜面摊的短片的开头。

写任何提示词之前,先写分镜表

分镜表就是每个片段一行、按编号排列:画面里看到什么,镜头怎么运动,这个镜头怎样结束。结尾最重要,因为下一个片段要从那里接上。面摊的例子:

  1. 远景。 雨夜的小巷,面摊在尽头亮着灯。缓慢推进。以面摊占满画面中央结束。
  2. 中景。 摊主把汤舀进碗里,热气升进灯光。镜头不动。以盛满的碗结束。
  3. 近景。 筷子从碗里夹起面条,热气缭绕。轻微向下移动。以吃了一半的碗结束。
  4. 再次远景。 从街的另一头看过去,雨中的面摊小而温暖。缓慢拉远。最后一个镜头。

四个镜头,每个只讲一件事。如果一行里需要用到“然后”,那就是两个镜头。文生视频提示词指南解释了为什么一个片段只应承载一个动作。

用一句话锁定画面风格

片段在内容走样之前,早就会在色彩、光线和镜头上各走各的。解决办法是写一行风格描述,只写一次,原封不动地贴在每个提示词的末尾。不是意思相近的词,而是完全相同的词,顺序也相同。

提示词
夜晚,持续的雨,温暖的钨丝灯光映衬深蓝色阴影,湿漉漉反光的街面,35mm 镜头,浅景深,柔和的胶片颗粒,低饱和色彩
四个镜头共用的风格行。只要改动一次,所有用过旧风格行的内容都得重新渲染。

用光源来描述颜色(“温暖的钨丝灯映衬深蓝”),而不是用形容词(“氛围感”),并且整段序列只用一种镜头。配色指南里还有更多模型能稳定遵循的词。

先用静态图做关键帧

静态图比片段更便宜、更快,所以先在静态图上把画面风格定下来。每个镜头用分镜表里的那一行加上风格行渲染一张静态图,一直调整到四张并排放在一起协调为止。然后逐张让它动起来:选一个图生视频模型,用 + 图片 把静态图加为首帧,只描述运动。首帧固定了构图、色彩和场景,而这正是让片段彼此匹配的大部分因素。运动提示词指南列出了哪些运镜词稳定可靠,哪些会让画面扭曲。

衔接两个镜头的三种方法

在一个片段与下一个片段相接的地方,你有三种工具,模型页面把它们都列出来了。可以按任务搜索,也可以按输入类型筛选。

  • 硬切。 两个独立的片段,各自从自己的首帧开始,在你的剪辑软件里接起来。大多数电影本来就是这样剪的,而且它很宽容:从远景跳到近景,眼睛会直接接受,不会追问镜头去了哪里。
  • 首帧加尾帧。 有些图生视频模型接受两张图,一张首帧、一张尾帧,然后补出两者之间的运动(在模型页面搜索“start-end”)。把面摊位于画面中央的那张图作为第一个镜头片段的尾帧,它就会正好停在第二个镜头开始的位置。
  • 延长片段。 视频延长 下的模型接收一个完成的片段,从最后一帧开始,按你描述的内容续出新的一段。它更适合一个连续的长运镜,比如沿着街道的推进,而不是切换机位。
提示词
镜头继续缓慢推向亮着灯的面摊,雨穿过灯光落下,面摊逐渐占满画面中央,夜晚,持续的雨,温暖的钨丝灯光映衬深蓝色阴影,湿漉漉反光的街面,35mm 镜头,浅景深,柔和的胶片颗粒,低饱和色彩
第一个镜头的延长提示词:先描述接下来发生什么,再接上同一行风格描述。模型把片段作为视频输入。

声音:整部片子只决定一次

有几个视频模型的设置里有声音开关。很容易就让它开着,但四个片段配四条分别生成的音轨,每次切换都会跳一下:雨声突然变大,街头的声音也变了。对于一段序列,通常更好的做法是把片段都渲染成无声的,然后在剪辑软件里为所有片段铺一条统一的雨声。如果确实想用模型生成的声音,就在每个提示词里保留相同的声音描述。

工作室在这里做不了什么

它不做剪辑。没有时间线,没有办法把片段合成一个文件,也没有办法从片段里取出单独一帧;这些都需要你自己的视频剪辑软件,它也负责调色匹配和转场。要把一个片段或一帧重新作为输入,就从你的资料库下载,再用 + 视频 或 + 图片 重新添加。从最后一帧延长也并不完美:人脸、手和小字在接缝处往往会轻微偏移,而且每次延长都可能离风格行更远一点,所以每个接缝都要按原尺寸检查。长度依然只能一次渲染一次地累积,每次都有自己的价格,显示在「生成」按钮上。

如果你还在决定镜头,先用故事板方法把它们画成静态草图。分镜表准备好后,打开工作室,从第一个镜头开始。

常见问题

AI 能用一个提示词做出一段长视频吗?

一次渲染做不到。每个视频模型只返回一个短片段,所以更长的影片要么是按分镜表规划、在剪辑软件里接起来的多个片段,要么是用延长模型续写的一个片段。

怎样让 AI 视频片段看起来一致?

在每个提示词末尾贴上同一行风格描述,先在静态图上定好画面风格,再把这些静态图用作首帧。首帧承载了大部分色彩和构图。

尾帧和延长片段有什么区别?

尾帧模型拿到两张图,自己生成两者之间的运动。延长模型拿到一个完成的片段,从最后一帧开始续出新的一段。

#视频#工作流#提示词

继续阅读

全部文章 →