视频

如何告诉 AI 视频模型什么不能变:图片生成视频的保持句

融化的脸、变成乱码的标签、漂移的标志。在图片生成视频的提示词里写一份简短的保持清单,别再堆砌动作词。

阅读约 1 分钟
一条电影胶片平放在深色桌面上,一端被圆形透明玻璃镇纸压住,紫色光线穿过柔和的薄雾洒在空白的画格上

你让一张产品图动起来,到第三秒标签就糊成一团。你让一张人像动起来,到结尾已经变成了一个略有不同的人。通常的反应是改写动作:更慢、更顺、更有电影感。这很少有用,因为问题从来不在动作上。提示词里根本没有说什么必须保留。

这篇文章讲的就是缺失的那一半:保持句,一句简短的话,告诉模型必须从起始帧保留什么。如何挑选动作词见图片生成视频的动作提示词一文,从静态图到视频片段的完整流程见如何把静态图变成视频。这里只讨论保持清单。

为什么动作词越多越糟

视频提示词里的每个动词都在要求模型重画某样东西:环绕镜头要重画一个它从没见过的物体侧面,一阵风要重画头发和布料,光线变化要重画每一个表面。每次重画都是细节漂移的机会。叠上六个动作短语,你就要求了六种变化,却没给出任何保护某样东西的理由。

保持句的作用正相反:它点名固定点,让变化去别的地方发生。一个动作加一份清楚的保持清单,比五个动作没有清单更稳定。

保持清单里该放什么

  • 身份: 脸、发型、服装。从头到尾同一张脸、同一套衣服。
  • 印刷内容: 标签、杯子上的标志、招牌。点名承载印刷的物体,并要求它保持清晰。
  • 形状: 不能被拉长的瓶子、墙面笔直的建筑。
  • 构图: 主体在画面中的位置、地平线。固定镜头是最有力的构图保持手段。
  • 背景与观感: 房间或天空、调色、光线方向、静态图的风格。

清单控制在两三项,也就是那些一旦出错你就会弃用这条片段的东西。十项的清单会像任何长提示词一样被对待:少数几个词起作用,其余的被随机丢掉。

好提示词的结构:动一样,保其余

先用一句话写动作,再用第二句话写保持句,以明确的动词开头:保持、不变、维持原样。具体名词胜过笼统名词。“一切保持不变”太模糊,模型无从执行;“标签和瓶子形状保持不变”则是模型可以对照起始帧检查的内容。

提示词
镜头缓慢推向瓶子,凝结的水珠沿玻璃滑落。标签保持清晰并正对镜头,瓶子形状和背景不变。
产品图。一个镜头运动,一个细小的物理细节,再加上买家最先注意到的两样东西。
提示词
固定镜头。她眨眨眼,微微一笑,头稍稍转向窗户。从头到尾同一张脸、同样的发型、同一件绿色毛衣,身后的房间保持静止。
人像。固定镜头和小幅动作让脸几乎没有理由漂移。
提示词
固定镜头。热气从杯中升起,向左飘散。杯子上的标志保持可读且位置不变,桌子和窗边的光线不变。
标志。动作发生在物体上方的空气里,而不是物体本身。

选择不触碰保持对象的动作

保持句只是一个请求,当动作与它矛盾时,请求就会输。“环绕瓶子”和“标签正对镜头”不可能同时成立。“她转身回头看”和“从头到尾同一张脸”也互相冲突,因为模型必须凭空画出它从没见过的头部侧面。所以要围绕保持清单来设计动作:如果标签重要,就让镜头向前推而不是环绕;如果脸重要,就让头发、光线或背景动起来,头部大致保持原位。

保持清单的起点:画面本身

模型只能保留它看得见的东西。起始帧里很小、倾斜或略微模糊的标签,动起来也不会变清晰。先把静态图做好:重要的印刷内容要大、清晰、正对镜头。要在动画之前修正静态图,可以用带有自己保持句的编辑提示词,参见如何写图片编辑提示词一文。

然后再做动画。在工作室里,对动态或图库中的任意图片点击 Animate,就会打开视频编辑器,并把这张图片作为起始帧附上;你也可以附上自己的图片。有些模型还会在 高级 下方显示 Negative prompt(负面提示词)字段。正如负面提示词一文所说,那里适合写不应出现的东西(闪烁、扭曲、多余的手指);必须保留的东西要写进主提示词,用正面的措辞。

先低成本测试,再正式投入

漂移出现得很早,所以一段简短的草稿就能告诉你大部分需要知道的信息。用 Motion Lite 以低分辨率渲染一段 5 秒的测试,每段 €2.00 起,然后逐帧查看保持清单上的东西。如果它们保住了,再换成你想用于成片的模型和时长。不同模型保持起始帧的忠实程度各不相同;模型页面列出了所有模型,如何选择 AI 视频模型一文说明了哪个适合做什么。每次运行的价格在你点击生成按钮之前就会显示在按钮上。

保持句做不到的事

  • 它不是锁。 它能提高细节保留下来的概率,但不能保证。移动物体上的小字是当今每个视频模型最薄弱的环节,一长行小字常常会糊掉。
  • 片段越长漂移越多。 有些模型的片段最长可达 30 秒,但每多一秒就多一些要重画的帧。对必须精确的标签或脸,短片段更安全。
  • 它找不回被遮住的东西。 如果动作露出了物体的背面或脸的侧面,模型就会自己编造。
  • 它不会修复画面。 静态图里扭曲的字母在片段里依然扭曲,而且往往更严重。

如果片段仍然漂移,先删掉一个动作,再考虑增加保持项。更少的变化、点名的固定点、更短的片段:这就是全部方法。

常见问题

视频提示词里的保持句是什么?

放在动作之后的一句简短的话,点名哪些东西必须保持起始帧中的样子,例如:标签保持清晰并正对镜头,背景不变。

必须保留的东西应该写进 Negative prompt 字段吗?

不应该。负面字段用于不应出现的东西,比如闪烁或扭曲。必须保留的东西应写在主提示词里,用保持、相同、不变这类正面的词。

为什么我的图片生成视频片段里脸会变?

通常是因为动作要求模型重画它:转头、环绕镜头或片段过长。使用小幅动作、固定镜头、较短的时长,并在提示词里加上“从头到尾同一张脸”。

能让产品标签完全保持可读吗?

经常可以,但不总是。从一张大而清晰、正对镜头的标签开始,让镜头向前推而不是环绕,片段保持简短,并在正式渲染前先用低成本草稿检查。

#视频#提示词#图片生成视频

继续阅读

全部文章 →