视频

图生视频动作提示词:哪些词让画面动起来,哪些词让画面变形

让静态图动起来的实用词汇表:站得住的运镜、主体和节奏用词,会引起变形的说法,以及五组修改前后的提示词对照。

阅读约 1 分钟
一台老式手摇电影摄影机摆在深色桌面上,镜头映着一束紫色光,一缕薄雾横过画面

当一张静态图变成短片时,模型保留你的画面,并加上你画不出来的那样东西:时间。提示词就是你告诉它时间该如何流逝的地方。大多数令人失望的图生视频结果不是模型的失败,而是词汇的失败:提示词把画面又描述了一遍,或者在一段 5 秒的短片里要了四种动作。这篇是词汇表而不是教程:哪些词能可靠地让画面动起来,哪些词会可靠地把它融化,以及五条从前者改写成后者的提示词。分步指南讲了如何附上首帧和选择时长;这篇只讲该输入什么。

这一页上每个词背后的规则

一条动作提示词有三个槽位:镜头做什么、主体做什么、空气做什么(风、水、烟、光)。每个槽位填一个具体、有方向的短语,其余留空。模型把一段短片当作一笔变化预算来读;每多一个短语就花掉一部分,预算用完后,模型就开始改动你没要求的东西。那就是变形。

站得住的运镜用词

  • 固定镜头,锁定机位。 整个语言里最安全的短语。只要主体是人脸、产品或任何有直边的东西,就用它。
  • 缓慢推近或缓慢拉远。 朝主体轻轻靠近或远离。“缓慢”在这里真的起作用;去掉它,模型可能会赶速度并把画面抹糊。
  • 轻柔左摇或轻柔右摇。 转动视角。首帧边缘有值得摇过去看的东西时效果最好。
  • 缓慢上摇。 适合建筑、树木,以及任何上方有天空的高大物体。
  • 绕主体小幅环绕。 对桌上的物件很讨喜;对人物有风险,因为头部的另一侧必须凭空编出来。
  • 手持漂移。 一点纪录片式的轻微晃动。看起来像实拍;务必保持“轻微”,否则会变成地震。

站得住的主体用词

选自带方向和速度的动词。“缓缓转向镜头”“蒸汽从杯中升起”“窗帘在微风中掀起”“狐狸低头饮水”。每一句只点名一个身体部位或一件物体、一个动作、一种节奏。如果主体是人,最小的动作最有说服力:一次眨眼、一次呼吸、一个瞥视、头发的轻微晃动。一个横跨画面的完整手势,等于要求模型每秒重画十二次那只手,手部与文字指南解释了为什么这很少有好结果。

站得住的氛围用词

  • “云朵缓缓飘过天空”
  • “烛光摇曳闪烁”
  • “雨水顺着玻璃流下”
  • “尘埃在光束中浮动”
  • “海浪涌上来,泡沫漫过沙滩”

氛围是你能买到的最便宜的动作。它发生在主体后面或周围,所以模型可以把主体保持得和原图一模一样,同时让短片显得有生气。如果一张静态图没有明显的氛围元素,就点名一个合理可能存在的:“空气中一层薄雾”几乎从不出错。

会变形的词

  • “动感”“史诗”“电影感”“戏剧性”。 它们不带方向也不带速度。模型会用随机的大幅运动来填补空缺。
  • 一段短片里两种运镜。 “先右摇再推近”是两个镜头。做成两段短片。
  • 变换类动词。 “变成”“化为”“渐变为”。你是在要求这张画面不再是你的画面。
  • 任何“快”。 “迅速”“飞快”“冲刺”。速度意味着每帧更多变化,每帧更多变化意味着更多凭空编造的像素。
  • 朝镜头走来。 脚会冻住,头会漂移,双腿像剪刀一样交错。如果非走不可,保持短促,并加上“自然步态,双脚在动”。
  • 重新描述场景。 “一个穿红大衣的女人站在日落时的湖边”已经在图里了。它的每一个字都在和动作用词争夺注意力。

五条提示词,修改前后

提示词
修改前: 史诗电影感的城堡镜头,戏剧性运镜,云,飞鸟,旗帜飘扬,动感光效
四个动作来源,没有方向。等着塔楼歪斜吧。
提示词
修改后: 固定镜头。云朵在城堡后方缓缓飘过,最高塔楼上的旗帜在微风中轻轻起伏。
一个氛围动作,一个小幅主体动作,镜头锁定。
提示词
修改前: 女人微笑着走到窗前向外看,同时镜头环绕着她
一段短片里塞了走动、转身、表情和环绕。
提示词
修改后: 缓慢推近。她眨了眨眼,目光瞥向窗户,头发在敞开的窗扇吹进的气流中轻轻飘动。
运动感由镜头提供;她几乎不必动。
提示词
修改前: 产品快速旋转展示所有侧面,带炫酷特效
“快速”“所有侧面”和“特效”是三种索要变形的方式。
提示词
修改后: 绕瓶子小幅、缓慢环绕,标签保持清晰,柔和的反光滑过玻璃。瓶身形状和比例不变。
说明什么不能变,和说明什么该变一样有用。
提示词
修改前: 让这幅画活过来
没有任何可以抓住的东西。模型会替你做选择。
提示词
修改后: 固定镜头。画中的水面轻轻泛起涟漪,小船晃动一下,水面上的光闪烁。保留笔触质感。
提示词
修改前: 猫从桌上跳下来跑出房间
主体离开了画面;它留下的空位由什么来填?
提示词
修改后: 固定镜头。猫的尾巴甩了一下,耳朵转向某个声响,它缓缓眨眼。

节奏用词与短片长度

“缓慢”“轻柔”“渐渐”和“轻微”不是装饰:它们降低模型每帧尝试的变化量,而这正是让静态图保持原样的关键。把它们和短片段搭配使用。工作室在部分模型上最长可渲染 30 秒,但一段 5 秒、只有一个干净动作的短片,几乎总比长片更可用,也更便宜,因为价格随秒数和分辨率增长,并在你确认前显示在编辑器里。先用最低分辨率测试用词;动作对了,再重新渲染最终版。如果渲染失败,金额会自动退回你的余额。

哪个模型最听话

工作室里的每个视频模型都能通过动画化操作或参考图按钮接收首帧,但它们对动作用词的理解程度不同。当物理合理性重要时,尤其是水和布料,Motion Real 是首选。Motion 在最高分辨率下给出最多细节,也能容忍稍长一点的提示词。Motion Turbo 用来快速验证一个想法到底能不能动。模型对比把它们并排放在一起,如果你不用首帧直接生成,文生视频指南有更长的运镜词汇表。

任何提示词都做不到的事

动作提示词无法往画面里添加原本不存在的东西并让它看起来浑然一体;一个走进来的新角色会被凭空编造。镜头一动,它就无法让一长行文字保持可读,所以有包装或标牌的镜头请锁定机位。它无法跟着主体出画并展示主体背后的东西。它也无法把一张模糊或构图糟糕的静态图变成清晰的短片:首帧就是上限。先把图片修好,再打开工作室,附上它,然后输入三个槽位的词。

常见问题

为什么我的图生视频短片会变形或融化?

通常是因为提示词要的变化太多:好几种动作、快节奏、某种变换,或者像“动感”这样模型只能用随机运动来填补的模糊词。把它削减到一种运镜和一个主体动作,两者都放慢,再加一句说明什么必须保持不变。

我应该在动作提示词里再描述一遍图片吗?

不用。模型已经看到了这一帧。把字数花在将要发生的事情上:镜头、主体、氛围、节奏。

最安全的镜头指令是什么?

“固定镜头”或“锁定机位”。用于人脸、产品和任何带文字的东西,让氛围或一个小幅主体动作来撑起短片。

更短的短片真的更好看吗?

对于单一动作,是的。短片给模型更少的帧去漂移,成本更低,也更容易循环或剪进更长的序列。

#视频#提示词

继续阅读

全部文章 →