视频

MiniMax H3 Lite 参考生视频:该给它喂什么

MiniMax H3 Lite 参考生视频用你的图片、视频和音频生成片段。该喂什么,以及如何先低成本检查一组参考素材。

阅读约 1 分钟
一枚哑光黑色相机镜头斜放在深色台面上,一侧被紫罗兰色的光照亮,近乎纯黑的背景里有一层淡淡的薄雾

我们已经把 MiniMax H3 Lite 参考生视频跑了足够多次,可以下这个结论:提示词的重要性不如你放进参考位的内容。模型接收你的主体图片,也可以接收短视频和音频,然后围绕它们写出一个场景。输入对了,成片就能保持可辨认;输入错了,你就是在为一个陌生人的片段付费。这是我们希望一开始就能读到的上手指南,围绕两个问题展开:放进去什么,以及在昂贵的那次运行之前怎么检查。

各个输入到底接受什么

只有提示词是必填,但你还必须至少提供一张参考图片或一段参考视频,所以实际上它从来不是纯文生视频。下面是每个输入位的要求,直接来自模型页面。

  • 参考图片: 最多九张。每条边必须在 256 到 5760 像素之间,宽高比必须在 0.4 到 2.5 之间,所以过细的横幅和过高的竖条都不行。
  • 参考视频(高级): 最多三段,MP4 或 MOV,每段不超过 50 MB。片段会被调整到一个较短的固定范围,整组共用一个总时长上限:较长的会被裁短,较短的会被延长。
  • 参考音频(高级): 最多三个 WAV 或 MP3 文件,每个 15 MB。音频不会替你裁剪,而且不能作为唯一的参考。
  • 设置: 从超宽到竖版的画面比例,两种分辨率可选,时长按整秒选择。

把参考素材当作选角来搭配

把每张图片看作一个角色。一张干净的人像代表人物,一张照片代表物品,一张代表场景。模型页面上的示例正是这样做的:一张图里是糕点师,另一张图里是一只红色的鸟,提示词里把它们称作第一张和第二张图。因为参考图是有编号的,所以要在提示词里说明。“第一张图里的厨师”比“那个男人”好用得多。

在昂贵的那次运行之前先检查

  1. 先通读这组素材。 把图片并排摆开,问自己:每张是不是一个不同的角色,有没有哪张和另一张相矛盾(两件不同的外套、两种不同的光线氛围)?把落选的去掉。
  2. 用最便宜的设置跑一遍。 选较小的分辨率和最短的时长。“生成”按钮上的价格会随这两项变化,所以草稿只需成片的一小部分费用。
  3. 先看身份,再看动作。 如果脸、服装或标记在草稿里走样,就去改参考图,而不是改提示词。动作问题用措辞就能便宜地修好。
  4. 然后再放大: 更大的分辨率、更长的时长,以及你要发布的画面比例。

现成的提示词

提示词
使用图 1 里的咖啡师和图 2 里的陶瓷杯。保持她的脸、围裙和杯子的釉面与图中完全一致。咖啡馆吧台前的中景,她把杯子推向镜头,蒸汽升起,窗边柔和的晨光。
参考素材:一张人像和一张产品图。宽屏。
提示词
图 1 里的运动鞋放在图 2 里的湿漉漉的街道上。镜头缓慢环绕这只鞋,雨珠挂在皮面上,霓虹倒影滑过水坑。
参考素材:产品图和一张场景照片。商品列表用方形。
提示词
图 1 里的狐狸小跑穿过图 2 里的雪林,停下来回头看向镜头。保持狐狸的花纹和尾巴。轻柔的手持感。
参考素材:角色和场景。竖版,适合快拍和故事。

什么时候该选别的

如果你已经有确切的首帧,同一家的图生视频是更直接的工具。如果你完全没有参考素材,就用文生视频。想做更全面的比较,视频模型指南和完整的模型列表会有帮助。我们关于参考图集的笔记在这里同样适用。

坦白说的局限

参考素材是引导结果,而不是保证复制。给了九张图,模型要同时处理很多条指令,印刷文字、标志和精细图案这类小细节可能会变模糊或改变。音频位也不会自行让说话与口型同步,所以把它当作氛围和节奏的参考,而不是配音。当某个细节必须做到像素级精确时,先在静态图里修好,再从那张图开始做动画。

常见问题

可以只用参考视频、不用图片吗?

可以。至少需要一张图片或一段视频,所以只给视频就够了。不过音频永远不能作为唯一的参考。

应该用多少个参考?

够覆盖场景中各个角色就行,越少越好。模型最多允许九张图片,但两三张整洁的素材通常比一堆拥挤的素材更忠实。

为什么我的参考图片被拒绝了?

检查它的尺寸和形状:每条边需要在 256 到 5760 像素之间,宽高比在 0.4 到 2.5 之间。

#视频#模型#一致性

继续阅读

全部文章 →