如何公平地比较 AI 图像模型：一张可重复的测试表
公平比较 AI 图像生成器，要固定提示词和种子，只改一个变量。一张测试表、一份评分表，以及如何分清是模型差距还是随机波动。
大多数图像生成器的对比是这样做的：一个提示词，每个模型渲染一张，三十秒就宣布赢家。这看起来像测试，其实更接近碰运气。较弱的模型运气好的一次，可以胜过较强模型运气差的一次，你最后挑出的最爱不过是偶然。这篇文章讲的是一套方法：一张小表格，一个下午就能在工作室的模型目录里跑完，再配一份记录结果的评分表。
唯一的规则：只改一件事
只有当你比较的两张渲染图之间恰好只有一个变量不同，比较才算公平。如果模型和提示词都变了，你对两者都一无所知。所以先想清楚问题是什么，其余一切都保持不变：
- 哪个模型？ 提示词、画幅比例、种子、质量设置都相同，只换模型。
- 哪种写法？ 模型、种子、设置都相同，只改一个短语。种子文章解释了为什么固定这个数字就能做到这一点。
- 哪个设置？ 模型、提示词、种子都相同，只切换一个选项。
在点击生成之前，先把问题写在评分表最上面。这听起来有点较真，但正是这一步，能防止测试跑偏成三个都回答得很糟的问题。
搭建测试表
从目录页的图像模型里挑两三个候选，比如 Still 和 Still Lite，再加一两个页面描述与你的工作相符的模型。然后挑三个考察不同方面的提示词，而不是同一场景的三个版本：
- 带布局的场景。 一个主体、一个环境、光线，以及一个明确的位置要求（「灯在左边，窗户在后面」）。这考察构图，以及模型听你话的程度。
- 带文字或手的场景。 一块写着短词的店招，或者一个端着杯子的人。这是各模型差别最明显的地方。手部和文字文章讲了原因。
- 带材质的场景。 湿石头、拉丝金属、羊毛、皮肤。这考察质感和光线，也就是人们所说的真实感。
A ceramic teapot on a wooden shelf by a window, a hand-lettered paper tag tied to the handle reading OPEN, morning light from the left, steam rising, shallow depth of field测试之前把每个提示词写好；含糊的提示词只会奖励最会猜你口味的模型，那是另一场比赛。提示词指南介绍了写法结构。然后用相同的种子和相同的画幅比例，把每个提示词在每个候选模型上都跑一遍。三个提示词乘三个模型是九张渲染图，这个成本你承担得起。
按这个顺序看什么
用同一份简短清单来评判每张图片，而不是凭整体感觉。每一项给一到三分，并写一个词作为依据。
- 提示词遵循度。 你要求的东西都在吗，位置对吗？数一数缺了几样。
- 构图。 视线是否落在你想要的地方，取景能不能用，该留白的地方有没有空间？
- 文字。 字母对不对，拼写对不对，是不是在正确的物体上？
- 手和人体结构。 数手指，看肢体的连接处。
- 质感和光线。 放大看。材质像不像它该有的样子，阴影是否符合同一个光源？
- 瑕疵。 模糊的边缘、重复出现的物体、重复的图案。
如果可以，在知道哪张图出自哪个模型之前就打分。请朋友给文件改名，或者把标签盖住。我们都偏爱自己已经相信的模型。
像实验笔记一样记录
每张渲染图一行就够了：日期、模型名称、提示词标签、种子、画幅比例、改过的设置、六项分数，以及一行备注。资料库会保存你的图片，也能让你重用提示词，但不会恢复高级设置，所以种子要么记在你的表里，要么就丢了。一个月后回来看，一行记录就能准确告诉你这个结果是怎么做出来的。
是差距还是随机波动？
这里有个不太舒服的事实。即使固定了种子，单张渲染图也只是一个样本，两张图之间的差异有一部分是运气。几个分辨的方法：
- 重复最好和最差的。 用同一个提示词在同一个模型上再换两个种子渲染。如果「差」的模型在第二个种子上出了一张赢家，那第一次的差距就是随机波动。
- 看各提示词之间有没有规律。 一个模型在三个场景里都漏了文字，是一个发现；九张里漏一次，只是掷骰子。
- 看错误的类型。 同一类错误反复出现（总是模糊的字母，总是塑料般的光泽）来自模型；每次都随机出现不同的错误，来自骰子。
- 留意差距的大小。 两个模型之间分数的微小差别不值得据此行动；在九行里赢了八行的模型才值得。
这套方法的局限
直说吧：公平的测试仍然是小样本，九张渲染图说明的是你那三个提示词的情况，而不是你将来要做的每一张图。还有三件事会悄悄破坏比较：
- 不是每个模型都接受种子。 有的把种子留在内部，Fast Image 根本没有种子字段。对这些模型你无法固定起点，所以每个格子需要更多渲染，而且多张图里的规律比任何单张图都重要。
- 固定不等于像素完全一致。 即使有种子，每次运行的细节也可能略有不同。
- 模型会更新。 比较只是你运行那天目录的一张快照。如果某个模型更新了，就把关键的那几行重做一遍。
便宜地测试，用赢家出成品
测试表不必很贵，因为大部分收获来自你的提示词和布局，而不是成品效果。先在最便宜的模型 Fast Image 上调整写法和构图，在这里一个糟糕的想法花不了多少。记住它有自己的渲染器，所以 Fast Image 的草稿只是想法的草图，并不能预览其他模型会怎么画。等你有了一个管用的提示词，就在你真正的两个候选上运行，选出在你在意的项目上得分最高的那个，只在它身上花高质量渲染的预算。价格会在你确认之前显示在生成按钮上，而重新渲染文章教你计算一张可用图片实际花多少，这个数字才应该决定难分高下的选择。
视频也是同样的做法，只是每次渲染的代价更高；视频模型文章把这套测试表用在了视频片段上。准备好开始时，打开工作室，从评分表顶部的那行问题开始。
常见问题
比较两个 AI 图像模型需要多少张图？
足够看出规律，而不是一次胜负。每个模型至少三个不同的提示词是合理的最低要求，对决定结果的格子再用第二个种子重复一次。这仍然是小样本，所以只当作参考。
为什么同一个提示词在两个模型上看起来差别这么大？
每个模型都有自己的训练、自己的风格和自己理解文字的方式。同一个种子换到另一个模型上，起点完全无关，所以差异可能来自模型、来自骰子，或者两者兼有。
其中一个模型没有种子，还能比较吗？
可以，但需要更多渲染。没有种子就无法固定起点，所以每个提示词多跑几张，比较规律，而不是任何单张图片。
