Как честно сравнить ИИ-модели для изображений: тестовая сетка, которую можно повторить

Большинство сравнений генераторов изображений устроены так: один промпт, один рендер на модель, победитель объявлен за тридцать секунд. Это похоже на тест, но ближе к лотерее. Одна удачная попытка у слабой модели побеждает одну неудачную у сильной, и вы уходите с фаворитом, выбранным случаем. Этот пост предлагает метод: небольшую сетку, которую можно прогнать за полдня в каталоге моделей студии, и таблицу, куда записывать результаты.

Главное правило: меняйте одно

Сравнение честное, только если два оцениваемых рендера отличаются ровно одной переменной. Если изменились и модель, и промпт, вы не узнали ничего ни о том, ни о другом. Поэтому сначала решите, в чём вопрос, и держите всё остальное неизменным:

• Какая модель? Тот же промпт, то же соотношение сторон, тот же seed, то же качество. Меняется только модель.
• Какая формулировка? Та же модель, тот же seed, те же настройки. Меняется одна фраза. Пост про seed объясняет, почему закреплённое число делает это возможным.
• Какая настройка? Та же модель, промпт и seed, переключена одна опция.

Запишите вопрос вверху таблицы до того, как нажмёте Создать. Это кажется занудством, но именно этот шаг не даёт тесту превратиться в три вопроса, на которые ответили плохо.

Соберите сетку

Выберите двух-трёх кандидатов среди моделей изображений на странице каталога, например Still и Still Lite рядом с одной-двумя другими, на чьих страницах описана ваша задача. Затем возьмите три промпта, которые проверяют разное, а не три версии одной сцены:

1. 01Сцена с композицией. Предмет, место, свет и одно конкретное расположение («лампа слева, окно позади»). Это проверяет композицию и то, насколько буквально модель вас слушается.
2. 02Сцена с текстом или руками. Вывеска с коротким словом или человек с чашкой. Здесь модели различаются заметнее всего. Почему, объясняет пост про руки и текст.
3. 03Сцена с материалом. Мокрый камень, шлифованный металл, шерсть, кожа. Это проверяет текстуру и освещение, то, что люди называют реализмом.

Хорошо напишите каждый промпт до теста: расплывчатый промпт вознаграждает модель, лучше всех угадавшую ваш вкус, а это другое соревнование. Структура есть в гайде по промптам. Затем прогоните каждый промпт на каждом кандидате с одним seed и одним соотношением сторон. Три промпта и три модели дают девять рендеров, такой тест вам по карману.

На что смотреть и в каком порядке

Оценивайте каждую картинку по одному и тому же короткому списку, а не по общему ощущению. Поставьте каждому пункту балл от одного до трёх и напишите слово-доказательство.

• Следование промпту. Всё ли, что вы просили, на месте, там, где вы просили? Посчитайте недостающее.
• Композиция. Идёт ли взгляд туда, куда нужно, пригоден ли кадр, есть ли пространство там, где оно нужно?
• Текст. Буквы правильные, написаны без ошибок, на нужном предмете?
• Руки и анатомия. Посчитайте пальцы. Проверьте места соединения конечностей.
• Текстура и свет. Приблизьте. Материал похож на материал, тени согласуются с одним источником света?
• Артефакты. Размытые края, задвоенные предметы, повторяющийся узор.

Оценивайте, не зная, какая модель сделала какую картинку, если получится. Попросите друга переименовать файлы или закройте подписи. Мы все любим модель, в которую уже верим.

Ведите журнал, как в лаборатории

Достаточно таблицы с одной строкой на рендер: дата, название модели, метка промпта, seed, соотношение сторон, любая изменённая настройка, шесть оценок и строка заметок. Библиотека хранит ваши картинки и позволяет повторно использовать промпт, но расширенные настройки не возвращает, поэтому seed живёт в вашей таблице или нигде. Когда вы вернётесь через месяц, строка точно скажет, из чего сделан результат.

Разрыв или просто шум?

Вот неприятная часть. Даже при закреплённом seed один рендер это одна выборка, и часть разницы между двумя картинками это везение. Несколько способов отличить одно от другого:

• Повторите лучший и худший. Отрендерите тот же промпт на той же модели с ещё двумя seed. Если «плохая» модель выдаёт победителя на втором seed, первый разрыв был шумом.
• Ищите закономерность по промптам. Если одна модель не справилась с текстом во всех трёх сценах, это вывод. Один промах из девяти это бросок кубика.
• Смотрите на тип ошибки. Постоянные ошибки одного вида (всегда размытые буквы, всегда пластиковый блеск) идут от модели. Случайные, каждый раз разные ошибки идут от кубиков.
• Оценивайте размер разрыва. Крошечная разница в баллах между двумя моделями не повод действовать. Модель, выигравшая в восьми строках из девяти, повод.

Пределы метода

Скажем прямо: честный тест всё равно небольшая выборка, и девять рендеров говорят о ваших трёх промптах, а не обо всех картинках, которые вы когда-либо сделаете. Ещё три вещи могут незаметно сломать сравнение:

• Не каждая модель принимает seed. Некоторые держат его внутри, а у Fast Image поля seed нет вообще. Для них нельзя закрепить начальную точку, поэтому нужно больше рендеров на ячейку, а закономерность по многим картинкам важнее любой одной.
• Закреплено не значит идентично до пикселя. Там, где seed есть, мелкие детали между запусками всё равно могут немного различаться.
• Модели меняются. Сравнение это снимок каталога в день запуска. Если модель обновили, переделайте строки, которые имели значение.

Тестируйте дёшево, финал делайте на победителе

Сетка не обязана быть дорогой, потому что большая часть знаний касается ваших промптов и композиций, а не финишной отделки. Начните с формулировок и композиции на Fast Image, самой дешёвой модели, где плохая идея стоит немного. Помните, что это отдельный рендерер, поэтому черновик Fast Image это набросок идеи, а не предпросмотр того, как её нарисует другая модель. Когда промпт заработал, прогоните его на двух настоящих кандидатах, выберите того, кто набрал больше по важным вам пунктам, и тратьте качественные рендеры только на него. Цена видна на кнопке Создать до подтверждения, а пост про повторные попытки показывает, как посчитать, сколько на самом деле стоит пригодная картинка, и именно это число должно решать близкий выбор.

С видео всё работает так же, только ставки на рендер выше; пост о видеомодели применяет эту сетку к клипам. Когда будете готовы запустить свою, откройте студию и начните со строки с вопросом вверху таблицы.