Как сказать ИИ-видеомодели, что менять нельзя: условия сохранения для изображения в видео
Лицо плывёт, этикетка превращается в кашу, логотип съезжает. Добавьте в промпт короткий список того, что сохранить, и перестаньте множить слова о движении.
Вы оживляете предметный снимок, и к третьей секунде этикетка превращается в кашу. Вы оживляете портрет, и к концу ролика на нём уже немного другой человек. Обычная реакция - переписать движение: медленнее, плавнее, кинематографичнее. Это редко помогает, потому что проблема была не в движении. В промпте просто ничего не говорилось о том, что должно остаться.
Эта статья о недостающей половине: об условии сохранения, коротком предложении, которое называет, что модель должна сохранить из стартового кадра. Как выбирать слова для движения, разобрано в статье о промптах движения для изображения в видео, а весь путь от кадра до ролика описан в статье как превратить фото в видео. Здесь речь только о списке того, что сохранить.
Почему больше слов о движении делает хуже
Каждый глагол в видеопромпте просит модель что-то перерисовать: облёт перерисовывает стороны предмета, которых она никогда не видела, порыв ветра перерисовывает волосы и ткань, смена света перерисовывает каждую поверхность. Каждая перерисовка - шанс, что детали поплывут. Сложите шесть фраз о движении, и вы попросили шесть видов изменений, не дав ни одной причины что-либо беречь.
Условие сохранения работает наоборот: оно называет неподвижные точки, и изменения уходят в другое место. Одно движение и ясный список того, что сохранить, держатся лучше, чем пять движений без списка.
Что входит в список сохранения
- Внешность: лицо, причёска, одежда. То же лицо и тот же наряд на протяжении всего ролика.
- Надписи: этикетка, логотип на кружке, вывеска. Назовите предмет, на котором надпись, и попросите, чтобы она оставалась чёткой.
- Форма: бутылка, которая не должна вытягиваться, здание с прямыми стенами.
- Композиция: место объекта в кадре, линия горизонта. Неподвижная камера - самый надёжный хранитель композиции.
- Фон и стиль: комната или небо, цветокоррекция, направление света, стиль исходного кадра.
Ограничьте список двумя-тремя пунктами, теми, из-за которых вы забракуете ролик. Список из десяти пунктов модель воспринимает как любой длинный промпт: несколько слов учитываются, остальные отбрасываются случайно.
Форма хорошего промпта: двигайте одно, сохраняйте остальное
Сначала опишите движение одним предложением, затем условие сохранения вторым предложением, которое начинается с ясного глагола: сохранить, остаётся, без изменений. Конкретные существительные лучше общих. "Оставь всё как есть" слишком расплывчато, чтобы по этому действовать; "этикетка и форма бутылки остаются без изменений" модель может сверить со стартовым кадром.
Медленный наезд камеры на бутылку, капли конденсата стекают по стеклу. Этикетка остаётся чёткой и повёрнутой к камере, форма бутылки и фон без изменений.Неподвижная камера. Она моргает, слегка улыбается и чуть поворачивает голову к окну. То же лицо, та же причёска и тот же зелёный свитер на протяжении всего ролика, комната за ней остаётся неподвижной.Неподвижная камера. Пар поднимается от чашки и уплывает влево. Логотип на кружке остаётся читаемым и на своём месте, стол и свет из окна без изменений.Выбирайте движения, которые не трогают то, что вы сохраняете
Условие сохранения - это просьба, и просьба проигрывает, когда движение ей противоречит. "Облёт вокруг бутылки" и "этикетка остаётся повёрнутой к камере" не могут быть правдой одновременно. "Она оборачивается через плечо" и "то же лицо на протяжении всего ролика" спорят друг с другом, потому что модели приходится придумывать сторону головы, которую она не видела. Поэтому планируйте движение вокруг списка сохранения: если важна этикетка, двигайте камеру вперёд, а не по кругу; если важно лицо, двигайте волосы, свет или фон, а голову оставьте примерно на месте.
Где начинается список сохранения: в самом кадре
Модель может сохранить только то, что видит. Этикетка, которая в стартовом кадре мелкая, повёрнута под углом или слегка размыта, в движении чётче не станет. Сначала доведите кадр: важная надпись крупная, резкая и повёрнута к камере. Чтобы исправить кадр перед анимацией, используйте промпт редактирования со своим условием сохранения, как в статье о промптах для редактирования изображений.
Затем оживляйте. В студии действие Animate на любом изображении в ленте или библиотеке открывает видеоредактор с этим изображением в качестве стартового кадра, или можно прикрепить свою картинку. У некоторых моделей в разделе Advanced есть ещё поле Negative prompt. Это правильное место для того, что не должно появиться (мерцание, искажения, лишние пальцы), как объясняет статья о негативных промптах; то, что должно остаться, пишется в основном промпте, позитивными словами.
Тестируйте дёшево, потом запускайте финал
Дрейф проявляется рано, так что короткий черновик говорит почти всё нужное. Сделайте тест на 5 секунд на Motion Lite, от €2.00 за ролик, в низком разрешении и покадрово проверьте пункты из списка сохранения. Если они держатся, переходите к модели и длине, которые нужны для финала. Модели по-разному удерживают стартовый кадр; они перечислены на странице моделей, а статья о выборе ИИ-видеомодели подскажет, какая для чего подходит. Цена каждого запуска видна на кнопке Generate до нажатия.
Чего условие сохранения не может
- Это не замок. Оно повышает шансы, что деталь уцелеет, но не гарантирует этого. Мелкий текст на движущемся предмете - самое слабое место любой видеомодели сегодня, и длинная строка мелкого шрифта часто расплывается.
- Длинные ролики плывут сильнее. У некоторых моделей ролики длятся до 30 секунд, но каждая лишняя секунда - это больше кадров для перерисовки. Для этикетки или лица, которые должны быть точными, короткий ролик надёжнее.
- Оно не вернёт скрытое. Если движение открывает заднюю сторону предмета или профиль лица, модель их придумывает.
- Оно не починит кадр. Кривые буквы на исходном кадре останутся кривыми в ролике, часто ещё сильнее.
Если ролик всё равно плывёт, уберите одно движение, прежде чем добавлять пункт в список. Меньше изменений, названные опорные точки, короткий ролик: вот и весь метод.
Вопросы
Что такое условие сохранения в видеопромпте?
Короткое предложение после описания движения, которое называет, что должно остаться как в стартовом кадре, например: этикетка остаётся чёткой и повёрнутой к камере, фон без изменений.
Писать ли то, что должно остаться, в поле Negative prompt?
Нет. Негативное поле для того, что не должно появиться, например мерцания или искажений. То, что должно остаться, пишется в основном промпте позитивными словами: сохранить, то же, без изменений.
Почему в моём ролике из изображения меняется лицо?
Обычно потому, что движение заставляет модель его перерисовать: поворот головы, облёт или длинный ролик. Используйте небольшие движения, неподвижную камеру, короткую длину и добавьте в промпт "то же лицо на протяжении всего ролика".
Можно ли сохранить этикетку товара идеально читаемой?
Часто, но не всегда. Начните с крупной, чёткой этикетки, повёрнутой к камере, двигайте камеру вперёд, а не по кругу, держите ролик коротким и проверьте дешёвый черновик перед финальным рендером.
