HeyGen Video 1.0 Image-to-Video: оживить кадр в разрешении до 2K
HeyGen Video 1.0 оживляет первый кадр по описанию сцены. Как писать промпт по шагам, в каком разрешении тестировать и что модель сохраняет из кадра.
Для кого эта модель? Для того, у кого картинка уже есть. Снимок товара, придуманный вами персонаж, кадр из раскадровки: HeyGen Video 1.0 Image-to-Video берёт это изображение как первый кадр и разворачивает из него сцену по вашему описанию того, что происходит и как движется камера. Перерисовать начало не получится, зато вы решаете, что будет дальше. Если самой картинки пока нет, начните с модели text-to-image и возвращайтесь.
С чем можно работать
- Изображение. Обязательно. Это первый кадр, и видео сохраняет его соотношение сторон, так что из вертикального фото получится вертикальный ролик.
- Промпт. Обязателен. Поле просит описать сцену, действие и движение камеры, и места в нём хватит на длинное подробное описание.
- Длительность. От пяти до пятнадцати секунд, по умолчанию пять.
- Разрешение. 480p, 768p, 1080p или 2K, по умолчанию 768p.
- Улучшение промпта и сид, оба в расширенных настройках. Улучшение по умолчанию выключено.
Пишите сцену по шагам
Посмотрите на пример на странице модели, и вы заметите, что это не одно длинное предложение. Это крошечный сценарий: где мы, что делает каждый персонаж, пауза, главный момент, а потом отдельный абзац про камеру и ещё один про настроение. Такая форма здесь работает хорошо. Каждый шаг это одна вещь, которую модель должна показать по порядку, а отдельный абзац про камеру не даёт указаниям о движении перепутаться с действием.
Керамический чайник с фото стоит на деревянном столе у солнечного окна.
Из носика начинает виться пар. Справа появляется рука и медленно наливает чай в маленькую белую чашку.
Камера начинает крупным планом на носике, затем отъезжает и показывает стол, чашку и свет из окна.
Спокойное утреннее настроение, тёплый естественный свет, мягкие тени.Рыцарь с изображения стоит на краю обрыва под сильным ветром.
Его плащ взлетает и хлопает за спиной. Он поворачивает голову к долине и кладёт руку на рукоять меча.
Камера медленно облетает его сбоку и выходит на вид из-за плеча, открывая долину и далёкий замок в тумане.
Эпическое фэнтези, пасмурный свет, ощущение масштаба.Витрина магазина с картинки в сумерках. Неоновая вывеска загорается, мимо проходят несколько человек, велосипедист пересекает кадр слева направо.
Статичная камера на штативе, без зума.
Атмосфера городского вечера, лёгкий дождь на тротуаре.Тестируйте дёшево, финал делайте чётким
Цена растёт с секундами и разрешением, и вы видите её на кнопке генерации до подтверждения. Поэтому разумный порядок такой: сначала найти движение, а за пиксели платить в конце. Первые попытки делайте в 480p и на пять секунд. Когда действие читается хорошо, запишите сид понравившегося дубля и сгенерируйте его снова в 1080p или 2K с той длительностью, которая действительно нужна. В новом разрешении ролик может не повториться точь-в-точь, но фиксированный сид и тот же промпт обычно держат его близко к оригиналу; почему, объясняет статья о сидах.
Когда включать улучшение промпта
Улучшение переписывает и расширяет промпт перед генерацией. Оно полезно, когда описание умещается в одну строку и вы хотите, чтобы модель сама додумала детали сцены. Если вы уже расписали шаги, как в примерах выше, оставьте его выключенным: решения вы приняли сами, а переписанный текст может добавить то, о чём вы не просили. Из двух вариантов turbo быстрее, а quality тщательнее.
Честное ограничение
Первый кадр это обещание, которое модель держит в начале, а дальше интерпретирует. Лица, руки и мелкий текст уплывают тем сильнее, чем дальше ролик уходит от исходной картинки, и у пятнадцатисекундного ролика для этого гораздо больше места, чем у пятисекундного. Крупные движения, полный поворот тела или человек, который выходит из кадра и возвращается, первыми выдают проблему. Если человек должен оставаться узнаваемым, держите движение небольшим; нужные слова есть в словаре промптов для движения. Настроек для звука или речи тоже нет, так что рассчитывайте на ролик только с картинкой.
Откройте студию, выберите модель на её странице и начните с лучшего кадра.
Вопросы
Может ли HeyGen Video 1.0 изменить соотношение сторон моего изображения?
Нет. Видео сохраняет соотношение сторон первого кадра, поэтому обрежьте картинку до нужной формы до загрузки.
Какой длины может быть ролик HeyGen Video 1.0 image-to-video?
От пяти до пятнадцати секунд. По умолчанию пять, и в коротком ролике объект остаётся ближе к исходному изображению.
Какое разрешение выбрать?
Тестируйте в 480p, чтобы найти движение, а понравившийся дубль сгенерируйте снова в 1080p или 2K. Цена каждого варианта видна на кнопке генерации.
