Kling V4.0 Reference-to-Video: картинки, видео и голоса в одном клипе
Kling V4.0 Reference-to-Video смешивает до десяти картинок, пяти видео и трёх аудио в одно новое видео. Как работают теги @, три рецепта и дешёвый тест.
Большинство видеомоделей берут одну картинку и додумывают остальное. Kling V4.0 Reference-to-Video берёт целую папку: до десяти референсных изображений, до пяти референсных видео и до трёх аудиоклипов, и собирает из них новый клип длиной от 3 до 30 секунд. Персонаж с одной картинки, куртка с другой, движение камеры из видео на телефон, голос из записи. Ближе всего в каталоге к брифу для небольшой съёмочной группы, и как любой бриф, он работает, только когда ясно, кто есть кто.
Единственное правило: назовите каждый референс в промпте
Каждая загрузка получает тег по своей позиции: первое изображение это @Image1, второе @Image2 и так далее; видео это @Video1 до @Video5, аудиоклипы @Audio1 до @Audio3. Промпт обязателен, и именно в нём вы говорите, для чего каждый референс. Референс, который вы загрузили, но ни разу не упомянули, для модели загадка. Помните о порядке загрузок: если поменять две картинки местами после написания промпта, их роли молча поменяются тоже.
Рецепт 1: тот же персонаж в новой сцене
Две картинки: персонаж анфас и деталь его наряда. Больше ничего. Это самый простой способ проверить, держит ли модель лицо и одежду, прежде чем добавлять референсы движения.
@Image1 это женщина, @Image2 это её красный дождевик. Она выходит с ночного рынка под лёгкий дождь, натягивает капюшон дождевика и оглядывается через плечо. Неоновые отражения на мокрой улице, медленный проезд камеры сбоку.Рецепт 2: позаимствуйте движение камеры из настоящего видео
Референсные видео находятся в расширенных настройках. Они задают движение, камеру и темп, так что десятисекундный ролик на телефон, где вы обходите стол, может стать облётом вокруг продукта, которого никогда не было. Вместе видео используются максимум на 30 секунд.
@Image1 это керамический чайник. Повторите путь камеры из @Video1: медленный облёт на высоте стола, в конце крупно носик. Утренний свет из окна, поднимается пар, деревянный стол.Есть ещё переключатель «сохранить исходный звук». Если он включён, клип сохраняет звук вашего референсного видео вместо генерации нового аудио. Он работает только когда вы загрузили видео, и это правильный выбор, если в референсе уже есть нужная музыка или атмосфера.
Рецепт 3: голос и лицо
Референсные аудиоклипы, тоже в расширенных настройках, задают голос и звучание результата. Каждый должен длиться от 5 до 30 секунд. Клип выходит с синхронизированным стереозвуком, так что персонаж может говорить тоном вашей записи внутри сцены, которую строит модель.
@Image1 это старый смотритель маяка, @Image2 это маяк. Он стоит наверху лестницы с фонарём и говорит в камеру голосом из @Audio1, медленно и тепло, на фоне ветер и волны.Настройки, которые имеют значение
- Разрешение: 720p по умолчанию, 1080p по запросу. Черновики делайте в 720p.
- Длительность: любое целое число от 3 до 30 секунд; по умолчанию 5. Чем длиннее клип, тем больше у модели времени уйти от референсов, так что сначала заслужите длину хорошей короткой версией.
- Соотношение сторон: auto следует за вашими референсными картинками или видео. Ставьте 16:9, 9:16, 1:1 или 21:9, только когда этого требует площадка, и тогда давайте референсы похожей формы.
Где она не дотягивает
Десять референсов это потолок, а не цель. Картинки, которые противоречат друг другу (два разных цвета волос у одного человека, дневной наряд и ночная сцена), дают результат, усредняющий их, а мелкие детали вроде текста и украшений обычно первыми начинают плыть. Если нужно оживить только одну картинку, модель Kling V4.0 Image-to-Video проще и даёт контроль над первым и последним кадром. О том, как подобрать согласованные референсы, читайте референсные изображения для единого стиля; другой взгляд на ту же задачу есть в гайде по Vidu Q4 reference-to-video. Полный список на странице моделей.
Вопросы
Как объяснить модели, какой референс какой?
Тегом в промпте: @Image1, @Image2 и так далее для картинок в порядке загрузки, @Video1 для видео и @Audio1 для аудиоклипов.
Сколько референсов можно использовать?
До десяти изображений, пяти видео и трёх аудиоклипов. Видео и аудиоклипы находятся в расширенных настройках.
Какой длины и чёткости может быть клип?
От 3 до 30 секунд, по умолчанию 5, в 720p или 1080p, с синхронизированным стереозвуком.
