Vidu Q4 image to video: оживить кадр со звуком и речью

Большинство моделей, превращающих картинку в видео, отдают немой клип, а звук оставляют вам. Vidu Q4 Preview image to video так не делает: она берёт одну картинку и один промпт и по умолчанию пишет звук вместе с движением. В одном из примеров на её странице теннисистка после матча смотрит в камеру и произносит фразу, и губы двигаются в такт словам. Именно ради этого её и выбирают. Если вам нужны лишь несколько секунд плывущих облаков над пейзажем, ту же работу сделает соседняя модель подешевле на странице моделей.

Что ей нужно

• Одна картинка (обязательно). Она становится первым кадром, поэтому композиция, свет и лица решаются здесь.
• Промпт (обязательно). Опишите, что происходит дальше, а не то, что уже есть на картинке.
• Разрешение. Список от лёгкого черновика до большого финального размера, по умолчанию разумная середина.
• Длительность. Ползунок в целых секундах. По умолчанию клип короткий; верхнего края хватает на целую произнесённую фразу и реакцию.
• Generate audio. Включено по умолчанию. Выключите, если клип ляжет под вашу музыку.
• Advanced: расширение промпта (по умолчанию выключено) и seed.

Где она сильна

Говорящие портреты и небольшие сцены, где есть источник звука. Персонаж, который говорит одну фразу, чайник, который начинает свистеть, дождь по стеклу, который слышно. Звук и картинка получаются за один запуск, поэтому время совпадает: дверь закрывается тогда, когда вы слышите хлопок. Дайте модели чистый, хорошо освещённый стартовый кадр с крупным героем, и она держит лицо и одежду близко к вашей картинке, а не уплывает.

Три промпта для старта

Словарь тот же, что у любой модели из картинки в видео: одно движение камеры, одно действие героя, одна атмосфера. В словаре промптов движения собраны слова, которые держат кадр, и те, от которых картинка плывёт. Новое здесь только звуковой слот: назовите нужный звук, и назовите его один раз.

Лайфхаки

• Не включайте расширение промпта, если промпт написан тщательно. Оно переписывает короткий промпт в длинный: идее из одного слова это помогает, а точному промпту вредит, особенно реплике, которую вы хотите услышать слово в слово.
• Фиксируйте seed, пока настраиваете. Задайте своё число seed до правок промпта, тогда каждая правка будет единственным изменением. Объяснение seed показывает, почему это экономит запуски.
• Подбирайте длительность под действие. Короткий клип для моргания или глотка, длиннее для фразы. Длинный клип с крошечным действием заполнит остаток движением, о котором вы не просили.

Честное ограничение

Это preview-модель, и это слышно в речи. Короткие фразы из ясных слов выходят хорошо; длинные монологи, имена и числа вслух - там губы и слова начинают расходиться. Держите диалог в пределах одного предложения на клип, а длинную речь режьте на несколько клипов, каждый из которых начинается с последнего кадра предыдущего. И стартовый кадр по-прежнему главный: руки и мелкий текст на картинке не станут лучше, когда задвигаются, так что исправьте их заранее (пошаговое руководство по видео из фото рассказывает, как подготовить кадр).