OmniHuman 2.0 от ByteDance: говорящее видео из фото и голоса
OmniHuman 2.0 превращает один портрет и аудиозапись в говорящее видео длиной до пяти минут. Что ему дать, три промпта-указания и его ограничения.
У некоторых моделей говорящих аватаров панель полна переключателей. У OmniHuman 2.0 от ByteDance всего три входа и больше ничего: портрет, аудиозапись и необязательная строка с указаниями. Ни меню разрешения, ни соотношения сторон, ни ползунка выразительности. Звучит как ограничение, пока не заметишь, что это значит на практике: почти весь результат решают два файла, которые вы ей даёте, так что вся работа в том, чтобы хорошо их выбрать. Вот что я сказал бы другу перед его первым запуском.
В чём она действительно хороша
В долгой естественной речи. Аудио может длиться до пяти минут (используются только первые 300 секунд), это гораздо больше, чем позволяет большинство моделей для клипов, так что полный рассказ о продукте, короткий урок или монолог персонажа помещаются в один рендер, а не в пять склеенных кусков. Лицо следует за голосом: паузы, ударения и ритм фразы видны во рту, глазах и движениях головы. Это хороший выбор, когда у вас есть готовая голосовая дорожка, записанная на свой микрофон или созданная моделью синтеза речи, и нужно лицо, которое её произнесёт.
Выбираем портрет
Изображение конвертируется в JPEG и подгоняется под поддерживаемые моделью размеры, а очень широкая или очень высокая картинка обрезается по центру. Поэтому кадрируйте сами: голова и плечи, лицо примерно в камеру, рот виден, перед губами ничего нет. Портрет с запасом над головой переживает обрезку лучше, чем тот, где волосы касаются края. Сгенерированные персонажи работают не хуже фотографий; если кожа выглядит восковой, сначала исправьте это по гайду о пластиковой коже, потому что анимация делает это заметнее, а не наоборот.
Выбираем аудио
- Чистая речь лучше эффектной. Фоновая музыка и эхо комнаты дают рту, на что реагировать, и это не слова.
- Запись короче четырёх секунд дополняется тишиной, так что двухсекундная фраза превращается в клип, где лицо в конце ждёт. Либо запишите целое предложение, либо смиритесь с паузой.
- Обрежьте тишину в начале. Долгое молчаливое вступление означает долгий взгляд в камеру.
- Всё, что дольше пяти минут, отрезается. Разбейте длинный сценарий на главы и отрендерите каждую.
Три указания, которые стоит позаимствовать
Промпт направляет движение и стиль. Оставьте его пустым, и всем управляет голос; заполните, и можно задать настроение. Пишите его как заметку для актёра, а не как промпт для картинки.
Спокойно и дружелюбно, как будто объясняете что-то коллеге через стол. Небольшие кивки на ключевых словах, естественное моргание, взгляд в основном в камеру, короткая улыбка в конце.Старый рассказчик у костра говорит медленно. Голова наклоняется на вопросах, взгляд уходит в сторону, когда он вспоминает, потом возвращается к слушателю. Тепло, устало, без резких движений.Энергичный игровой ведущий: поднятые брови, быстрые движения головы на каждом восклицании, широкая улыбка перед последней фразой.Кому стоит выбрать другое
Если вы хотите управлять формой кадра или выбрать разрешение, OmniHuman не даёт для этого рычагов: кадр следует за вашей картинкой. У HeyGen Avatar IV есть настройка выразительности, выбор разрешения и соотношение сторон, и его гайд разбирает их. Если портрета нет вовсе и нужен готовый ведущий, начните с гайда по Avatar V. Остальные модели говорящих аватаров и синхронизации губ есть на странице моделей.
Честное ограничение
Это говорящий портрет, а не сцена. Человек не пройдёт через комнату, ничего не возьмёт в руки и не переоденется, и промпт не может об этом попросить. Модель также не спасёт плохой исходник: профиль, рука у рта или шумная запись проявятся в результате. А лицо, на которое у вас нет прав, остаётся под запретом: условия использования запрещают дипфейки реального узнаваемого человека. Используйте своё лицо, вымышленного персонажа или портрет, на который у вас есть явное разрешение.
Вопросы
Что нужно OmniHuman 2.0?
Портрет и аудиозапись. Текстовый промпт для движения и стиля необязателен.
Какой длины может быть аудио?
Используется до 300 секунд; всё, что длиннее, отрезается. Записи короче четырёх секунд дополняются тишиной.
Можно ли выбрать разрешение или соотношение сторон?
Нет. Модель подгоняет изображение под поддерживаемые размеры и обрезает очень широкие или очень высокие картинки по центру, поэтому кадрируйте портрет до загрузки.
