OmniHuman 2.0 de ByteDance : une vidéo parlante à partir d'une photo et d'une voix

Certains modèles d'avatars parlants arrivent avec un panneau plein d'interrupteurs. OmniHuman 2.0 de ByteDance n'a que trois entrées : un portrait, un enregistrement audio et une ligne d'indications facultative. Pas de menu de résolution, pas de format d'image, pas de curseur d'expressivité. Cela paraît limité jusqu'à ce qu'on voie ce que cela signifie en pratique : presque tout le résultat dépend des deux fichiers que vous lui donnez, donc le travail consiste à bien les choisir. Voici ce que je dirais à un ami avant son premier essai.

Ce qu'il fait vraiment bien

Parler longtemps, et naturellement. L'audio peut durer jusqu'à cinq minutes (seules les 300 premières secondes sont utilisées), bien plus que ce que permettent la plupart des modèles de clips, donc une présentation produit complète, une courte leçon ou le monologue d'un personnage tiennent en un seul rendu au lieu de cinq morceaux recousus. Le visage suit la voix : les pauses, l'insistance et le rythme d'une phrase se voient sur la bouche, les yeux et la tête. C'est un bon choix quand vous avez une piste vocale terminée, enregistrée avec votre propre micro ou produite par un modèle de synthèse vocale, et que vous voulez un visage pour la porter.

Choisir le portrait

L'image est convertie en JPEG et ajustée aux tailles que le modèle accepte, et une image très large ou très haute est recadrée depuis le centre. Cadrez-la donc vous-même : un plan tête et épaules, le visage à peu près face à l'objectif, la bouche visible, rien devant les lèvres. Un portrait avec de l'espace au-dessus de la tête supporte mieux le recadrage qu'un portrait où les cheveux touchent le bord. Les personnages générés fonctionnent aussi bien que les photos ; si la peau a l'air cireuse, corrigez-la d'abord avec le guide sur la peau plastique, car l'animation rend le défaut plus visible, pas moins.

Choisir l'audio

• Une voix nette vaut mieux qu'une voix brillante. La musique de fond et l'écho de la pièce donnent à la bouche des sons auxquels réagir qui ne sont pas des mots.
• En dessous de quatre secondes, l'audio est complété par du silence, donc une réplique de deux secondes devient un clip où le visage attend à la fin. Enregistrez une phrase complète ou acceptez la pause.
• Coupez les blancs au début. Une longue intro silencieuse, c'est un long regard fixe vers la caméra.
• Tout ce qui dépasse cinq minutes est coupé. Découpez un script plus long en chapitres et faites un rendu de chacun.

Trois indications à reprendre

Le prompt guide le mouvement et le style. Laissez-le vide et la voix décide de tout ; remplissez-le et vous pouvez donner une humeur. Écrivez-le comme une note à un acteur, pas comme un prompt d'image.

Qui devrait choisir autre chose

Si vous voulez contrôler la forme du résultat ou choisir une résolution, OmniHuman ne vous en donne aucun moyen : le cadre suit votre image. HeyGen Avatar IV a un réglage d'expressivité, un choix de résolution et un format d'image, et son guide les passe en revue. Si vous n'avez pas de portrait du tout et voulez un présentateur prêt à l'emploi, le guide Avatar V est le bon point de départ. Les autres modèles d'avatars parlants et de synchronisation labiale sont sur la page des modèles.

La limite, honnêtement

C'est un portrait qui parle, pas une scène. La personne ne traversera pas une pièce, ne ramassera rien et ne changera pas de tenue, et le prompt ne peut pas le demander. Il ne peut pas non plus sauver une mauvaise entrée : un profil, une main devant la bouche ou un enregistrement bruité se verront dans le résultat. Et un visage que vous n'avez pas le droit d'utiliser reste interdit : les conditions interdisent les deepfakes d'une personne réelle et identifiable. Utilisez votre propre visage, un personnage fictif ou un portrait pour lequel vous avez une autorisation claire.