OmniHuman 2.0 di ByteDance: un video parlato da una foto e una voce

Alcuni modelli di avatar parlanti arrivano con un pannello pieno di interruttori. OmniHuman 2.0 di ByteDance ha tre input e nient'altro: un ritratto, una registrazione audio e una riga facoltativa di regia. Nessun menu di risoluzione, nessuna proporzione, nessun cursore di espressività. Sembra limitante finché non ti accorgi di cosa significa in pratica: quasi tutto il risultato è deciso dai due file che gli dai, quindi il lavoro sta nello sceglierli bene. Ecco cosa direi a un amico prima del suo primo render.

In cosa è davvero bravo

Nel parlato lungo e naturale. L'audio può durare fino a cinque minuti (si usano solo i primi 300 secondi), molto più di quanto permettano la maggior parte dei modelli per clip, quindi una presentazione completa di un prodotto, una breve lezione o il monologo di un personaggio stanno in un solo render invece che in cinque pezzi cuciti insieme. Il volto segue la voce: le pause, l'enfasi e il ritmo di una frase si vedono nella bocca, negli occhi e nella testa. È una buona scelta quando hai una traccia vocale già pronta, dal tuo microfono o da un modello text-to-speech, e vuoi un volto che la porti.

Scegliere il ritratto

L'immagine viene convertita in JPEG e adattata alle dimensioni che il modello supporta, e un'immagine molto larga o molto alta viene ritagliata dal centro. Quindi inquadra tu: un primo piano con testa e spalle, il volto più o meno verso la camera, la bocca visibile, niente davanti alle labbra. Un ritratto con spazio sopra la testa sopravvive meglio al ritaglio di uno in cui i capelli toccano il bordo. I personaggi generati funzionano quanto le foto; se la pelle sembra di cera, sistemala prima con la guida alla pelle di plastica, perché l'animazione la rende più evidente, non meno.

Scegliere l'audio

• Il parlato pulito batte il parlato ricercato. La musica di sottofondo e l'eco della stanza danno alla bocca qualcosa a cui reagire che non è una parola.
• Sotto i quattro secondi si aggiunge silenzio, quindi una frase di due secondi diventa una clip in cui il volto aspetta alla fine. O registri una frase intera o accetti la pausa.
• Taglia il silenzio all'inizio. Un lungo inizio muto è un lungo sguardo fisso in camera.
• Tutto ciò che supera i cinque minuti viene tagliato. Dividi un copione più lungo in capitoli e genera ciascuno.

Tre indicazioni di regia da rubare

Il prompt guida movimento e stile. Lascialo vuoto e la voce guida tutto; riempilo e puoi impostare un'atmosfera. Scrivilo come un appunto a un attore, non come un prompt per immagini.

Chi dovrebbe scegliere altro

Se vuoi controllare la forma dell'output o scegliere una risoluzione, OmniHuman non ti dà nessuna leva: l'inquadratura segue la tua immagine. HeyGen Avatar IV ha un'impostazione di espressività, una scelta di risoluzione e le proporzioni, e la sua guida le passa in rassegna. Se non hai alcun ritratto e vuoi un presentatore già pronto, la guida ad Avatar V è il posto da cui partire. Gli altri modelli di avatar parlanti e lipsync sono nella pagina dei modelli.

Il limite, onestamente

Questo è un ritratto parlante, non una scena. La persona non attraverserà una stanza, non prenderà in mano qualcosa e non cambierà abito, e il prompt non può chiederlo. Inoltre non può salvare un input scadente: un profilo di lato, una mano sulla bocca o una registrazione rumorosa si vedranno nel risultato. E un volto che non hai il diritto di usare resta off limits: i termini vietano i deepfake di una persona reale e identificabile. Usa il tuo volto, un personaggio di fantasia o un ritratto per cui hai un permesso chiaro.