OmniHuman 2.0 da ByteDance: um vídeo falante a partir de uma foto e uma voz

Alguns modelos de avatar falante vêm com um painel cheio de botões. O OmniHuman 2.0 da ByteDance tem três entradas e mais nada: um retrato, uma gravação de áudio e uma linha opcional de direção. Sem menu de resolução, sem proporção, sem controle de expressividade. Parece limitado até você perceber o que isso significa na prática: quase todo o resultado é decidido pelos dois arquivos que você entrega, então o trabalho está em escolhê-los bem. Eis o que eu diria a um amigo antes do primeiro teste.

No que ele é realmente bom

Fala longa e natural. O áudio pode ter até cinco minutos (só os primeiros 300 segundos são usados), muito mais do que a maioria dos modelos de clipes permite, então uma explicação completa de produto, uma aula curta ou o monólogo de um personagem cabem num único render em vez de cinco pedaços costurados. O rosto acompanha a voz: pausas, ênfases e o ritmo de uma frase aparecem na boca, nos olhos e na cabeça. É uma boa escolha quando você já tem uma faixa de voz pronta, gravada no seu microfone ou feita com um modelo de texto para fala, e quer um rosto para carregá-la.

Escolhendo o retrato

A imagem é convertida para JPEG e ajustada aos tamanhos que o modelo suporta, e uma imagem muito larga ou muito alta é cortada a partir do centro. Então enquadre você mesmo: um plano de cabeça e ombros, o rosto mais ou menos voltado para a câmera, a boca visível e nada na frente dos lábios. Um retrato com espaço acima da cabeça sobrevive ao corte melhor do que um em que o cabelo encosta na borda. Personagens gerados funcionam tão bem quanto fotos; se a pele parecer de cera, corrija isso antes com o guia da pele de plástico, porque a animação deixa o problema mais evidente, não menos.

Escolhendo o áudio

• Fala limpa vale mais que fala esperta. Música de fundo e eco da sala dão à boca algo para reagir que não é uma palavra.
• Menos de quatro segundos é completado com silêncio, então uma fala de dois segundos vira um clipe em que o rosto fica esperando no final. Grave uma frase inteira ou aceite a pausa.
• Corte o silêncio do começo. Uma introdução longa sem som é um longo olhar fixo para a câmera.
• Tudo o que passar de cinco minutos é cortado. Divida um roteiro mais longo em capítulos e renderize cada um.

Três direções que vale a pena copiar

O prompt orienta o movimento e o estilo. Deixe-o vazio e a voz decide tudo; preencha-o e você pode definir um clima. Escreva como um bilhete para um ator, não como um prompt de imagem.

Quem deveria escolher outra coisa

Se você quer controlar o formato do resultado ou escolher uma resolução, o OmniHuman não oferece nenhum controle para isso: o quadro segue a sua imagem. O HeyGen Avatar IV tem um ajuste de expressividade, uma opção de resolução e uma proporção, e o guia dele explica cada um. Se você não tem nenhum retrato e quer um apresentador pronto, o guia do Avatar V é o lugar para começar. Os demais modelos de avatar falante e de sincronia labial estão na página de modelos.

A limitação honesta

Isto é um retrato falante, não uma cena. A pessoa não vai atravessar uma sala, pegar algo nem trocar de roupa, e o prompt não pode pedir isso. Ele também não salva uma entrada ruim: um perfil lateral, uma mão sobre a boca ou uma gravação com ruído vão aparecer no resultado. E um rosto que você não tem direito de usar continua proibido: os termos proíbem deepfakes de uma pessoa real e identificável. Use o seu próprio rosto, um personagem fictício ou um retrato para o qual você tenha permissão clara.