OmniHuman 2.0 od ByteDance: mluvící video z fotky a hlasu
OmniHuman 2.0 promění jeden portrét a zvukovou nahrávku v mluvící video až na pět minut. Co mu dát, tři prompty pro režii a jeho limity.
Některé modely mluvících avatarů přicházejí s panelem plným přepínačů. OmniHuman 2.0 od ByteDance má tři vstupy a nic víc: portrét, zvukovou nahrávku a volitelnou řádku s režijním pokynem. Žádná nabídka rozlišení, žádný poměr stran, žádný posuvník výraznosti. To zní omezeně, dokud si člověk neuvědomí, co to znamená v praxi: téměř celý výsledek určují dva soubory, které modelu dáte, takže práce spočívá v jejich dobrém výběru. Tady je, co stojí za to vědět před prvním spuštěním.
V čem je opravdu dobrý
V dlouhém, přirozeném mluvení. Zvuk může trvat až pět minut (použije se jen prvních 300 sekund), což je mnohem víc, než dovolí většina klipových modelů, takže se celé produktové vysvětlení, krátká lekce nebo monolog postavy vejde do jednoho renderu místo pěti slepených kousků. Obličej sleduje hlas: pauzy, důraz a rytmus věty se projeví v ústech, očích i pohybu hlavy. Je to dobrá volba, když máte hotovou hlasovou stopu, z vlastního mikrofonu nebo z modelu text-to-speech, a chcete k ní obličej.
Výběr portrétu
Obrázek se převede na JPEG a přizpůsobí velikostem, které model podporuje, a velmi široký nebo velmi vysoký snímek se ořízne od středu. Proto si ho zarámujte sami: záběr hlavy a ramen, obličej zhruba k fotoaparátu, viditelná ústa, nic před rty. Portrét s místem nad hlavou přežije ořez lépe než ten, kde se vlasy dotýkají okraje. Vygenerované postavy fungují stejně jako fotky; pokud kůže vypadá voskově, napravte to nejdřív podle průvodce plastovou kůží, protože animace to zvýrazní, ne zmírní.
Výběr zvuku
- Čistá řeč poráží vymyšlenou řeč. Hudba v pozadí a ozvěna místnosti dávají ústům něco, na co reagovat, a není to slovo.
- Pod čtyři sekundy se doplní tichem, takže dvousekundová věta se změní v klip, kde obličej na konci čeká. Buď nahrajte celou větu, nebo pauzu přijměte.
- Ořízněte prázdné ticho na začátku. Dlouhý němý úvod je dlouhé zírání do kamery.
- Cokoli po páté minutě se odřízne. Delší scénář rozdělte na kapitoly a vykreslete každou zvlášť.
Tři pokyny k vypůjčení
Prompt řídí pohyb a styl. Když zůstane prázdný, vše vede hlas; když ho vyplníte, nastavíte náladu. Pište ho jako vzkaz herci, ne jako prompt pro obrázek.
Calm and friendly, like explaining something to a colleague across the desk. Small nods on key words, natural blinks, eyes mostly on the camera, a brief smile at the end.An old storyteller by a fire, speaking slowly. The head tilts on questions, eyes drift away while remembering, then come back to the listener. Warm, tired, no sudden moves.Energetic game announcer: raised eyebrows, quick head movements on every exclamation, a grin before the final line.Komu se hodí spíš něco jiného
Pokud chcete řídit tvar výstupu nebo zvolit rozlišení, OmniHuman na to nedává žádnou páku: záběr se řídí vaším obrázkem. HeyGen Avatar IV má nastavení výraznosti, volbu rozlišení i poměr stran a jeho průvodce je prochází. Pokud nemáte žádný portrét a chcete hotového moderátora, začněte u průvodce Avatar V. Ostatní modely mluvících avatarů a lipsyncu jsou na stránce modelů.
Upřímné omezení
Je to mluvící portrét, ne scéna. Osoba nepřejde přes místnost, nic nevezme do ruky ani nezmění oblečení a prompt o to požádat nemůže. Také nezachrání špatný vstup: boční profil, ruka přes ústa nebo hlučná nahrávka se ve výsledku projeví. A obličej, který nemáte právo použít, zůstává zakázaný: podmínky zakazují deepfaky skutečné, identifikovatelné osoby. Použijte vlastní obličej, fiktivní postavu nebo portrét, k němuž máte jasné svolení.
Dotazy
Co OmniHuman 2.0 potřebuje?
Portrét a zvukovou nahrávku. Textový prompt pro pohyb a styl je volitelný.
Jak dlouhý smí být zvuk?
Použije se až 300 sekund, delší část se odřízne. Nahrávky kratší než čtyři sekundy se doplní tichem.
Mohu zvolit rozlišení nebo poměr stran?
Ne. Model přizpůsobí obrázek velikostem, které podporuje, a velmi široké či velmi vysoké snímky ořízne od středu, proto portrét zarámujte před nahráním.
