OmniHuman 2.0 dari ByteDance: video berbicara dari foto dan suara

Sebagian model avatar berbicara datang dengan panel penuh tombol. OmniHuman 2.0 dari ByteDance hanya punya tiga input: sebuah potret, sebuah rekaman audio, dan satu baris arahan opsional. Tidak ada menu resolusi, tidak ada rasio aspek, tidak ada slider ekspresi. Kedengarannya membatasi, sampai Anda sadar apa artinya dalam praktik: hampir seluruh hasil ditentukan oleh dua file yang Anda berikan, jadi pekerjaannya ada pada memilih keduanya dengan baik. Inilah yang akan saya katakan kepada seorang teman sebelum ia mencoba pertama kali.

Di mana model ini benar-benar unggul

Bicara yang panjang dan alami. Audio bisa sampai lima menit (hanya 300 detik pertama yang dipakai), jauh lebih panjang dari yang diizinkan kebanyakan model klip, jadi penjelasan produk lengkap, pelajaran singkat, atau monolog karakter muat dalam satu render, bukan lima potongan yang disambung. Wajah mengikuti suara: jeda, penekanan, dan ritme kalimat terlihat di mulut, mata, dan kepala. Ini pilihan yang bagus ketika Anda sudah punya trek suara jadi, dari mikrofon sendiri atau dari model text-to-speech, dan ingin wajah yang membawakannya.

Memilih potret

Gambar diubah menjadi JPEG dan disesuaikan dengan ukuran yang didukung model, dan gambar yang sangat lebar atau sangat tinggi dipotong dari tengah. Jadi bingkai sendiri: foto kepala dan bahu, wajah kurang lebih menghadap kamera, mulut terlihat, tidak ada apa pun di depan bibir. Potret dengan ruang di atas kepala lebih aman saat dipotong daripada potret yang rambutnya menyentuh tepi. Karakter hasil generate bekerja sama baiknya dengan foto; jika kulitnya terlihat seperti lilin, perbaiki dulu dengan panduan kulit plastik, karena animasi membuatnya makin terlihat, bukan makin samar.

Memilih audio

• Ucapan yang bersih lebih baik daripada ucapan yang pintar. Musik latar dan gema ruangan memberi mulut sesuatu untuk ditanggapi yang bukan kata.
• Audio di bawah empat detik ditambah keheningan, jadi kalimat dua detik menjadi klip di mana wajah menunggu di akhir. Rekam satu kalimat utuh atau terima jedanya.
• Potong keheningan di awal. Intro sunyi yang panjang berarti tatapan panjang ke kamera.
• Apa pun setelah lima menit dipotong. Bagi naskah yang lebih panjang menjadi beberapa bab dan render masing-masing.

Tiga arahan yang layak ditiru

Prompt mengarahkan gerakan dan gaya. Biarkan kosong dan suara yang mengendalikan semuanya; isi, dan Anda bisa mengatur suasana hati. Tulis seperti catatan untuk aktor, bukan seperti prompt gambar.

Siapa yang sebaiknya memilih model lain

Jika Anda ingin mengatur bentuk hasil atau memilih resolusi, OmniHuman tidak memberi pegangan untuk itu: bingkainya mengikuti gambar Anda. HeyGen Avatar IV punya pengaturan ekspresi, pilihan resolusi, dan rasio aspek, dan panduannya membahas semuanya. Jika Anda sama sekali tidak punya potret dan ingin presenter siap pakai, panduan Avatar V adalah tempat untuk memulai. Model avatar berbicara dan lipsync lainnya ada di halaman model.

Keterbatasan yang jujur

Ini potret yang berbicara, bukan sebuah adegan. Orangnya tidak akan berjalan melintasi ruangan, mengambil sesuatu, atau berganti pakaian, dan prompt tidak bisa memintanya. Model ini juga tidak bisa menyelamatkan input yang buruk: profil samping, tangan di depan mulut, atau rekaman yang berisik akan terlihat di hasilnya. Dan wajah yang tidak berhak Anda pakai tetap terlarang: ketentuan layanan melarang deepfake dari orang nyata yang bisa dikenali. Gunakan wajah Anda sendiri, karakter fiksi, atau potret yang izinnya jelas Anda miliki.