ByteDance का OmniHuman 2.0: एक फ़ोटो और आवाज़ से बोलता वीडियो

कुछ बोलने वाले अवतार मॉडल स्विचों से भरे पैनल के साथ आते हैं। ByteDance का OmniHuman 2.0 सिर्फ़ तीन इनपुट लेता है: एक पोर्ट्रेट, एक ऑडियो रिकॉर्डिंग और निर्देश की एक वैकल्पिक पंक्ति। न रेज़ोल्यूशन का मेन्यू, न आस्पेक्ट रेशियो, न भाव का स्लाइडर। यह सीमित लगता है, जब तक आप यह न देखें कि असल में इसका मतलब क्या है: नतीजे का लगभग सब कुछ उन दो फ़ाइलों से तय होता है जो आप देते हैं, इसलिए असली काम उन्हें अच्छी तरह चुनने में है। पहली बार चलाने से पहले मैं किसी दोस्त को यही बताता।

यह असल में किसमें अच्छा है

लंबा, स्वाभाविक बोलना। ऑडियो पांच मिनट तक का हो सकता है (सिर्फ़ पहले 300 सेकंड इस्तेमाल होते हैं), जो ज़्यादातर क्लिप मॉडलों की सीमा से कहीं ज़्यादा है, इसलिए पूरा प्रोडक्ट परिचय, छोटा पाठ या किसी किरदार का एकालाप पांच जोड़े गए टुकड़ों के बजाय एक ही रेंडर में आ जाता है। चेहरा आवाज़ के पीछे चलता है: ठहराव, ज़ोर और वाक्य की लय मुंह, आंखों और सिर में दिखती है। यह तब अच्छा विकल्प है जब आपके पास तैयार वॉइस ट्रैक हो, अपने माइक्रोफ़ोन से या किसी text-to-speech मॉडल से, और आप चाहते हों कि कोई चेहरा उसे बोले।

पोर्ट्रेट कैसे चुनें

इमेज JPEG में बदली जाती है और मॉडल के समर्थित आकारों में फ़िट की जाती है, और बहुत चौड़ी या बहुत लंबी तस्वीर बीच से क्रॉप हो जाती है। इसलिए फ़्रेमिंग ख़ुद करें: सिर और कंधों वाला शॉट, चेहरा लगभग कैमरे की ओर, मुंह दिखता हुआ, होंठों के सामने कुछ नहीं। जिस पोर्ट्रेट में सिर के ऊपर जगह हो, वह क्रॉप में उस पोर्ट्रेट से बेहतर बचता है जिसके बाल किनारे को छू रहे हों। जनरेट किए गए किरदार भी फ़ोटो जितने ही अच्छे चलते हैं; अगर त्वचा मोम जैसी दिखे, तो पहले प्लास्टिक त्वचा वाली गाइड से उसे ठीक करें, क्योंकि एनिमेशन उसे छिपाता नहीं, और उभार देता है।

ऑडियो कैसे चुनें

• साफ़ आवाज़ चतुर आवाज़ से बेहतर है। बैकग्राउंड म्यूज़िक और कमरे की गूंज मुंह को ऐसी चीज़ पर प्रतिक्रिया करने का मौक़ा देते हैं जो शब्द नहीं है।
• चार सेकंड से छोटे ऑडियो में ख़ामोशी जोड़ दी जाती है, इसलिए दो सेकंड की पंक्ति ऐसी क्लिप बन जाती है जिसके अंत में चेहरा इंतज़ार करता है। या तो पूरा वाक्य रिकॉर्ड करें या ठहराव स्वीकार करें।
• शुरुआत की ख़ाली ख़ामोशी काट दें। लंबा ख़ामोश इंट्रो यानी कैमरे में लंबा घूरना।
• पांच मिनट के बाद का सब कुछ कट जाता है। लंबी स्क्रिप्ट को अध्यायों में बांटें और हर एक को अलग रेंडर करें।

तीन निर्देश जो उधार लेने लायक हैं

प्रॉम्प्ट हरकत और स्टाइल को दिशा देता है। इसे ख़ाली छोड़ें तो सब कुछ आवाज़ चलाती है; भरें तो आप मूड तय कर सकते हैं। इसे इमेज प्रॉम्प्ट की तरह नहीं, किसी अभिनेता के लिए नोट की तरह लिखें।

किसे कुछ और चुनना चाहिए

अगर आप आउटपुट का आकार नियंत्रित करना या रेज़ोल्यूशन चुनना चाहते हैं, तो OmniHuman इसके लिए कोई हैंडल नहीं देता: फ़्रेम आपकी तस्वीर के पीछे चलता है। HeyGen Avatar IV में भाव की सेटिंग, रेज़ोल्यूशन का विकल्प और आस्पेक्ट रेशियो है, और उसकी गाइड इन सबको समझाती है। अगर आपके पास कोई पोर्ट्रेट ही नहीं है और आप तैयार प्रस्तुतकर्ता चाहते हैं, तो Avatar V गाइड से शुरुआत करें। बाक़ी बोलने वाले अवतार और लिपसिंक मॉडल मॉडल पेज पर हैं।

ईमानदार सीमा

यह बोलता हुआ पोर्ट्रेट है, कोई दृश्य नहीं। व्यक्ति कमरे में चलकर नहीं जाएगा, कुछ उठाएगा नहीं और कपड़े नहीं बदलेगा, और प्रॉम्प्ट यह मांग नहीं सकता। यह ख़राब इनपुट को भी नहीं बचा सकता: साइड प्रोफ़ाइल, मुंह पर हाथ या शोर भरी रिकॉर्डिंग नतीजे में दिखेगी। और जिस चेहरे के इस्तेमाल का आपको अधिकार नहीं, वह वर्जित ही रहता है: शर्तें किसी असली, पहचाने जा सकने वाले व्यक्ति के डीपफ़ेक पर रोक लगाती हैं। अपना चेहरा, कोई काल्पनिक किरदार या ऐसा पोर्ट्रेट इस्तेमाल करें जिसकी आपके पास साफ़ अनुमति हो।