AI इमेज मॉडल की निष्पक्ष तुलना कैसे करें: दोहराया जा सकने वाला टेस्ट ग्रिड
निष्पक्ष तुलना में प्रॉम्प्ट और सीड स्थिर रहते हैं और सिर्फ़ एक चीज़ बदलती है। एक टेस्ट ग्रिड, स्कोर शीट, और मॉडल के अंतर को संयोग से अलग पहचानने का तरीक़ा।
इमेज जनरेटर की ज़्यादातर तुलनाएँ ऐसे होती हैं: एक प्रॉम्प्ट, हर मॉडल से एक रेंडर, और तीस सेकंड में विजेता घोषित। यह टेस्ट जैसा लगता है, पर असल में सिक्का उछालने के क़रीब है। कमज़ोर मॉडल का एक भाग्यशाली रेंडर मज़बूत मॉडल के एक बदक़िस्मत रेंडर को हरा देता है, और आप संयोग से चुना हुआ पसंदीदा लेकर लौटते हैं। यह पोस्ट इसके बजाय एक तरीक़ा है: एक छोटा ग्रिड, जिसे आप स्टूडियो के मॉडल कैटलॉग पर एक दोपहर में चला सकते हैं, और नतीजे लिखने के लिए एक शीट।
एकमात्र नियम: एक ही चीज़ बदलें
तुलना तभी निष्पक्ष है जब जिन दो रेंडरों को आप परख रहे हैं उनमें ठीक एक चीज़ अलग हो। अगर मॉडल और प्रॉम्प्ट दोनों बदल गए, तो आपने किसी के बारे में कुछ नहीं सीखा। इसलिए पहले तय करें कि सवाल क्या है, और बाक़ी सब कुछ स्थिर रखें:
- कौन-सा मॉडल? वही प्रॉम्प्ट, वही आस्पेक्ट रेशियो, वही सीड, वही क्वालिटी सेटिंग। सिर्फ़ मॉडल बदलता है।
- कौन-सा शब्दांकन? वही मॉडल, वही सीड, वही सेटिंग्स। सिर्फ़ एक वाक्यांश बदलता है। सीड वाली पोस्ट बताती है कि नंबर को पिन करने से यह कैसे संभव होता है।
- कौन-सी सेटिंग? वही मॉडल, प्रॉम्प्ट और सीड, बस एक विकल्प पलटा हुआ।
जनरेट दबाने से पहले अपनी शीट के सबसे ऊपर सवाल लिख लें। यह बारीक़ी लग सकती है, पर यही वह क़दम है जो टेस्ट को तीन सवालों में बँटकर बुरी तरह जवाब देने से रोकता है।
ग्रिड बनाएँ
कैटलॉग पेज के इमेज मॉडलों में से दो या तीन उम्मीदवार चुनें, जैसे Still और Still Lite, और साथ में एक-दो ऐसे जिनके पेज आपके काम का वर्णन करते हों। फिर तीन प्रॉम्प्ट चुनें जो अलग-अलग चीज़ों को परखें, एक ही दृश्य के तीन रूप नहीं:
- लेआउट वाला दृश्य। एक विषय, एक जगह, रोशनी, और एक ख़ास स्थान ("लैंप बाईं ओर, खिड़की पीछे")। यह कंपोज़िशन और इस बात को परखता है कि मॉडल आपकी बात कितनी अक्षरशः मानता है।
- टेक्स्ट या हाथों वाला दृश्य। छोटे शब्द वाला दुकान का साइनबोर्ड, या कप पकड़े एक व्यक्ति। यही वे जगहें हैं जहाँ मॉडलों का फ़र्क़ सबसे साफ़ दिखता है। हाथ और टेक्स्ट वाली पोस्ट बताती है कि ऐसा क्यों है।
- मटीरियल वाला दृश्य। गीला पत्थर, ब्रश किया हुआ धातु, ऊन, त्वचा। यह बनावट और रोशनी को परखता है, जिसे लोग रियलिज़्म कहते हैं।
खिड़की के पास लकड़ी की शेल्फ़ पर एक चीनी मिट्टी की केतली, हैंडल से बँधा हाथ से लिखा काग़ज़ का टैग जिस पर OPEN लिखा है, बाईं ओर से सुबह की रोशनी, ऊपर उठती भाप, उथली डेप्थ ऑफ़ फ़ील्डटेस्ट से पहले हर प्रॉम्प्ट अच्छी तरह लिखें; अस्पष्ट प्रॉम्प्ट उस मॉडल को इनाम देता है जो आपकी पसंद का सबसे अच्छा अंदाज़ा लगाए, और वह एक अलग मुक़ाबला है। प्रॉम्प्ट गाइड में ढाँचा है। फिर हर प्रॉम्प्ट को हर उम्मीदवार पर एक ही सीड और एक ही आस्पेक्ट रेशियो के साथ चलाएँ। तीन प्रॉम्प्ट और तीन मॉडल यानी नौ रेंडर, जो आप आराम से कर सकते हैं।
क्या देखें, किस क्रम में
हर तस्वीर को एक ही छोटी चेकलिस्ट पर परखें, किसी आम एहसास पर नहीं। हर मद को एक से तीन तक स्कोर दें और सबूत का एक शब्द लिखें।
- प्रॉम्प्ट का पालन। क्या जो माँगा था वह सब है, उसी जगह पर? छूटी चीज़ें गिनें।
- कंपोज़िशन। क्या नज़र वहाँ जाती है जहाँ आप चाहते थे, क्या फ़्रेमिंग काम की है, क्या जहाँ ज़रूरत है वहाँ जगह है?
- टेक्स्ट। क्या अक्षर सही हैं, स्पेलिंग सही है, और सही चीज़ पर हैं?
- हाथ और शरीर की बनावट। उँगलियाँ गिनें। जोड़ों की जगह देखें।
- बनावट और रोशनी। ज़ूम करें। क्या मटीरियल अपने जैसा दिखता है, क्या परछाइयाँ एक ही रोशनी से मेल खाती हैं?
- गड़बड़ियाँ। धुँधले किनारे, दोहरी वस्तुएँ, दोहराता पैटर्न।
हो सके तो यह देखने से पहले परखें कि कौन-सी तस्वीर किस मॉडल ने बनाई। किसी दोस्त से फ़ाइलों के नाम बदलवा लें, या लेबल ढक दें। हम सभी को वही मॉडल पसंद आता है जिस पर हम पहले से भरोसा करते हैं।
इसे लैब नोटबुक की तरह दर्ज करें
हर रेंडर के लिए एक पंक्ति वाली शीट काफ़ी है: तारीख़, मॉडल का नाम, प्रॉम्प्ट का लेबल, सीड, आस्पेक्ट रेशियो, कोई बदली हुई सेटिंग, छह स्कोर, और नोट्स की एक लाइन। लाइब्रेरी आपकी तस्वीरें सँभालती है और प्रॉम्प्ट दोबारा इस्तेमाल करने देती है, पर एडवांस्ड सेटिंग्स वापस नहीं लाती, इसलिए सीड या तो आपकी शीट में है या कहीं नहीं। एक महीने बाद लौटने पर पंक्ति ठीक-ठीक बता देती है कि नतीजा किससे बना था।
असली अंतर या सिर्फ़ शोर?
यहाँ असुविधाजनक बात आती है। सीड पिन होने पर भी एक रेंडर बस एक नमूना है, और दो तस्वीरों के बीच के अंतर का कुछ हिस्सा क़िस्मत है। फ़र्क़ पहचानने के कुछ तरीक़े:
- सबसे अच्छे और सबसे बुरे को दोहराएँ। वही प्रॉम्प्ट उसी मॉडल पर दो और सीड के साथ रेंडर करें। अगर "बुरा" मॉडल दूसरे सीड पर विजेता दे दे, तो पहला अंतर शोर था।
- प्रॉम्प्टों में पैटर्न खोजें। एक मॉडल का तीनों दृश्यों में टेक्स्ट चूक जाना एक नतीजा है। नौ में एक चूक बस एक पासा है।
- ग़लती की क़िस्म देखें। एक ही तरह की लगातार ग़लतियाँ (हमेशा धुँधली लेटरिंग, हमेशा प्लास्टिक जैसी चमक) मॉडल से आती हैं। हर बार अलग, बेतरतीब ग़लतियाँ पासे से आती हैं।
- अंतर का आकार देखें। दो मॉडलों के स्कोर में मामूली फ़र्क़ पर कुछ करने लायक़ नहीं है। जो मॉडल नौ में से आठ पंक्तियों में जीते, वह है।
इस तरीक़े की सीमाएँ
साफ़ कहें तो: निष्पक्ष टेस्ट भी छोटा नमूना ही है, और नौ रेंडर आपके तीन प्रॉम्प्टों के बारे में कुछ कहते हैं, उन सभी तस्वीरों के बारे में नहीं जो आप कभी बनाएँगे। तीन और बातें तुलना को चुपचाप बिगाड़ सकती हैं:
- हर मॉडल सीड नहीं लेता। कुछ उसे अंदर ही रखते हैं, और Fast Image में सीड का कोई फ़ील्ड ही नहीं है। ऐसे मॉडलों में आप शुरुआती बिंदु पिन नहीं कर सकते, इसलिए हर खाने में ज़्यादा रेंडर चाहिए, और किसी एक तस्वीर से ज़्यादा कई तस्वीरों का पैटर्न मायने रखता है।
- पिन का मतलब पिक्सेल-दर-पिक्सेल एक जैसा नहीं। जहाँ सीड है, वहाँ भी बारीक़ डिटेल रनों के बीच थोड़ी बदल सकती है।
- मॉडल बदलते हैं। तुलना उस दिन के कैटलॉग की तस्वीर है जिस दिन आपने उसे चलाया। अगर कोई मॉडल अपडेट हो, तो जो पंक्तियाँ मायने रखती थीं उन्हें फिर चलाएँ।
सस्ते में परखें, विजेता पर पूरा करें
ग्रिड का महँगा होना ज़रूरी नहीं, क्योंकि ज़्यादातर सीख आपके प्रॉम्प्ट और लेआउट के बारे में होती है, फ़िनिश के बारे में नहीं। शब्दांकन और कंपोज़िशन की शुरुआत Fast Image पर करें, जो सबसे सस्ता मॉडल है और जहाँ बुरा आइडिया कम में निपट जाता है। याद रखें कि यह अपना अलग रेंडरर है, इसलिए Fast Image का ड्राफ़्ट आइडिया का स्केच है, इस बात का प्रीव्यू नहीं कि कोई दूसरा मॉडल उसे कैसे बनाएगा। जब आपके पास काम करने वाला प्रॉम्प्ट हो, तो उसे अपने दो असली उम्मीदवारों पर चलाएँ, जिन मदों की आपको परवाह है उन पर सबसे अच्छा स्कोर करने वाला चुनें, और अपने क्वालिटी रेंडर सिर्फ़ वहीं ख़र्च करें। क़ीमत प्रतिबद्ध होने से पहले जनरेट बटन पर दिखती है, और री-रोल वाली पोस्ट बताती है कि एक इस्तेमाल लायक़ तस्वीर की असली लागत कैसे गिनें, जो नज़दीकी फ़ैसले को सुलझाने वाला आँकड़ा होना चाहिए।
वीडियो भी इसी तरह चलता है, बस हर रेंडर पर दाँव ऊँचा होता है; वीडियो मॉडल वाली पोस्ट यही ग्रिड क्लिपों पर लागू करती है। अपना टेस्ट चलाने के लिए तैयार हों, तो स्टूडियो खोलें और शीट के सबसे ऊपर सवाल की लाइन से शुरू करें।
अक्सर पूछे जाने वाले प्रश्न
दो AI इमेज मॉडल की तुलना के लिए मुझे कितनी इमेज चाहिए?
इतनी कि पैटर्न दिखे, एक जीत नहीं। हर मॉडल पर तीन अलग प्रॉम्प्ट समझदार न्यूनतम हैं, और नतीजा तय करने वाले खानों के लिए दूसरे सीड पर एक दोहराव। फिर भी यह छोटा नमूना है, इसलिए इसे मार्गदर्शन मानें।
एक ही प्रॉम्प्ट दो मॉडलों पर इतना अलग क्यों दिखता है?
हर मॉडल की अपनी ट्रेनिंग, अपना लुक और आपके शब्दों को पढ़ने का अपना तरीक़ा होता है। किसी दूसरे मॉडल पर वही सीड एक असंबंधित शुरुआती बिंदु देता है, इसलिए फ़र्क़ मॉडल से आ सकता है, पासे से, या दोनों से।
क्या मैं ऐसे मॉडल की तुलना कर सकता हूँ जिसमें सीड नहीं है?
हाँ, पर ज़्यादा रेंडर के साथ। सीड के बिना आप शुरुआत पिन नहीं कर सकते, इसलिए हर प्रॉम्प्ट पर कई रेंडर चलाएँ और किसी एक तस्वीर के बजाय पैटर्न की तुलना करें।
