Cara membandingkan model gambar AI secara adil: grid uji yang bisa diulang

Kebanyakan perbandingan generator gambar berjalan begini: satu prompt, satu hasil per model, lalu pemenang diumumkan dalam tiga puluh detik. Rasanya seperti uji coba, padahal lebih mirip lempar koin. Satu hasil beruntung dari model yang lebih lemah mengalahkan satu hasil sial dari model yang lebih kuat, dan Anda pulang dengan favorit yang dipilih oleh kebetulan. Tulisan ini menawarkan metode sebagai gantinya: grid kecil yang bisa Anda jalankan dalam satu sore di katalog model studio, lengkap dengan lembar untuk mencatat hasilnya.

Satu aturan: ubah satu hal saja

Perbandingan hanya adil jika tepat satu variabel berbeda di antara dua hasil yang Anda nilai. Kalau model dan prompt sama-sama berubah, Anda tidak belajar apa-apa tentang keduanya. Jadi tentukan dulu pertanyaannya, lalu tahan semua yang lain:

• Model mana? Prompt, rasio aspek, seed, dan pengaturan kualitas yang sama. Hanya modelnya yang berubah.
• Susunan kata mana? Model, seed, dan pengaturan yang sama. Hanya satu frasa yang berubah. Artikel tentang seed menjelaskan mengapa mengunci angka itu membuat hal ini mungkin.
• Pengaturan mana? Model, prompt, dan seed yang sama, satu opsi dibalik.

Tulis pertanyaannya di bagian atas lembar Anda sebelum menekan Generate. Kedengarannya rewel, tapi langkah inilah yang mencegah uji coba melebar menjadi tiga pertanyaan yang dijawab dengan buruk.

Susun grid-nya

Pilih dua atau tiga kandidat dari model gambar di halaman katalog, misalnya Still dan Still Lite bersama satu atau dua model lain yang halamannya menjelaskan pekerjaan yang Anda butuhkan. Lalu pilih tiga prompt yang menguji hal berbeda, bukan tiga versi dari adegan yang sama:

1. 01Adegan dengan tata letak. Subjek, latar, cahaya, dan satu penempatan spesifik ("lampu di kiri, jendela di belakang"). Ini menguji komposisi dan seberapa harfiah model mengikuti Anda.
2. 02Adegan dengan teks atau tangan. Papan toko dengan satu kata pendek, atau orang yang memegang cangkir. Di sinilah model paling terlihat berbeda. Artikel tentang tangan dan teks membahas alasannya.
3. 03Adegan dengan material. Batu basah, logam sikat, wol, kulit. Ini menguji tekstur dan pencahayaan, yang sering disebut realisme.

Tulis tiap prompt dengan baik sebelum uji coba; prompt yang kabur memberi hadiah pada model yang paling pandai menebak selera Anda, dan itu kontes yang berbeda. Panduan prompt menjelaskan strukturnya. Setelah itu jalankan setiap prompt pada setiap kandidat dengan seed dan rasio aspek yang sama. Tiga prompt dan tiga model berarti sembilan hasil, jumlah yang masih terjangkau.

Apa yang dinilai, dalam urutan ini

Nilai setiap gambar dengan daftar periksa singkat yang sama, bukan dengan kesan umum. Beri tiap butir skor satu sampai tiga dan tulis satu kata bukti.

• Kepatuhan pada prompt. Apakah semua yang Anda minta ada, di tempat yang Anda minta? Hitung yang hilang.
• Komposisi. Apakah mata tertuju ke arah yang Anda mau, apakah framing-nya bisa dipakai, apakah ada ruang di tempat yang Anda butuhkan?
• Teks. Apakah hurufnya benar, ejaannya benar, dan ada di objek yang benar?
• Tangan dan anatomi. Hitung jarinya. Periksa sambungan anggota tubuh.
• Tekstur dan cahaya. Perbesar. Apakah material tampak seperti materialnya, apakah bayangan konsisten dengan satu sumber cahaya?
• Artefak. Tepi yang kabur, objek ganda, pola yang berulang.

Jika bisa, nilai sebelum Anda melihat model mana yang membuat gambar mana. Minta teman mengganti nama file, atau tutup labelnya. Kita semua menyukai model yang sudah kita percayai.

Catat seperti buku catatan laboratorium

Lembar dengan satu baris per hasil sudah cukup: tanggal, nama model, label prompt, seed, rasio aspek, pengaturan yang diubah, enam skor, dan satu baris catatan. Pustaka menyimpan gambar Anda dan memungkinkan prompt dipakai ulang, tetapi tidak mengembalikan pengaturan lanjutan, jadi seed hidup di lembar Anda atau tidak sama sekali. Sebulan kemudian, satu baris memberi tahu persis hasil itu dibuat dari apa.

Selisih nyata atau cuma noise?

Ini bagian yang tidak enak. Meski seed dikunci, satu hasil hanyalah satu sampel, dan sebagian selisih antara dua gambar adalah keberuntungan. Beberapa cara membedakannya:

• Ulangi yang terbaik dan terburuk. Render prompt yang sama di model yang sama dengan dua seed lagi. Jika model yang "buruk" menghasilkan pemenang pada seed kedua, selisih pertama hanyalah noise.
• Cari pola di berbagai prompt. Satu model yang gagal pada teks di ketiga adegan adalah temuan. Satu kegagalan dari sembilan hanyalah lemparan dadu.
• Lihat jenis kesalahannya. Kesalahan konsisten dari satu jenis (selalu huruf buram, selalu kilap seperti plastik) berasal dari model. Kesalahan acak yang berbeda setiap kali berasal dari dadu.
• Perhatikan besar selisihnya. Beda skor kecil antara dua model tidak layak ditindaklanjuti. Model yang menang di delapan dari sembilan baris, layak.

Batas dari metode ini

Katakan terus terang: uji yang adil pun tetap sampel kecil, dan sembilan hasil bercerita tentang tiga prompt Anda, bukan tentang semua gambar yang akan Anda buat. Tiga hal lain bisa diam-diam merusak perbandingan:

• Tidak semua model menerima seed. Sebagian menyimpannya di dalam, dan Fast Image sama sekali tidak punya kolom seed. Untuk model seperti itu titik awal tidak bisa dikunci, jadi Anda perlu lebih banyak hasil per sel, dan pola dari banyak gambar lebih penting daripada satu gambar saja.
• Terkunci bukan berarti identik piksel demi piksel. Di tempat seed ada, detail halus masih bisa sedikit berbeda antar-proses.
• Model berubah. Perbandingan adalah foto katalog pada hari Anda menjalankannya. Jika sebuah model diperbarui, ulangi baris yang penting.

Uji dengan murah, selesaikan di pemenang

Grid tidak perlu mahal, karena sebagian besar pelajarannya menyangkut prompt dan tata letak Anda, bukan hasil akhir. Mulailah dengan susunan kata dan komposisi di Fast Image, model termurah, tempat ide buruk tidak memakan banyak biaya. Ingat bahwa ini renderer tersendiri, jadi draf Fast Image adalah sketsa ide, bukan pratinjau cara model lain akan menggambarnya. Setelah punya prompt yang berhasil, jalankan di dua kandidat sungguhan Anda, pilih yang skornya terbaik pada butir yang Anda pedulikan, dan habiskan render kualitas Anda hanya di sana. Harga tampil di tombol Generate sebelum Anda memutuskan, dan artikel tentang re-roll menunjukkan cara menghitung biaya sebenarnya satu gambar yang layak pakai, angka yang seharusnya menentukan pilihan yang tipis.

Video bekerja dengan cara yang sama dengan taruhan lebih tinggi per hasil; artikel model video menerapkan grid ini pada klip. Saat siap menjalankan uji Anda, buka studio dan mulai dari baris pertanyaan di bagian atas lembar.