Come confrontare i modelli di immagini AI in modo equo: una griglia di test ripetibile

La maggior parte dei confronti tra generatori di immagini funziona così: un prompt, un render per modello, un vincitore proclamato in trenta secondi. Sembra un test ed è più vicino a una lotteria. Un tiro fortunato su un modello più debole batte un tiro sfortunato su uno più forte, e te ne vai con un favorito scelto dal caso. Questo articolo è invece un metodo: una piccola griglia che puoi eseguire in un pomeriggio sul catalogo dei modelli dello studio, con una scheda su cui scrivere i risultati.

L'unica regola: cambia una cosa sola

Un confronto è equo solo se tra i due render che stai giudicando differisce esattamente una variabile. Se sono cambiati sia il modello sia il prompt, non hai imparato nulla su nessuno dei due. Quindi decidi prima qual è la domanda, e tieni fermo tutto il resto:

• Quale modello? Stesso prompt, stesso formato, stesso seed, stessa impostazione di qualità. Cambia solo il modello.
• Quale formulazione? Stesso modello, stesso seed, stesse impostazioni. Cambia solo una frase. L'articolo sul seed spiega perché fissare il numero lo rende possibile.
• Quale impostazione? Stesso modello, stesso prompt e stesso seed, un'opzione invertita.

Scrivi la domanda in cima alla scheda prima di premere Generate. Sembra pignolo, ed è il passaggio che impedisce a un test di scivolare in tre domande a cui si risponde male.

Costruisci la griglia

Scegli due o tre candidati tra i modelli di immagini nella pagina del catalogo, per esempio Still e Still Lite accanto a uno o due altri le cui pagine descrivono il lavoro che ti serve. Poi scegli tre prompt che mettono sotto sforzo cose diverse, non tre versioni della stessa scena:

1. 01Una scena con layout. Un soggetto, un ambiente, la luce e una collocazione precisa («the lamp on the left, the window behind»). Verifica la composizione e quanto alla lettera il modello ti segue.
2. 02Una scena con testo o mani. Un'insegna di negozio con una parola breve, o una persona che tiene una tazza. Sono i punti in cui i modelli differiscono di più in modo visibile. L'articolo su mani e testo spiega perché.
3. 03Una scena con un materiale. Pietra bagnata, metallo spazzolato, lana, pelle. Verifica texture e illuminazione, quella cosa che la gente chiama realismo.

Scrivi bene ogni prompt prima del test; un prompt vago premia il modello che indovina meglio i tuoi gusti, che è un'altra gara. La guida ai prompt ne spiega la struttura. Poi esegui ogni prompt su ogni candidato con lo stesso seed e lo stesso formato. Tre prompt e tre modelli sono nove render, un test che ti puoi permettere.

Cosa guardare, in quest'ordine

Giudica ogni immagine con la stessa breve checklist, non con un'impressione generale. Dai a ogni voce un punteggio da uno a tre e scrivi una parola di prova.

• Aderenza al prompt. C'è tutto ciò che hai chiesto, nel punto in cui l'hai chiesto? Conta gli elementi mancanti.
• Composizione. L'occhio va dove volevi, l'inquadratura è utilizzabile, c'è spazio dove ti serve?
• Testo. Le lettere sono giuste, scritte bene, sull'oggetto giusto?
• Mani e anatomia. Conta le dita. Controlla dove si uniscono gli arti.
• Texture e luce. Ingrandisci. Il materiale somiglia al materiale, le ombre sono coerenti con una sola luce?
• Artefatti. Bordi sbavati, oggetti raddoppiati, un motivo che si ripete.

Giudica prima di guardare quale modello ha fatto quale immagine, se puoi. Chiedi a un amico di rinominare i file, o copri l'etichetta. A tutti piace il modello in cui già crediamo.

Annota tutto come in un quaderno di laboratorio

Basta una scheda con una riga per render: la data, il nome del modello, l'etichetta del prompt, il seed, il formato, ogni impostazione che hai cambiato, i sei punteggi e una riga di note. La libreria conserva le tue immagini e ti lascia riusare un prompt, ma non ripristina le impostazioni avanzate, quindi il seed vive sulla tua scheda o da nessuna parte. Quando torni dopo un mese, una riga ti dice esattamente da cosa è nato un risultato.

Una differenza reale o solo rumore?

Ecco la parte scomoda. Anche con il seed fissato, un singolo render è un campione, e parte del divario tra due immagini è fortuna. Alcuni modi per distinguere:

• Ripeti il migliore e il peggiore. Renderizza lo stesso prompt sullo stesso modello con altri due seed. Se il modello «cattivo» produce un vincitore al secondo seed, il primo divario era rumore.
• Cerca uno schema tra i prompt. Un modello che sbaglia il testo in tutte e tre le scene è un risultato. Un errore su nove è un tiro di dadi.
• Guarda il tipo di errore. Errori coerenti di un solo tipo (lettere sempre sfocate, sempre una lucentezza plastica) vengono dal modello. Errori casuali e diversi ogni volta vengono dai dadi.
• Bada all'ampiezza del divario. Una minuscola differenza di punteggio tra due modelli non vale una decisione. Un modello che vince su otto righe su nove sì.

I limiti del metodo

Diciamolo chiaramente: un test equo è comunque un piccolo campione, e nove render dicono qualcosa sui tuoi tre prompt, non su ogni immagine che farai mai. Altre tre cose possono rovinare in silenzio un confronto:

• Non ogni modello accetta un seed. Alcuni lo tengono interno, e Fast Image non ha affatto un campo seed. Per questi non puoi fissare il punto di partenza, quindi servono più render per cella, e uno schema su molti conta più di una singola immagine.
• Fissato non significa identico al pixel. Dove esiste un seed, i dettagli fini possono comunque variare un po' tra un'esecuzione e l'altra.
• I modelli cambiano. Un confronto è una fotografia del catalogo nel giorno in cui l'hai fatto. Se un modello viene aggiornato, rifai le righe che contavano.

Prova a basso costo, rifinisci sul vincitore

La griglia non deve essere costosa, perché gran parte di ciò che impari riguarda i tuoi prompt e i tuoi layout, non la rifinitura. Parti da formulazione e composizione su Fast Image, il modello più economico, dove un'idea sbagliata costa poco. Ricorda che ha un proprio motore di rendering, quindi una bozza di Fast Image è uno schizzo dell'idea e non un'anteprima di come la disegnerà un altro modello. Quando hai un prompt che funziona, eseguilo sui tuoi due candidati veri, scegli quello che ha ottenuto il punteggio migliore sulle voci che ti interessano e spendi lì i tuoi render di qualità. Il prezzo compare sul pulsante Generate prima che tu confermi, e l'articolo sui nuovi tentativi mostra come contare quanto costa davvero un'immagine utilizzabile, che è il numero che dovrebbe sciogliere un caso incerto.

Il video funziona allo stesso modo con una posta più alta per ogni render; l'articolo sui modelli video applica questa griglia alle clip. Quando sei pronto a eseguire la tua, apri lo studio e parti dalla riga della domanda in cima alla scheda.