Comparer équitablement des modèles d'image IA : une grille de test reproductible

La plupart des comparatifs de générateurs d'images se déroulent ainsi : un prompt, un rendu par modèle, un gagnant désigné en trente secondes. Cela ressemble à un test, mais c'est plus proche d'un pile ou face. Un coup de chance sur un modèle plus faible bat un mauvais tirage sur un modèle plus fort, et vous repartez avec un favori choisi par le hasard. Cet article propose une vraie méthode : une petite grille que vous pouvez dérouler en un après-midi sur le catalogue de modèles du studio, avec une fiche pour noter les résultats.

La règle unique : ne changer qu'une chose

Une comparaison n'est juste que si une seule variable diffère entre les deux rendus que vous jugez. Si le modèle et le prompt ont changé tous les deux, vous n'avez rien appris sur aucun des deux. Décidez donc d'abord de la question, et figez tout le reste :

• Quel modèle ? Même prompt, même format, même seed, même réglage de qualité. Seul le modèle change.
• Quelle formulation ? Même modèle, même seed, mêmes réglages. Seule une expression change. L'article sur le seed explique pourquoi fixer ce nombre rend cela possible.
• Quel réglage ? Même modèle, même prompt, même seed, une seule option basculée.

Écrivez la question en haut de votre fiche avant de cliquer sur Générer. Cela paraît tatillon, mais c'est l'étape qui empêche un test de dériver vers trois questions mal traitées.

Construire la grille

Choisissez deux ou trois candidats parmi les modèles d'image de la page du catalogue, par exemple Still et Still Lite à côté d'un ou deux autres dont la page décrit le travail que vous avez à faire. Choisissez ensuite trois prompts qui sollicitent des choses différentes, et non trois versions de la même scène :

1. 01Une scène avec une mise en page. Un sujet, un décor, une lumière et un placement précis ("la lampe à gauche, la fenêtre derrière"). Cela teste la composition et la fidélité du modèle à vos consignes.
2. 02Une scène avec du texte ou des mains. Une enseigne de boutique avec un mot court, ou une personne tenant une tasse. C'est là que les modèles diffèrent le plus visiblement. L'article sur les mains et le texte en explique la raison.
3. 03Une scène avec de la matière. Pierre mouillée, métal brossé, laine, peau. Cela teste la texture et la lumière, ce que l'on appelle le réalisme.

Rédigez bien chaque prompt avant le test ; un prompt vague récompense le modèle qui devine le mieux votre goût, ce qui est un autre concours. Le guide des prompts en donne la structure. Lancez ensuite chaque prompt sur chaque candidat, avec le même seed et le même format. Trois prompts et trois modèles font neuf rendus, un test que l'on peut se permettre.

Ce qu'il faut regarder, dans cet ordre

Jugez chaque image selon la même courte liste de contrôle, et non selon une impression générale. Donnez à chaque point une note de un à trois et écrivez un mot de justification.

• Fidélité au prompt. Tout ce que vous avez demandé est-il là, à l'endroit demandé ? Comptez les éléments manquants.
• Composition. Le regard va-t-il où vous le vouliez, le cadrage est-il exploitable, y a-t-il de la place là où il en faut ?
• Texte. Les lettres sont-elles justes, bien orthographiées, sur le bon objet ?
• Mains et anatomie. Comptez les doigts. Vérifiez les jonctions des membres.
• Texture et lumière. Zoomez. La matière ressemble-t-elle à la matière, les ombres sont-elles cohérentes avec une seule source de lumière ?
• Artefacts. Bords baveux, objets dédoublés, motif qui se répète.

Si possible, jugez avant de savoir quel modèle a produit quelle image. Demandez à un ami de renommer les fichiers, ou masquez l'étiquette. Nous aimons tous le modèle auquel nous croyons déjà.

Tenir un carnet de labo

Une fiche avec une ligne par rendu suffit : la date, le nom du modèle, l'étiquette du prompt, le seed, le format, tout réglage modifié, les six notes et une ligne de remarques. La bibliothèque conserve vos images et permet de réutiliser un prompt, mais elle ne restitue pas les réglages avancés : le seed vit donc sur votre fiche, ou nulle part. Quand vous y reviendrez dans un mois, une ligne vous dira exactement de quoi un résultat est fait.

Un vrai écart ou juste du bruit ?

Voici la partie inconfortable. Même avec le seed fixé, un rendu isolé n'est qu'un échantillon, et une partie de l'écart entre deux images relève de la chance. Quelques façons de faire la différence :

• Répétez le meilleur et le pire. Lancez le même prompt sur le même modèle avec deux seeds de plus. Si le "mauvais" modèle produit un gagnant au second seed, le premier écart n'était que du bruit.
• Cherchez une tendance d'un prompt à l'autre. Un modèle qui rate le texte dans les trois scènes est une découverte. Un échec sur neuf est un tirage.
• Observez le type d'erreur. Des erreurs constantes d'un même type (lettres toujours floues, éclat plastique systématique) viennent du modèle. Des erreurs aléatoires et différentes à chaque fois viennent des dés.
• Mesurez l'ampleur de l'écart. Une minuscule différence de note entre deux modèles ne mérite pas d'agir. Un modèle qui l'emporte sur huit lignes sur neuf, si.

Les limites de la méthode

Disons-le franchement : un test juste reste un petit échantillon, et neuf rendus disent quelque chose de vos trois prompts, pas de toutes les images que vous ferez un jour. Trois autres éléments peuvent fausser discrètement une comparaison :

• Tous les modèles n'acceptent pas un seed. Certains le gardent en interne, et Fast Image n'a aucun champ seed. Pour eux, impossible de fixer le point de départ : il faut donc plus de rendus par case, et une tendance sur de nombreux rendus compte plus que n'importe quelle image isolée.
• Fixé ne veut pas dire identique au pixel près. Là où un seed existe, les détails fins peuvent encore varier un peu d'un lancement à l'autre.
• Les modèles évoluent. Une comparaison est une photographie du catalogue le jour où vous l'avez faite. Si un modèle est mis à jour, refaites les lignes qui comptaient.

Tester à petit prix, finir avec le gagnant

La grille n'a pas besoin d'être chère, car l'essentiel de ce que l'on apprend concerne vos prompts et vos compositions, pas la finition. Commencez par la formulation et la composition sur Fast Image, le modèle le moins cher, où une mauvaise idée coûte peu. Souvenez-vous qu'il a son propre moteur de rendu : un brouillon Fast Image est une esquisse de l'idée, pas un aperçu de la façon dont un autre modèle la dessinera. Une fois que vous avez un prompt qui fonctionne, lancez-le sur vos deux vrais candidats, retenez celui qui a obtenu les meilleures notes sur les points qui comptent pour vous, et dépensez vos rendus de qualité là, et seulement là. Le prix s'affiche sur le bouton Générer avant que vous validiez, et l'article sur le re-roll montre comment compter ce que coûte vraiment une image utilisable, le chiffre qui devrait trancher un choix serré.

La vidéo fonctionne de la même façon, avec un enjeu plus élevé par rendu ; l'article sur le choix d'un modèle vidéo applique cette grille aux clips. Quand vous êtes prêt à lancer la vôtre, ouvrez le studio et commencez par la ligne de question en haut de la fiche.