Como comparar modelos de imagem com IA de forma justa: uma grade de teste que você pode repetir

A maioria das comparações de geradores de imagem funciona assim: um prompt, uma imagem por modelo e um vencedor declarado em trinta segundos. Parece um teste, mas está mais para cara ou coroa. Uma jogada de sorte num modelo mais fraco vence uma jogada de azar num modelo melhor, e você sai com um favorito escolhido pelo acaso. Este post propõe um método: uma grade pequena que dá para rodar numa tarde no catálogo de modelos do estúdio, com uma planilha para anotar os resultados.

A regra de ouro: mude uma coisa só

Uma comparação só é justa se exatamente uma variável diferir entre as duas imagens que você está julgando. Se o modelo e o prompt mudaram juntos, você não aprendeu nada sobre nenhum dos dois. Então decida primeiro qual é a pergunta e mantenha todo o resto parado:

• Qual modelo? Mesmo prompt, mesma proporção, mesma seed, mesma configuração de qualidade. Só o modelo muda.
• Qual redação? Mesmo modelo, mesma seed, mesmas configurações. Só uma frase muda. O post sobre seed explica por que fixar o número torna isso possível.
• Qual configuração? Mesmo modelo, mesmo prompt e mesma seed, com uma opção alterada.

Escreva a pergunta no topo da planilha antes de apertar Gerar. Parece chatice, mas é o passo que impede um teste de virar três perguntas mal respondidas.

Monte a grade

Escolha dois ou três candidatos entre os modelos de imagem da página do catálogo, por exemplo Still e Still Lite ao lado de um ou dois outros cujas páginas descrevam o trabalho que você tem. Depois escolha três prompts que testem coisas diferentes, não três versões da mesma cena:

1. 01Uma cena com disposição. Um sujeito, um cenário, luz e uma posição específica ("a luminária à esquerda, a janela ao fundo"). Testa a composição e o quanto o modelo segue você ao pé da letra.
2. 02Uma cena com texto ou mãos. Uma placa de loja com uma palavra curta, ou uma pessoa segurando uma xícara. É onde os modelos mais se diferenciam. O post sobre mãos e texto explica por quê.
3. 03Uma cena com material. Pedra molhada, metal escovado, lã, pele. Testa textura e iluminação, o que as pessoas chamam de realismo.

Escreva bem cada prompt antes do teste; um prompt vago premia o modelo que melhor adivinha o seu gosto, que é outra disputa. O guia de prompts mostra a estrutura. Depois rode cada prompt em cada candidato com a mesma seed e a mesma proporção. Três prompts e três modelos dão nove imagens, um teste que cabe no bolso.

O que olhar, e em que ordem

Julgue cada imagem com a mesma lista curta, não com uma impressão geral. Dê a cada item uma nota de um a três e escreva uma palavra de evidência.

• Fidelidade ao prompt. Tudo o que você pediu está lá, no lugar pedido? Conte o que falta.
• Composição. O olhar vai para onde você queria, o enquadramento serve, há espaço onde você precisa?
• Texto. As letras estão certas, bem escritas, no objeto certo?
• Mãos e anatomia. Conte os dedos. Veja onde os membros se juntam.
• Textura e luz. Dê zoom. O material parece o material, as sombras combinam com uma única luz?
• Artefatos. Bordas borradas, objetos duplicados, um padrão que se repete.

Se puder, julgue antes de saber qual modelo fez qual imagem. Peça a um amigo para renomear os arquivos, ou cubra o rótulo. Todos nós gostamos do modelo em que já acreditamos.

Registre como num caderno de laboratório

Basta uma planilha com uma linha por imagem: a data, o nome do modelo, o rótulo do prompt, a seed, a proporção, qualquer configuração que você mudou, as seis notas e uma linha de observações. A biblioteca guarda suas imagens e deixa você reutilizar um prompt, mas não traz de volta as configurações avançadas, então a seed fica na sua planilha ou em lugar nenhum. Quando você voltar daqui a um mês, uma linha diz exatamente com o que um resultado foi feito.

Diferença real ou só ruído?

Agora a parte incômoda. Mesmo com a seed fixa, uma única imagem é uma amostra, e parte da diferença entre duas imagens é sorte. Algumas formas de distinguir:

• Repita a melhor e a pior. Gere o mesmo prompt no mesmo modelo com mais duas seeds. Se o modelo "ruim" produzir uma vencedora na segunda seed, a primeira diferença era ruído.
• Procure um padrão entre os prompts. Um modelo que erra o texto nas três cenas é uma descoberta. Um erro em nove é uma jogada.
• Olhe o tipo de erro. Erros constantes de um mesmo tipo (sempre letras borradas, sempre um brilho de plástico) vêm do modelo. Erros aleatórios e diferentes a cada vez vêm dos dados.
• Considere o tamanho da diferença. Uma diferença minúscula de nota entre dois modelos não vale uma decisão. Um modelo que vence em oito de nove linhas vale.

Os limites do método

Dito com clareza: um teste justo continua sendo uma amostra pequena, e nove imagens dizem algo sobre os seus três prompts, não sobre todas as imagens que você vai fazer. Mais três coisas podem estragar uma comparação sem alarde:

• Nem todo modelo aceita seed. Alguns a mantêm interna, e o Fast Image não tem campo de seed. Nesses casos você não consegue fixar o ponto de partida, então precisa de mais imagens por célula, e um padrão em muitas importa mais que qualquer imagem isolada.
• Fixa não significa idêntica ao pixel. Onde existe seed, o detalhe fino ainda pode variar um pouco entre execuções.
• Os modelos mudam. Uma comparação é uma fotografia do catálogo no dia em que você a fez. Se um modelo for atualizado, refaça as linhas que importavam.

Teste barato, termine no vencedor

A grade não precisa ser cara, porque quase tudo o que você aprende é sobre os seus prompts e composições, não sobre o acabamento. Comece pela redação e pela composição no Fast Image, o modelo mais barato, onde uma ideia ruim custa pouco. Lembre que ele tem seu próprio renderizador, então um rascunho do Fast Image é um esboço da ideia e não uma prévia de como outro modelo vai desenhar. Quando tiver um prompt que funciona, rode-o nos seus dois candidatos de verdade, escolha o que teve a melhor nota nos itens que importam e gaste suas gerações de qualidade só ali. O preço aparece no botão Gerar antes de você confirmar, e o post sobre refazer jogadas mostra como contar quanto custa de fato uma imagem aproveitável, o número que deve resolver uma decisão apertada.

Vídeo funciona do mesmo jeito, com mais em jogo a cada geração; o post sobre modelos de vídeo aplica esta grade a clipes. Quando estiver pronto para rodar a sua, abra o estúdio e comece pela linha da pergunta no topo da planilha.