Cómo comparar modelos de imagen con IA de forma justa: una cuadrícula de prueba repetible

La mayoría de las comparaciones de generadores de imágenes funcionan así: un prompt, una imagen por modelo y un ganador declarado en treinta segundos. Parece una prueba, pero se parece más a lanzar una moneda. Una tirada con suerte en un modelo más flojo gana a una tirada con mala suerte en uno mejor, y te quedas con un favorito elegido por azar. Este artículo propone un método: una cuadrícula pequeña que puedes ejecutar en una tarde en el catálogo de modelos del estudio, con una hoja donde apuntar los resultados.

La regla de oro: cambia una sola cosa

Una comparación solo es justa si entre las dos imágenes que juzgas difiere exactamente una variable. Si cambiaron el modelo y el prompt a la vez, no has aprendido nada de ninguno de los dos. Así que decide primero cuál es la pregunta y mantén todo lo demás fijo:

• ¿Qué modelo? Mismo prompt, misma proporción, misma semilla, mismo ajuste de calidad. Solo cambia el modelo.
• ¿Qué redacción? Mismo modelo, misma semilla, mismos ajustes. Solo cambia una frase. El artículo sobre la semilla explica por qué fijar el número lo hace posible.
• ¿Qué ajuste? Mismo modelo, mismo prompt y misma semilla, con una opción cambiada.

Escribe la pregunta arriba de tu hoja antes de pulsar Generar. Parece un detalle quisquilloso, pero es el paso que evita que una prueba derive en tres preguntas mal respondidas.

Monta la cuadrícula

Elige dos o tres candidatos entre los modelos de imagen de la página del catálogo, por ejemplo Still y Still Lite junto a uno o dos más cuyas fichas describan el trabajo que tienes entre manos. Luego elige tres prompts que pongan a prueba cosas distintas, no tres versiones de la misma escena:

1. 01Una escena con distribución. Un sujeto, un entorno, luz y una colocación concreta («la lámpara a la izquierda, la ventana detrás»). Pone a prueba la composición y lo literal que es el modelo al seguirte.
2. 02Una escena con texto o manos. Un letrero de tienda con una palabra corta, o una persona sosteniendo una taza. Es donde más se notan las diferencias entre modelos. El artículo sobre manos y texto cuenta por qué.
3. 03Una escena con material. Piedra mojada, metal cepillado, lana, piel. Pone a prueba la textura y la iluminación, eso que la gente llama realismo.

Escribe bien cada prompt antes de la prueba; un prompt vago premia al modelo que mejor adivine tu gusto, que es otro concurso. La guía de prompts explica la estructura. Después ejecuta cada prompt en cada candidato con la misma semilla y la misma proporción. Tres prompts y tres modelos son nueve imágenes, una prueba que te puedes permitir.

Qué mirar, y en qué orden

Juzga cada imagen con la misma lista corta, no con una sensación general. Da a cada punto una nota del uno al tres y apunta una palabra como prueba.

• Fidelidad al prompt. ¿Está todo lo que pediste, en el lugar que pediste? Cuenta lo que falta.
• Composición. ¿La mirada va adonde querías, el encuadre sirve, hay espacio donde lo necesitas?
• Texto. ¿Las letras son correctas, están bien escritas y en el objeto adecuado?
• Manos y anatomía. Cuenta los dedos. Revisa dónde se unen las extremidades.
• Textura y luz. Haz zoom. ¿El material parece el material, las sombras son coherentes con una sola luz?
• Defectos. Bordes borrosos, objetos duplicados, un patrón que se repite.

Si puedes, juzga antes de saber qué modelo hizo cada imagen. Pide a un amigo que renombre los archivos, o tapa la etiqueta. A todos nos gusta el modelo en el que ya creemos.

Anótalo como en un cuaderno de laboratorio

Basta una hoja con una fila por imagen: la fecha, el nombre del modelo, la etiqueta del prompt, la semilla, la proporción, cualquier ajuste que cambiaste, las seis notas y una línea de comentarios. La biblioteca guarda tus imágenes y te deja reutilizar un prompt, pero no recupera los ajustes avanzados, así que la semilla vive en tu hoja o en ningún sitio. Cuando vuelvas dentro de un mes, una fila te dice exactamente con qué se hizo un resultado.

¿Diferencia real o solo ruido?

Aquí viene la parte incómoda. Incluso con la semilla fija, una sola imagen es una muestra, y parte de la diferencia entre dos imágenes es suerte. Algunas formas de distinguirlo:

• Repite la mejor y la peor. Genera el mismo prompt en el mismo modelo con dos semillas más. Si el modelo «malo» produce una ganadora con la segunda semilla, la primera diferencia era ruido.
• Busca un patrón entre prompts. Un modelo que falla el texto en las tres escenas es un hallazgo. Un fallo en nueve es una tirada.
• Fíjate en el tipo de error. Los errores constantes de un mismo tipo (siempre letras borrosas, siempre un brillo de plástico) vienen del modelo. Los errores aleatorios y distintos cada vez vienen de los dados.
• Mide el tamaño de la diferencia. Una diferencia mínima de nota entre dos modelos no merece que actúes. Un modelo que gana en ocho de nueve filas, sí.

Los límites del método

Dicho claramente: una prueba justa sigue siendo una muestra pequeña, y nueve imágenes dicen algo de tus tres prompts, no de todas las imágenes que harás nunca. Tres cosas más pueden estropear una comparación sin que lo notes:

• No todos los modelos admiten semilla. Algunos la mantienen interna, y Fast Image no tiene campo de semilla. En esos casos no puedes fijar el punto de partida, así que necesitas más imágenes por casilla, y un patrón en muchas importa más que cualquier imagen suelta.
• Fijada no significa idéntica al píxel. Donde hay semilla, el detalle fino aún puede variar un poco entre ejecuciones.
• Los modelos cambian. Una comparación es una fotografía del catálogo el día que la hiciste. Si se actualiza un modelo, repite las filas que importaban.

Prueba barato, termina con el ganador

La cuadrícula no tiene por qué ser cara, porque casi todo lo que aprendes tiene que ver con tus prompts y composiciones, no con el acabado. Empieza con la redacción y la composición en Fast Image, el modelo más barato, donde una mala idea cuesta poco. Recuerda que tiene su propio renderizador, así que un borrador de Fast Image es un boceto de la idea y no una vista previa de cómo lo dibujará otro modelo. Cuando tengas un prompt que funcione, ejecútalo en tus dos candidatos reales, elige el que mejor puntuó en lo que te importa y gasta tus generaciones de calidad solo ahí. El precio aparece en el botón Generar antes de confirmar, y el artículo sobre repetir tiradas muestra cómo contar lo que cuesta de verdad una imagen aprovechable, que es la cifra que debería decidir un caso reñido.

El vídeo funciona igual, con más en juego en cada generación; el artículo sobre modelos de vídeo aplica esta cuadrícula a los clips. Cuando estés listo para ejecutar la tuya, abre el estudio y empieza por la línea de pregunta arriba de la hoja.