KI-Bildmodelle fair vergleichen: ein Testraster, das Sie wiederholen können

Die meisten Vergleiche von Bildgeneratoren laufen so ab: ein Prompt, ein Bild pro Modell, nach dreißig Sekunden steht der Sieger fest. Das fühlt sich wie ein Test an, ist aber eher ein Münzwurf. Ein Glückstreffer bei einem schwächeren Modell schlägt einen Fehlwurf bei einem stärkeren, und am Ende steht ein Favorit, den der Zufall bestimmt hat. Dieser Beitrag zeigt stattdessen eine Methode: ein kleines Raster, das Sie an einem Nachmittag im Modellkatalog des Studios durchspielen können, samt Bogen für die Ergebnisse.

Die eine Regel: nur eine Sache ändern

Ein Vergleich ist nur fair, wenn sich zwischen den beiden Bildern, die Sie beurteilen, genau eine Variable unterscheidet. Ändern sich Modell und Prompt zugleich, haben Sie über keins von beiden etwas gelernt. Legen Sie also zuerst die Frage fest und halten Sie alles andere konstant:

• Welches Modell? Gleicher Prompt, gleiches Seitenverhältnis, gleicher Seed, gleiche Qualitätsstufe. Nur das Modell ändert sich.
• Welche Formulierung? Gleiches Modell, gleicher Seed, gleiche Einstellungen. Nur eine Wendung ändert sich. Der Seed-Beitrag erklärt, warum das Festhalten der Zahl dies möglich macht.
• Welche Einstellung? Gleiches Modell, gleicher Prompt, gleicher Seed, eine Option umgeschaltet.

Schreiben Sie die Frage oben auf Ihren Bogen, bevor Sie auf Generieren klicken. Das klingt pedantisch, ist aber genau der Schritt, der verhindert, dass ein Test in drei schlecht beantwortete Fragen zerfasert.

Das Raster aufbauen

Wählen Sie zwei oder drei Kandidaten aus den Bildmodellen auf der Katalogseite, zum Beispiel Still und Still Lite neben ein oder zwei weiteren, deren Seite die Aufgabe beschreibt, die Sie haben. Wählen Sie dann drei Prompts, die Verschiedenes auf die Probe stellen, nicht dreimal dieselbe Szene:

1. 01Eine Szene mit Aufbau. Ein Motiv, ein Ort, Licht und eine konkrete Platzierung ("die Lampe links, das Fenster dahinter"). Das testet Komposition und wie wörtlich das Modell Ihnen folgt.
2. 02Eine Szene mit Text oder Händen. Ein Ladenschild mit einem kurzen Wort oder eine Person mit einer Tasse in der Hand. Hier unterscheiden sich Modelle am deutlichsten. Der Beitrag zu Händen und Text erklärt, warum.
3. 03Eine Szene mit Material. Nasser Stein, gebürstetes Metall, Wolle, Haut. Das testet Textur und Licht, also das, was man Realismus nennt.

Schreiben Sie jeden Prompt vor dem Test sorgfältig; ein vager Prompt belohnt das Modell, das Ihren Geschmack am besten errät, und das ist ein anderer Wettbewerb. Der Prompt-Leitfaden liefert die Struktur. Lassen Sie dann jeden Prompt auf jedem Kandidaten laufen, mit demselben Seed und demselben Seitenverhältnis. Drei Prompts und drei Modelle ergeben neun Bilder, ein Test, den man sich leisten kann.

Worauf Sie achten, in dieser Reihenfolge

Beurteilen Sie jedes Bild anhand derselben kurzen Checkliste, nicht nach einem Gesamteindruck. Geben Sie jedem Punkt eine Note von eins bis drei und notieren Sie ein Wort als Beleg.

• Prompt-Treue. Ist alles da, was Sie verlangt haben, und an der verlangten Stelle? Zählen Sie, was fehlt.
• Komposition. Geht der Blick dorthin, wo Sie ihn haben wollten, ist der Ausschnitt brauchbar, gibt es Platz, wo Sie ihn brauchen?
• Text. Sind die Buchstaben richtig, richtig geschrieben, auf dem richtigen Objekt?
• Hände und Anatomie. Zählen Sie die Finger. Prüfen Sie, wo Gliedmaßen ansetzen.
• Textur und Licht. Zoomen Sie hinein. Sieht das Material nach dem Material aus, passen die Schatten zu einer einzigen Lichtquelle?
• Artefakte. Verschmierte Kanten, doppelte Objekte, ein Muster, das sich wiederholt.

Urteilen Sie möglichst, bevor Sie wissen, welches Modell welches Bild gemacht hat. Bitten Sie jemanden, die Dateien umzubenennen, oder verdecken Sie das Label. Wir alle mögen das Modell, an das wir ohnehin glauben.

Führen Sie Buch wie in einem Laborjournal

Ein Bogen mit einer Zeile pro Bild genügt: Datum, Modellname, Prompt-Kürzel, Seed, Seitenverhältnis, jede geänderte Einstellung, die sechs Noten und eine Zeile Notizen. Die Bibliothek bewahrt Ihre Bilder auf und lässt Sie einen Prompt wiederverwenden, bringt die erweiterten Einstellungen aber nicht zurück, der Seed steht also auf Ihrem Bogen oder nirgends. Wenn Sie in einem Monat wiederkommen, sagt Ihnen eine Zeile genau, woraus ein Ergebnis entstanden ist.

Echter Unterschied oder nur Rauschen?

Jetzt kommt der unbequeme Teil. Selbst bei festgehaltenem Seed ist ein einzelnes Bild nur eine Stichprobe, und ein Teil des Abstands zwischen zwei Bildern ist Glück. Ein paar Wege, beides auseinanderzuhalten:

• Wiederholen Sie das beste und das schlechteste. Lassen Sie denselben Prompt auf demselben Modell mit zwei weiteren Seeds laufen. Liefert das "schlechte" Modell beim zweiten Seed einen Treffer, war der erste Abstand Rauschen.
• Suchen Sie ein Muster über mehrere Prompts. Ein Modell, das den Text in allen drei Szenen verfehlt, ist ein Befund. Ein Fehlgriff in neun ist ein Würfelwurf.
• Achten Sie auf die Art des Fehlers. Gleichbleibende Fehler eines Typs (immer verwischte Schrift, immer ein Plastikglanz) kommen vom Modell. Zufällige, jedes Mal andere Fehler kommen vom Würfel.
• Beachten Sie die Größe des Abstands. Ein winziger Notenunterschied zwischen zwei Modellen ist keine Handlung wert. Ein Modell, das in acht von neun Zeilen vorn liegt, schon.

Die Grenzen der Methode

Sagen wir es deutlich: Auch ein fairer Test bleibt eine kleine Stichprobe, und neun Bilder sagen etwas über Ihre drei Prompts aus, nicht über jedes Bild, das Sie je machen werden. Drei weitere Dinge können einen Vergleich unbemerkt verfälschen:

• Nicht jedes Modell nimmt einen Seed. Manche halten ihn intern, und Fast Image hat gar kein Seed-Feld. Dort lässt sich der Startpunkt nicht festlegen, Sie brauchen also mehr Bilder pro Feld, und ein Muster über viele Bilder zählt mehr als jedes einzelne.
• Festgehalten heißt nicht pixelgleich. Wo es einen Seed gibt, können feine Details von Lauf zu Lauf dennoch leicht abweichen.
• Modelle ändern sich. Ein Vergleich ist eine Momentaufnahme des Katalogs an dem Tag, an dem Sie ihn gemacht haben. Wird ein Modell aktualisiert, wiederholen Sie die Zeilen, auf die es ankam.

Günstig testen, mit dem Sieger fertigstellen

Das Raster muss nicht teuer sein, denn das meiste, was Sie lernen, betrifft Ihre Prompts und Bildaufteilungen, nicht den letzten Schliff. Beginnen Sie mit Formulierung und Komposition auf Fast Image, dem günstigsten Modell, bei dem eine schlechte Idee wenig kostet. Bedenken Sie, dass es einen eigenen Renderer hat: Ein Fast-Image-Entwurf ist eine Skizze der Idee, keine Vorschau darauf, wie ein anderes Modell sie zeichnen wird. Sobald Sie einen funktionierenden Prompt haben, lassen Sie ihn auf Ihren zwei echten Kandidaten laufen, nehmen Sie den, der bei den für Sie wichtigen Punkten am besten abschnitt, und geben Sie Ihre Qualitätsbilder nur dort aus. Der Preis steht vor dem Absenden auf dem Generieren-Button, und der Beitrag zum Re-Roll zeigt, wie Sie berechnen, was ein brauchbares Bild wirklich kostet, die Zahl, die eine knappe Entscheidung klären sollte.

Bei Video funktioniert es genauso, nur mit höherem Einsatz pro Bild; der Beitrag zur Wahl eines Videomodells wendet dieses Raster auf Clips an. Wenn Sie bereit sind, Ihren Test zu starten, öffnen Sie das Studio und beginnen Sie mit der Fragezeile oben auf dem Bogen.