Jak férově porovnat AI obrazové modely: testovací mřížka, kterou můžete opakovat

Většina srovnání generátorů obrázků probíhá takto: jeden prompt, jeden render na model, vítěz vyhlášený za třicet vteřin. Působí to jako test, ale blíží se to spíš loterii. Jeden šťastný hod na slabším modelu porazí jeden nešťastný na silnějším a odnesete si oblíbence vybraného náhodou. Tento článek je místo toho metoda: malá mřížka, kterou za odpoledne projdete v katalogu modelů ve studiu, s tabulkou pro zápis výsledků.

Jediné pravidlo: měňte jednu věc

Srovnání je férové, jen pokud se mezi dvěma posuzovanými rendery liší přesně jedna proměnná. Když se změnil model i prompt, nedozvíte se nic ani o jednom. Nejdřív se proto rozhodněte, jaká je otázka, a vše ostatní držte na místě:

• Který model? Stejný prompt, stejný poměr stran, stejný seed, stejné nastavení kvality. Mění se jen model.
• Které znění? Stejný model, stejný seed, stejná nastavení. Mění se jen jedna fráze. Proč to připnutí čísla umožňuje, vysvětluje článek o seedu.
• Které nastavení? Stejný model, prompt i seed, přepnutá jedna volba.

Otázku napište na začátek tabulky dřív, než stisknete Generate. Zní to pedantsky a je to krok, který brání tomu, aby se test zvrhl ve tři otázky zodpovězené špatně.

Sestavte mřížku

Vyberte dva nebo tři kandidáty z obrazových modelů na stránce katalogu, například Still a Still Lite vedle jednoho či dvou dalších, jejichž stránky popisují vaši práci. Pak zvolte tři prompty, které zkoušejí různé věci, ne tři verze stejné scény:

1. 01Scéna s rozvržením. Motiv, prostředí, světlo a jedno konkrétní umístění („the lamp on the left, the window behind“). Testuje kompozici a to, jak doslova vás model následuje.
2. 02Scéna s textem nebo rukama. Cedule obchodu s krátkým slovem nebo člověk držící hrnek. Tady se modely liší nejviditelněji. Proč, rozebírá článek o rukou a textu.
3. 03Scéna s materiálem. Mokrý kámen, kartáčovaný kov, vlna, pleť. Testuje texturu a osvětlení, tedy to, čemu lidé říkají realismus.

Každý prompt napište pečlivě dlouho před testem; vágní prompt odměňuje model, který nejlépe odhadne váš vkus, což je jiná soutěž. Strukturu najdete v průvodci prompty. Pak spusťte každý prompt na každém kandidátovi se stejným seedem a stejným poměrem stran. Tři prompty a tři modely je devět renderů, což je test, který si můžete dovolit.

Na co se dívat, v tomto pořadí

Každý obrázek posuzujte podle stejného krátkého seznamu, ne podle obecného dojmu. Každé položce dejte skóre od jedné do tří a připište slovo jako důkaz.

• Dodržení promptu. Je všechno zadané na požadovaném místě? Spočítejte chybějící věci.
• Kompozice. Jde oko tam, kam má, je rámování použitelné, je místo tam, kde ho potřebujete?
• Text. Jsou písmena správně, správně napsaná a na správném předmětu?
• Ruce a anatomie. Spočítejte prsty. Zkontrolujte, kde se spojují končetiny.
• Textura a světlo. Přibližte. Vypadá materiál jako materiál, odpovídají stíny jednomu světlu?
• Artefakty. Rozmazané okraje, zdvojené předměty, vzor, který se opakuje.

Posuzujte dřív, než se podíváte, který model který obrázek vytvořil, pokud to jde. Požádejte kamaráda, ať soubory přejmenuje, nebo zakryjte popisek. Všichni máme rádi model, ve který už věříme.

Veďte záznam jako laboratorní deník

Stačí tabulka s jedním řádkem na render: datum, název modelu, označení promptu, seed, poměr stran, každé změněné nastavení, šest skóre a řádek poznámek. Knihovna uchovává vaše obrázky a umožňuje znovu použít prompt, ale pokročilá nastavení nevrací, takže seed žije ve vaší tabulce, nebo nikde. Až se za měsíc vrátíte, řádek vám přesně řekne, z čeho výsledek vznikl.

Skutečný rozdíl, nebo jen šum?

Tady přichází nepříjemná část. I s připnutým seedem je jeden render jeden vzorek a část rozdílu mezi dvěma obrázky je štěstí. Několik způsobů, jak rozdíl poznat:

• Zopakujte nejlepší a nejhorší. Vykreslete stejný prompt na stejném modelu se dvěma dalšími seedy. Pokud „špatný“ model vyprodukuje vítěze na druhém seedu, první rozdíl byl šum.
• Hledejte vzor napříč prompty. Jeden model, který mine text ve všech třech scénách, je zjištění. Jedna chyba z devíti je hod kostkou.
• Všímejte si druhu chyby. Důsledné chyby jednoho typu (vždy rozmazané písmo, vždy plastový lesk) pocházejí z modelu. Náhodné, pokaždé jiné chyby pocházejí z kostek.
• Hlídejte velikost rozdílu. Drobný rozdíl ve skóre mezi dvěma modely není důvod jednat. Model, který vyhrává v osmi z devíti řádků, ano.

Meze metody

Řekněme si to otevřeně: férový test je pořád malý vzorek a devět renderů vypovídá o vašich třech promptech, ne o každém obrázku, který kdy vytvoříte. Srovnání mohou nenápadně zkazit ještě tři věci:

• Ne každý model přijímá seed. Některé ho drží interně a Fast Image nemá pole pro seed vůbec. U nich nelze výchozí bod připnout, takže potřebujete víc renderů na buňku a vzor napříč mnoha znamená víc než jakýkoli jediný obrázek.
• Připnuto neznamená pixel po pixelu shodné. Tam, kde seed existuje, se jemný detail může mezi běhy mírně lišit.
• Modely se mění. Srovnání je fotografie katalogu v den, kdy se test spustil. Pokud se model aktualizuje, zopakujte řádky, na kterých záleželo.

Testujte levně, dokončete na vítězi

Mřížka nemusí být drahá, protože většina poznání se týká vašich promptů a rozvržení, ne finálního provedení. Se zněním a kompozicí začněte na Fast Image, nejlevnějším modelu, kde špatný nápad stojí málo. Pamatujte, že je to samostatný renderer, takže koncept z Fast Image je skica nápadu, ne náhled toho, jak ho nakreslí jiný model. Až budete mít fungující prompt, spusťte ho na svých dvou skutečných kandidátech, vyberte toho, který získal nejlepší skóre v položkách, na kterých vám záleží, a kvalitní rendery utrácejte jen tam. Cena se ukáže na tlačítku Generate před potvrzením a článek o opakování ukazuje, jak spočítat, kolik použitelný obrázek skutečně stojí, což je číslo, které má rozhodnout těsný souboj.

S videem to funguje stejně, jen s vyšší sázkou na každý render; článek o video modelech tuto mřížku aplikuje na klipy. Až budete chtít spustit tu svou, otevřete studio a začněte řádkem s otázkou na vrchu tabulky.