AI画像モデルを公平に比較する方法：何度でも再現できるテストグリッド

画像生成AIの比較は、たいていこう進みます。プロンプトは1つ、モデルごとに1回だけ生成し、30秒で勝者を決める。テストのようでいて、実際は運任せのくじ引きに近いものです。弱いモデルの幸運な1枚が、強いモデルの不運な1枚に勝ち、偶然で選んだお気に入りができあがります。この記事では代わりに、午後いっぱいで試せる小さなグリッドと、結果を書き込むシートを使った方法を紹介します。使うのはスタジオのモデルカタログです。

唯一のルール：変えるのは1つだけ

比べる2枚の生成結果で違うのがちょうど1つの変数だけ、というときに限って比較は公平になります。モデルとプロンプトの両方を変えてしまうと、どちらについても何も分かりません。そこで、まず問いを決め、それ以外はすべて固定します。

• どのモデルか。 プロンプト、アスペクト比、シード、品質設定は同じ。変えるのはモデルだけ。
• どの言い回しか。 モデル、シード、設定は同じ。変えるのは1つのフレーズだけ。数値を固定するとなぜこれができるのかは、シードの記事で解説しています。
• どの設定か。 モデル、プロンプト、シードは同じで、オプションを1つだけ切り替える。

生成ボタンを押す前に、シートの一番上に問いを書いておきましょう。細かいようですが、この一手間が、テストが3つの問いに散らばって中途半端な答えになるのを防ぎます。

グリッドを作る

カタログページの画像モデルから2、3個の候補を選びます。たとえばStillとStill Liteに、やりたい作業が紹介されているモデルを1、2個加えます。次に、同じ場面の言い換えではなく、それぞれ違う点を試すプロンプトを3つ用意します。

1. 01レイアウトのある場面。 被写体、場所、光、そして具体的な配置1つ（「ランプは左、窓は奥」）。構図と、モデルがどれだけ文字どおりに従うかを試せます。
2. 02文字や手のある場面。 短い単語の入った店の看板や、カップを持つ人。モデルの差が最も目に見えて出る場所です。理由は手と文字の記事で扱っています。
3. 03素材のある場面。 濡れた石、ブラシ仕上げの金属、ウール、肌。質感と光、いわゆるリアルさを試せます。

テストの前に、各プロンプトをきちんと書いておきましょう。曖昧なプロンプトは、あなたの好みを一番うまく推測したモデルに有利に働き、それは別の勝負になってしまいます。構成はプロンプトガイドにまとめてあります。そのうえで、すべてのプロンプトをすべての候補で、同じシード、同じアスペクト比で生成します。3プロンプト×3モデルで9枚。手が届く規模のテストです。

見る順番

全体の印象ではなく、毎回同じ短いチェックリストで各画像を判定します。項目ごとに1から3の点数を付け、根拠を一言書きましょう。

• プロンプトへの忠実さ。 頼んだものが、頼んだ場所に全部あるか。足りないものを数える。
• 構図。 視線が狙った所へ行くか、フレーミングは使えるか、必要な所に余白があるか。
• 文字。 字形は正しいか、綴りは合っているか、正しい物体の上にあるか。
• 手と体の構造。 指の本数を数える。手足のつなぎ目を確認する。
• 質感と光。 拡大して見る。素材はその素材らしいか、影は1つの光源と矛盾しないか。
• アーティファクト。 にじんだ縁、二重になった物体、繰り返されるパターン。

できれば、どのモデルがどの画像を作ったか見ずに判定してください。友人にファイル名を変えてもらうか、ラベルを隠します。人は誰でも、すでに信じているモデルをひいきしてしまうものです。

実験ノートのように記録する

生成1回につき1行のシートで十分です。日付、モデル名、プロンプトのラベル、シード、アスペクト比、変えた設定、6つの点数、メモを1行。ライブラリには画像が保存され、プロンプトも再利用できますが、詳細設定までは戻りません。シードはシートに書くか、さもなければ失われます。1か月後に戻ってきても、その行を見れば結果が何から作られたかが正確に分かります。

本当の差か、ただのノイズか

ここが少し厄介なところです。シードを固定しても、1回の生成は1つのサンプルにすぎず、2枚の差の一部は運です。見分けるためのやり方をいくつか挙げます。

• 最良と最悪をやり直す。 同じモデルで同じプロンプトを、別のシード2つで生成します。「悪い」モデルが2つ目のシードで勝者を出したなら、最初の差はノイズでした。
• プロンプトをまたいだ傾向を探す。 3つの場面すべてで文字を外すモデルは、立派な発見です。9回中1回の失敗はサイコロの目です。
• 間違いの種類を見る。 1種類の間違いが一貫して出る場合（いつも文字がぼやける、いつもプラスチックのような艶）は、モデル由来です。毎回違うランダムな間違いは、サイコロ由来です。
• 差の大きさを意識する。 2モデル間の点数のわずかな差は、行動に移す価値がありません。9行中8行で勝つモデルなら価値があります。

この方法の限界

はっきり言いましょう。公平なテストでも小さなサンプルであることに変わりはなく、9枚で分かるのは3つのプロンプトについてだけで、これから作るすべての画像についてではありません。さらに、次の3点が気づかないうちに比較を壊すことがあります。

• すべてのモデルがシードを受け付けるわけではない。 内部でシードを持つものもあり、Fast Imageにはシード欄そのものがありません。そうしたモデルでは出発点を固定できないので、1マスあたりの生成数を増やし、1枚より多数に共通する傾向を重視します。
• 固定しても、ピクセル単位で同一になるとは限らない。 シードがあっても、細部は実行ごとに多少変わることがあります。
• モデルは変わる。 比較は、実施した日のカタログを撮った写真のようなものです。モデルが更新されたら、重要だった行をやり直してください。

安く試し、仕上げは勝者で

学びの大半は仕上がりではなく、プロンプトとレイアウトに関するものなので、グリッドを高くする必要はありません。まず、最も安価で、外れたアイデアでも負担が小さいFast Imageで、言い回しと構図を詰めましょう。Fast Imageは独自のレンダラーなので、そのドラフトはアイデアのスケッチであって、他のモデルがどう描くかのプレビューではない点に注意してください。うまくいくプロンプトができたら、本命の候補2つで生成し、重視する項目で最も高得点だったものを選び、高品質の生成はそこだけに使います。価格は確定前に生成ボタンに表示されます。また、リロールの記事では、使える1枚に実際いくらかかるかの数え方を紹介しています。僅差のときに決め手になるのは、この数字です。

動画も同じ考え方ですが、1回あたりの負担は大きくなります。動画モデルの記事では、このグリッドをクリップに当てはめています。実際に試す準備ができたら、スタジオを開き、シートの一番上の問いから始めましょう。