AI 이미지 모델을 공정하게 비교하는 법: 반복 가능한 테스트 그리드
공정한 AI 이미지 생성기 비교는 프롬프트와 시드를 고정하고 한 가지만 바꿉니다. 테스트 그리드, 점수 시트, 모델 차이와 우연한 오차를 구분하는 방법을 소개합니다.
이미지 생성기 비교는 대개 이런 식입니다. 프롬프트 하나, 모델마다 결과 하나, 30초 만에 우승자 발표. 테스트처럼 느껴지지만 사실은 동전 던지기에 가깝습니다. 약한 모델의 운 좋은 한 장이 강한 모델의 운 나쁜 한 장을 이기고, 결국 우연으로 고른 최애 모델을 들고 돌아서게 됩니다. 이 글은 대신 방법을 제안합니다. 스튜디오의 모델 카탈로그에서 오후 한나절이면 돌려 볼 수 있는 작은 그리드와, 결과를 적을 시트입니다.
단 하나의 규칙: 한 가지만 바꾸세요
비교하려는 두 결과물 사이에서 정확히 한 변수만 다를 때 비로소 공정한 비교입니다. 모델과 프롬프트가 둘 다 바뀌었다면 어느 쪽에 대해서도 알게 된 것이 없습니다. 그러니 먼저 질문을 정하고 나머지는 모두 고정하세요.
- 어떤 모델인가? 같은 프롬프트, 같은 화면 비율, 같은 시드, 같은 품질 설정. 모델만 바뀝니다.
- 어떤 표현인가? 같은 모델, 같은 시드, 같은 설정. 구절 하나만 바뀝니다. 시드 글에서 숫자를 고정하면 왜 이것이 가능한지 설명합니다.
- 어떤 설정인가? 같은 모델, 프롬프트, 시드에서 옵션 하나만 뒤집습니다.
생성 버튼을 누르기 전에 시트 맨 위에 질문을 적으세요. 까다롭게 들리지만, 테스트가 서툴게 답한 세 가지 질문으로 흩어지는 것을 막아 주는 단계입니다.
그리드 만들기
카탈로그 페이지의 이미지 모델 중에서 후보를 두세 개 고르세요. 예를 들어 Still과 Still Lite, 그리고 필요한 작업을 설명하는 페이지가 있는 모델 한두 개입니다. 그런 다음 같은 장면의 세 가지 버전이 아니라 서로 다른 점을 시험하는 프롬프트 세 개를 고릅니다.
- 레이아웃이 있는 장면. 피사체, 배경, 빛, 그리고 구체적인 배치 하나("램프는 왼쪽, 창문은 뒤"). 구도와 모델이 말을 얼마나 그대로 따르는지를 시험합니다.
- 글자나 손이 있는 장면. 짧은 단어가 적힌 가게 간판, 또는 컵을 든 사람. 모델 차이가 가장 눈에 띄는 곳입니다. 손과 글자 글에서 이유를 다룹니다.
- 재질이 있는 장면. 젖은 돌, 헤어라인 금속, 양모, 피부. 흔히 사실감이라 부르는 질감과 조명을 시험합니다.
창가 나무 선반 위의 도자기 찻주전자, 손잡이에 묶인 손글씨 종이 태그에 OPEN이라고 적혀 있음, 왼쪽에서 들어오는 아침 햇살, 피어오르는 김, 얕은 피사계 심도테스트 전에 각 프롬프트를 잘 쓰세요. 모호한 프롬프트는 여러분의 취향을 가장 잘 짐작한 모델에게 상을 주는데, 그건 다른 대결입니다. 구조는 프롬프트 가이드에 있습니다. 그다음 모든 후보에서 모든 프롬프트를 같은 시드와 같은 화면 비율로 돌립니다. 프롬프트 세 개와 모델 세 개면 결과물 아홉 장이니, 부담 없이 해볼 만한 테스트입니다.
무엇을, 어떤 순서로 볼까
막연한 느낌이 아니라 똑같은 짧은 체크리스트로 각 이미지를 평가하세요. 항목마다 1점에서 3점을 주고 근거를 한마디 적습니다.
- 프롬프트 충실도. 요청한 것이 전부, 요청한 자리에 있나요? 빠진 것을 세어 보세요.
- 구도. 시선이 원하는 곳으로 가나요, 프레이밍을 쓸 수 있나요, 필요한 곳에 여백이 있나요?
- 글자. 글자가 맞고, 철자가 맞고, 맞는 물체 위에 있나요?
- 손과 해부학. 손가락 수를 세고, 팔다리가 이어지는 곳을 확인하세요.
- 질감과 빛. 확대해 보세요. 재질이 그 재질처럼 보이나요, 그림자가 하나의 광원과 일치하나요?
- 아티팩트. 번진 가장자리, 겹쳐진 물체, 반복되는 패턴.
가능하다면 어느 모델이 어떤 이미지를 만들었는지 보기 전에 평가하세요. 친구에게 파일 이름을 바꿔 달라고 하거나 라벨을 가리세요. 우리는 누구나 이미 믿고 있는 모델을 좋아하니까요.
실험 노트처럼 기록하기
결과물당 한 행인 시트면 충분합니다. 날짜, 모델 이름, 프롬프트 라벨, 시드, 화면 비율, 바꾼 설정, 점수 여섯 개, 메모 한 줄. 라이브러리는 이미지를 보관하고 프롬프트 재사용을 도와주지만 고급 설정은 되살려 주지 않으니, 시드는 여러분의 시트에 있거나 아니면 어디에도 없습니다. 한 달 뒤에 돌아와도 한 행이 그 결과가 무엇으로 만들어졌는지 정확히 알려 줍니다.
진짜 차이일까, 그냥 오차일까?
불편한 부분입니다. 시드를 고정해도 결과물 한 장은 표본 하나일 뿐이고, 두 이미지 사이 차이의 일부는 운입니다. 구분하는 방법은 몇 가지가 있습니다.
- 가장 좋은 것과 가장 나쁜 것을 반복하세요. 같은 모델에서 같은 프롬프트를 시드 두 개를 더 써서 렌더링합니다. "나쁜" 모델이 두 번째 시드에서 우승작을 내면 첫 번째 차이는 오차였던 겁니다.
- 프롬프트 전반의 패턴을 보세요. 한 모델이 세 장면 모두에서 글자를 놓쳤다면 발견입니다. 아홉 번 중 한 번의 실패는 주사위입니다.
- 오류의 종류를 보세요. 한 가지 유형의 일관된 실수(항상 흐릿한 글자, 항상 플라스틱 같은 광택)는 모델에서 옵니다. 매번 다르고 제각각인 실수는 주사위에서 옵니다.
- 차이의 크기를 따져 보세요. 두 모델의 점수 차이가 작다면 행동으로 옮길 가치가 없습니다. 아홉 행 중 여덟 행에서 이기는 모델이라면 다릅니다.
이 방법의 한계
솔직히 말하면, 공정한 테스트도 여전히 작은 표본이고 아홉 장은 여러분의 프롬프트 세 개에 대해 말해 줄 뿐 앞으로 만들 모든 이미지에 대해 말해 주지 않습니다. 비교를 조용히 망가뜨리는 요인이 세 가지 더 있습니다.
- 모든 모델이 시드를 받는 것은 아닙니다. 내부에서만 쓰는 모델도 있고, Fast Image에는 시드 입력란이 아예 없습니다. 이런 모델은 출발점을 고정할 수 없으니 칸마다 더 많은 결과물이 필요하고, 한 장보다 여러 장에서 나타나는 패턴이 더 중요합니다.
- 고정이 픽셀 단위 동일을 뜻하지는 않습니다. 시드가 있어도 세부 묘사는 실행마다 조금씩 달라질 수 있습니다.
- 모델은 바뀝니다. 비교는 실행한 날의 카탈로그를 찍은 사진입니다. 모델이 업데이트되면 중요했던 행을 다시 돌리세요.
저렴하게 시험하고, 우승작으로 마무리하기
배운 것의 대부분은 마감 품질이 아니라 프롬프트와 레이아웃에 관한 것이므로 그리드가 비쌀 필요는 없습니다. 표현과 구도는 가장 저렴한 모델인 Fast Image에서 시작하세요. 나쁜 아이디어가 거의 비용을 들이지 않습니다. 이것은 독립된 렌더러이므로, Fast Image 초안은 아이디어의 스케치일 뿐 다른 모델이 어떻게 그릴지 보여 주는 미리보기가 아니라는 점을 기억하세요. 통하는 프롬프트가 생기면 진짜 후보 두 개에서 돌리고, 중요하게 보는 항목에서 점수가 가장 높은 쪽을 골라 고품질 렌더링은 거기에만 쓰세요. 가격은 확정하기 전에 생성 버튼에 표시되며, 리롤 글은 쓸 만한 이미지 한 장의 실제 비용을 계산하는 법을 알려 줍니다. 박빙의 승부를 가를 숫자가 바로 이것입니다.
영상도 같은 방식이지만 한 번 렌더링할 때의 부담이 더 큽니다. 영상 모델 글은 이 그리드를 클립에 적용합니다. 직접 해볼 준비가 되었다면 스튜디오를 열고 시트 맨 위의 질문 줄부터 시작하세요.
질문
AI 이미지 모델 두 개를 비교하려면 이미지가 몇 장 필요한가요?
한 번의 승리가 아니라 패턴이 보일 만큼입니다. 모델마다 서로 다른 프롬프트 세 개가 합리적인 최소치이고, 결과를 가르는 칸은 두 번째 시드로 한 번 더 반복하세요. 그래도 작은 표본이므로 참고용으로 보세요.
같은 프롬프트가 두 모델에서 왜 이렇게 다르게 보이나요?
모델마다 학습, 화풍, 문장을 읽는 방식이 다릅니다. 다른 모델에서 같은 시드를 쓰면 전혀 관계없는 출발점이 되므로, 차이는 모델에서, 주사위에서, 또는 둘 다에서 올 수 있습니다.
시드가 없는 모델이 있어도 비교할 수 있나요?
네, 대신 결과물을 더 많이 만들어야 합니다. 시드가 없으면 출발점을 고정할 수 없으니, 프롬프트마다 여러 장을 돌려 한 장이 아니라 패턴을 비교하세요.
