용어 · AI 이미지 생성 제작

생성 직후 AI 가 채점하게 하기

Vision Model Quality Gate

그림이 나올 때마다 사람이 결함을 찾아 지시문에 문장을 덧대는 대신, 생성 직후 비전 모델이 점수와 탈락 사유로 채점해 기준 미달만 다시 만든다. 채점 기준에 화풍을 못 박으면 멀쩡한 그림이 0점이 되는 사고도 함께 본다.

중급설명변화와 비교

01직접 돌려 보기

‘연출 전’은 대충 시켰을 때를 가정해 만든 화면이고 실제 AI 결과와 다를 수 있다.

연출 전흔한 첫 결과
연출 후완성본
0.00초 / 4.0초

02이름으로 시키는 지시문

대충 시킴그림이 나오면 내가 보고 이상한 점을 찾아서 지시문에 한 줄씩 더 적어 줄게→ 결함마다 문장이 쌓여 지시문이 길어지고 다음 그림에서 또 다른 결함이 나온다
이름으로 시킴생성 직후 그림을 0에서 100점으로 채점하고 테두리, 어수선한 구도, 깨진 글자, 눈에 띄는 결함이 있으면 점수와 상관없이 탈락시키고 이유를 한 문장으로 알려 줘. 화풍은 채점하지 마→ 멀쩡한데 탈락이 2 에서 0 이 되고 결함 있는데 통과도 0 으로 맞는 채점표 화면
Claude Code · Codex에 그대로 붙여 넣기
  • 640×360 캔버스에 같은 그림 6장을 3열 2행 카드로 깔고, 그림은 코드로 그린 예시(수채화풍 3장, 평면 벡터풍 2장, 팝아트풍 1장)라고 화면에 밝힌다.
  • 카드마다 점수, 통과·탈락 도장, 화풍 이름표를 놓고 점수는 화면이 정한 가상 채점 규칙이 계산한다. 통과선은 70점이다. 탈락 사유는 4가지(테두리, 어수선한 구도, 깨진 글자, 눈에 띄는 결함)이고 하나라도 걸리면 점수와 상관없이 탈락이다.
  • 연출 전은 수채화로 못 박은 기준이라 수채화가 아닌 그림은 모두 0점이다. 1단계는 화풍을 채점에서 빼고 점수만 본다. 2단계는 탈락 사유를 못 박는다. 3단계는 탈락 사유를 한 문장으로 카드에 적는다.
  • 카드 아래에 탈락 수, 멀쩡한데 탈락한 수, 결함이 있는데 통과한 수를 코드가 센 값으로 크게 보인다. 채점 장치가 답을 못 주면 그 판정은 통과로 처리한다. 이 장면에서는 채점 장치가 한 번도 실패하지 않는다.
  • 이름표는 오른쪽 위에 모서리가 거의 직각인 상자로 두고 단계 이름만 적는다. 금지: 숫자를 손으로 적는 것, 점수를 실제 모델이 준 값처럼 쓰는 것.

구현에 쓰이는 기술: 채점 지시문은 점수(0~100), 바로 탈락 여부, 사유 한 문장을 JSON 으로만 답하라고 요구한다통과는 점수가 통과선 이상이고 바로 탈락 조건에 걸리지 않을 때다화풍 자체는 채점하지 않는다고 지시문에 적는다. 테두리, 어수선한 구도, 깨진 글자, 눈에 띄는 결함이 탈락 사유다채점 장치가 답을 못 주면 로그를 남기고 그 판정은 통과로 처리한다. 생산 라인이 멈추지 않게 하려는 규칙이다판정은 모두 기록하고, 8건 연속 반려이거나 최근 50건 통과율이 20% 밑이면 경보를 올린다

03응용 팁

팁은 데모에서 값만 바꿔 같은 장면과 비교한 것이다. AI가 같은 결과를 내는지는 직접 해 봐야 안다.

1

더 깐깐하게 거르고 싶다

품질을 더 올리려고 통과선을 높일 때

지시문에서
통과선은 70점이다
이렇게 바꾸세요
통과선은 85점이다
그러면
멀쩡한 팝아트풍 그림이 78점이라 탈락 쪽으로 넘어가고, 멀쩡한데 탈락이 0 에서 1 이 된다.
확인
2

사유는 두 가지면 충분할까?

탈락 조건이 너무 많아 보여 줄이고 싶을 때

지시문에서
탈락 사유는 4가지
이렇게 바꾸세요
탈락 사유는 2가지
그러면
남는 사유는 테두리와 어수선한 구도뿐이다. 깨진 글자 그림이 72점으로 통과해서 결함 있는데 통과가 0 에서 1 이 되고 탈락은 3 에서 2 로 줄어든다. 사유를 줄일수록 점수에 묻히는 결함이 늘어난다.
확인
3

채점 AI 가 답을 못 줬어

채점 호출이 실패하거나 답 형식이 깨질 때

지시문에서
이 장면에서는 채점 장치가 한 번도 실패하지 않는다
이렇게 바꾸세요
이 장면에서는 채점 장치가 모든 판정에서 실패한다
그러면
6장 모두 점수 -1 로 통과 처리된다. 생산은 멈추지 않는다. 대신 결함 있는데 통과가 3 이 되므로 이 경우를 로그로 남겨 두어야 한다.
확인

04만드는 순서

각 단계의 버튼을 누르면 위의 데모가 그 단계까지의 모습으로 바뀝니다.

  1. 화풍은 채점에서 뺀다

    기준이 수채화로 못 박혀 있으면 수채화가 아닌 그림은 솜씨와 상관없이 0점이다. 연출 전 화면에서 평면 벡터풍과 팝아트풍의 멀쩡한 그림 둘이 탈락한다. 제작 기록에서 이 일이 다시 만들기를 불러 시간이 두 배로 들었다. 화풍을 채점하지 않는다고 적으면 이 둘이 통과하고 탈락은 1장만 남는다.

    if (L === 0 && img.st !== 'water') score = 0;   // 수채화 하나로 못 박은 기준
    // 1단계부터는 화풍을 보지 않고 솜씨만 채점한다
  2. 탈락 사유를 못 박는다

    점수만 보면 테두리 그림은 81점, 깨진 글자 그림은 72점으로 통과선을 넘는다. 두 장은 결함이 있는데 통과한다. 테두리, 어수선한 구도, 깨진 글자, 눈에 띄는 결함을 바로 탈락 사유로 적으면 두 장이 탈락한다. 점수가 높아도 사유에 걸리면 떨어진다.

    const hit = img.fl.find((f) => enforced.includes(f));   // 사유에 걸리면
    const pass = score >= PASS && !hit;   // 점수와 상관없이 탈락
  3. 사유를 한 문장으로 받는다

    탈락 카드마다 이유가 한 문장씩 붙는다. '테두리가 보인다', '깨진 글자가 있다' 같은 말이라서 사람이 결함을 찾아 헤매지 않아도 고칠 곳이 보인다. 제작 기록의 관문 계기에는 판정 2,090건 가운데 91건이 반려로 남아 있다. 그 반려가 모두 정당했는지는 따로 가려 본 적이 없고, 이 화면의 점수도 가상 규칙이 계산한 값이다.

    const why = hit ? WHY[hit] : (score < PASS ? '점수가 통과선 아래다' : '사유 없음');

05전문용어 풀이

비전 모델 채점Vision model judging

그림을 볼 수 있는 AI 에게 점수와 이유를 묻는 일이다. 사람이 일일이 보지 않아도 되지만 점수는 모델의 판단이라 흔들릴 수 있다.

AI에게“이 그림을 0에서 100점으로 채점하고 이유를 한 문장으로 알려 줘”
통과선Pass score

이 점수 이상이어야 통과로 치는 기준선. 너무 높이면 멀쩡한 그림까지 떨어져 다시 만들기가 늘고, 너무 낮으면 결함이 빠져나간다.

AI에게통과선 70점
바로 탈락Hard fail

점수가 높아도 걸리면 곧바로 탈락시키는 조건이다. 테두리나 깨진 글자처럼 점수에 묻히기 쉬운 결함을 따로 잡는다.

AI에게“테두리가 보이면 점수와 상관없이 탈락으로 해 줘”
화풍 중립 기준Style-neutral rubric

수채화냐 평면이냐 같은 화풍을 채점하지 않고 솜씨만 보는 기준. 화풍이 섞인 묶음을 한 관문으로 거를 때 쓴다.

AI에게화풍은 평가하지 말고 완성도만
관문 계기Gate meter

관문의 통과와 반려를 모두 세어 두는 기록이다. 연속으로 반려되거나 통과율이 급히 떨어지면 기준이 너무 엄한 것은 아닌지 경보로 알려 준다.

AI에게“판정을 모두 기록하고 8건 연속 반려면 경보를 띄워 줘”

06결과를 받으면 이것부터 확인

  • 연출 전에서 수채화풍이 아닌 그림 3장의 점수가 모두 0 이고 '수채화가 아니다'가 적혀 있다
  • 연출 전 '멀쩡한데 탈락'이 2 로 나온다
  • 1단계에서 '결함 있는데 통과'가 2 가 되는 것은 테두리 그림과 깨진 글자 그림인가?
  • 2단계에서 '결함 있는데 통과'가 0 이 되고 탈락은 3 / 6 이다
  • 3단계에서 탈락한 카드 3장에 사유가 한 문장씩 적혀 있다

07이럴 때 쓰세요

  • 생성한 그림을 사람이 하나씩 확인하기 어려운 대량 작업
  • 결함이 나올 때마다 지시문에 문장을 덧대고 있는 중일 때
  • 화풍이 여러 가지인 그림 묶음을 관문 하나로 거르기
  • 채점 결과를 다시 만들기 신호로 쓰는 자동화

08같이 쓰는 용어

09근거와 확인 범위

‘확인’은 출처 문서에서 사실로 확인한 내용, ‘추정’은 결과물을 보고 추론한 내용, ‘원본 없음’은 흔히 쓰이지만 대표 원본 사례를 확인하지 못해 성공 사례로 제시하지 않은 기법이다.

  • 확인이미지를 넣으면 설명, 분류, 질문 답변, 물체 위치 찾기를 할 수 있다고 한다. 결과가 부정확하거나 치우칠 수 있어 사람의 검토가 필요하다는 안내가 있다. 이미지 한 장과 글을 함께 줄 때는 글을 먼저 두라고 적혀 있다. 2026-11-15 열어 확인했다. Google AI Studio — Image understanding
  • 확인강한 언어 모델을 심판으로 쓰면 사람의 선호와 80% 넘게 일치했다고 보고한다. 사람끼리 일치하는 정도와 같은 수준이라고 한다. 다만 보여 주는 순서, 긴 답, 자기와 비슷한 답에 점수가 기우는 편향과 추론 한계가 있다고 한다. 글 답변 평가 연구이고 이미지 채점 연구는 아니다. 2026-11-15 열어 확인했다. arXiv 2306.05685 — Judging LLM-as-a-Judge
  • 확인[기록] 카드 그림 공장의 채점 코드와 주석(2026-07-23, 07-25). 결함이 나올 때마다 지시문에 문장을 덧대는 땜빵을 멈추고, 생성 직후 비전 모델이 채점해 기준 미달이면 자동으로 다시 만들게 했다. 통과는 70점 이상이고 바로 탈락 조건이 없을 때다. 글 심사의 80점보다 낮은 것은 이미지 채점이 더 주관적이고 잡음이 커서 관문이 과하게 걸리지 않게 하려는 것이라고 적혀 있다. 채점 기준이 수채화 엽서로 못 박혀 있던 때는 다른 화풍이 수채화가 아니라는 이유로 매번 0점을 받았고 그림을 다시 만드느라 시간이 두 배로 들었다. 화풍을 채점하지 않는 기준을 따로 만들어 고쳤다. 이번에 그림을 다시 만들어 확인하지는 않았다.
  • 확인[측정] 관문 계기 파일의 마지막 기록(2026-09-24)은 판정 2,090건 가운데 반려 91건이다. 모든 화풍을 합친 값이고 반려가 정당했는지는 따로 가려 본 적이 없다. 채점 모델은 역할별 설정의 가벼운 제미나이 모델이고 소진되면 다음 제미나이 모델로 넘어간다. 이미지를 받지 못하는 로컬 모델은 이 사슬에서 뺐다. 채점 장치 자체가 실패하면 통과로 처리하고 로그에 남긴다. 2026-11-15 파일을 열어 확인했다.
  • 확인[측정] 화면의 점수와 탈락·통과는 이 데모가 정한 가상 채점 규칙(결함마다 점수를 깎고 탈락 사유에 걸리면 바로 탈락)이 계산한 값이다. 그림 6장은 코드로 그린 예시다. 실제 비전 모델이 같은 그림에 어떤 점수를 주는지는 보여 주지 않는다.