부합율 65점은 낮은 점수가 아니다 — AI 인물 채점의 속사정

글 · 칼라톤 운영팀 | 2026. 7. 11. | 이 글의 모든 수치는 칼라톤 시즌 데이터베이스에서 직접 집계했다.

시즌이 끝날 때마다 비슷한 질문을 받는다. "최고 부합율이 65점이면 낙제 아닌가요?" 최근 막을 내린 시즌 17 '예쁨의 정점'은 15라운드를 전부 소진하고 최고 65점이라는 기록을 남겼다. 100점 만점 시험지에 길들여진 눈에는 아쉬워 보이는 숫자다. 그런데 우리는 이 숫자가 조금 억울하다. 채점표를 한 장 한 장 열어 보면, 65점은 오히려 후하게 깎아서 남긴 점수에 가깝기 때문이다. 오늘은 그 채점표를 처음부터 끝까지 해부해 보려고 한다.

부합율이라는 숫자의 정체

먼저 무대 설명이 필요하다. 칼라톤 인물 생성 시즌은 하나의 주제를 걸고 진행된다. 지금까지 완주한 15개 시즌의 주제는 아름다움·청순·귀여움·매력·예쁨, 다섯 가지가 돌아가며 걸렸다. 한 시즌은 15라운드로 이루어진다. 1라운드에서 AI가 주제에 맞는 인물 이미지를 처음 그려내고(생성), 이후 14라운드 동안 같은 인물을 조금씩 고쳐 나간다(수정). 라운드가 끝날 때마다 심사위원 모델이 "이 이미지가 주제에 얼마나 부합하는가"를 0에서 100 사이 점수로 매긴다. 이것이 부합율이다. 심사는 15개 시즌 내내 같은 모델(구글 Gemini 3.1 Pro)이 맡아 왔다.

여기서 중요한 사실 하나. 시즌의 조기 종료 기준선은 부합율 100점이다. 그리고 지금까지 100점에 도달해 조기 졸업한 시즌은 단 하나도 없다. 15개 시즌 전부가 15라운드를 끝까지 쓰고 막을 내렸다. 만점은 애초에 '언젠가 도달하면 좋을 지평선'으로 설계된 셈이다.

여섯 개의 자로 잰다

시즌 17의 챔피언이 된 14라운드 이미지의 채점 내역을 그대로 옮겨 보자. 예쁨 주제의 심사는 여섯 개 축으로 쪼개져 있었고, 축별 점수는 이랬다.

여섯 축 어디에도 65는 없다. 전부 74점에서 78점 사이다. 그런데 공식 기록은 65점이다. 축별 점수는 높은데 총점은 낮은 이 괴리 — 부합율을 오해하게 만드는 첫 번째 지점이 바로 여기다.

77점이 65점이 되는 감점의 계단

같은 이미지의 채점 로그를 따라가면 점수가 계단처럼 내려간다. 축별 점수를 종합한 원점수(raw)는 77점이었다. 여기서 첫 번째 감점이 들어간다. 심사위원은 자연스러움을 따로 측정하는데(이 이미지의 자연스러움은 73점), 눈동자가 유리알처럼 반질거리는 결함(심각도 1)도 함께 적발했다. 이런 보정을 거친 조정 점수는 73점. 참고로 심사위원은 인물이 몇 살로 보이는지도 매 라운드 추정하고(이 라운드는 23세), 수정 전후의 인물이 같은 사람인지도 별도로 검증한다.

그런데 공식 기록은 73점도 아닌 65점이다. 마지막 계단은 우리가 의도적으로 깐 것이다. 절대평가 점수는 심사 모델의 그날 판단에 따라 출렁일 수 있다. 한 번의 후한 평가가 시즌 기록을 부풀리는 걸 막기 위해, 공식 부합율은 "직전 챔피언의 점수 + 이번 라운드에서 검증된 상승분"으로만 올라가도록 설계했다. 14라운드 직전까지의 챔피언은 63점이었고, 새 후보가 인정받은 상승분은 +2점. 그래서 63 더하기 2, 65점이 공식 기록으로 남았다. 절대평가 73점은 참고치로만 저장된다. 요컨대 부합율은 잘 나온 순간의 최고점이 아니라, 검증을 통과한 상승분만 차곡차곡 쌓은 보수적인 장부다.

"후보 A(이미지 2)는 턱선을 갸름하게 수정했으나 하관이 다소 빈약해져 이목구비 균형이 미세하게 저하되었습니다. 후보 B(이미지 3)는 눈매를 살짝 키우고 미소를 강조하여 전체적인 생기와 예쁨을 가장 자연스럽게 극대화했습니다." — 시즌 17, 14라운드 심사평

15라운드 중 살아남은 수정은 단 한 번

이 보수적인 장부가 실제로 어떻게 움직이는지, 시즌 17의 라운드 로그를 그대로 펼쳐 보자. 1라운드에서 63점으로 출발했다. 2라운드부터 13라운드까지, 열두 번의 수정 시도가 전부 반려됐다. 14라운드에서 딱 한 번 교체가 승인돼 65점. 15라운드의 마지막 도전은 다시 반려. 결국 15라운드 동안 공식 점수는 정확히 2점 올랐다.

반려가 이렇게 많은 이유는 교체 관문이 높기 때문이다. 매 라운드 서로 다른 두 이미지 모델이 후보를 하나씩 내고(A·B 슬롯), 챔피언까지 세 장을 나란히 놓고 심사하는데, 후보가 왕좌를 빼앗으려면 챔피언보다 최소 +2점 높아야 한다. 마지막 15라운드가 특히 아까웠다. 후보 B는 절대평가로 70점을 받고도 챔피언 대비 상승분이 +1점에 그쳤다. 채점 로그에는 반려 사유가 건조하게 적혀 있다. "score_delta(+1<+2)" — 1점이 모자라 탈락했다는 뜻이다. 참고로 14라운드의 왕좌를 가져간 것은 두 모델 중 gpt-image-2 계열 후보였다.

"후보 2는 채도가 높은 블러셔가 추가되어 다소 작위적인 느낌을 줍니다. 반면 후보 3은 입술 색상과 미세한 생기가 자연스럽게 더해져 세 이미지 중 가장 세련된 예쁨을 보여줍니다." — 시즌 17, 15라운드 심사평

심사위원은 점수만 던지고 끝내지 않는다. 다음 라운드를 위한 숙제도 남긴다. 14라운드에는 "은은하고 우아한 실버 목걸이를 매치해 밋밋한 네크라인을 돋보이게 하라"는 스타일링 조언이, 15라운드에는 "지나치게 매끄러운 렌더링을 상쇄하도록 미세한 피부 모공 질감을 더하라"는 지적이 붙었다. AI가 AI에게 패션 잔소리를 하는 장면인데, 이 잔소리가 다음 수정의 방향이 된다.

채점 기준은 v1에서 v3.2까지 여섯 번 바뀌었다

부합율을 읽을 때 반드시 알아야 할 두 번째 사실. 채점 기준표(judge_scale)는 고정된 적이 없다. 시즌 1~3은 v1, 시즌 4는 p1, 시즌 5는 v2, 시즌 6은 v2.1, 시즌 7~11은 v3, 시즌 13·15는 v3.1, 그리고 시즌 17부터는 v3.2가 적용됐다. 일곱 가지 기준표, 여섯 번의 개정이다. 심사 모델은 내내 같았지만, 무엇을 얼마나 깎을지에 대한 기준은 계속 정교해졌다.

극적인 예가 시즌 4와 5의 낙차다. 시즌 4 '매력의 정점'은 77점을 찍었는데, 바로 다음 시즌 5 '예쁨의 정점'은 49점에 그쳤다. 이미지가 갑자기 나빠졌을까? 아니다. 그 사이에 잣대가 p1에서 v2로 바뀌며 훨씬 엄격해졌을 뿐이다. 그래서 분명히 말해 두고 싶다. 서로 다른 judge_scale의 점수를 직접 비교하는 것은 무의미하다. 시즌 4의 77점이 시즌 5의 49점보다 나은 이미지라는 증거가 되지 못하고, 그 반대도 마찬가지다. 점수 비교는 같은 기준표를 쓴 시즌끼리만 의미가 있다. 참고로 시즌 13부터는 이미지를 만드는 쪽도 두 모델 체제(gemini-3-pro-image + gpt-image-2)로 바뀌어, 경쟁 구도 자체가 한층 치열해졌다.

15개 시즌 성적표

지금까지 완주한 15개 시즌의 최고 부합율을 한 표로 모았다. 세로로 훑되, 채점 기준이 같은 구간끼리만 비교하며 읽어 주시길.

표에서 눈에 띄는 것 몇 가지. 역대 최고 기록은 시즌 13 '귀여움의 정점'의 79점이다. 80점을 넘긴 시즌은 아직 없다. 최저는 v2.1 기준이 적용된 시즌 6의 48점. 그리고 최고점이 나온 라운드도 제각각이다 — 시즌 11은 3라운드에 최고점을 찍고 이후 12라운드 동안 그 벽을 못 넘었고, 시즌 8·15·19는 마지막 15라운드에 최고점을 경신하며 끝났다. 초반에 운 좋게 높은 봉우리에 올라서면 +2점 게이트가 오히려 족쇄가 되고, 낮게 출발하면 끝까지 오르막이 이어지는 구조다.

그래서, 65점은 어떤 점수인가

15개 시즌의 최고 부합율을 평균 내면 정확히 64점이다. 시즌 17의 65점은 평균보다 위에 있는 성적이고, 같은 v3.2 기준을 쓴 세 시즌(65·68·77점) 중에서는 막내다. 무엇보다 이 65점은 여섯 축 모두 74점 이상을 받은 이미지가 자연스러움 검증, 결함 적발, 동일 인물 확인, +2점 게이트라는 네 겹의 관문을 통과하고 남은 숫자다.

솔직히 말하면, 우리는 이 점수가 잘 안 오른다는 사실이 마음에 든다. 점수가 쉽게 오르는 채점은 보기에는 화려해도 아무것도 보증하지 못한다. 열두 번 반려되고 한 번 통과하는 채점이라야, 그 한 번의 2점이 진짜 개선이었다고 말할 수 있다. 다음에 부합율 숫자를 보게 되면, 그 뒤에 쌓여 있는 반려의 기록까지 함께 봐 주시길 바란다. 65점은 낙제점이 아니라, 깐깐한 심사위원 앞에서 살아남은 점수다.

유의사항: 본문의 점수는 반올림 없이 데이터베이스에 기록된 정수 그대로다. judge_scale이 다른 시즌 간의 점수 비교는 채점 기준 자체가 다르므로 무의미하며, 표는 같은 기준 구간 안에서만 비교하는 용도로 읽어야 한다. 채점 세부 내역(축별 점수·감점 사유)은 시즌 17의 실제 심사 로그에서 발췌했다.