‘최고 일치율’이 최고가 아니었다 — 인물 리포트 152편 배지 감사

글 · 칼라톤 운영팀 | 2026. 10. 15. | 수치 출처: 칼라톤 시즌 데이터베이스

칼라톤의 AI 인물 생성 시즌은 한 시즌에 15라운드를 돈다. 라운드마다 후보가 올라오고 심사 모델이 채점해, 기존 챔피언보다 낫다고 판정되면 '채택'해 왕좌를 갈아 끼운다. 시즌이 끝나면 그 기록이 공개 시즌 리포트 한 편이 되고, 리포트를 열면 가장 먼저 눈에 들어오는 것이 상단의 배지 네 개다 — 테마 · 라운드 · 최고 일치율 · 최종 일치율.

뒤의 두 배지는 보통 같은 숫자를 띄운다. 그래서 대부분의 독자는 둘을 한 값으로 읽는다. 그런데 가끔 두 숫자가 다르고, 그럴 때 그 페이지는 "이 시즌의 최고점은 여기까지 갔지만 마지막에 남은 얼굴은 그보다 낮다"고 말하는 셈이 된다. 어떤 시즌에서 그런 일이 일어나는지, 그리고 그 배지들이 같은 페이지 아래쪽의 라운드 표와 과연 맞는지를 전수로 검산했다.

결론부터 쓴다. 두 배지가 갈리는 시즌은 152편 중 17편(11.2%)이고 격차는 1~9점이다. 그런데 더 큰 문제는 반대 방향에 있었다 — 9편에서는 '최고 일치율' 배지가 같은 페이지 안의 채택 최고점보다 낮다. 시즌 159는 배지가 73.0%라고 적어 두고, 그 아래 하이라이트 첫 칸에 81.0%짜리 라운드를 싣고 있다.

방법 — 배지 두 개를 라운드 표 2,280행으로 검산한다

대상은 저장소에 공개된 인물 시즌 리포트 국문 152편(영문 152편은 교차 검증용)이다. 152편 모두 상단 '라운드' 배지가 정확히 15이고 라운드 표도 15줄씩이라, 표는 전체 2,280행이다. 그중 '미채택' 배지가 붙지 않은 행이 채택 라운드 453건, 나머지 1,827행이 미채택이다. 미채택 행의 숫자는 그 후보의 점수가 아니라 그 시점 챔피언의 유지값이라, 이 글의 어떤 계산에도 쓰지 않았다(그 성질은 앞선 칼럼에서 따로 다뤘다).

검산의 기준은 리포트 생성 규칙이다. 생성 코드는 채택 라운드만 모아, '최종 일치율' 자리에 그중 마지막 라운드의 점수를 넣고, '최고 일치율' 자리에는 시즌 행에 저장된 최고 기록을 넣는다(저장값이 비어 있을 때만 채택 라운드의 최댓값으로 대신한다). 즉 두 배지는 같은 표에서 나오는 값처럼 보이지만 출처가 다르다 — 하나는 표의 마지막 채택 행, 다른 하나는 표 바깥의 저장 필드다. 이 구조가 이 글에서 보게 될 두 방향의 어긋남을 모두 설명한다.

먼저 아래쪽 배지를 확인했다. '최종 일치율'은 152편 전부에서 표의 마지막 채택 행과 정확히 같다. 예외 0건이다. 그러니 어긋남이 있다면 그것은 전부 위쪽 배지, 즉 '최고 일치율' 쪽의 이야기다.

결과 ① — 두 배지가 갈리는 17편, 격차 1~9점

152편 중 135편(88.8%)에서 두 배지는 같은 숫자다. 갈리는 것은 17편(11.2%)이고, 방향은 전부 한쪽이다 — 최종이 최고보다 높은 시즌은 0편이다(정의상 그래야 맞다). 격차의 평균과 중앙값은 모두 4.0점, 합계 68.0점이며 분포는 1점 4편 · 2점 2편 · 3점 1편 · 4점 3편 · 5점 2편 · 6점 3편 · 8점 1편 · 9점 1편이다.

이 17편에서 벌어진 일은 간단하다. 챔피언이 자기보다 낮은 점수의 후보에게 자리를 내줬고, 시즌이 끝날 때까지 그 점수를 회복하지 못했다. 10편은 최고점을 R1이나 R2, 즉 시즌 초반에 찍었다(R1 6편, R2 4편). 특히 시즌 127은 개막본이 82.0%였는데 12라운드째 남은 얼굴이 78.0%다. 그 리포트 상단 '대상 인물' 칸에 걸린 사진도 82.0%짜리가 아니라 12라운드의 결과물(round-12)이다 — 82.0%짜리는 아래 하이라이트 칸에만 남는다.

이들은 채택이 잦았던 시즌이기도 하다. 17편의 시즌당 평균 채택 횟수는 5.41회로, 나머지 135편의 2.67회보다 두 배 이상 많다. 왕좌가 자주 바뀌면 내려앉는 교체가 섞일 자리도 늘어난다. 채택이 1회뿐인 시즌 31편에서는 당연히 한 편도 어긋나지 않았다.

결과 ② — 그 17편은 8월 29일에 끊긴다

이 어긋남은 아카이브 전체에 흩어져 있지 않다. 17편의 종료일을 세워 보면 가장 늦은 것이 2026년 8월 29일(시즌 135)이고, 그 뒤에 끝난 68편에서는 단 한 편도 나오지 않았다.

6월의 100%는 표본이 두 편(시즌 1·2)뿐이라 비율로 읽을 값이 아니다. 읽을 것은 8월의 26.0%와 9월 이후의 0%다. 그리고 이것을 '어긋남이 고쳐졌다'로 읽으면 안 된다 — 같은 기간에 시즌당 채택 횟수가 3.88회에서 1.87회로 반토막 났기 때문이다(8월 29일을 경계로 앞 84편 대 뒤 68편). 내려앉는 교체 자체는 8월 29일 이후에도 68편 중 8편에서 일어난다. 다만 그 8편은 모두 마지막 채택이 다시 최고점을 회복했고, 그래서 배지가 갈리지 않았다. 앞 구간에서는 하락 교체가 84편 중 35편에 있었고 그중 17편이 회복하지 못했다.

같은 구간에 최종 일치율 평균은 70.0%에서 77.3%로 올라갔다. 채택이 줄고 점수가 오르고 어긋남이 사라진 세 변화는 한 덩어리로 움직인 것이고, 셋 중 어느 것이 원인인지는 이 데이터만으로 가를 수 없다.

결과 ③ — 반대 방향으로 틀린 9편, 최대 8점

여기까지는 배지가 정직한 경우다. 배지가 표보다 높다고 말할 때, 그 높은 숫자는 실제로 표 안에 있었다. 문제는 그 반대다. 9편에서는 '최고 일치율' 배지가 같은 페이지 라운드 표의 채택 최고점보다 낮다. 그리고 그 9편 전부에서 '최고' 배지는 '최종' 배지와 같은 값이다 — 최고 자리에 최종값이 들어가 있다는 뜻이다.

이 어긋남은 독자가 눈으로 잡을 수 있다. 시즌 159를 열면 상단 배지가 '73.0% 최고 일치율'이라고 말하는데, 같은 페이지를 끝까지 내리면 하이라이트 첫 칸이 R1 · 생성 · 일치율 81.0%다. 하이라이트는 채택 라운드를 점수 내림차순으로 잘라 만들기 때문에, 그 첫 칸은 정의상 그 시즌의 채택 최고점이다. 한 페이지가 자기 자신과 8점 어긋나 있는 셈이다. 시즌 150(74.0% 대 81.0%)과 시즌 37(71.0% 대 78.0%)도 같은 모양이다.

9편의 시기는 두 덩어리다 — 2026년 7월 11~18일에 네 편, 9월 5~11일에 다섯 편. 9월 다섯 편은 최고점이 전부 R1, 즉 개막본이다. 개막본이 높게 나오고 이후 채택이 그보다 낮은 자리에서 멈춘 시즌들인데, 배지는 그 개막본의 기록을 들고 있지 않다. 앞의 17편과 이 9편은 한 편도 겹치지 않는다. 둘을 합치면 26편(17.1%)에서 상단 배지와 라운드 표가 한 가지 이야기를 하지 않고, 나머지 126편(82.9%)은 완전히 일치한다.

왜 두 방향으로 틀리는가

앞서 적은 출처의 차이가 그대로 답이다. '최종 일치율'은 표를 읽어서 만들기 때문에 152편 전부에서 표와 맞는다. '최고 일치율'은 표가 아니라 시즌 행에 따로 저장된 기록을 읽는다. 저장된 기록이 시즌의 실제 최고점이면 배지는 맞고, 그 기록이 '최고'가 아니라 '현재 챔피언의 점수'를 따라다니면 배지는 최종값과 같아진다 — 결과 ③의 9편이 정확히 그 모양이다(9편 모두 최고 배지 = 최종 배지).

바꿔 말하면 결과 ①의 17편은 배지가 제 일을 한 경우다. 저장된 최고 기록이 표의 최고점과 같았기 때문에, 떨어진 최종값과 갈라져 보였을 뿐이다. 오히려 두 배지가 같은 135편 중 9편은 '같아서' 틀린 것이다. 리포트를 읽는 쪽에서 쓸 수 있는 규칙은 하나뿐이다 — 두 배지가 다르면 그 페이지는 신뢰할 수 있고, 같다면 라운드 표를 한 번 더 봐야 한다.

한계 — 이 분석이 말할 수 없는 것

첫째, 이 글은 공개 지면만 본다. '최고 일치율' 배지의 원천인 시즌 행의 저장값은 리포트에 그대로 노출되지 않으므로, 9편에서 그 값이 왜 표보다 낮은지는 공개 데이터로 특정할 수 없다. 관측할 수 있는 것은 "배지와 표가 어긋난다"와 "어긋난 9편에서 배지가 최종값과 같다"까지다.

둘째, 일치율 점수는 시즌 간 비교에 쓸 수 없다. 채점 기준이 여러 차례 바뀌었고, 2026년 9월 13일에는 코드 변경 없이 판정 분포가 계단처럼 움직인 구간도 있다. 이 글이 쓰는 비교는 전부 같은 시즌 안의 두 숫자(배지와 그 시즌의 표)이므로 그 영향을 받지 않지만, 표에 실린 월별 평균 점수나 '최종 평균이 올랐다'는 문장은 기준 변화와 분리되지 않은 수치다.

셋째, '8월 29일 이후 0편'은 규칙이 아니라 관측이다. 68편이라는 표본이 적지는 않지만, 같은 기간에 시즌당 채택이 절반 아래로 줄어 어긋날 기회 자체가 감소했다. 채택이 다시 잦아지는 파이프라인 변경이 있으면 17편 유형의 어긋남은 같은 비율로 돌아올 수 있다.

넷째, 미채택 라운드의 점수는 이 글에서 제외했다. 미채택 행은 그 후보의 점수가 아니라 챔피언 유지값을 띄우도록 설계돼 있어, 2,280행 중 1,827행은 '최고점 후보'로 셀 수 없다. 그래서 "시즌의 진짜 최고점"은 채택된 453건 안에서만 정의했고, 기각된 후보 중에 더 높은 점수를 받은 것이 있었는지는 공개 지면으로 알 수 없다.

다섯째, 이 분석의 '최고점'은 그 시즌에서 가장 좋은 얼굴이라는 뜻이 아니다. 심사 모델이 매긴 테마 부합 점수의 최댓값일 뿐이고, 점수가 무엇을 재는지는 별도의 해설이 필요한 주제다.

교차 검증과 우리가 바꿀 것

영문 리포트 152편으로 같은 파싱을 돌려, 숫자 배지 세 개(라운드·최고·최종)와 라운드 표 2,280행의 두 값(채택 여부·일치율)을 전수 대조했다. 152쌍 전부 일치, 불일치 0건이다. 두 언어판은 같은 입력에서 갈라지므로, 위의 26편은 번역이나 생성 분기의 문제가 아니라 양쪽이 함께 들고 있는 값의 문제다.

운영으로 옮길 것은 두 가지다. 하나, '최고 일치율' 배지를 저장값이 아니라 그 리포트가 이미 들고 있는 채택 라운드 집합에서 직접 계산한다 — 하이라이트 첫 칸이 이미 그 값을 쓰고 있어서, 한 페이지 안의 두 자리가 다른 출처를 보는 지금 구조가 9편을 만들었다. 둘, 저장값은 버리지 말고 계산값과 어긋날 때 경보를 띄운다. 어긋남 자체가 엔진 쪽 기록이 챔피언을 따라 내려갔다는 신호다.

독자에게 남기는 메모는 한 줄이다. 인물 리포트에서 그 시즌의 최고 기록을 확인하고 싶다면 상단 배지가 아니라 하이라이트 첫 칸을 보라. 그 칸은 152편 전부에서 라운드 표의 채택 최고점과 일치한다.

집계 기준. 2026년 10월 15일(KST) 저장소 기준 공개 인물 시즌 리포트 국문 152편·영문 152편을 파싱했다. 152편 모두 '라운드' 배지가 15이고 라운드 표도 15줄이라 표는 2,280행이며, '미채택' 배지가 없는 행을 채택 라운드(453건)로 정의했다. '최종 일치율'은 마지막 채택 행, '표의 채택 최고'는 채택 행 일치율의 최댓값이다. 미채택 행의 숫자는 챔피언 유지값이므로 모든 계산에서 제외했다. 종료일은 각 리포트 JSON-LD의 datePublished를 썼다(이 필드가 시즌 종료일임은 앞선 감사에서 확인했다). 격차·차이는 모두 퍼센트포인트이며 소수 첫째 자리까지 원본 그대로 비교했다. 점수의 채점 기준은 시즌에 따라 다르므로 시즌 간 점수 비교는 하지 않았고, 모든 대조는 한 시즌 안에서만 수행했다.