올라간 것은 천장이 아니라 바닥이었다 — 인물 리포트 152편 최고 일치율 시계열

글 · 칼라톤 운영팀 | 2026. 10. 16. | 수치 출처: 칼라톤 시즌 데이터베이스

칼라톤의 AI 인물 생성 시즌은 한 인물을 두고 15라운드를 돌며 "정말 그 테마에 맞는 얼굴인가"를 매 라운드 다시 채점한다. 시즌이 끝나면 공개 리포트 상단에 그 시즌의 성적이 배지로 붙는다. 그중 하나가 '최고 일치율'이다.

리포트가 152편 쌓였다. 첫 편은 2026년 6월 30일, 마지막 편은 10월 11일 — 103일이다. 그 사이 생성 모델도, 채점 기준도, 레인 구성도 여러 번 바뀌었다. 그래서 자연히 궁금해지는 질문이 있다. 점수는 올라갔는가?

발행일 순으로 세워 보면 답은 "올라갔다"다. 그런데 어디가 올라갔는지를 분위별로 갈라 보면 이야기가 뒤집힌다. 그리고 그 상승이 언제까지 이어졌는지를 보면 한 번 더 뒤집힌다.

질문 — '올라갔다'는 두 가지 뜻이다

"성적이 올라갔다"는 말은 보통 뭉쳐 쓰이지만 서로 다른 두 사건을 가리킨다. 하나는 천장이 올라간 것 — 전에는 못 내던 높은 점수가 나오기 시작한 경우다. 다른 하나는 바닥이 올라간 것 — 최고 기록은 그대로인데 망한 시즌이 사라진 경우다. 평균만 보면 둘은 구분되지 않는다. 둘 다 평균을 올리기 때문이다.

이 구분이 중요한 이유는 두 사건이 전혀 다른 운영 사실을 뜻하기 때문이다. 천장이 올라갔다면 생성·채점의 상한이 실제로 밀린 것이다. 바닥이 올라갔다면 상한은 그대로이고 실패가 걸러지게 된 것이다. 전자는 능력의 변화이고 후자는 분산의 변화다.

그래서 평균 대신 분위를 재기로 했다. 최저점·하위 10%·중위·상위 10%·최고점이 각각 얼마나 움직였는가. 그리고 추세가 지금도 살아 있는지를 보려고, 구간을 쪼개 각 구간 안에서 다시 상관을 쟀다.

방법 — 배지 152개와 라운드 표 2,280행

집계 대상은 저장소 안의 공개 인물 생성 시즌 리포트 국문 전부다. 외부 API는 쓰지 않았다. 152편, 시즌 번호 1~204, JSON-LD datePublished 기준 2026-06-30 ~ 2026-10-11. 각 편에서 상단 '최고 일치율'·'최종 일치율' 배지와 라운드 표 전체를 긁었다. 라운드 표는 152편 모두 정확히 15행으로 총 2,280행이며 행 수가 다른 편은 0건이다.

여기서 한 가지 주의가 필요하다. 바로 전날 칼럼 '최고 일치율'이 최고가 아니었다에서 그 배지가 같은 페이지의 표와 어긋나는 시즌이 있다는 것을 확인했기 때문이다. 이번 집계에서도 배지가 표의 채택 최고점과 다른 편이 9편 있었다(예: 시즌 37은 배지 71.0%에 표 78.0%). 그래서 추세는 지표를 세 가지로 바꿔 각각 쟀다 — 배지값, 표의 채택 라운드 최고점, 표 전체 행의 최고점.

레인도 갈라야 한다. 여성 레인 98편(2026-06-30~09-28), 남성 레인 44편(08-08~09-28), 미국인 레인 10편(10-07~10-11)이다. 레인이 시기마다 달라지므로 전체를 한 줄로 회귀하면 "점수가 올랐다"가 사실은 "점수가 높은 레인이 뒤에 들어왔다"일 수 있다. 테마도 같은 이유로 11종을 따로 본다.

결과 ① — 추세는 있다, 그리고 지표·레인·테마를 바꿔도 남는다

먼저 날것의 상관이다. 발행일과 최고 일치율의 피어슨 상관은 r = 0.572(n=152, t=8.53)이고 기울기는 하루 +0.143점이다. 103일을 곱하면 구간 전체로 약 14.7점에 해당한다. 152편 평균은 73.7점.

이 상관이 측정 방식의 산물이 아닌지부터 확인했다. 지표를 바꿔도 거의 그대로다 — 표의 채택 최고점으로 재면 r = 0.562, 표 전체 행의 최고점으로 재면 r = 0.536이다. 배지의 9편 어긋남은 추세를 만들지도 지우지도 않는다.

레인을 고정해도 남는다. 여성 레인 98편만 보면 r = 0.547(t=6.39), 남성 레인 44편만 보면 r = 0.572(t=4.52)로 두 레인이 거의 같은 기울기를 보인다(하루 +0.163점 / +0.123점). 즉 레인 교체가 만든 착시가 아니다.

테마를 고정해도 남는다. 테마 11종의 평균을 각각 빼고(테마 고정효과) 다시 재면 r = 0.422(t=5.70), 하루 +0.098점이다. 테마별로 따로 보면 11종 중 10종이 양의 상관이고, 음수인 하나는 7편뿐인 톰보이시(r = −0.094)다.

여기까지는 평범한 결론이다. 점수는 올랐고, 그 상승은 레인·테마·지표 선택에 기대지 않는다. 문제는 다음 두 절이다.

결과 ② — 올라간 쪽은 하위 분위다

구간을 반으로 갈라 분위별로 비교했다. 자르는 날짜는 2026년 8월 29일로 했다(이유는 결과 ④에서 설명한다. 다른 날짜로 잘라도 아래 표는 바뀌지 않는다). 앞 구간 82편, 뒤 구간 70편이다.

증가폭이 아래에서 위로 가면서 18 → 13 → 8 → 5 → 4 → 3 → 2로 단조 감소한다. 예외가 한 칸도 없다. 이것은 바닥이 올라간 모양이고, 천장이 올라간 모양이 아니다. 최고 기록은 82점에서 84점으로 2점 움직였을 뿐인데 최저점은 42점에서 60점으로 18점 올랐다.

같은 사실을 개수로 세면 더 분명하다. 70점 미만으로 끝난 시즌은 앞 구간 82편 중 27편이었는데 뒤 구간 70편 중에서는 2편이다. 반대로 80점 이상은 4편에서 19편으로 늘었다. 표준편차는 7.71에서 3.82로 절반이 됐다.

리그 전체의 역대 최고점은 84점이고, 그 기록을 가진 두 편은 시즌 138(2026-08-31, 귀여움)과 시즌 144(2026-09-04, 예쁨)다. 그 뒤 43일 동안 70편이 더 나왔지만 84점을 넘은 편은 없다. 가장 가까웠던 것이 시즌 198(10-08, 83점)이다.

결과 ③ — 두 배지가 하나로 합쳐진 날짜

분산이 줄어든 흔적은 다른 칸에서도 나온다. 리포트에는 '최고 일치율'과 '최종 일치율' 두 배지가 나란히 붙는데, 두 값이 다른 시즌은 152편 중 17편이고 그 마지막은 2026-08-29의 시즌 135다. 그 뒤 68편은 전부 두 배지가 같은 값이다.

월별 평균은 63.5 → 68.1 → 73.4 → 77.2 → 77.1로 움직인다. 9월과 10월이 사실상 같은 값이다. 그리고 두 배지가 갈리는 시즌이 사라진 달(9월)이 표준편차가 처음 4점 아래로 내려간 달과 같은 달이다. 두 배지가 갈린다는 것은 시즌의 최고 라운드가 마지막 라운드가 아니라는 뜻 — 즉 뒤에서 점수가 떨어진 채로 끝났다는 뜻이고, 그런 시즌이 사라진 것 역시 바닥이 걷힌 사건이다.

결과 ④ — 그 상승은 8월 29일에 멈췄다

여기가 이 집계에서 가장 중요한 칸이다. 전체 103일을 한 줄로 회귀하면 r = 0.572라는 또렷한 추세가 나오지만, 구간을 쪼개 각 구간 안에서 다시 재면 추세가 한쪽에만 있다.

뒤 구간 70편의 상관은 0.006이다. 0이 아니라고 말할 근거가 전혀 없는 값이고(t=0.05), 테마를 고정하면 오히려 음수가 되고(−0.136), 지표를 표의 채택 최고점으로 바꿔도 음수다(−0.062). 43일, 70편, 세 가지 지표 모두에서 추세가 없다.

자르는 날짜를 바꿔 봐도 결론이 흔들리지 않는다. 8월 30일로 자르면 뒤 구간 r = 0.021, 9월 1일로 자르면 r = 0.057이고, 결과 ②의 분위 표는 세 날짜 모두에서 글자까지 같다. 8월 29일을 고른 것은 그날이 두 배지가 마지막으로 갈린 날이기 때문이지, 그 날짜가 결과를 만들어서가 아니다.

정리하면 추세가 있던 것은 8월 28일까지이고, 그 뒤 마지막 43일은 평탄하다. "시즌이 쌓이면서 점수가 올라갔다"는 문장은 전체를 한 줄로 볼 때만 참이다. 실제로 일어난 일은 8월 말까지의 한 번의 수준 이동(70.7 → 77.3)과 그 뒤 6주간의 정지다.

한계 — 이 분석이 말할 수 없는 것

첫째, 원인을 말할 수 없다. 공개 지면에는 점수와 날짜만 있고, 그 점수를 만든 생성 모델·프롬프트·채점 기준의 버전은 적혀 있지 않다. 그래서 바닥이 올라간 것이 생성이 좋아져서인지, 채점 기준이 관대해져서인지, 실패한 라운드를 거르는 게이트가 생겨서인지 가릴 수 없다. 세 번째라면 점수 상승은 '결과물의 개선'이 아니라 '측정 대상의 변경'이다. 이 구분은 지면만으로는 불가능하다.

둘째, 채점 기준이 구간마다 같다는 보장이 없다. 이 글은 서로 다른 시기의 점수를 같은 축에 올려놓는데, 기준이 바뀌었다면 그 비교 자체가 성립하지 않는다. 칼라톤의 인물 채점 기준은 과거에 여러 번 개정됐고 그 개정 내역은 채점 해설에 정리돼 있다. 개정 시점이 평탄 구간 안에 있었다면, 평탄함은 '변화 없음'이 아니라 '서로 다른 두 변화가 상쇄된 것'일 수도 있다. 공개 지면에는 각 시즌이 어느 기준으로 채점됐는지가 적혀 있지 않으므로 이 글은 그 둘을 구분하지 못한다.

셋째, 미국인 레인 10편은 추세 판정에서 사실상 제외됐다. 그 10편은 5일(10-07~10-11)에 몰려 있어 시계열 상관이 의미를 갖지 못한다(r = −0.490, n=10). 뒤 구간 70편 안에 포함되어 평균에는 기여하지만, 그 레인 자체가 올라가는지 내려가는지는 아직 알 수 없다.

넷째, 테마 구성이 구간마다 다르다. 평균 79.1점으로 가장 높은 톰보이시는 9월 10일 이후에만 등장하고, 가장 낮은 매력(69.6)은 9월 6일에 멈춘다. 결과 ①의 테마 고정효과와 결과 ④의 테마 고정 행이 이 교란을 덜어내지만 완전히 제거하지는 못한다 — 테마 안에서도 편수가 7~22편으로 고르지 않다.

다섯째, '최고 일치율'은 시즌의 품질이 아니다. 15라운드 중 가장 높은 한 라운드의 점수이므로, 라운드 수가 같은 조건에서는 최고값이 분산에 끌려 올라가는 성질이 있다. 152편 모두 15라운드라 이번 비교에서는 그 편향이 상쇄되지만, 이 지표로 "시즌이 더 잘 돌아갔다"를 읽어내려면 채택률·라운드별 곡선을 함께 봐야 한다. 그쪽은 테마 격차 집계와 '유지' 배지 전수에서 따로 다뤘다.

그래서 무엇이 남는가

세 문장으로 줄이면 이렇다. 점수는 올라갔다(평균 70.7 → 77.3, 레인·테마·지표를 바꿔도 남는다). 올라간 쪽은 바닥이다(최저점 +18, 최고점 +2, 증가폭이 분위를 따라 단조 감소). 그리고 그 상승은 끝났다(마지막 43일 70편의 추세 r = 0.006).

이 세 문장이 함께 있어야 의미가 생긴다. 첫 문장만 들고 "개선되고 있다"고 읽으면 틀린 방향으로 움직이게 된다. 실제로 일어난 것은 실패가 사라진 것이고, 상한은 역대 최고점이 나온 8월 31일 이후 41일 동안 84점에 붙어 있다. 바닥을 올리는 작업과 천장을 올리는 작업은 손대는 곳이 다르다 — 앞의 것은 게이트·재시도·거르기의 문제이고, 뒤의 것은 생성과 채점 자체의 문제다. 지금 남은 과제는 뒤쪽이다.

평균 하나로 추세를 읽는 습관이 이것을 가린다. 103일을 한 줄로 회귀하면 r = 0.572라는 깨끗한 숫자가 나오고, 그 숫자는 마지막 6주 동안 아무 일도 일어나지 않았다는 사실을 완벽하게 덮는다. 구간을 쪼개고 분위를 갈라야 비로소 보인다. 그리고 그 두 가지는 지표를 더 모으지 않아도, 이미 공개된 지면만으로 할 수 있는 일이다.

원자료는 열려 있다. 아무 인물 시즌 리포트나 열면 상단 배지와 15줄 라운드 표가 그대로 있다 — 예컨대 시즌 138은 역대 최고점 84점을 낸 편이고, 시즌 1은 최고 59점·최종 53점으로 두 배지가 갈리던 초기의 모습이다.

집계 기준. 저장소의 공개 인물 생성 시즌 리포트 국문 전수 152편(시즌 번호 1~204, JSON-LD datePublished 2026-06-30 ~ 2026-10-11, 103일). 각 편에서 상단 '최고 일치율'·'최종 일치율' 배지값과 라운드 표 전체를 파싱했고, 라운드 표는 152편 모두 15행으로 총 2,280행(행 수 예외 0건)이다. '표 채택 최고점'은 '미채택' 표시가 없는 행의 최고 점수, '표 전체 최고점'은 15행 전체의 최고 점수다. 배지값이 표 채택 최고점과 다른 편은 9편. 레인은 소개문의 성별·국적 표기로 갈랐다(여성 98 · 남성 44 · 미국인 10). 상관은 피어슨 r, x축은 2026-06-30을 0으로 한 경과일수이며 t는 r√((n−2)/(1−r²))다. 기울기는 최소제곱 단순회귀의 하루당 점수. '테마 고정'은 테마 11종의 각 평균을 뺀 잔차로 다시 상관을 낸 값이다. 분위는 정렬 후 floor(p/100 × n)번째 값으로, 보간하지 않았다. 구간 분할 기준일 2026-08-29는 두 배지가 마지막으로 갈린 시즌 135의 발행일이며, 8월 30일·9월 1일로 바꿔도 분위 표는 동일하고 뒤 구간 상관은 각각 0.021·0.057이다.