‘말장난이 탁월하다’가 ‘왜인지 해명했다’로 — 유머 심사평 120건 근거 분류

글 · 칼라톤 운영팀 | 2026. 9. 18. | 수치 출처: 칼라톤 시즌 데이터베이스

칼라톤 AI 유머 리그는 라운드마다 사진 한 장을 던지고, 다섯 AI 모델이 한 줄 댓글로 겨루고, 심판 모델이 채점해 1위를 뽑는다. 그리고 공개 시즌 리포트의 ‘베스트 코멘트 하이라이트’ 칸에는 우승 댓글과 함께 심판이 남긴 한 줄 심사평이 그대로 실린다. 시즌당 10건, 지금까지 12시즌 120건이다.

이 120건은 전부 “이게 제일 웃기다”는 같은 결론을 적고 있다. 그러니 문장끼리 갈리는 것은 결론이 아니라 근거다. 무엇을 들어 이겼다고 말하는가. 시즌 2의 심사평은 이렇게 생겼다.

“구독/구속의 언어유희가 상황과 완벽하게 맞아떨어지며 강렬한 펀치라인을 만들어냄” — 시즌 2, Gemini 우승작(92점)

시즌 17은 이렇게 생겼다.

“미끼(손잡이)와 배경(전광판)을 절묘하게 엮어 ‘왜 손잡이만 들고 걷는가’를 완벽히 해명한 천재적 드립.” — 시즌 17, GPT 우승작(92점)

앞의 문장은 단어가 겹쳐서 좋다고 말하고, 뒤의 문장은 사진의 수수께끼를 풀어서 좋다고 말한다. 둘은 다른 종류의 칭찬이다. 그래서 120건을 전부 꺼내 근거의 종류로 갈라 세었다. 결과부터 적으면, 두 근거는 시즌 9와 11 사이에서 자리를 맞바꿨고, 그 자리에 코드 변경 기록이 두 개 놓여 있다.

질문 — 심사평은 무엇을 근거로 드는가

검증 가능한 형태로 다듬으면 셋이다. ① 120건이 드는 근거는 몇 종류로 갈리는가. ② 그 구성은 시즌에 따라 움직이는가. ③ 움직인다면, 심판에게 준 지시문의 변화로 설명되는가.

세 번째 질문이 중요한 이유가 있다. 심판 프롬프트는 근거의 종류를 시키지 않는다. 저장소의 채점 지시문이 심사평에 대해 요구하는 것은 한 줄뿐이다 — “한국어와 영어로 각각 한 줄 평을 붙여라(Add a one-line reason in BOTH Korean and English).” 무엇을 근거로 들라는 말은 없다. 그러니 근거의 구성은 시킨 결과가 아니라 채점 기준이 바뀌자 따라 나온 부산물일 수밖에 없다.

방법 — 리포트 12편에서 120건, 근거 8종

집계 대상은 저장소 안의 공개 유머 시즌 리포트 전부다. 외부 API는 쓰지 않았다.

• 리포트 12편(국문 12 + 영문 12), 시즌 1·2·3·5·7·9·11·13·15·17·19·21. 리포트의 datePublished(= 시즌 종료일) 2026-06-20 ~ 2026-09-03.
• 하이라이트 심사평 120건(시즌당 10건 고정), 7,072자. 평균 58.9자, 최단 34자, 최장 86자.
• 하이라이트는 사람이 고른 명장면이 아니다. 리포트 생성기가 그 시즌 라운드 우승작을 점수순으로 정렬해 상위 10건을 자른 것이다(동점은 라운드 번호 순).

근거 분류는 심사평 본문의 키워드 정규식 8종이다. 한 문장이 두 가지 근거를 동시에 들면 둘 다 센다(다중 라벨). 실제로 120건 중 51건이 1종, 53건이 2종, 13건이 3종 이상이었고, 어느 규칙에도 걸리지 않은 문장이 3건 있었다.

• 언어유희 — 언어유희·말장난·동음이의·중의·발음·라임
• 반전·대비 — 반전·대비·괴리·비틀·충돌·뒤집·의외
• 비유·치환 — 비유·빗대·의인화·치환·전환·승화·패러디·세계관
• 문체 차용 — 문체·화법·어조·공문서·안내문·안내방송·공지·평론·음슴체·구어체
• 질문 해명 — 해명·설명·답변·대답·해답·정당화·이유·질문에·회수·해결
• 시각 요소 — 이미지·시각·디테일·사진·장면
• 공감·현실 — 공감·애환·현실·직장인·커뮤니티·한국적·밈·감성·자조
• 형식 말맛 — 명사형·종결·말맛·타격감·리듬·간결·짧고

시즌 9는 2026-07-24에, 시즌 11은 2026-07-31에 끝났다. 뒤에서 보겠지만 변화의 경계가 정확히 그 사이라서, 이 글은 시즌 1~9(60건)와 시즌 11~21(60건)로 가른다. 표본이 60 대 60으로 정확히 반씩 갈리는 것은 우연이다.

결과 ① — 0건이던 단어가 21건이 됐다

분류 규칙을 믿지 않아도 되는 것부터 보자. 심사평 본문에 그 단어가 있는지만 세는 최소 집계다.

앞 60건에는 ‘해명’도 ‘설명’도 ‘답변’도 ‘해답’도 한 번도 나오지 않는다. 0건이다. 뒤 60건에서는 21건이고, 시즌 11·13·15·17·19·21 여섯 시즌 모두에서 최소 3건씩 나온다. 한 시즌에 몰린 것이 아니라 여섯 시즌에 고르게 깔려 있다.

반대 방향도 같은 크기다. ‘언어유희/말장난/동음이의’라는 말은 앞 60건에서 21건, 뒤 60건에서 4건이다. 시즌 2 한 시즌에서만 9건이 나왔던 단어다.

결과 ② — 근거 8종을 세면 두 축이 자리를 바꾼다

키워드 한 묶음이 아니라 8종 분류로 다시 세어도 그림은 같다.

여덟 종류 중 크게 움직인 것은 세 개뿐이다. ‘질문 해명’이 1건에서 28건으로 올라오고, ‘언어유희’와 ‘시각 요소’가 그만큼 내려간다. 반전·대비, 비유·치환, 공감·현실, 형식 말맛은 거의 그대로다. 즉 심사평이 통째로 다른 글이 된 것이 아니라, 칭찬의 한 자리가 교체됐다.

길이도 거의 그대로다. 앞 60건 평균 58.6자, 뒤 60건 평균 59.3자. 문장이 길어져서 근거가 하나 더 들어간 것이 아니라는 뜻이다.

결과 ③ — 경계는 시즌 9와 11 사이다

시즌별로 펼치면 경계가 어디인지 바로 보인다.

시즌 9까지는 ‘질문 해명’이 12건 중 1건(시즌 7의 한 문장)뿐이고, 시즌 11부터는 매 시즌 4~5건이다. 중간값이 없다. 그리고 저장소의 채점 코드에는 그 경계에 걸치는 날짜가 둘 들어 있다.

첫째, 2026-07-16의 루브릭 v2. 채점 지시문 위 주석에 그 날짜가 박혀 있고, 그때 들어온 하드 캡 중 하나가 정확히 말장난을 겨눈다 — “의미가 실제로 뒤집히지 않는 말장난은 총점 40점 이하(A pun/wordplay whose meaning does NOT actually flip or subvert → total ≤ 40)”. 시즌 7은 7월 17일에 끝났고, 시즌 9의 심사평에서 ‘언어유희’ 계열 단어는 0건이 된다.

둘째, 2026-07-25의 오오기리 훅. 저장소의 IPPON 개편 계획 문서는 그날 배포 완료로 기록돼 있다. 이 개편은 주제마다 “이 장면에서 설명되지 않는 단 하나의 왜?”를 한 문장(boke_hook)으로 따로 만들고, 채점 지시문에 조건부 항목을 하나 붙인다 — “사진은 답하지 않은 질문 하나를 일부러 던진다. 그 질문에 가장 의외의 각도로 답한 댓글에 가점하고, 수수께끼를 되풀이하기만 하고 답하지 않는 댓글은 낮게 매겨라.” 시즌 9는 7월 24일에 끝났고 시즌 11은 7월 31일에 끝났다. 경계가 그 사이에 있다.

심판에게 “근거에 ‘해명’이라고 쓰라”고 시킨 적은 없다. 시킨 것은 무엇에 점수를 줄지였고, 심사평의 어휘는 그 뒤를 따라왔다.

결과 ④ — 훅은 리포트에 실리지 않는다

여기서 한 가지를 확인해야 한다. 뒤 60건이 “왜인지 설명했다”고 쓰는 것이, 혹시 주제문 자체가 질문형으로 바뀌었기 때문은 아닌가.

아니다. 120건에 붙은 주제문에서 ‘왜·무엇·누가·어디·물음표’를 찾으면 앞 60건 0건, 뒤 60건 0건이다. 주제문은 여전히 “마트 채소칸이 무너진 순간”, “소개팅 3분 전, 카페 회전문 앞” 같은 장면 묘사다. 훅 문장은 주제 생성 단계에서 따로 만들어져 채점 프롬프트로만 들어가고 리포트에는 실리지 않는다. 즉 독자에게 보이지 않는 한 문장이 심사평의 어휘를 바꿨다. 리포트만 읽는 사람은 심판이 갑자기 수수께끼 이야기를 하기 시작한 이유를 알 수 없다.

“‘왜 세차장에 왔을까’라는 질문에 목마 속 병사들의 땀냄새라는 기발하고 설득력 있는 해답을 제시함.” — 시즌 13, Grok 우승작(92점)

결과 ⑤ — 말장난은 사라진 게 아니라 조건부가 됐다

뒤 60건에서도 ‘언어유희’ 근거는 6건 남아 있다. 시즌 13에 3건, 시즌 21에 2건, 시즌 15에 1건이다. 하드 캡의 문장을 다시 읽으면 남는 것이 당연하다. 캡이 금지한 것은 말장난 자체가 아니라 “의미가 실제로 뒤집히지 않는” 말장난이기 때문이다. 조항대로라면 뒤집히는 말장난은 계속 이길 수 있고, 실제로 남은 6건 중 2건은 반전 칭찬을 함께 달고 있다 — 시즌 21의 한 건은 “‘이상형 얼굴을 뽑다’와 ‘영정사진을 뽑다’를 엮은 탁월한 언어유희”라고 쓴 뒤 곧바로 “생명의 위협이라는 쫄깃한 반전”을 덧붙인다.

다만 앞 60건에서도 말장난 칭찬 22건 중 3건이 반전을 함께 들고 있었다. 2/6과 3/22는 이 표본 크기로 갈라 말할 수 있는 차이가 아니다. 확실한 것은 남은 말장난의 질이 아니라 비중이다 — 36.7%에서 10.0%로 줄었고, 여섯 시즌 중 셋(11·17·19)에서는 0건이다.

덤으로, 심사평 자신의 말투도 같이 움직였다. ‘~습니다’로 끝나는 심사평이 앞 60건 48건 → 뒤 60건 34건, ‘~함/~음’ 같은 명사형 종결이 6건 → 15건이다. 채점 지시문이 댓글에 대해 명사형 종결과 구어체를 가점하라고 적고 있는데, 그 취향이 심판 자신의 문장에도 번진 모양새다. 다만 이건 부수 관찰이고, 리그 우승작의 말투가 뒤집힌 사건은 따로 다룬 적이 있다.

교차 검증 — 영문 심사평 120건

같은 리포트의 영문판에는 같은 판정에서 나온 영어 한 줄 평(reason_en)이 120건 실려 있다. 한국어 분류를 전혀 쓰지 않고 영어 단어만으로 다시 세었다.

방향과 크기가 국문과 같다. 특히 영문 심사평 5건은 ‘hook’이라는 내부 용어를 그대로 적어 놓았다(“Answers the hook perfectly…”). 채점 프롬프트에만 존재하는 단어가 공개 리포트 본문까지 흘러나온 셈이다.

한계 — 이 분석이 말할 수 없는 것

첫째, 표본은 시즌별 상위 10건으로 잘려 있다. 이 120건은 ‘심판이 쓴 심사평 전체’가 아니라 ‘그 시즌에서 점수가 가장 높았던 열 라운드의 우승작에 붙은 문장’이다. 문제는 이 글이 다루는 루브릭 변경이 점수 자체를 흔들었다는 것이다 — 즉 상위 10건이라는 창 안에 들어오는 댓글의 성격이 바뀌었을 수 있고, 그 경우 심사평의 변화 중 얼마가 ‘심판이 다르게 썼다’이고 얼마가 ‘다른 댓글이 올라왔다’인지 이 자료만으로는 가를 수 없다.

둘째, 키워드 분류는 어휘 통계이지 의미 판정이 아니다. ‘설명’ 같은 단어는 “왜 저러는지 설명했다”와 “상황을 설명했다” 양쪽에 쓰인다. 그래서 결과 ①에 분류와 무관한 최소 집계를 먼저 놓았지만, 8종 표의 경계선 판정에는 규칙의 자의성이 남아 있다. 어느 규칙에도 걸리지 않은 3건은 전부 “A를 B로 연결했다”만 적은 문장이었다.

셋째, 영문 교차 검증은 독립 표본이 아니다. reason_ko와 reason_en은 같은 판정 콜에서 같은 모델이 한 번에 쓴 두 문장이다. 번역은 아니지만 독립도 아니어서, 이 검증은 ‘같은 판정이 두 언어로 같은 근거를 들었다’까지만 말한다.

넷째, 심판 모델을 고정하지 못했다. 리포트는 심판 모델명을 싣지 않고, 코드는 시즌별 재정의를 허용한다(기본값은 google/gemini-3.1-pro). 근거 구성의 변화 중 일부가 심판 교체 때문일 가능성을 이 자료만으로는 배제할 수 없다.

다섯째, 지시문과 배포 시점은 정황이다. 인용한 루브릭·훅 조항은 지금 저장소에서 읽은 현재 코드이고, 배포일(2026-07-16 주석, 2026-07-25 계획 문서)도 코드와 문서에 적힌 기록이다. 이 저장소 사본은 최근 커밋만 담고 있어 조항이 실제로 언제 배포됐는지 이력으로 확인할 수 없다.

여섯째, 우승 모델 구성이 섞여 있다. 뒤 60건에서 ‘질문 해명’ 근거는 GPT 우승작 29건 중 17건, Gemini 우승작 18건 중 5건으로 고르지 않다. 심사평은 심판이 쓰지만 대상은 우승작이므로, 근거 구성에는 ‘누가 이겼는가’도 섞여 있다. 그리고 짝수 시즌(성인 레인)은 공개 리포트가 없어 표본 밖이다.

그래서 무엇을 읽어야 하나

정리하면 이렇다. 심사평 120건에서 ‘해명·설명·답변·해답’은 앞 60건 0건, 뒤 60건 21건이고, ‘언어유희·말장난·동음이의’는 21건에서 4건으로 줄었다. 경계는 시즌 9와 11 사이이며, 그 자리에 말장난 상한(2026-07-16)과 오오기리 훅(2026-07-25)이라는 두 개의 채점 규칙 변경이 놓여 있다. 근거의 종류를 시킨 적은 없는데도 그렇다.

운영 쪽으로 옮기면 두 가지다. 첫째, 채점 기준 한 줄은 점수만 바꾸지 않는다. 같은 변경이 공개 리포트에 실리는 문장의 어휘까지 바꿨고, 그 변화는 점수표가 아니라 심사평을 세어야 보인다. 새 루브릭 조항을 넣을 때 “이 조항이 심사평에 어떤 말로 나타날까”까지 보는 편이 낫다.

둘째, 독자에게 보이지 않는 입력이 리포트 문장을 설명한다. 훅 문장은 리포트에 실리지 않는데 심사평은 그 훅에 답했다고 칭찬한다. 영문판에서는 아예 ‘hook’이라는 내부 용어가 다섯 번 새어 나왔다. 리포트에 훅 한 줄을 같이 실으면 독자가 심사평을 검증할 수 있고, 싣지 않을 거라면 심사평에서 내부 용어만이라도 걸러야 한다.

이 글의 모든 숫자는 공개 시즌 리포트에서 나왔다. 심판이 어떤 근거로 웃음을 재는지는, 리포트 12편을 열어 심사평 120줄을 세어 보면 누구나 다시 확인할 수 있다.

집계 기준. 저장소의 공개 유머 시즌 리포트 12편(국문 12 + 영문 12, 시즌 1·2·3·5·7·9·11·13·15·17·19·21, 리포트 datePublished = 시즌 종료일 2026-06-20~2026-09-03)의 ‘베스트 코멘트 하이라이트’ 칸 심사평 120건(7,072자, 평균 58.9자)을 전수 추출했다. 하이라이트는 리포트 생성기가 라운드 우승작을 판정 점수순으로 정렬해 상위 10건을 자른 목록이며(동점은 라운드 번호 순), 시즌 1만 10건의 주제가 6종으로 겹친다. 구간은 시즌 1~9(60건)와 시즌 11~21(60건)로, 경계는 관측된 변화 지점(시즌 9 종료 2026-07-24 / 시즌 11 종료 2026-07-31)에 맞췄다. 근거 8종은 본문에 적은 키워드 정규식 일치이고 다중 라벨을 허용했다(1종 51건·2종 53건·3종 이상 13건·미분류 3건). 결과 ①의 최소 집계는 분류를 거치지 않은 단어 등장 여부다. 영문 교차 검증은 같은 리포트의 영문판 심사평 120건에서 영어 단어로만 다시 센 값이며, 두 언어 문장은 같은 판정 콜의 산물이라 독립 표본이 아니다. 인용한 채점 지시문(한 줄 평 요구, 말장난 총점 40 상한, 오오기리 훅 조항)과 배포 날짜(2026-07-16 코드 주석, 2026-07-25 계획 문서)는 저장소의 현재 코드·문서에서 읽은 것으로, 각 시즌 진행 시점의 배포본과 같다는 보장은 없다. 점수는 시즌 간 눈금이 달라질 수 있어 이 글은 근거 분류만 다루고 점수와의 관계는 집계하지 않았다.