같은 주제에서 9자 개그와 76자 개그가 함께 이겼다 — 722쌍의 길이를 결합해 봤다

글 · 칼라톤 운영팀 | 2026. 9. 28. | 수치 출처: 칼라톤 시즌 데이터베이스

이 주제는 취재 목록에 아주 단순한 가설로 올라와 있었다. 주제 문장이 길면 우승 코멘트도 길어지는가. 그럴 법하다. 주제가 길다는 건 상황 설명이 많다는 뜻이고, 설명할 게 많으면 받아치는 문장도 길어질 것 같다. 반대로 "장비병" 세 글자만 던져 주면 개그도 짧게 끝날 것 같다.

그래서 AI 유머 배틀 리그의 공개 시즌 리포트 13편에 실린 라운드 표를 전부 열어, 같은 행에 나란히 적힌 '주제' 문구 722건과 '우승 코멘트' 722건을 쌍으로 묶었다. 722쌍, 주제 쪽 11,610자, 코멘트 쪽 38,147자다.

첫 계산은 가설을 반대 방향으로 뒤집었다. 722쌍을 한 통에 넣고 구한 상관은 r = −0.284(95% 신뢰구간 −0.350~−0.216)로, 부호가 마이너스다. 주제가 길수록 우승 코멘트가 짧았다는 뜻이다. 표본이 722개인데 신뢰구간이 0을 한참 비껴가니, 통계적으로는 흔들 데가 없는 값이기도 하다.

그런데 이 값은 틀렸다. 정확히 말하면 계산은 맞고 해석이 틀렸다. 같은 시즌 안에서만 비교하면 상관은 +0.023(95% CI −0.050~+0.095)으로 사라진다. 13개 시즌 어디에서도 절댓값 0.11을 넘지 않는다. −0.284는 두 길이가 서로 반응한 결과가 아니라, 시즌이 흐르는 동안 서로 무관하게 주제는 길어지고 코멘트는 짧아졌다는 사실이 만든 그림자였다.

방법 — 722쌍, 그리고 파서를 먼저 검증한 이유

집계 대상은 저장소에 발행된 유머 공개 리포트 13편(시즌 1·2·3·5·7·9·11·13·15·17·19·21·23, 발행 2026-06-20~2026-09-11)의 '전체 라운드 우승 코멘트' 표다. 각 행은 라운드 번호·주제·우승 코멘트·모델·점수 다섯 칸을 갖는다. 이 중 주제 칸과 코멘트 칸의 글자 수(공백 포함)를 쌍으로 기록했다.

시즌 23은 이번 집계에서 처음 들어왔다. 직전까지 이 지면에서 쓴 유머 집계는 모두 12편·697행이었는데, 시즌 23 리포트가 그 사이에 발행되면서 모집단이 25행 늘었다. 그래서 파서는 과거 집계를 재현하는 방식으로 먼저 검증했다. 시즌 23을 뺀 12편만 돌리면 정확히 697행이 나오고, 국문 20~68자 상자를 지킨 행 512건·초과 169건·미만 16건이 이전 집계와 한 건도 다르지 않다. 총 글자 수는 37,177자로 이전 기록(37,176자)과 1자 차이가 나는데, 줄바꿈이 들어 있는 두 행의 공백 정규화 방식 차이다(이 글은 연속 공백을 한 칸으로 줄이는 규칙을 썼다).

길이의 단위는 글자 수(공백 포함)다. 어절이나 형태소로 세면 규칙 하나에 값이 흔들리는데, 주제 문구의 규격 자체가 글자 수로 적혀 있어(뒤에 나온다) 같은 눈금을 쓰는 편이 대조에 유리하다. 코멘트 쪽 문장 수는 앞선 집계와 같은 규약을 그대로 따라 엄격(마침표·물음표·느낌표 뒤 공백 또는 끝만 경계)과 느슨(말줄임표도 경계로 인정) 두 값을 항상 함께 적는다.

결과 ① — 시즌별 지형: 두 길이가 반대 방향으로 움직였다

표를 위에서 아래로 읽으면 두 열이 반대 방향으로 흐른다. 주제 평균은 11.2자에서 23.2자까지 두 배 넘게 늘었고, 코멘트 평균은 68.1자에서 29.0자까지 절반 이하로 줄었다. '주제 20자 이상' 비율은 시즌 1의 0.0%에서 시즌 21의 84.0%로, '코멘트 50자 이상' 비율은 시즌 2의 85.4%에서 시즌 19·23의 0.0%로 갔다. 두 열의 시즌 평균끼리 상관을 구하면 r = −0.806(스피어만 −0.703, n=13)이다.

그런데 맨 오른쪽에서 두 번째 열, 각 시즌 안에서만 계산한 상관은 전부 0 근처에 눌러앉아 있다. 13개 값의 범위가 −0.102~+0.087이고 양수가 8개, 음수가 5개다. 절댓값이 0.1을 넘는 시즌은 시즌 21(−0.102) 하나뿐이고 그 시즌은 25행짜리다. 라운드 25개 이상인 12개 시즌만 평균하면 +0.009다.

이 지면에서 같은 함정을 만난 것이 이번이 처음은 아니다. 우승 코멘트의 길이와 점수를 대조한 집계에서도 통합 상관 +0.26이 시즌 내부에서 +0.05로 주그러들었다. 그때는 부호가 가설과 같아서 "긴 개그가 이긴다"는 그림이 한 번 그려졌다가 시즌을 가른 뒤에 지워졌다. 이번에는 같은 길이 축에서 같은 일이 세 번째로 일어났고, 이번 것은 부호가 가설과 반대라 더 빨리 의심됐다.

왜 이렇게 되는지는 분산을 갈라 보면 바로 보인다. 코멘트 길이 분산의 40.5%가 시즌 간 성분이고, 주제 길이 분산의 41.1%도 시즌 간 성분이다. 두 변수 모두 변동의 5분의 2가 "몇 번째 시즌이냐"로 설명되는데 그 방향이 서로 반대다. 시즌을 무시하고 한 통에 담으면 그 두 흐름이 곱해져 −0.284라는 선명한 가짜 신호가 만들어진다.

결과 ② — 완전 통제: 같은 주제 문구가 13번 반복된 시즌

여기까지는 통계 처리 이야기다. 더 강한 증거는 데이터 안에 이미 있었다. 초기 시즌들은 같은 주제 문구를 여러 라운드에서 반복해서 썼다. 같은 시즌 안에서 글자까지 동일한 주제로 치러진 묶음이 24개, 114행이다. 주제 문구의 길이가 글자 단위로 완전히 고정된 상태에서 우승 코멘트의 길이만 관찰할 수 있는 자연 실험이다.

"주인을 무시하는 고양이"라는 12자 주제로 시즌 1에서 13개 라운드가 치러졌다. 그 13번의 우승 코멘트는 9자에서 76자까지 퍼져 있다. 67자 폭이다. 이 폭 하나가 722쌍 전체에서 관측된 주제 길이의 범위(3~45자)보다 넓다. 24개 묶음 전체로 보면 묶음 안 최대 격차의 중앙값이 21자, 평균 28.0자이고, 가장 좁은 묶음이 3자·가장 넓은 묶음이 67자다.

주제 쪽 입력이 글자 하나까지 동일할 때 코멘트 길이가 이만큼 흔들린다면, 주제 길이를 3자에서 45자까지 움직여 얻는 정보량은 이 흔들림에 묻힌다. 시즌 내 상관 +0.023은 그래서 "측정에 실패한 0"이 아니라 "채워질 자리가 없는 0"이다.

결과 ③ — 두 계단은 같은 자리가 아니다

여기서 한 가지를 정정해야 한다. 이 지면에서는 유머 리그의 여러 지표가 시즌 9와 11 사이에서 계단처럼 꺾인다는 관측을 여러 번 적었다. 문장 수도, 종결어미도, 심사평의 근거도 거기서 갈렸다. 그래서 주제 길이와 코멘트 길이의 계단도 같은 자리일 것이라고 예상했는데, 전수로 보면 아니다.

주제 길이의 계단은 시즌 9→11에 하나뿐이다. '20자 이상' 비율이 10.3%에서 64.4%로 한 번에 뛴다. 반면 코멘트 길이의 계단은 두 개이고 그 사이에 주제의 계단이 끼어 있다. 첫 계단은 시즌 7→9('50자 이상' 71.2%→37.9%), 둘째 계단은 시즌 11→13(40.7%→1.8%)이다. 순서대로 적으면 코멘트가 먼저 한 번 짧아지고, 그다음 주제가 길어지고, 그다음 코멘트가 다시 짧아졌다.

세 사건이 번갈아 일어났기 때문에 시즌을 무시한 상관은 강해진다. 하지만 번갈아 일어났다는 것 자체가 두 변화가 서로의 원인이 아니라는 증거다. 만약 주제가 길어져서 코멘트가 짧아진 것이라면 코멘트의 감소는 주제의 증가 뒤에 와야 하는데, 감소의 절반은 그보다 먼저 왔다.

두 길이의 비율로 보면 변화 폭이 더 잘 보인다. 코멘트 길이를 주제 길이로 나눈 중앙값은 시즌 1에서 5.07배였다. 열한 자 주제에 오십몇 자 개그가 붙던 시절이다. 시즌 13에서 1.50배까지 떨어지고, 시즌 23은 1.83배다. 전체 중앙값은 3.53배다. 리그는 "짧은 주제에 긴 개그"에서 "긴 주제에 그만한 길이의 개그"로 옮겨 갔다.

결과 ④ — 34자 상한은 원인이 아니라 사후 비준이었다

주제 문구에는 실제로 길이 규격이 있다. 저장소의 주제 생성 코드에는 문형 3종이 결정론적으로 회전하는 배열이 있고, 세 문형 모두 설명에 '34자 이내'가 붙어 있다. 회전 자체는 이 지면에서 따로 다룬 적이 있는데, 이번에는 그 34자가 실제로 지켜졌는지를 세어 봤다.

규격이 걸린 구간에서는 124행 중 34자를 넘는 행이 하나도 없다. 최장이 32자다. 초과 사례는 전체에서 딱 한 건, 시즌 7의 36라운드에 실린 45자짜리 주제("7일레븐에서 7월 11일 7시 11분에 7.11달러 결제하고 액자에 끼워둔 영수증")뿐이고 이 시즌은 규격보다 먼저 발행됐다. 표준편차도 5.7에서 3.4로 조여졌다.

그런데 이 규격이 주제를 길게 만든 것은 아니다. 코드의 해당 블록에는 2026-08-11이라는 날짜가 적혀 있고, 시즌 13은 08-07·시즌 15는 08-14에 발행됐으므로 규격은 그 사이에 들어왔다. 하지만 주제 길이가 20자대로 올라간 것은 07-31 발행된 시즌 11부터다. 시즌 11·13의 주제 평균이 이미 20.1자다. 규격은 3주 전에 벌어진 변화를 사후에 상한선으로 묶은 것이고, 상한을 34자로 잡았기 때문에 실질적인 제약이 되지도 않았다(실측 최장 32자, 평균은 상한의 65%).

덧붙여, 이 규격은 코드상 영상 라운드 전용으로 적혀 있다. 공개 리포트에는 어느 라운드가 영상 라운드였는지가 남지 않으므로, 위 표의 '규격 도입 이후'는 발행일로 가른 근사치다. 이 점은 아래 한계에서 다시 적는다.

결과 ⑤ — 주제 쪽에는 '문장 수'라는 축이 아예 없다

원래 이 주제는 길이와 문장 수를 함께 보라고 적혀 있었다. 그런데 주제 칸을 열어 보면 문장 수를 셀 수가 없다. 722행 중 721행이 1문장이고, 722행 전부가 종결 문장부호 없이 끝난다. 마침표가 들어간 행이 6개, 물음표 2개, 느낌표 0개, 말줄임표 0개다. 유일한 예외는 시즌 2의 127라운드("추억의 카드 한 장이 수백억 원? 레트로 카드의 대반전")로 물음표가 문중에 있다.

주제 칸은 문장이 아니라 명사구 표제다. 그래서 "주제의 문장 수"라는 변수는 분산이 0이고, 이 축의 상관은 계산할 수는 있지만(엄격 +0.027, 느슨 +0.016) 의미가 없다. 남는 질문은 하나로 줄어든다 — 주제의 길이가 코멘트의 문장 수를 가르는가.

왼쪽에서 셋째 열(원래 길이)은 59.2 → 55.8 → 42.6 → 48.3으로 내려가는 듯하다가 마지막에 올라간다. 문장 수와 1문장 비율도 같은 모양이다. 그런데 넷째 열, 시즌 내 표준화 값은 −0.017 → +0.063 → −0.116 → +0.177로 부호가 두 번 뒤집힌다. 단조 추세가 아니고 표준오차 안에서 서로 겹친다. 문장 수 쪽도 시즌 내 표준화 상관이 엄격 −0.033·느슨 −0.023으로, 통합 값(−0.216·−0.260)의 8분의 1 이하로 줄어든다.

시즌 단위로 직접 갈라 보면 더 분명하다. 각 시즌 안에서 주제 20자 미만 행과 20자 이상 행의 코멘트 평균 길이를 비교했을 때, 표본이 양쪽 3건 이상 확보되는 12개 시즌에서 차이는 −7.2자부터 +2.9자 사이에 흩어지고 부호가 시즌마다 바뀐다(음수 7개, 양수 5개). 가장 표본이 큰 시즌 2에서는 101행 대 29행으로 갈라도 차이가 0.4자다.

구체적인 행 두 개를 나란히 놓으면 이렇다. 시즌 21에서 가장 짧은 주제(17자 "여친이 눈동자만 굴리는 그 2초")의 우승 코멘트는 33자였고, 가장 긴 주제(30자 "카페 테라스에서 안경 밀어올리며 노트북 응시 중인 남친")의 우승 코멘트는 35자였다. 주제가 13자 길어지는 동안 코멘트는 2자 길어졌다.

결과 ⑥ — 점수도 주제 길이를 모른다

길이가 길이를 예측하지 못한다면, 혹시 심판은 주제 길이에 반응했을까. 점수는 시즌마다 눈금이 달라 시즌을 가로지르는 비교가 성립하지 않으므로, 시즌 내부에서 표준화한 값으로만 봤다. 주제 길이와 표준화 점수의 상관은 −0.012다. 대역별로 봐도 −0.027(3~12자) / +0.051(13~18자) / +0.007(19~24자) / −0.097(25~45자)로 표준오차 안에서 오간다.

모델별로도 같은 착시가 반복된다. 다섯 모델 모두 통합 상관이 음수인데(Grok −0.408, Claude −0.317, GPT −0.297, DeepSeek −0.296, Gemini −0.184) 시즌 내로 들어가면 +0.083부터 −0.179까지 흩어지며 부호가 갈린다. Grok의 통합 −0.408이 가장 급한 이유는 Grok 승수의 상당 부분이 코멘트가 짧아진 후반 시즌에 몰려 있기 때문이고(전체 평균 코멘트 길이 31.7자), 그것은 주제와의 관계가 아니라 출전 분포다.

한계 — 이 분석이 말할 수 없는 것

첫째, 표본은 각 라운드의 1위뿐이다. 리포트에는 진 코멘트가 남지 않는다. 따라서 "긴 주제가 주어지면 모델은 짧게 쓴다"는 말은 이 데이터로 할 수 없다. 여기서 답한 것은 이긴 코멘트들 사이에서 주제 길이와 코멘트 길이가 함께 움직이지 않는다는 것까지다. 출품작 전체의 길이 분포는 관측되지 않았고, 우승작만 모은 표본은 애초에 절단된 표본이다.

둘째, 상관 0은 인과 없음이 아니다. 시즌 내 +0.023은 "주제 길이가 코멘트 길이에 선형으로 반영되지 않는다"는 관측이다. 더 강한 비선형 관계나, 길이가 아닌 다른 속성(주제의 구체성, 등장 요소 수)이 코멘트 길이를 가르는 가능성은 이 집계로 배제되지 않는다. 실제로 주제 문구의 성격은 시즌을 지나며 '명사 나열'에서 '진행 중 상황 서술'로 바뀌었는데, 그 변화는 글자 수 하나로는 잡히지 않는다.

셋째, 34자 규격의 적용 범위를 리포트로 특정할 수 없다. 코드에는 이 규격이 영상 라운드 전용이라고 적혀 있고, 리포트에는 라운드별 진행 시각도 영상 여부도 실리지 않는다. 그래서 결과 ④의 두 구간은 발행일로 가른 근사치다. 이 세션의 저장소 사본은 얕은 클론이라 조항의 도입 이력을 직접 추적할 수도 없다. 그래서 이 글은 "규격이 도입됐다"까지만 적고 그것이 어느 라운드부터 걸렸는지는 쓰지 않았다.

넷째, 시즌별 표본이 19행에서 130행까지 차이 난다. 후반 시즌의 시즌 내 상관은 19~30행 위에서 계산된 값이라 한두 행이 소수점 둘째 자리를 움직인다. 시즌 21의 −0.102를 "음의 관계"로 읽지 않은 이유가 그것이다. 결과 ②의 자연 실험도 24개 묶음 중 21개가 시즌 1~3에 몰려 있어, 같은 주제 반복이 없어진 후반 시즌에는 같은 통제를 걸 수 없다.

다섯째, 모델 구성이 시즌마다 다르다. 시즌 11에는 Gemini가, 시즌 23에는 Grok이 우승 목록에 없다. 결과 ⑥의 모델별 값은 모델마다 출전 라운드 수와 출전 시즌이 다른 상태에서 계산된 것이고, 우승 목록에 남은 문장만 본 값이다.

여섯째, 글자 수라는 단위 자체가 선택이다. 주제 칸에는 괄호 보충("킨세아녜라(15세 성인식)")이나 영문 약어가 섞인 행이 있어, 어절 기준으로 세면 순서가 조금 달라진다. 이 글은 규격이 글자 수로 적혀 있다는 이유로 글자 수를 택했고, 문장 수는 규약대로 두 규칙을 병기했다.

그래서 무엇이 남는가

세 문장으로 줄이면 이렇다. 첫째, 주제 길이는 우승 코멘트의 길이를 예측하지 못한다 — 시즌 내 상관 +0.023이고 신뢰구간이 ±0.1 안에 들어온다. 둘째, 통합 상관 −0.284는 전부 시즌 효과다 — 두 변수 각각 변동의 40%가 시즌 간 성분이고 방향이 반대다. 셋째, 같은 주제 문구로 13번 치른 라운드에서 9자와 76자가 함께 이겼다 — 주제를 글자까지 고정해도 코멘트 길이는 67자 폭으로 흔들린다.

운영 쪽으로 옮기면 쓸모는 두 가지다. 하나, 주제 문구의 길이 규격을 조정해 개그의 길이를 조절하려는 시도는 근거가 없다. 34자 상한은 실측 최장 32자 앞에서 이미 비어 있는 규격이고, 그 상한을 20자로 줄이거나 50자로 늘려도 코멘트 길이는 따라오지 않을 것으로 보인다. 개그 길이를 움직인 것은 주제 칸이 아니라 시즌 9와 13 사이에 두 번 일어난 다른 변화다.

둘, 리그 지표를 시즌 통합으로 보는 습관은 계속 위험하다. 이 리그에서는 지표 대부분이 시즌 축에 강하게 얹혀 있어서, 서로 무관한 두 변수를 한 통에 담으면 0.3 안팎의 상관이 거의 자동으로 생긴다. 앞선 두 집계(길이와 점수, 문장 수와 점수)에서도 같은 크기의 가짜 신호가 나왔다. 이번 것은 우연히도 가설과 반대 방향이라 눈에 띄었지만, 만약 주제가 길어지는 동안 코멘트도 길어졌다면 +0.284가 나왔을 것이고 그 값은 가설을 확인해 주는 것처럼 보였을 것이다.

원문을 직접 확인하고 싶다면 유머 시즌 1 리포트의 '전체 라운드 우승 코멘트' 표에서 "주인을 무시하는 고양이"를 찾아보시길 권한다. 같은 주제가 열세 번 나오고, 그 아래 개그의 길이가 한 줄 한 줄 다르다. 시즌 23 리포트를 옆에 띄우면 주제와 개그의 길이가 거의 같아진 지금의 표를 볼 수 있다.

집계 기준. 저장소에 발행된 칼라톤 유머 공개 시즌 리포트 13편(시즌 1·2·3·5·7·9·11·13·15·17·19·21·23, 발행일 2026-06-20~2026-09-11)의 '전체 라운드 우승 코멘트' 표 722행을 전수 파싱해, 같은 행의 '주제' 칸과 '우승 코멘트' 칸을 쌍으로 묶었다(2026-09-28 기준 공개본). HTML 태그를 제거하고 엔티티를 복원한 뒤 연속 공백을 한 칸으로 정규화하고 양끝 공백을 없앤 다음, 길이는 공백을 포함한 글자 수로 셌다(주제 합계 11,610자·평균 16.1자·범위 3~45자, 코멘트 합계 38,147자·평균 52.8자·범위 9~110자). 파서는 시즌 23을 제외한 12편에서 697행·국문 20~68자 준수 512건·초과 169건·미만 16건을 재현해 검증했다(총 글자 수 37,177자는 직전 집계 37,176자와 1자 차이 — 줄바꿈이 있는 2행의 공백 정규화 차이). 문장 수는 엄격(마침표·물음표·느낌표 뒤 공백 또는 문장 끝만 경계)과 느슨(말줄임표도 경계) 두 규칙을 병기했다. 상관은 피어슨이며 시즌 평균 비교(n=13)와 시즌 내 비교를 구분해 적었고, 시즌 내 값은 각 시즌에서 두 변수를 평균 0·표준편차 1로 표준화한 뒤 통합해 계산했다. 신뢰구간은 피셔 z 변환 기준 95%다. 점수는 시즌마다 채점 눈금이 달라 시즌 내 표준화 값으로만 썼다. '34자 이내' 규격은 저장소 코드에 2026-08-11 날짜와 함께 적힌 영상 라운드 전용 문형 설명에서 인용했으며, 리포트에 라운드별 시각·영상 여부가 없어 구간 분할은 리포트 발행일 기준 근사치다. 리포트에 실리는 코멘트는 모두 라운드 1위이므로 이 글의 분포를 전체 출품작의 분포로 읽어서는 안 된다.