영문 리포트는 번역본이 아니다 — 같은 AI가 같은 사진에 친 617쌍의 한·영 개그

글 · 칼라톤 운영팀 | 2026. 8. 17. | 수치 출처: 칼라톤 시즌 데이터베이스

칼라톤의 AI 유머 배틀 시즌 리포트는 한국어판과 영문판이 나란히 나간다. 예를 들어 8월 2주차 시즌 리포트에는 한국어 우승 코멘트가, 같은 시즌의 영문 리포트에는 영어 문장이 같은 라운드 번호를 달고 실린다. 그래서 종종 이런 질문을 받는다. "말장난은 영어로 어떻게 번역하나요?"

답은 조금 김이 빠진다. 번역하지 않는다. 영문 리포트에 실린 문장은 한국어 개그를 옮긴 것이 아니라, 같은 AI가 같은 사진을 보고 따로 친 두 번째 개그다. 우리 코드가 참가 모델에게 요구하는 산출물은 한 라운드에 두 개다. 한국어 한 줄, 영어 한 줄. 그리고 프롬프트에는 둘이 서로의 번역이면 스스로 버리라는 규칙이 박혀 있다.

그렇다면 자연히 다음 질문이 생긴다. 같은 모델이 같은 사진 앞에서 두 언어로 각각 개그를 칠 때, 그 둘은 얼마나 다르게 생겼을까. 공개 리포트에 이미 나가 있는 9개 시즌의 한·영 쌍 617개를 꺼내 자로 재 봤다.

구조 — 한 번의 호출, 두 개의 개그

먼저 무대 장치부터 정확히 적는다. 유머 리그의 한 라운드는 이렇게 돌아간다. 사진 한 장과 주제가 주어지면 참가 모델 5종이 각각 코멘트를 만들고, 심판 모델이 유머·창의성·주제 부합 세 축으로 채점해 라운드 우승자를 뽑는다. 이때 참가 모델이 한 번의 호출에서 내놓는 것은 comment_ko와 comment_en 두 필드다. 프롬프트가 요구하는 내용은 이렇게 갈린다.

마지막 행이 이 글의 전제이자 한계다. 이 9개 시즌에서 점수가 매겨진 것은 한국어 문장뿐이고, 영어 문장은 채점되지 않았다. 실제로 한국어 리포트와 영문 리포트의 617개 라운드를 맞춰 보면 점수와 우승 모델 표기는 617건 전부 동일하다. 즉 리포트의 점수는 그 라운드의 한국어 개그에 붙은 값이고, 영문판은 같은 점수 옆에 다른 문장을 놓아둔 것이다.

방법 — 무엇을 어떻게 셌나

집계 대상은 공개된 유머 시즌 리포트 9편(시즌 1·2·3·5·7·9·11·13·15)의 '전체 라운드 우승 코멘트' 표다. 한국어판과 영문판에서 같은 라운드 번호끼리 짝지어 617쌍을 만들었고, 각 쌍에서 공백을 제외한 글자 수를 셌다. 이 글에서 팽창률이라 부르는 값은 영어 글자 수를 한국어 글자 수로 나눈 단순한 비율이다.

여기서 미리 못을 박아 둘 것이 있다. 한국어는 한 글자가 담는 정보량이 알파벳 한 글자보다 훨씬 크다. 그래서 두 언어가 같은 내용을 말해도 팽창률은 1이 아니라 2 근처에서 시작한다. 이 값의 절대 수준으로는 아무 말도 할 수 없다. 의미가 있는 것은 분포의 모양, 그리고 모델 사이·시즌 사이의 비교뿐이다. 617쌍 전체의 팽창률 중앙값은 2.35, 평균은 2.55였고, 한국어는 공백 포함 평균 55.5자, 영어는 평균 20.4단어였다.

한국어보다 영어가 짧은 쌍은 617개 중 단 2개였다. 나머지는 전부 영어 쪽이 길다. 흥미로운 건 양 끝이다. 아래로는 1.2 미만이 10건, 위로는 4.0 이상이 48건. 이 두 꼬리에 각각 다른 사연이 있다.

결과 ① — 얼마나 길어지는가는 모델마다 다르다

같은 규칙을 받았는데도 팽창률의 중앙값은 모델별로 1.93에서 3.31까지 벌어진다.

Claude는 한국어를 가장 길게 쓰고(평균 68.3자) 영어도 가장 길게 쓴다(25.5단어). 반대편의 Grok은 한국어가 평균 31.7자로 가장 짧은데 영어는 15.1단어여서, 결과적으로 팽창률이 제일 크다. 즉 팽창률은 '영어를 길게 쓰는 습관'보다 '한국어를 얼마나 짧게 끊느냐'에 더 크게 좌우된다. 실제로 한국어 길이와 팽창률의 상관계수는 -0.590으로, 이 데이터에서 가장 뚜렷한 관계다.

결과 ② — 압축 구간 38건, 그중 31건이 한 모델

팽창률 1.5 미만, 즉 영어가 유난히 짧게 끝난 쌍은 38건이다. 이 38건의 모델 분포가 눈에 띈다. Gemini 31건, Claude 4건, GPT 3건, Grok과 DeepSeek은 0건. 한 모델이 이 구간의 82%를 가져갔다.

원문을 열어 보면 이유가 바로 보인다. 운영팀이 38건을 하나씩 읽어 분류한 결과 27건(71%)이 한국어 말장난에 기대는 개그였고, 그 27건 중 26건이 Gemini였다. 우리 코드가 모델마다 다른 '개그 장치'를 배정하는데, Gemini에 배정된 장치가 바로 '의미가 뒤집히는 말장난(pun-flip)'이다. 한국어에서 단어를 비틀어 웃기는 개그는 정의상 영어로 옮겨지지 않는다. 그래서 영어 칸에는 번역 대신 영어 나름의 짧은 말장난이 들어앉는다.

시즌7 R13 · Gemini · 94점 — 주제: 지역 경제를 살리는 고양이 직원
[KO] 손님, 카드 유효기간이 '지냥'습니다. 뒤에 대기자 밀렸으니 츄르로 대물변제 하실 건지 빨리 결정하시죠.
[EN] I'm sorry sir, but your card has been de-clawed.

한국어는 '지났습니다'를 고양이 말투 '지냥습니다'로 비틀었고, 영어는 declined(거절됨)를 de-clawed(발톱 뽑힘)로 비틀었다. 같은 사진, 같은 모델, 같은 라운드지만 웃음의 재료가 완전히 다르다. 팽창률은 0.87로 617쌍 중 최저였다.

시즌2 R119 · Gemini · 86점 — 주제: 아기 판다의 폭풍 성장
[KO] 채식은 살 안 찐다면서요... 대나무만 먹었는데 왜 내가 '대(大)'자가 된 거죠?
[EN] I feel absolutely bamboo-zled by this scale!

시즌2 R8 · Gemini · 92점 — 주제: 갑작스러운 성공과 의심
[KO] 여보, 내가 사람들한테 '구독'을 눌러달라고 했지, 왜 경찰서에 '구속'을 누르려고 해!
[EN] His video went viral, but his wife is about to make him go federal.

'대나무'와 '대(大)', '구독'과 '구속' — 한국어 쪽 웃음은 발음의 충돌에서 나온다. 영어 쪽은 bamboo와 bamboozled, viral과 federal이라는 다른 충돌을 새로 만든다. 두 문장을 나란히 놓고 "번역이 잘됐나"를 묻는 건 애초에 성립하지 않는 질문인 셈이다.

결과 ③ — 팽창 구간 48건, 생략하는 한국어와 설명하는 영어

반대쪽 꼬리는 결이 다르다. 팽창률 4.0 이상인 48건의 한국어는 평균 20자(공백 제외)에 불과한 반면 영어는 평균 90자다. 이 구간의 한국어 문장은 대부분 주어도 서술도 생략한 채 상황 위에 툭 얹는 형태다.

시즌13 R22 · Grok · 89점 — 주제: 피자 위 올리브가 나사로 보인 순간
[KO] 치즈가 먼저 돌아가길래
[EN] Bro's just applying the recommended torque before the cheese backs out

시즌11 R58 · Grok · 85점 — 주제: 미용실에서 만두머리 완성 직전 1초
[KO] 참기름 뿌린 거였어
[EN] Stylist swapped hairspray for sesame oil and the bun took it personally.

시즌13 R5 · Grok · 90점 — 주제: 증권사 IR 발표 중 터진 색종이포
[KO] 다음 분기 실적 미리 터뜨려보는 중
[EN] They wired the slide clicker to the confetti cannon so the losses would at least look festive.

"참기름 뿌린 거였어"는 여덟 글자다. 누가 뿌렸는지, 무엇에 뿌렸는지, 왜 웃긴지를 한국어는 전부 사진과 독자에게 맡긴다. 반면 영어 문장은 미용사가 헤어스프레이 대신 참기름을 집어 들었다는 상황을 문장 안에서 완성한다. 같은 웃음을 만들기 위해 한쪽은 생략하고 한쪽은 설명한다 — 이 구간의 팽창률 7.62는 그 차이를 숫자로 옮긴 것에 가깝다.

물론 규칙과 달리 사실상 번역처럼 보이는 쌍도 있다. 시즌1 R7(Gemini, 90점)의 한국어는 "네, 다음 집사.", 영어는 "Yes, next butler."다. 팽창률 2.14로 정확히 중앙값 근처에 있다. 617쌍 전부가 '완전히 다른 두 개그'인 것은 아니고, 규칙은 어디까지나 프롬프트 수준의 요구라는 뜻이다.

결과 ④ — 시즌이 갈수록 격차가 벌어졌다

이 현상은 시간이 지나며 강해졌다. 시즌별로 갈라 보면 한국어는 짧아지고 팽창률은 커진다.

시즌2의 한국어 우승 코멘트는 평균 68.1자였는데 시즌13에서는 29.0자다. 절반 이하로 줄었다. 같은 기간 팽창률 중앙값은 2.10에서 3.68로 올랐고, 팽창률 4.0 이상인 라운드 비율은 0%에서 39.3%가 됐다. 반대로 압축 구간(1.5 미만)은 시즌2 11.5%, 시즌7 15.3%에서 시즌9·11·13에는 0%로 사라졌다.

이걸 "한국어 유머가 짧아졌다"로 읽으면 곤란하다. 이 기간에 우리가 라운드를 쇼츠 영상으로 발행하기 시작했고, 자막과 낭독 길이 때문에 한국어 코멘트에 글자 수 규칙이 붙었다. 현재 규칙은 공백 포함 20~68자이며, 617건 중 70.0%가 이 범위 안에 있다. 규칙이 강해진 최근 시즌일수록 준수율이 높아서 시즌13은 87.5%, 시즌15는 100%다. 짧아진 것은 취향이 아니라 규격이다. 영어 문장에는 같은 규칙이 없었으니, 격차가 벌어진 것은 자연스러운 결과다.

결과 ⑤ — 점수는 이 차이를 모른다

그렇다면 "영어로도 웃긴 개그"를 우리가 골라낼 수 있을까. 없다. 팽창률과 라운드 점수의 상관계수는 -0.087로 사실상 0이다. 구간별 평균 점수도 1.5 미만 88.2점, 1.5~3.0 88.7점, 3.0 초과 86.8점으로 큰 차이가 없다.

당연한 결과다. 점수는 한국어 문장에만 매겨졌으니, 영어 문장이 잘 나왔는지 여부가 점수에 반영될 통로가 애초에 없다. 이 데이터가 답할 수 있는 질문은 "두 언어의 개그가 형태적으로 얼마나 다른가"까지이고, "어느 쪽이 더 웃긴가"는 답할 수 없다. 이 글을 시작하게 만든 원래 질문 — 영어로 옮겨도 웃긴 개그가 따로 있는가 — 에 대한 우리의 정직한 답은 "지금 구조로는 알 수 없다"이다. 알려면 영어 코멘트를 채점하는 심판을 따로 앉혀야 한다.

한계 — 이 분석이 말할 수 없는 것

첫째, 글자 수는 웃김의 지표가 아니다. 이 글이 잰 것은 형태이지 품질이 아니다. 팽창률이 큰 개그가 더 좋거나 나쁘다는 뜻은 어디에도 없다.

둘째, 한국어와 영어는 문자당 정보 밀도가 달라서 팽창률의 기준선이 1이 아니다. 그 기준선이 정확히 얼마인지도 우리는 모른다. 따라서 "2.35배 길다"는 문장은 단독으로 의미를 갖지 않으며, 모델 간·시즌 간 비교로만 읽어야 한다.

셋째, 압축 구간 38건을 말장난 27건으로 가른 것은 운영팀의 수작업 분류다. 통계적 절차가 아니라 사람이 읽고 판단한 결과이고, 다른 사람이 세면 한두 건은 달라질 수 있다. 그래서 대표 사례의 원문을 한·영 그대로 인용했다 — 판단의 근거를 숨기지 않기 위해서다.

넷째, 시즌 사이 비교는 통제된 비교가 아니다. 프롬프트가 여러 차례 개정됐고(현재 버전은 '번역투' 문제를 고치기 위한 2차 개정판이다), 심사위원 수도 1명에서 3명까지 달라졌으며, 주제 선정 방식도 바뀌었다. 시즌13의 팽창률 3.68은 그 시점의 규칙이 만든 값이지 모델의 성향이 아니다.

다섯째, 집계 대상은 라운드 우승 코멘트뿐이다. 라운드마다 5개 코멘트가 제출되지만 리포트에 공개되는 건 1위 문장이므로, 이 617쌍은 심판이 이미 좋다고 판정한 문장들로만 이뤄져 있다. 탈락한 문장까지 포함하면 분포는 달라질 수 있다.

여섯째, 영어 문장의 품질을 평가한 원어민도, 영어권 독자의 반응 지표도 이 분석에는 없다. Reddit 톤을 요구했다고 해서 그 톤이 성공했는지는 별개의 문제다.

그래서 우리는 무엇을 고칠까

가장 먼저 고칠 것은 설명이다. 영문 리포트를 '번역본'으로 소개해 온 적이 있다면 그건 틀린 안내였다. 영문판은 같은 라운드에 대한 다른 개그이고, 한국어판과 영문판을 나란히 읽는 독자에게는 그 사실이 콘텐츠의 일부다. 앞으로 리포트 안내 문구에서 이 점을 분명히 하려 한다.

두 번째는 채점이다. 영어 코멘트가 채점되지 않는 한, 우리는 매 라운드 절반의 산출물을 품질 관리 없이 내보내고 있는 셈이다. 영어 심판을 별도로 붙이면 이 글이 던진 질문 — 두 언어에서 모두 강한 모델이 있는가 — 에 처음으로 답할 수 있게 된다.

그때까지 이 글이 남기는 사실은 셋이다. 영어 쪽이 거의 항상 길다(617쌍 중 615쌍). 얼마나 길어지는지는 한국어를 얼마나 짧게 끊었느냐가 결정한다(상관계수 -0.590). 그리고 한국어 말장난이 몰린 압축 구간은 한 모델의 지분이 82%다. 나머지는 아직 우리도 모른다.

원문이 궁금하다면 시즌13 한국어 리포트와 영문 리포트를 두 탭에 띄워 같은 라운드 번호를 비교해 보시길 권한다. 이 글의 집계는 전부 그 표에서 나왔다.

집계 기준. 칼라톤 공개 유머 시즌 리포트 9편(시즌 1·2·3·5·7·9·11·13·15)의 '전체 라운드 우승 코멘트' 표에서 한국어판·영문판을 라운드 번호로 짝지은 617쌍(2026년 8월 17일 기준 공개본). 글자 수는 공백을 제외하고 셌으며, 팽창률은 영어 글자 수 ÷ 한국어 글자 수다. 한국어 평균 길이는 프롬프트 규칙(공백 포함 20~68자)과 맞추기 위해 공백을 포함해 표기했다. 평균·중앙값·상관계수는 원자료에서 계산해 소수점 아래 둘째 자리에서 반올림했다. 말장난 여부 분류(38건 중 27건)는 운영팀의 수작업 판단이며 통계적 절차가 아니다.