영문이 2.3배 긴 건 번역이라서가 아니다 — 국문·영문 1,883쌍 대조

글 · 칼라톤 운영팀 | 2026. 9. 21. | 수치 출처: 칼라톤 시즌 데이터베이스

칼라톤의 공개 시즌 리포트는 인물·유머·매칭 세 모듈이 국문판과 영문판을 나란히 낸다. 같은 라운드, 같은 이미지, 같은 점수 옆에 한국어 문장과 영어 문장이 하나씩 붙어 있다. 이 구조 덕분에 우리는 공짜로 얻은 언어쌍 데이터를 갖고 있는 셈이다.

지난 8월 칼럼 ‘영문 리포트는 번역본이 아니다’에서 우리는 유머 우승 코멘트 617쌍을 세어 영문이 국문의 2.35배라는 수치를 냈고, 그 팽창을 ‘번역이 아니라 따로 쓴 두 번째 개그’의 증거로 읽었다. 비슷한 시기 매칭 코멘트를 셌을 때도 숫자는 닮아 있었다 — 국문 평균 257자, 영문 평균 592자, 2.3배.

그런데 매칭의 두 문장은 같은 판정 호출 안에서 “같은 뜻으로 두 번 쓰라”는 지시를 받고 나온다. 번역을 금지당한 칸과, 같은 뜻으로 두 번 쓰라고 지시받은 칸의 배율이 사실상 같았던 것이다. 그렇다면 2.3배라는 숫자는 무엇의 증거였을까. 이번에는 세 모듈의 언어쌍을 한자리에 모아, 생산 방식이 분량비에 실제로 보이는지 확인했다.

구조 — 같은 리포트 안에 생산 방식이 다섯 가지

먼저 각 칸의 영문이 어떻게 만들어지는지부터 저장소 코드에서 확인했다. 놀랍게도 다섯 칸이 전부 다르다.

① 인물 심사평 — 사후 번역. 국문이 원본이고, 영문은 뒤이은 별도 호출이 만든다. 지시문은 문자 그대로 “Translate the following text to English. Return ONLY the translated text”다. 다섯 칸 중 유일하게 번역이라고 부를 수 있는 칸이다.

② 매칭 코멘트 — 같은 호출, 같은 뜻으로 두 번. 매치메이커 평가 프롬프트는 “write it TWICE with the same meaning”을 요구하고, 국문 쪽에만 ‘존댓말, 2~4 sentences’라는 조항을 붙인다. 영문 쪽에는 문장 수 지시가 없다.

③ 유머 심사평 — 같은 호출, 양쪽 언어로 한 줄씩. 심판 프롬프트는 “Add a one-line reason in BOTH Korean and English”라고만 적는다. ‘같은 뜻’이라는 말도, 글자 수도 없다.

④ 유머 주제 문장 — 같은 호출, 국문에만 상한. 주제를 고르는 프롬프트 다섯 변형 중 넷이 국문 주제에 ‘34 characters max’를 걸어 둔다(영상 자막이 잘리기 때문이다). 영문 주제에는 어떤 변형에도 상한이 없다.

⑤ 유머 우승 코멘트 — 같은 호출, 번역이면 실격. 출전 모델의 지시문은 영문 개그를 “번역이 아니라 같은 상황을 다른 각도로 친 독립된 영어 개그”로 요구하고, 두 문장이 서로 번역이면 스스로 버리라는 자동 탈락 조항까지 달고 있다.

정리하면 ①은 진짜 번역, ②는 번역에 가장 가까운 동시 작성, ③④는 느슨한 동시 작성, ⑤는 번역 금지다. 분량비가 생산 방식을 반영한다면 이 순서대로 값이 벌어져야 한다.

방법 — 공개 리포트 146편, 쌍 1,883개

집계 대상은 저장소에 발행돼 있는 공개 리포트 전부다. 인물 128편, 유머 12편, 매칭 6편의 국문판과 영문판 292개 파일을 파싱해 같은 칸끼리 짝지었다. 짝은 눈대중이 아니라 키로 맞췄다 — 인물·유머 하이라이트는 이미지 URL, 유머 전체 라운드 표는 라운드 번호·모델·점수, 매칭은 라운드 번호가 두 언어에서 같아야만 쌍으로 인정했다. 불일치는 한 건도 없었다.

이렇게 모인 쌍이 1,883개, 국문 108,275자와 영문 245,395자다. 글자 수는 공백을 포함해 셌고, 비율은 영문 글자 수 ÷ 국문 글자 수다.

파서가 맞게 읽었는지는 과거 집계로 검증했다. 매칭 코멘트 72건의 국문 총합은 18,479자, 유머 심사평 120건은 7,072자로 이전 집계와 정확히 같은 값이 나왔다. 8월 칼럼의 모집단(유머 시즌 1~15의 우승 코멘트 617쌍)을 같은 규칙(공백 제외)으로 다시 세면 중앙값 2.355, 표기하면 2.35로 같은 값이 재현된다.

결과 ① — 네 방식 모두 2.1~2.5배였다

다섯 칸의 분량비다. ‘총비’는 칸 전체의 영문 글자 합 ÷ 국문 글자 합, ‘쌍별 중앙값’은 쌍마다 비율을 내고 그 중앙값을 취한 값이다.

예상은 빗나갔다. 진짜 번역인 인물 심사평이 2.29, 번역을 금지당한 유머 우승작이 2.20이다. 격차는 0.09다. 오히려 ‘같은 뜻으로 두 번’인 매칭(2.31)이 번역 칸보다 조금 더 크고, 가장 작은 값은 번역과 무관한 유머 심사평(2.09)에서 나왔다. 평균 분량비의 순서는 생산 방식의 순서와 아무 관계가 없다.

즉 “영문이 2.3배 길다”는 문장은 번역이 아니라는 증거도, 번역이라는 증거도 아니다. 한국어 음절 문자와 라틴 문자를 같은 단위로 세는 순간 거의 자동으로 나오는 값에 가깝다.

결과 ② — 갈리는 것은 평균이 아니라 흩어짐이다

평균이 같다고 분포까지 같지는 않다. 쌍별 비율의 변동계수(표준편차 ÷ 평균)와, 국문 길이와 영문 길이의 상관계수를 함께 보면 그림이 완전히 달라진다.

이번에는 순서가 맞는다. 번역과 준번역 칸(0.063·0.083)은 쌍마다 비율이 거의 움직이지 않고, 느슨한 동시 작성은 그 두 배(0.132), 번역 금지 칸은 다섯 배(0.334)다. 매칭 코멘트의 상관계수 0.992는 국문 문장이 한 글자 길어지면 영문도 거의 정확히 그만큼 길어진다는 뜻이다.

다만 흩어짐은 글자 수가 많을수록 줄어드는 성질이 있어서, 길이가 다른 칸끼리 변동계수를 맞대는 건 반칙이다. 그래서 국문 길이를 맞춰 다시 셌다.

길이를 맞춰도 결론은 유지된다. 별도 호출로 번역한 칸과 한 호출 안에서 같은 뜻으로 두 번 쓴 칸은 중앙값도(2.23 대 2.28) 흩어짐도(0.067 대 0.061) 사실상 구별되지 않는다. 같은 모듈·같은 리포트·같은 길이대인 유머의 두 칸은 중앙값이 2.09와 2.06으로 붙어 있는데 흩어짐만 1.7배 차이가 난다. 두 언어가 붙어 있는지 떨어져 있는지는 평균이 아니라 분산에만 남는다.

결과 ③ — ‘번역 띠’로는 독립 생성을 걸러내지 못한다

그렇다면 분산을 이용해 “이 쌍은 번역인가”를 판별할 수 있을까. 번역 칸 두 곳(인물·매칭)의 값이 거의 전부 들어가는 구간 1.8~2.9를 ‘번역 띠’로 삼고, 각 칸이 이 띠를 얼마나 벗어나는지 셌다.

띠는 오탐이 거의 없다. 번역 칸 369쌍 중 띠를 벗어난 건 1건뿐이고, 두 칸 통틀어 비율이 1.0 미만이거나 3.0을 넘는 쌍은 하나도 없다. 그런데 번역이 금지된 유머 우승작조차 60.3%가 띠 안에 얌전히 들어앉는다(국문 40자 이상으로 좁혀도 67.8%가 띠 안이다). 번역 여부를 길이만으로 판정하면 열에 여섯은 놓친다는 뜻이다.

띠 한가운데 있는 쌍의 실제 내용을 보면 왜 그런지 분명해진다. 아래는 비율 2.19로 정확히 번역 띠 중앙에 있는 유머 시즌 2의 한 라운드다.

국문: 캔이면 다 내 밥인 줄 알았지… 근데 이건 씹히는 것도 아니고 그냥 어른들만 행복해지는 냄새잖아? 배신은 원두처럼 쓰다.
영문: I heard the can open and showed up with full enthusiasm… only to discover it’s beans. Congratulations, you’ve invented disappointment-flavored air.

두 문장은 같은 사진을 보고 다른 농담을 한다. ‘배신은 원두처럼 쓰다’에 대응하는 영어 구절이 없고, ‘disappointment-flavored air’에 대응하는 한국어 구절도 없다. 그런데 길이 비율만 보면 번역과 구별되지 않는다. 반대로 띠를 크게 벗어난 쌍은 한눈에 다르다 — 유머 시즌 7의 한 라운드는 국문 58자짜리 상황극에 영문이 “I’m sorry sir, but your card has been de-clawed.”라는 한 줄 말장난으로 맞섰다. 비율 0.83, 이 데이터 전체의 최솟값이다.

결과 ④ — 비율을 움직이는 건 국문 칸의 길이다

그러면 2.09에서 2.47까지의 칸 간 차이는 어디서 왔을까. 국문 글자 수로 구간을 잘라 보면 답이 나온다.

국문이 짧을수록 비율이 커진다. 영어 문장에는 관사·전치사·띄어쓰기라는 고정비가 있어서, 한국어가 아무리 압축돼도 영어는 그만큼 줄지 못하기 때문이다. 유머 우승작은 이 효과가 극단적이라 0~30자 구간에서 3.50, 70~100자 구간에서 1.99로 같은 칸 안에서도 1.8배 차이가 난다.

시즌별 추이도 같은 이야기다. 유머 우승 코멘트의 국문 평균은 시즌 2의 68.1자에서 시즌 13의 29.0자로 줄었는데, 같은 기간 영문 평균은 132.7자에서 92.6자로 덜 줄었다. 그 결과 비율은 1.95에서 3.19로 올라간다. 8월 칼럼이 “시즌이 갈수록 격차가 벌어졌다”고 쓴 현상이고, 그 원인은 모델의 성향 변화가 아니라 국문에만 붙은 글자 수 규격이다. 규격 이야기는 지시가 숫자로 적힐수록 덜 지켜진다에서 따로 다뤘다.

결과 ⑤ — 한쪽 언어에만 걸린 지시가 비율을 만든다

이 인과를 가장 깨끗하게 보여 주는 칸은 유머 ‘주제 문장’이다. 주제를 고르는 프롬프트는 국문 주제에만 34자 상한을 걸고 영문 주제에는 아무 상한도 두지 않는다. 결과는 이렇다.

국문은 697건 중 696건이 상한 안에 들어온다. 영문은 절반 이상이 그 선을 넘는다. 두 문장은 같은 호출에서 같이 나왔고, 다른 것은 한쪽에만 걸린 한 줄의 지시뿐이다. 다섯 칸 중 분량비가 가장 큰 칸(2.46)이 하필 지시 비대칭이 가장 큰 칸이라는 사실은 우연으로 보기 어렵다.

결과 ⑥ — 2.3배를 분해하면 1.5 × 1.5다

마지막으로 이 배율이 무엇으로 이뤄져 있는지 갈라 봤다. 글자 수 비는 ‘단어 수 비’와 ‘단어당 글자 수 비’의 곱이다(한국어는 띄어쓰기 단위인 어절로 셌다).

다섯 칸 모두 두 성분이 1.4~1.7 사이에 몰려 있다. 영어는 한국어 어절 하나를 대략 1.5개 단어로 풀고, 그 단어 하나하나가 다시 1.5배쯤 길다. 한국어 어절은 3.5~4.7자, 영어 단어는 5.9~6.8자인데 이 값은 칸이 번역이든 아니든 거의 변하지 않는다. 2.3배의 정체는 내용이 아니라 표기 단위였던 셈이다.

덧붙여, 세는 규칙 자체도 값을 흔든다. 공백을 빼고 세면 같은 데이터의 비율이 일제히 0.18~0.28 올라간다(인물 2.29→2.47, 유머 우승작 2.20→2.40). 영어 쪽 공백이 훨씬 많기 때문이다. 8월 칼럼이 낸 2.35도 같은 617쌍을 공백 포함으로 다시 세면 2.17로 내려간다 — 데이터가 아니라 규칙 하나가 만든 차이다. 언어쌍의 분량비를 인용할 때 공백 처리 방식을 함께 적어야 하는 이유다.

한계 — 이 분석이 말할 수 없는 것

첫째, 글자 수 비는 언어 간 등가 단위가 아니다. 한글 음절 한 자와 라틴 문자 한 자는 담는 정보량이 다르고, 그 기준선이 정확히 얼마인지 우리는 모른다. 이 글이 “영문이 2.3배 길다”는 문장을 부정하는 근거로 쓰는 것도 바로 그 점이다 — 부정의 근거를 다시 긍정의 근거로 쓸 수는 없으므로, 여기서 비교한 것은 어디까지나 칸 사이의 상대값이다.

둘째, 내용이 실제로 번역인지는 재지 않았다. 각 칸의 생산 방식은 저장소의 현재 지시문에서 읽은 것이고, 각 시즌이 돌던 시점의 배포본과 같다는 보장은 없다. 번역이 금지된 칸에 번역에 가까운 쌍이 섞여 있을 가능성도 열려 있다 — 결과 ③의 60.3%는 그런 쌍을 포함한 수치일 수 있다.

셋째, 표본은 전부 상위 절단분이다. 인물은 시즌당 하이라이트 최대 3건(3건 66시즌·2건 37시즌·1건 25시즌), 유머 심사평은 시즌당 상위 10건, 매칭은 시즌당 상위 12건만 리포트에 실리고, 유머 전체 라운드 표도 각 라운드의 우승작 하나뿐이다. 탈락한 문장까지 포함하면 분포는 달라질 수 있다.

넷째, 상관계수는 국문 길이의 범위에 민감하다. 유머 심사평의 0.575는 두 언어가 느슨하다는 뜻이기도 하지만, 그 칸의 국문 길이가 34~86자로 좁아서 구조적으로 낮게 나오는 값이기도 하다. 변동계수 대조(0.133 대 0.231)가 더 믿을 만한 지표다.

다섯째, 칸마다 쓰는 모델이 다르고 표본 크기도 72에서 697까지 차이가 난다. 매칭 72쌍은 여섯 매치메이커 모델이 나눠 쓴 문장이라 모델 효과와 방식 효과가 엉켜 있다.

여섯째, 영문 칸 1,883개 중 5개에는 한국어가 남아 있다 — 다만 번역 실패가 아니라 ‘썸(a state of ambiguous romantic tension)’처럼 한국어 표현을 인용하고 괄호로 풀어 준 경우다. 비율로는 0.3%이고 결과를 바꾸지 않지만, 이런 주석 달기 역시 영문 쪽을 길게 만드는 요인이다.

그래서 무엇이 남는가

세 문장으로 줄이면 이렇다. 첫째, 분량비는 생산 방식을 구별하지 못한다 — 번역한 칸 2.29와 번역이 금지된 칸 2.20의 차이는 0.09다. 둘째, 구별하는 것은 흩어짐이다 — 길이를 맞춘 대조에서 번역·준번역 칸의 변동계수는 0.06~0.07, 번역 금지 칸은 0.23이다. 셋째, 비율의 크기를 정하는 건 언어가 아니라 지시다 — 국문에만 34자 상한이 걸린 칸에서 비율이 가장 컸고(2.46), 국문 규격이 강해진 시즌에서 같은 칸의 비율이 1.95에서 3.19로 올라갔다.

운영 쪽으로 옮기면 할 일은 분명하다. 한쪽 언어에만 글자 수 규격을 걸어 두면 다른 언어는 조용히 그만큼 길어진다. 자막과 낭독 길이 때문에 국문에 상한을 건 것이라면, 그 상한이 왜 영문 칸에는 없는지 매번 다시 물어야 한다. 그리고 두 언어판을 ‘번역본’이라고 소개할지 말지는 길이 통계가 아니라 지시문을 보고 정해야 한다. 우리 리포트 안에서만 해도 그 답이 칸마다 다섯 번 갈린다.

원문이 궁금하다면 유머 시즌 13 리포트와 영문판을 두 탭에 띄워 같은 라운드를 비교해 보시길 권한다. 이 글의 수치는 전부 그렇게 나란히 놓인 표에서 나왔다.

집계 기준. 저장소에 발행된 칼라톤 공개 시즌 리포트 146편(인물 128 · 유머 12 · 매칭 6)의 국문판·영문판 292개 파일에서 텍스트 쌍 1,883개를 추출했다(2026-09-21 기준 공개본, 인물 리포트 발행일 2026-06-30~2026-09-21 · 유머 2026-06-20~2026-09-03 · 매칭 리포트에는 발행일 표기가 없다). 칸별 내역은 인물 하이라이트 심사평 297쌍(국문 34,469자) · 매칭 매치메이커 코멘트 72쌍(18,479자) · 유머 하이라이트 심사평 120쌍(7,072자) · 유머 주제 문장 697쌍(11,079자) · 유머 라운드 우승 코멘트 697쌍(37,176자)이다. 쌍은 이미지 URL 또는 라운드 번호·모델·점수가 두 언어판에서 일치할 때만 인정했다. 글자 수는 별도 표기가 없는 한 공백을 포함해 셌고, 비율은 영문 ÷ 국문이다. 평균·중앙값·변동계수·상관계수는 원자료에서 계산해 소수점 아래 둘째(변동계수는 셋째) 자리에서 반올림했다. 인용한 지시문(번역 호출, ‘같은 뜻으로 두 번’, ‘양쪽 언어로 한 줄씩’, 주제 34자 상한, 번역 시 자동 탈락 조항)은 저장소의 현재 코드에서 읽은 것으로 각 시즌 진행 시점의 배포본과 같다는 보장은 없다. 리포트에 실리는 문장은 모두 점수 상위 절단분이므로 이 글의 분포를 전체 산출물의 분포로 읽어서는 안 된다.