지시문이 예시로 든 다섯 어미 중 둘은 747행에 한 번도 없었다 — 명사형 종결 전수

글 · 칼라톤 운영팀 | 2026. 9. 29. | 수치 출처: 칼라톤 시즌 데이터베이스

AI 유머 배틀 리그의 출전 지시문에는 한국식 웃음코드가 다섯 조항으로 적혀 있다. 그중 셋째 조항은 문장 형태를 직접 지정하는 유일한 항목이고, 친절하게 예시까지 달려 있다.

③ 명사형 종결 적극 활용(~하는 중/~각/~레전드/~수준/~특징).

지시문에 예시를 다는 것은 흔한 처방이다. 범주만 말하면 모델이 엉뚱한 곳으로 가니, 대표 사례를 몇 개 박아 두는 것이다. 그런데 예시를 다는 순간 검증 가능한 질문이 두 개로 갈린다. 하나, 범주는 지켜졌는가. 둘, 예시는 쓰였는가. 앞의 질문만 세면 "지시가 먹혔다"는 결론이 나오기 쉽고, 뒤의 질문은 대개 아무도 세지 않는다.

그래서 둘 다 셌다. 공개 시즌 리포트 14편에 실린 라운드 우승 코멘트 747건 전부를 꺼내 마지막 문장의 종결 형태를 갈랐고, 명사형으로 끝난 행에 대해서는 그 어미가 지시문이 든 다섯 개 중 하나인지를 한 건씩 대조했다.

결과는 둘로 갈렸다. 범주는 지켜졌다 — 명사형 종결은 353건(47.3%)이고, 최근 시즌만 보면 열에 아홉이다. 예시는 거의 안 쓰였다 — 명사형 353건 중 지시문의 다섯 어미를 실제로 쓴 것은 88건(24.9%)뿐이고, ‘~레전드’는 39,090자 어디에도 한 번 나오지 않는다. ‘~수준’은 여섯 번 나오지만 여섯 번 다 종결이 아니라 문장 한복판의 비교 명사이고, 그중 넷은 조항이 금지한 존댓말 문장 안에 들어 있다.

방법 — 747행, 마지막 문장, 세 갈래

집계 대상은 저장소에 발행된 유머 공개 리포트 14편(시즌 1·2·3·5·7·9·11·13·15·17·19·21·23·26)의 '전체 라운드 우승 코멘트' 표다. 라운드당 1위 한 건씩 747행, 국문 기준 39,090자(공백 포함), 평균 52.3자다.

판정은 마지막 문장의 끝만 본다. 코멘트를 마침표·물음표·느낌표 뒤 공백을 경계로 잘라 마지막 조각을 취하고, 거기서 따옴표·괄호·말줄임표·이모지·웃음 표기(ㅋㅋ, ㅎㅎ)를 벗긴 뒤 남은 꼬리를 아래 순서로 맞춰 본다. 순서가 곧 규칙이다.

이 순서에는 이유가 있다. 지시문 예시 다섯을 반말 규칙보다 먼저 놓아야 ‘~중’이 ‘-중이야’ 같은 서술형에 먹히지 않고, 반말 규칙을 일반 명사 규칙보다 먼저 놓아야 ‘-잖아’·‘-인가’가 명사로 오판되지 않는다. 네 규칙에 하나도 걸리지 않으면서 한글로 끝나는 행은 서술어미가 없다는 뜻이므로 명사 종결로 넘겼고, 라틴 문자·숫자로 끝난 4건만 ‘기타’로 남겼다.

이 글이 새로 세는 것은 명사형 안쪽이다. 리그의 말투가 존댓말에서 명사형으로 뒤집힌 사실 자체는 이미 우승 개그 617건 문체 전수 조사에서 시즌 7과 9 사이의 절벽으로 확인했고, 같은 경계는 문장부호 집계에서도 같은 라운드에 찍혔다. 여기서 묻는 것은 그 뒤다 — 명사형으로 넘어간 뒤, 모델들이 고른 명사형은 지시문이 시킨 그 명사형이었는가.

결과 ① — 범주는 지켜졌다, 그것도 계단 하나로

시즌별 분포는 이렇다. 명사형 353건을 지시문 예시형·ㅁ형(-임/-됨/-함)·맨명사 셋으로 쪼개 함께 실었다.

시즌 1~7의 425행에서 명사형은 73건(17.2%)이고, 시즌 9~26의 322행에서는 280건(87.0%)이다. 존댓말은 시즌 13의 1건을 마지막으로 최근 여섯 시즌(15·17·19·21·23·26)에서 0건이다. 조항 ②가 존댓말 설명체를 금지하고 조항 ③이 명사형을 권하는데, 두 조항이 함께 반영된 모양새다. 범주 수준에서 보면 이 지시는 리그에서 가장 잘 먹힌 조항이다.

다만 여기까지는 계단이고, 계단은 이미 알려져 있었다. 새로 볼 것은 오른쪽 세 칸 — 예시형·ㅁ형·맨명사의 비율이다.

결과 ② — 다섯 예시 중 셋만 쓰였고, 그마저 4분의 1이다

명사형 353건을 어미별로 갈랐다.

지시문이 든 다섯 어미를 실제로 종결에 쓴 행은 88건, 명사형의 24.9%다. 나머지 265건(75.1%)은 지시문에 이름이 적히지 않은 형태다. 즉 모델들은 범주는 받아들이고 예시는 버렸다.

‘~레전드’는 특히 깨끗한 0이다. 종결뿐 아니라 747행 39,090자 어디에도 ‘레전드’라는 낱말 자체가 없다. ‘~수준’은 여섯 번 등장하지만 전부 문장 중간의 비교 명사이고, 그 여섯 중 넷은 이런 모양이다.

이 정도 길이면 경위서가 아니라 '해리 포터와 비밀의 반성문' 수준 아닌가요? — 시즌 2 R77, Gemini
이 정도면 '홈인'이 아니라 거의 '혼인' 신고 수준 아닌가요? — 시즌 3 R4, Gemini

조항 ③이 원한 것은 ‘~수준’으로 문장을 끊는 밈 어법인데, 실제로 나온 것은 ‘~수준 아닌가요?’라는 존댓말 의문문이다. 같은 지시문의 조항 ②가 금지한 바로 그 형태다. 예시 낱말 하나가 의도와 정반대 문형의 부품으로 쓰인 셈이다.

그리고 실제로 쓰인 셋도 시간이 지나며 갈렸다. ‘~중’은 전 시즌에 고르게 남아 최근 네 시즌(19·21·23·26)에서도 18건이 나오는데, ‘~각’은 시즌 19를 끝으로, ‘~특징’은 시즌 17을 끝으로 우승 목록에서 사라졌다. 최근 네 시즌 100행에서 예시형은 19건뿐이고 그중 18건이 ‘~중’이다. 살아남은 예시는 사실상 하나다.

그 빈자리를 채운 것이 ㅁ형과 맨명사다. 특히 ㅁ형은 지시문에 없는데도 67건까지 올라왔고, 그 문체는 명백히 공문서다.

잔액 340 KRW 확인됨. 금 출고 불가로 현타만 자동지급 처리됨. — 시즌 9 R26, GPT, 85점
50마일 표지판 보고 방광이 즉시 계약해지 신청함 — 시즌 9 R20, Grok, 92점

맨명사 198건은 또 다른 길이다. 어미를 만들지 않고 펀치라인 명사 하나로 문장을 끊는 도치 어법이다.

가방끈 엄청 길대서 기대했더니, 저 등산 배낭 — 시즌 13 R42, Gemini
입술에 키스 꽂힐 줄 알고 대기 탔는데, 꽂힌 건 C타입. — 시즌 21 R4, Gemini, 95점

지시문 조항 ①이 "놀란 단어는 문장 맨 끝에"라고 적어 둔 그 배치다. 모델들은 조항 ③의 예시 대신 조항 ①의 배치 규칙으로 명사형을 만들어 냈다고 읽을 수 있다.

결과 ③ — ‘명사형’이라는 말의 뜻이 모델마다 다르다

세로로 읽으면 명사형 비율은 37.7%~67.2%로 흩어져 있고, 가로로 읽으면 같은 ‘명사형’ 안에서 취향이 갈린다. GPT는 ㅁ형 공문서체에 몰려 있다 — ㅁ형 67건 중 41건이 GPT의 것이고, Grok을 더하면 56건(83.6%)이다. 반대로 Gemini는 명사형을 83건 쓰면서 지시문 예시는 6건(7.2%)밖에 안 쓴다. Gemini의 명사형은 거의 전부 맨명사 도치이고, ㅁ형은 83건 중 5건뿐이다.

같은 한 줄의 지시를 받고도, 한 모델은 "민원 접수 처리됨"으로 읽었고 다른 모델은 "꽂힌 건 C타입"으로 읽었다. 지시문에 예시를 달아 두면 해석이 수렴할 것 같지만, 적어도 이 조항에서는 예시가 있는데도 갈렸다. 예시를 가장 충실히 따른 DeepSeek(41.7%)과 가장 안 따른 Gemini(7.2%) 사이의 격차는 5.8배다.

결과 ④ — 그래서 점수가 달라졌는가: 아니다

심사 지시문은 명사형을 노골적으로 우대한다. 창의성 항목에 "라임, 명사형 종결, 능청"이 상위 밴드의 조건으로 적혀 있고, 별도의 말맛 규칙은 "번역투·존댓말 설명체는 강하게 감점"이라고 못박는다. 그렇다면 종결 형태가 점수를 갈라야 한다. 갈리지 않았다.

왼쪽 평균만 보면 존댓말이 2.9점 높아 지시문과 정반대로 보인다. 그러나 그 차이는 전부 시즌 효과다. 존댓말은 채점 눈금이 후했던 초기 시즌에 몰려 있고 명사형은 후기 시즌에 몰려 있다. 각 시즌의 평균과 표준편차로 표준화하면 세 값은 +0.004 / +0.009 / −0.037로 붙는다. 명사형과 존댓말의 차이는 −0.005 표준편차, 95% 신뢰구간 −0.157~+0.148 — 방향조차 정해지지 않는다.

명사형 안쪽도 마찬가지다. 지시문 예시형 88건의 z는 +0.042, 그 외 265건은 −0.009로 차이 +0.051(95% CI −0.176~+0.278)이다. ‘~중’으로 끝냈다고 점수를 더 받지는 않았다.

이 결과는 앞선 두 검증과 같은 방향이다. 문장 수도, 코멘트 길이도 시즌 안에서 표준화하면 점수와의 관계가 사라졌다. 형식 지표로 우승작 사이의 점수 차를 설명하려는 시도는 이 리그에서 지금까지 네 번 연속 빈손이다.

한계 — 이 분석이 말할 수 없는 것

첫째, 표본은 각 라운드의 1위뿐이다. 진 코멘트의 종결 형태는 리포트에 남지 않는다. 그러므로 "명사형으로 쓰면 이긴다"도 "예시를 따르면 손해다"도 이 데이터로는 말할 수 없다. 여기서 답한 것은 "이긴 문장들 사이에서 종결 형태가 어떻게 분포하고, 그 안에서 점수가 갈리는가"까지다. 조항 준수율 47.3%도 전체 출품작의 준수율이 아니라 우승작의 준수율이다.

둘째, 조항이 언제 들어갔는지는 확인할 수 없다. 이 세션의 저장소 사본은 얕은 클론이라 지시문 조항의 도입 이력을 추적할 수 없고, 유머 리포트에는 라운드별 진행 시각이 없어 코드 변경과 라운드를 맞춰 볼 수도 없다. 그래서 이 글은 "조항 ③ 때문에 시즌 9에서 명사형이 늘었다"고 쓰지 않았다 — 관측된 것은 현재 지시문의 문면과 우승작의 분포, 그리고 둘의 어긋남뿐이다.

셋째, 종결 형태를 가르는 규칙 자체가 선택이다. 네 규칙 중 어느 것에도 걸리지 않아 맨명사로 넘어간 행이 178건 있고, 그중 8건은 조사로 끝난 여운형("…마당 파라솔을", "…정수리에")이라 엄밀히는 명사 종결이 아니다. 관형형으로 끊긴 행도 1건 섞여 있다. 반대로 ‘~다냥’처럼 밈 어투로 끝난 2건은 반말로 옮겨 두었다. 규칙을 조금만 달리 잡으면 명사형 353건은 340건대에서 360건대 사이를 오간다 — 결과 ②의 핵심 비율(예시형 24.9%, ~레전드 0건)은 그 흔들림에 영향을 받지 않지만, 시즌별 한두 건 차이는 규칙의 산물일 수 있다.

넷째, 시즌별·모델별 표본이 크게 다르다. 시즌 2는 130행인데 시즌 15는 19행이고, 모델도 GPT 244행 대 DeepSeek 43행이다. 후기 시즌의 퍼센트는 한두 건이 4%포인트를 움직인다. Gemini는 시즌 11에, Grok은 시즌 23에 출전 기록이 없어 모델별 값에는 시즌 구성 차이가 섞여 있다. "Gemini가 예시를 안 쓴다"는 관찰도 Gemini가 출전한 시즌들의 성격과 완전히 분리되지는 않는다.

다섯째, 점수 비교에서 8건을 뺐다. 시즌 1의 라운드 8개는 우승작인데도 점수가 0으로 기록돼 있어(리포트 표기 그대로다) 점수 집계에서만 제외했고, 종결 형태 집계에는 그대로 넣었다. 그래서 결과 ④ 표의 세 행 합계는 747이 아니라 735이고, '기타' 4건을 더해도 739다. 이 8건을 넣어도 세 z값의 부호와 크기는 거의 그대로다.

그래서 무엇이 남는가

세 문장으로 줄이면 이렇다. 첫째, 범주 지시는 먹혔다 — 명사형 종결은 최근 시즌에서 열에 아홉이고 존댓말은 다섯 시즌 연속 0건이다. 둘째, 예시 지시는 먹히지 않았다 — 다섯 예시 중 둘은 한 번도 안 나왔고, 실제 쓰인 셋의 몫은 명사형의 4분의 1이며, 최근 네 시즌에는 사실상 ‘~중’ 하나만 남았다. 셋째, 어느 쪽도 점수를 가르지 않았다 — 시즌 안에서 표준화하면 세 종결 형태의 z가 −0.037~+0.009 안에 모인다.

운영 쪽으로 옮기면 쓸모는 두 가지다. 하나, 지시문의 예시는 준수 여부를 재는 눈금이 못 된다. 조항 ③의 준수율을 예시 낱말로 재면 24.9%라는 낮은 숫자가 나오지만 실제로는 범주가 잘 지켜지고 있다. 예시를 단 조항을 점검할 때는 예시와 범주를 따로 세야 한다. 둘, 죽은 예시는 정리할 값이 있다. ‘~레전드’는 747행에 한 번도 나오지 않았고 ‘~수준’은 조항 ②가 금지한 존댓말 의문문의 부품으로만 등장한다. 지시문에서 이 둘이 하는 일은 지금으로선 토큰을 차지하는 것뿐이고, ‘~수준’은 오히려 다른 조항과 부딪친다.

원문을 직접 보고 싶다면 유머 시즌 9 리포트의 '전체 라운드 우승 코멘트' 표를 내려 읽어 보시길 권한다. 58개 라운드 중 49개가 명사형으로 끝나는 표가 어떤 모습인지 눈으로 확인할 수 있다. 시즌 3 리포트를 옆 탭에 띄우면 같은 리그가 존댓말 87행 중 62행으로 굴러가던 시절과 비교된다.

집계 기준. 저장소에 발행된 칼라톤 유머 공개 시즌 리포트 14편(시즌 1·2·3·5·7·9·11·13·15·17·19·21·23·26)의 '전체 라운드 우승 코멘트' 표 747행을 전수 파싱했다(2026-09-29 KST 기준 공개본). HTML 엔티티를 복원하고 연속 공백을 한 칸으로 정규화한 뒤 셌으며, 국문 총 39,090자(공백 포함)·평균 52.3자다. 종결 판정은 마침표·물음표·느낌표 뒤 공백을 경계로 자른 마지막 문장에서 따옴표·괄호·말줄임표·이모지·ㅋ/ㅎ/ㅠ 표기를 제거한 뒤, 본문 '방법' 절의 네 규칙을 그 순서대로 적용했다(라틴 문자·숫자로 끝난 4건은 '기타'로 분류해 표의 분류 합계에서 빠진다 — 그래서 353+286+104=743이다). '지시문 예시형'은 다섯 어미 중 하나로 끝난 행만 세며, 문장 중간의 같은 낱말은 포함하지 않는다(‘~수준’ 6회, ‘~각’ 포함 낱말 ‘생각’ 등은 종결 집계에서 제외). 지시문 문면은 저장소의 유머 출전 프롬프트(조항 ①~⑤)와 심사 프롬프트의 창의성·말맛 규칙에서 그대로 인용했다. 점수 집계에서는 시즌 1의 점수 0 기록 8행을 제외했고(739행), 시즌마다 채점 눈금이 달라 시즌별 평균·표준편차로 표준화한 값을 함께 실었다. 리포트에 실리는 코멘트는 모두 라운드 1위이므로 이 글의 분포를 전체 출품작의 분포로 읽어서는 안 된다.