뉴욕 대학교와 텍사스 대학교 오스틴 캠퍼스의 연구에 따르면 최신 언어 모델들은 출력을 읽기 어렵게 만드는 언어 패턴을 체계적으로 과도하게 사용하는 것으로 나타났습니다.
ChatGPT, Claude 또는 기타 언어 모델을 정기적으로 사용하는 사람이라면 그 느낌을 알 것입니다. 답변은 사실적으로 맞는 경우가 많지만, 읽기가 일처럼 느껴집니다. 겹겹이 중첩된 문장, 어색한 단어 조합, 그리고 인간이라면 절대 쓰지 않을 은유로 가득합니다.
A 뉴욕대학교와 텍사스대학교 오스틴 캠퍼스의 연구자들이 수행한 연구 이를 데이터로 뒷받침합니다. 연구팀은 14개의 언어 모델을 사용해 일상 대화, 코딩 세션, 논증 에세이라는 세 가지 유형의 텍스트를 생성하도록 했습니다. 대상에는 Claude, GPT-5.6, GLM-5, Kimi K2.5, 그리고 Llama와 Olmo 같은 소규모 오픈소스 모델이 포함되었습니다. 연구자들은 총 120개의 대화, 45개의 코딩 세션, 980개의 에세이를 분석한 뒤, 영화 자막, StackExchange, 학생 에세이에서 가져온 사람이 작성한 텍스트와 비교했습니다.
AI 텍스트를 읽기 힘들게 만드는 6가지 패턴
AI 모델은 "reader-patience budget"처럼 인간의 글쓰기에서는 거의 나타나지 않는 특이한 단어 조합을 과도하게 사용하며, 문장 내에서 관련된 부분을 작업 기억에 부담을 주는 방식으로 멀리 떨어뜨려 배치합니다. Claude Opus 5는 "A cat who can always get up and away is a much calmer cat"라는 문장을 생성했는데, 여기서 주어와 주요 술어가 긴 절에 의해 분리되어 있습니다.
접속사를 생략한 축약형 표현도 흔합니다. 예를 들어 "the book 그 교수는 "모델들이 '교수가 쓴 책'이라고 쓴다"고 적었다. 이는 한 단어를 줄이지만 각 부분이 어떻게 결합되는지에 대한 짧은 혼란을 낳는다. "호러 영화 사운드트랙 생성기" 같은 겹쳐진 명사들은 독자가 어떤 단어가 어느 단어를 수식하는지 스스로 알아내도록 강요한다.
모델은 인간이 그렇게 하지 않을 명사를 동사로 바꿉니다. Claude Fable 5는 인간이라면 "캘린더에 넣어"라고 말할 상황에서 "calendar it"이라고 썼습니다. 또한 무생물 주제에 유생 동사를 적용하기도 합니다. Claude Opus 5는 대화에는 꼬리가 없고 먹을 수도 없음에도 "The whole conversation is eating its own tail"이라는 문장을 만들어냈습니다. 독자는 의도를 파악할 수 있지만, 그것에는 한 박자의 추가적인 노력이 필요합니다.
더 작은 모델이 더 인간처럼 글을 씁니다
Llama와 Olmo 베이스 모델이 인간이 작성한 텍스트에 가장 근접합니다. Olmo 계열 내에서는 베이스 모델에서 instruct 변형을 거쳐 추론 모델인 Olmo Think로 갈수록 점수가 꾸준히 상승하며, Olmo Think는 최첨단 수준의 점수를 기록해 사후 학습(post-training)이 주요 원인일 가능성을 시사합니다. Claude Opus 5.5는 21개 비교 중 19개에서 이전 모델인 Opus 5를 능가하며, 이는 대상화된 파인튜닝은 가독성을 향상시킬 수 있습니다.
훈련은 명확성보다 정보 밀도에 보상을 줍니다
연구진에 따르면, 인간의 언어는 말하기의 용이성과 이해하기의 용이성 사이에서 균형을 이루지만, 현대의 언어 모델은 점점 더 수학, 코드, 논리적 추론 같은 과제로 훈련되고 있으며, 이러한 과제에서는 정확성이 보상을 받고 명확성은 보상을 받지 못한다.
전환은 다음에서 비롯되었다 RLHF(인간 피드백 기반 강화 학습, Reinforcement Learning from Human Feedback) ~까지 RLVR (검증 가능한 보상을 통한 강화 학습, Reinforcement Learning with Verifiable Rewards) 연구자들에 따르면, 이는 인간을 피드백 루프에서 완전히 제거하며, 모델은 정보를 압축하고 복잡한 문제를 해결하는 데는 잘 작동하지만 인간 독자에게는 그렇지 않은 일종의 "방언"을 발전시키게 된다.
개념 증명으로서, 연구진은 더 짧은 답변에 보상을 주는 페널티 항을 사용해 더 작은 언어 모델을 학습시켰습니다. 특정 학습 조건에서 이 모델은 문맥과 거의 무관하게 거의 예외 없이 더 짧은 표현을 선호했고, 심지어 학습 중 한 번도 접하지 못한 문장 패턴에까지 그 선호를 일반화했습니다. 반면 인간은 상황에 따라 더 짧은 표현과 더 긴 표현 사이에서 선택했습니다.
업계 내부에서도 비슷한 설명이 나옵니다. Claude 파인튜닝을 담당하는 Anthropic 직원 Jackson Kernion은 최근에 설명했습니다 왜 Opus 4.6이 Anthropic의 마지막 좋은 "라이팅 모델"이었는지를요. 수학, 코드, 그리고 다른 AI 모델을 대상으로 한 기술적 설명에 맞춰 신형 모델을 최적화한 결과, Claude는 AI에게는 잘 작동하지만 인간에게는 지나치게 밀도 높고 부자연스럽게 읽히는 스타일로 기울었습니다. Kernion은 이를 "LLM 심리학"에 대한 적응이라고 불렀습니다. Opus 5.5에서 Anthropic은 처음으로 이에 맞서 문장 명확성과 과부하 걸린 정보 블록을 개선해 해결했고, 연구가 보여주듯 성공적이었습니다.