纽约大学和德克萨斯大学奥斯汀分校的一项研究表明,前沿语言模型系统性地过度使用某些语言模式,使其输出更难阅读。
任何经常使用ChatGPT、Claude或其他语言模型的人都了解这种感觉。答案往往在事实层面是正确的,但阅读起来却很费劲,充满了嵌套的句子、奇怪的词语组合,以及任何人类都不会使用的比喻。
A 纽约大学和德克萨斯大学奥斯汀分校研究人员的这项研究 用数据支持了这一点。该团队让14个语言模型在日常对话、编程会话和议论文中生成文本。这些模型包括Claude、GPT-5.6、GLM-5、Kimi K2.5,以及Llama和Olmo等较小的开源模型。研究人员总共分析了120段对话、45个编程会话和980篇论文,然后将它们与来自电影字幕、StackExchange和学生作文的人类撰写文本进行比较。
让AI文本读起来令人头疼的六种模式
AI模型过度使用在人类写作中很少出现的奇特词语组合,比如“读者耐心预算”,而且它们会把句子中相关的部分远远隔开,给工作记忆造成负担。Claude Opus 5生成了“A cat who can always get up and away is a much calmer cat”这样的句子,其中主语和主要谓语被一个长长的从句隔开。
省略连接词的缩略指称也很常见。例如不用"the book"(这本书) 那 教授写道:“这些模型写成‘教授写的书’,省去了一个词,却让各个部分之间的关系短暂地变得令人困惑。像‘恐怖电影配乐生成器’这样堆叠的名词,迫使读者自己去弄清楚哪个词修饰哪个词。”
这些模型会把名词用作动词,而人类不会这样做。Claude Fable 5 写出了 "calendar it",而人类会说 "put it in the calendar"(把它放进日程表)。它们还会把有生命的动词用在无生命的对象上。Claude Opus 5 生成了 "The whole conversation is eating its own tail"(整个对话在吃自己的尾巴),尽管对话没有尾巴,也不能吃东西。读者能猜出意思,但需要多反应一下。
更小的模型写作更像人类
Llama 和 Olmo 基础模型最接近人类文本。在 Olmo 系列中,分数从基础模型到 instruct 变体再到推理模型 Olmo Think 逐步上升,Olmo Think 达到了前沿水平的数值,这表明后训练可能是原因所在。Claude Opus 5.5 在 21 项比较中的 19 项胜过其前代 Opus 5,这表明 针对性的微调可以提高可读性.
训练更看重信息密度而非清晰度
研究人员表示,人类语言在生产便捷性与理解便捷性之间取得平衡,但现代语言模型越来越多地在数学、代码和逻辑推理等任务上进行训练,在这些任务中,正确性会得到奖励,而清晰性却不会。
从……的转变 RLHF(基于人类反馈的强化学习) 至 RLVR(可验证奖励的强化学习) 研究人员认为,这完全将人类从反馈循环中移除,模型会发展出一种“方言”,这种方言在压缩信息和解决复杂问题方面效果很好,但对人类读者来说却难以理解。
作为概念验证,研究人员训练了一个较小的语言模型,并在其中加入了一个奖励更短答案的惩罚项。在某些训练条件下,该模型几乎毫无例外地偏向更短的表达方式,无论语境如何,甚至将这种偏好泛化到训练中从未遇到过的句子模式上。相比之下,人类则会根据具体情况在较短和较长的表达之间做出选择。
行业内部也给出了类似的解释。参与Claude微调工作的Anthropic员工Jackson Kernion, 最近解释了 为什么Opus 4.6是Anthropic最后一个优秀的“写作模型”。针对数学、代码以及面向其他AI模型的技术解释对新模型进行优化,使Claude形成了一种对AI有效但对人类而言显得过于密集、不自然的风格。Kernion将其称为对“LLM心理学”的适应。在Opus 5.5上,Anthropic首次进行了反击,解决了句子清晰度和信息块过载的问题,而正如该研究所示,这次反击取得了成功。