研究找出AI难读的6种句法:RLVR把清晰度换成密度

10 月 26 日,据 The Decoder 报道,纽约大学与得克萨斯大学奥斯汀分校的一项研究指出,前沿大模型系统性地过度使用六类让文本难读的句法结构。研究者让 14 个模型生成日常对话、编程会话和议论文共 120 段对话、45 次编程会话和 980 篇论文,再与电影字幕、StackExchange 和学生作文中的人类文本做对比。

六种句法被系统性滥用

被点名的六类模式包括:使用人类写作中罕见的词组搭配,比如读者耐心预算;把句中语义相关的成分拉得很远,考验工作记忆,Claude Opus 5 曾生成出主语和主要谓语被长从句隔开的一句;省略连接词造成指代模糊,把教授写的书写成省略关系词的版本;名词堆叠让读者自己判断哪个词修饰哪个;把名词转成动词,Claude Fable 5 写出 calendar it 这样的表达;以及把生命动词用在无生命主语上,Claude Opus 5 写出整个对话在吃自己的尾巴。

RLVR 把清晰度换成了信息密度

被测模型里包含 Claude、GPT-5.6、GLM-5、Kimi K2.5,以及 Llama、Olmo 这类开源小模型。结果显示规模越小反而越像人类,Llama 与 Olmo 基座最接近人类文本,而 Olmo 家族从基座到指令版再到推理版 Olmo Think,得分一路上升,说明后训练是主要成因。Claude Opus 5.5 在 21 组对比中的 19 组超过 Opus 5,指向有针对性的微调可以改善可读性。

研究者的解释是,模型越来越多地训练在数学、代码和逻辑推理任务上,正确性被奖励而清晰度没有,从 RLHF 转向 RLVR 把人类从反馈回路里彻底移除,模型因此形成了一种压缩信息很好但人类难读的方言。作为概念验证,他们用一个带长度惩罚项的小模型做训练,结果该模型几乎在所有语境下都偏好更短的表达,甚至泛化到了训练中没见过的句式,而人类会视情况在长短之间做选择。Claude Sonnet 5.5 发布时编码基准从 10.3% 升到 70.6%,成本下降 30%,同样的取舍在产品线上也在发生。

相关阅读