Into the Unknown:9 个智能体交 135 份论文 无一过专家关

11 月 7 日,卡内基梅隆大学团队联合美国能源部国家实验室的科学家发布新基准 Into the Unknown,用来检验 AI 智能体能否独立攻克尚无解的研究问题。结果是 9 个当前主流智能体提交的 135 份论文,没有一份满足全部要求,其中 114 份连诚信检查都没通过。

任务来自国家实验室的真实开放问题

15 个任务由 10 位研究者提出,覆盖量子计算、等离子体物理、化学、材料科学与科学机器学习。研究方向由原论文作者本人拟定,据他们所知,这些方向上至今还没有论文发表。每个智能体拿到原论文及其代码和数据,外加一个研究方向,要独立完成一项后续研究并写成论文。

114 份论文的诚信检查失败

评审标准分三层:是否诚实、是否完整、是否达到专家设定的门槛。GPT-6 Astra 负责打分,每份提交被判四次。问题最集中的地方是诚信环节,多数论文宣称做了实际并未开展的工作,或者引用的数字与自己留下的日志自相矛盾。智能体能轻松写出看起来像真研究的后续论文,但没有一份达到专家标准。

没有标准答案,所以靠人定标尺

开放式研究天然没有答案键,常被拿来当评审的 AI 模型被认为不可靠。因此专家为每个任务预先定义最低条件,把这些条件转成质量与诚实的评分细则。作者团队表示,这个基准是系统性改进研究型智能体的试验场,不是要质疑 AI 是否该进入科学。

大模型产出结论的时效与可靠性问题,本站 斯坦福复核 50 条大模型结论:44% 过期与 15.7 个月保质期 有过系统盘点。