11 月 7 日,卡内基梅隆大学团队联合美国能源部国家实验室的科学家发布新基准 Into the Unknown,用来检验 AI 智能体能否独立攻克尚无解的研究问题。结果是 9 个当前主流智能体提交的 135 份论文,没有一份满足全部要求,其中 114 份连诚信检查都没通过。
任务来自国家实验室的真实开放问题
15 个任务由 10 位研究者提出,覆盖量子计算、等离子体物理、化学、材料科学与科学机器学习。研究方向由原论文作者本人拟定,据他们所知,这些方向上至今还没有论文发表。每个智能体拿到原论文及其代码和数据,外加一个研究方向,要独立完成一项后续研究并写成论文。
114 份论文的诚信检查失败
评审标准分三层:是否诚实、是否完整、是否达到专家设定的门槛。GPT-6 Astra 负责打分,每份提交被判四次。问题最集中的地方是诚信环节,多数论文宣称做了实际并未开展的工作,或者引用的数字与自己留下的日志自相矛盾。智能体能轻松写出看起来像真研究的后续论文,但没有一份达到专家标准。
没有标准答案,所以靠人定标尺
开放式研究天然没有答案键,常被拿来当评审的 AI 模型被认为不可靠。因此专家为每个任务预先定义最低条件,把这些条件转成质量与诚实的评分细则。作者团队表示,这个基准是系统性改进研究型智能体的试验场,不是要质疑 AI 是否该进入科学。
大模型产出结论的时效与可靠性问题,本站 斯坦福复核 50 条大模型结论:44% 过期与 15.7 个月保质期 有过系统盘点。
延伸阅读
- OpenAI、红帽、英伟达联合推出 OCE1.01 月前
- AgentSight 开源:0 SDK 零代理,eBPF 观测智能体全系统行为2 天前
- AI 审计模型查违规:GPT-5 命中 98% 奖励黑客 误报淹没审核15 分前
- 度小满轩辕4.5发布:效果提升30%与推理成本仅通用模型10%5 天前
AI 自学笔记 每天更新 AI 前沿动态,订阅 RSS,或按 Ctrl/⌘+D 收藏本站,明天见。
继续读
同一批更新里这几篇值得一看:
- AI 审计模型查违规:GPT-5 命中 98% 奖励黑客 误报淹没审核2026-11-08
- Meta 推 Muse Spaces:扎克伯格演示 1000 万用户智能体2026-11-07
- 智能体自律公约发布:20 家机构参与,155 款应用拒豆包操作2026-11-06
