11 月 14 日，Science Prediction Universe 湿实验预测基准正式发布，包含 116 个任务与 4207 个湿实验，覆盖化学、材料科学、生物与医学四大领域，用来考察模型能否自主完成研究并给出可被真实实验裁决的预测。
题目从已发表论文里挑
基准题目取自 85 篇近期论文，领域专家从中整理候选项、材料、条件与测量方式，保留完整定量结果作为评分依据，另有四组未发表的湿实验作为最终检验，涉及 VHH 纳米抗体、反应条件、电解液与 Magrolimab 变体。任务总计 32 个子领域，那些沿着单一趋势就能排序的简单问题被直接剔除，数值过于接近的问题也被视为参考意义不大。
八小时工作制配一块 H20
模型每次工作 8 小时，配备 8 核 CPU、16 GiB 内存与一块 H20，允许联网检索并安装科研软件，自主决定如何搜集证据、选择计算方法，最后提交各比较组的实验预测。把一次实验研究压缩进 8 小时，正是这个基准想测的能力边界。
首轮成绩单并不好看
SPU 首轮系统评测覆盖 12 款前沿模型与 13 种配置，配置指的是模型、推理强度与所用框架的组合。在全部已评分任务上平均分最高的是 Claude Opus 5.5，得 0.486 分，但即使它也只有约一半的任务超过随机水平。13 个配置中能超过随机水平阈值的任务比例落在 34% 到 52% 之间，距离可靠预测还有很长一段路。
更反直觉的是推理强度。把 GPT-6 Astra 从中等推理强度调到最高，运行时间中位数增至 4.8 倍，API 成本中位数增至 5.3 倍，预测得分几乎纹丝不动。回查运行记录发现，模型通常在任务跑到一半时就已经给出答案，后续计算多是微调。各配置单次运行的平均 API 成本从 0.22 美元到 65.91 美元，相差约 300 倍。
防止记忆污染的做法
评分全程在独立且断网的容器中进行，禁止模型检索原始研究结果，系统还会自动扫描工具输出，识别源论文的 DOI 与标题等标识符。已有生物科研类基准的对照可见 BioBasicsBench 评测，两者在任务粒度与验证方式上差别明显。
延伸阅读
- Gemini 4 Carbon 发布：AA 指数 59 分登顶与安全基准全优2 周前
- PLE 工程基准：Claude Opus 5.5 交付通过率仅 41.3%1 周前
- Adobe EditAgent 图像编辑智能体：42.7% 失败率与验证记录2 周前
- 普林斯顿发布 SSoN 空间基准：人类 83.3% 大模型 39.7%1 周前
继续读
往下这几篇值得接着看：
- Qwen4 GameFeel 49.9 分超 Opus 5.52026-11-09
- Into the Unknown：9 个智能体交 135 份论文 无一过专家关2026-11-08
- E-Commerce Bench 实测：18 模型开店 365 天，最高赚 14 倍深度2026-11-12
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记