BioBasicsBench 100 任务:GPT-6 Astra 66.7% 与三类错误

一句话结论:OpenAI 联合酶设计公司 Ligo 发布的 BioBasicsBench 用 100 个真实湿实验室任务、7 个模型、37 种推理强度配置共 18500 次实测,GPT-6 Astra 以 66.7% 的平均得分领先,GPT-6.1 Sol 62.0%,而老一代 GPT-5.2 只有 31.2%,差距 35.5 个百分点,模型已经能读懂大部分实验数据,但仍然会在对照判断、异常证据处理和菌落计数上犯足以让实验出错的错。

湿实验室是 AI 智能体最容易翻车、也最少被公开评测的战场。论文里的示意图干净、边界清晰、结论就写在图注上,而真实实验台上的东西是另一回事:凝胶跑歪了、流式文件里混着碎片、菌落长到连成一片、手写标签贴错在试管架上。模型读论文图像的能力已经不弱,可一旦要它判断「这批克隆到底成功了没有」,或者「这个细胞是不是死了」,就暴露出一整类问题:它会给出自信的结论,却分不清哪些结论是数据支撑的,哪些只是它熟悉的经验。

OpenAI 和生物技术公司 Ligo 在 2026 年 11 月 6 日发布的 BioBasicsBench,就是专门测这一段的。100 项任务全部由科学家用自己实验产生的数据构建,覆盖 5 个湿实验室工作领域,模型需要在原始凝胶照片、菌落平板、显微镜图像、流式细胞术原始文件、测序文件、酶标仪导出数据、实验视频和手写记录里读出答案,同时判断证据够不够支撑结论。

BioBasicsBench 是什么:100 个来自真实实验台的任务

这套基准的构造方式和常见的论文问答基准不同。任务不是从公开论文里挑的,每一项都由实际做实验的科学家提供,包含四样东西:原始实验证据、一个需要回答的问题、专家撰写的评分细则,以及作者备注。任务类型覆盖蛋白方法、成像与细胞术、定量与检测、核酸方法、分子克隆五个领域。

输入的数据形态比想象中杂。凝胶与印迹类证据出现在 31 项任务里,实验方案、实验记录与规格类 27 项,表格与仪器导出 20 项,实验台、仪器与试剂照片 18 项,显微镜数据 14 项,仪器屏幕与图表 13 项,测序文件 12 项,实验流程视频 7 项,琼脂平板与菌落 7 项,参考对照材料 21 项。这些类别之间存在重叠,一个任务可能同时用到平板照片和参考表,所以不能简单相加当成总任务数。

数据形态 涉及任务数 典型内容
凝胶与印迹 31 琼脂糖 DNA 凝胶、SDS-PAGE、Western blot
方案记录与规格 27 SOP、实验室笔记、手写记录照片、仪器规格
表格与仪器导出 20 CSV/Excel 导出、泳道布局、流式 FCS 文件
实验台与试剂照片 18 凝胶装置、PCR 板、试管架、pH 试纸、液体处理工作站
显微镜数据 14 明场与荧光图像、多通道图组、z-stack、延时视频
仪器屏幕与图表 13 流式细胞仪、NanoDrop、酶标仪、标准曲线
测序文件 12 长读长 FASTQ、FASTA、GenBank 图谱
实验流程视频 7 划线接种、连续稀释、称量过程
琼脂平板与菌落 7 转化平板、蓝白筛选、抗生素纸片平板
参考对照材料 21 分子量标准对照图、质粒图谱、pH 对照表

评测规模算下来是 7 个模型乘以 37 组「模型 × 推理强度」配置,每组跑全部 100 项任务,每项重复 5 次,合计 18500 个结果。指标是 mean reward,即每项任务得分的平均值占可用总分的百分比。置信区间用整任务重采样计算,同一任务的 5 次尝试整体保留,不把 5 次当成 5 个独立样本,这样区间不会被重复尝试人为压窄。

七个模型的成绩单:GPT-6 Astra 领先 35.5 个百分点

下表是全部模型在最高报告推理强度 xhigh 下的表现,全部 100 项任务、每项 5 次尝试。

排名 模型 平均得分 95% 置信区间 每任务平均输出 token
1 GPT-6 Astra 66.7% 60.3% – 73.1% 4,704
2 GPT-6.1 Sol 62.0% 55.6% – 68.4% 5,238
3 GPT-5.6 Sol 43.8% 37.6% – 50.0% 9,099
4 GPT-6 Luna 38.3% 32.3% – 44.5% 13,120
5 GPT-5.5 35.4% 29.7% – 41.0% 11,135
6 GPT-5.4 33.2% 28.3% – 38.4% 13,717
7 GPT-5.2 31.2% 26.2% – 36.3% 27,620

差距有两个值得记的数。GPT-6 Astra 相对 GPT-5.6 Sol 是 66.7% 对 43.8%,绝对提升 22.9 个百分点,相对提升 52.3%;而 GPT-6.1 Sol 对 GPT-5.6 Sol 是 62.0% 对 43.8%,提升 18.2 个百分点。GPT-6 系列在整体上跨过了 GPT-5 系列的天花板,但代际内部并非整齐划一,Luna 的 38.3% 就低于 GPT-5.6 Sol,模型名字里的版本号在这张表里并不直接对应能力顺序。

第二个数是 token 效率。GPT-6 Astra 每任务只用 4,704 个输出 token,GPT-5.2 用了 27,620 个,约 5.87 倍。更反直觉的是 GPT-6.1 Sol 输出 5,238 token 拿到 62.0%,GPT-5.6 Sol 输出 9,099 token 只拿到 43.8%。OpenAI 在自己的分析里给出的解释是,更强的原生多模态能力比单纯堆推理预算更管用,图表里 GPT-6 系列在低推理强度下就明显优于 GPT-5.6 Sol。

Astra 做对了什么:三个能直接影响实验结果的判断

差距落在具体任务上,不是均匀分布的。OpenAI 挑出的三个案例能看出差别在哪。

第一个是三通道细胞成像。SYTOX 通道的检测窗口是 470 到 540 纳米,FUN-1 green 通道是 525 到 580 纳米,两者在 525 到 540 纳米这段重叠,也就是说多通道串扰的存在是结构性的,而串扰量没有被测量。每个通道用的是独立线性强度标度,跨通道的亮度根本不能直接比大小。GPT-5.6 Sol 看到死亡染料那一路亮就判细胞死亡,Astra 则指出单看亮度不足以支撑这个结论,并要求设更好的对照把两个信号分开。

第二个是平板上的手写标签。一块对照平板边缘手写的是 LB Kan50,也就是卡那霉素,而实验实际用的是氨苄青霉素,两者不是同一种抗生素。GPT-5.6 Sol 看到阴性对照板上没有菌落就直接用上了,Astra 认出标签写错,判定这块板不能作为有效对照。同一个错误如果漏过去,后面所有基于这块板的结论都会跟着偏。

第三个是 z-stack。任务给了一组细胞进出视野的显微镜图像,GPT-5.6 Sol 试图用生物学解释细胞似乎消失了,Astra 认出这是不同焦平面的连续采集,序列包含 0 秒、3 秒、6 秒、9 秒、12 秒、15 秒共 6 帧,虚线框标出的是同一位置。模型只要认出拍摄方式,就不用去编一个不存在的生物学解释。

更强的模型依然会犯的三类错

OpenAI 在同一篇文章里明确写了,基准分数更高不代表模型已经能做出可靠的实验室判断。Astra 的案例里仍然有三类系统性错误。

第一类是把熟悉的假设压在对照证据上。某项菌落 PCR 任务的泳道 1 是 marker,泳道 2 是克隆混合液,泳道 3 是原始质粒,泳道 4 到 10 是菌落样本。原始质粒泳道只有一条带,给出旧质粒的参考位置;克隆混合液同时出现两种模式,说明组装不完整,旧模板与新产物共存。Astra 的视觉分组其实做对了,把两组菌落条带区分了出来,但它错误地假定更大的 PCR 产物代表成功克隆,于是选了泳道 4、6、7、8,而参考答案是泳道 5、9、10。分组对、身份反,结果是后续纯化会拿到错误质粒。

第二类是与自身解释冲突的数据被忽略。有一项任务里模型认为液泡通常比周围细胞更暗,但同一张图像中有些液泡更亮,因为显微镜焦点不同可以反转对比度。模型在推理过程中其实注意到了焦点会改变对比度,最终答案却仍然只保留较暗那一半,把已经检查过但冲突的较亮区域丢在一边。

第三类是视觉计数不准。Astra 的计数标记无法稳定对应单个菌落,两个相邻菌落之间只标记了一次,两个明显可见的菌落被漏掉,空白琼脂区域还被标了一个计数。相对参考答案,它高估了约 12%。菌落计数本来是用来估算 DNA 导入细胞效率的,接种体积和稀释倍数固定时,多算了 12% 会按同样比例把转化效率估高。

这套基准对实验室日常到底意味着什么

BioBasicsBench 评的其实是六件事:解读原始实验数据、识别实验错误、检查对照、判断数据是否足以支持结论、在证据不足时拒绝过度解读、以及应用实验上下文而不是只做表面视觉匹配。前四件事模型进步明显,后两件事也就是识别歧义和敢说不知道,目前都不稳。

把这套结果翻译成实验室能用的语言:一个用 GPT-5.2 的团队和一个用 GPT-6 Astra 的团队,在读同一批实验数据时拿到可用结论的差别是 31.2% 对 66.7%,接近一倍的差距。但即便换成最强的模型,超过三分之一的判断仍然需要人来复核,尤其在计数、克隆判读和对照异常这三类场景。所以合理的定位是让模型做初筛和数据整理,把最终结论留给懂实验的人,而不是相反。

OpenAI 也提到,持续追踪这些能力有助于理解智能体在生物安全和生物安保上的影响。能让模型读懂实验室原始数据的智能体,同样能读懂别的东西,这是一体两面。

常见问题

BioBasicsBench 是什么基准,测什么能力

BioBasicsBench 是 OpenAI 与 Ligo 在 2026 年 11 月 6 日发布的湿实验室数据解读基准,包含 100 个来自真实实验的任务,覆盖 5 个工作领域、7 个模型、37 组推理强度配置,合计 18500 次评测。它测的不是读论文图表,而是从原始实验证据里读出结论、发现错误、检查对照,并在证据不足时拒绝下结论。

目前最强的模型在这套基准上得分多少

最高分是 GPT-6 Astra 的 66.7%,95% 置信区间 60.3% 到 73.1%;GPT-6.1 Sol 以 62.0% 排第二,GPT-5.6 Sol 为 43.8%,GPT-5.2 垫底只有 31.2%。也就是说即使是最强模型,也有超过三分之一的判断拿不到分。

实验室现在能不能放心用 AI 读数据

还不能独立做判断,但做初筛已经够用。Astra 的已知错误集中在菌落计数高估约 12%、克隆泳道身份判反、把液泡明暗规律当成普遍结论这三类,任何一个都可能让后续实验走偏。更稳的分工是让模型整理数据和标注异常,结论由实验人员复核。

小结

BioBasicsBench 把 AI 能力评测从论文图表推进到了实验台,让 GPT-6 系列在湿实验数据解读上的领先变得可量化:66.7% 对 43.8%,代际差 22.9 个百分点,最高与最低模型差 35.5 个百分点。同时它把「模型会自信地编出错误答案」这件事从论文里搬到了实验记录上,翻开这篇发布能得到的实际判断是,实验室可以用 AI 读数据,但还不能把判断权交出去。

相关阅读