一句话结论:腾讯元宝与伦敦国王学院 NLP 团队公开 GroupAssistBench,用 50 个真实群聊的 80,299 条历史消息考 Agent 记忆,L1 事实召回 1,374 题、L2 开放式服务 1,021 题,497 条配对记忆里有 64% 虽然在 L1 被召回,到了 L2 却没有被判定有效使用。
一个九人出行群,最早商定 5 月 1 日出发,后来改成 4 月 30 日。有人让 AI 助手发一条购票提醒,结果它按旧日期通知了全群。这类事故的根子不在检索,助手明明找得到那段历史,问题在于它没把新的决定当成约束来用。腾讯元宝和伦敦国王学院 NLP 团队把这件事做成了可量化的考题,名字叫 GroupAssistBench,论文已在 arXiv 公开,代码与数据集同步开放。
群聊场景难在约束而不是记忆
单人对话里的记忆评测通常是这样设计的,给模型一段聊天记录,问它某个事实,看它答得对不对。这套测法在群聊里会失效。群聊的信息由多个成员分头补充,同一个安排会被反复改写,一条回复往往同时受好几个人约束。谁想坐靠窗,谁卡预算,哪些话只是提议,哪些已经成了共同决定,这些区别不写在字面上,得从对话的推进过程里读出来。
所以这份基准把评测拆成两层。第一层考找得到,第二层考用得上。团队的说法是,从记得住走到用得好,中间隔着的这一步才是群助手真正翻车的地方。
L1 与 L2 是两份不同的考卷
L1 叫记忆召回,题目有明确参考事实,比如这个群最初约定哪天出发。答案可以对照,评分靠字符串匹配和语义比对就能完成,共 1,374 道。
L2 叫开放式服务,题目要求完成一件具体的事,比如帮大家发出行与购票提醒。这类题没有固定措辞,同一件事有好几种合格答法,但每一种都必须遵守有效的历史决定和成员要求。题量为 1,021 道。判分不能靠匹配,团队为每道题配了检查点和一个惩罚机制,回答里必须明确体现必要的历史事实,同时一旦违反现有决定、忽视成员限制或者使用过时信息就要扣分。购票提醒这个例子最能说明问题,正确回答要采用新日期,还要兼顾人数、交通安排和座位偏好,把作废的日期当最终安排则直接判错。
为了确认这些题真的需要记忆而不是靠常识猜,团队先做了一轮筛选,比较提供历史和不提供历史两种条件下的回答,只保留确实依赖群聊记录的请求。随后为每个必需事实建立记忆锚点,定位到具体来源消息和证据片段,并给每道题设置历史截止点,防止模型读到提问之后才发生的信息。
三类记忆依赖决定题目难度在哪
题目按所依赖的记忆结构分了三类。M1 是单条记忆,一条消息就能回答。M2 需要整合多条记忆,答案散落在几处对话里。M3 处理更新与冲突,要判断旧决定什么时候被新决定取代,哪些成员的约束仍然有效。按团队的说法,这三类描述的是信息依赖的形式,不是简单按难度递增排列,M3 之所以扎眼,是因为它正好对应群聊里最常见的失效模式。
| 对照项 | L1 记忆召回 | L2 开放式服务 |
|---|---|---|
| 题量 | 1,374 道 | 1,021 道 |
| 考察目标 | 能否找回某个事实 | 能否用历史约束完成服务 |
| 答案形态 | 有明确参考事实 | 无固定措辞,多解 |
| 判分方式 | 事实比对 | 检查点加惩罚项 |
| 典型失败 | 检索不到证据 | 证据在手却没用上 |
| 依赖类型 | M1 到 M3 全覆盖 | M1 到 M3 全覆盖 |
底层数据是 50 个真实群聊、80,299 条历史消息,来自实际部署群助手的互动,保留了自然发生的话题切换、状态变化和多人信息交织。数据经过匿名化和隐私审查,公开版本不含原始群聊的身份信息,构建过程结合了程序规则、语义审查和人工核验。
497 条配对记忆显示的断点
这套基准最有信息量的部分是一组配对设计。同一段历史既被 L1 直接提问,也被某道 L2 题真实依赖,团队追踪了 497 条这样的配对记忆,看它们在两层里的去向。
结果显示了一条清晰的裂缝。相当一部分记忆在 L1 里被成功召回,进入 L2 的输入之后却没有在回答中被判定有效应用,这一类的占比是 64%。团队特别说明,这个比例只描述该类配对记忆的去向,不等于全部 L2 任务的失败率,读的时候别把两个口径混起来。
裂缝有两种成因。一种与请求缺少检索线索有关,用户说帮大家安排一下,并没有指出该去翻哪些历史偏好,检索端无从下手。另一种更值得注意,证据已经摆在输入里,模型仍然不知道它应该怎样约束当前回复。前者是检索问题,后者是使用问题,调参能救前者,救不了后者。
主实验覆盖 14 组配置,对比了完整上下文、检索增强和外部记忆几条路线。报道里提到一个反差,某个外部记忆方案在 L1 上拿到了不错的召回表现,甚至高于同任务模型用完整上下文的成绩,到了 L2 得分却掉了下来。这正好印证了上面的裂缝,召回强不等于服务强。
两种轻量干预怎么补这个缺口
团队试了两个方向,都不改模型,只改喂进去的东西。RER 叫关系证据精炼,检索之后先梳理人物、事件、时间和决定之间的关系,需要时补充相关候选证据,把零散的事实串成一条带时间顺序的链条。ACB 叫协助约束绑定,把历史里已经成立的要求显式转成当前回复必须满足的约束条目。
这两个动作对应上面两种成因。RER 解决找不到的问题,把线索稀疏的请求补成可检索的结构。ACB 解决用不上的问题,把隐式约束变成显式清单,让模型在生成时有一个可对照的检查表。工程上这两步都能在提示层实现,不需要重训模型,落地成本低,这也是这份基准对做群助手的人最有参考价值的地方。
想自己复现该从哪一步开始
第一步拿数据。论文与数据集都在公开渠道,公开版已经做过匿名化处理,拿到之后先看题目字段里有没有记忆锚点,锚点决定了你能不能把某道题回溯到具体消息,没有锚点就没法判断模型的回答是不是真的来自历史。
第二步分清两层指标。L1 用事实比对就能算,脚本化程度高。L2 必须上评判器,团队自己也是用检查点加惩罚项打分的,并且做过人工核验,60 道 L2 题、180 份回答的人工标注与自动评判做了一致性比对。自己复现时如果换成通用大模型当裁判,务必先抽一批人工标注对齐,否则分数不可比。
第三步控制历史截止点。这是最容易被忽略的设置,模型如果读到了提问之后的消息,等于提前看到了答案,L1 分数会虚高。复现时把截止点当作硬约束写进管线,而不是留给提示词去遵守。
常见问题
这份基准测的是检索还是生成?两层都测,但真正的重点是两者的衔接。L1 单独看检索能力,L2 看模型能不能把检索到的历史转成对当前回复的约束,497 条配对记忆的设计就是为了把这段衔接单独拎出来看。
64% 是不是说六成任务失败?不是。64% 指的是 497 条配对记忆里,在 L1 被召回但到 L2 未被判定有效应用的那部分占比,分母是这类配对记忆,不是全部 L2 题。团队在原文里明确提示过这个口径差别。
做群助手的产品团队能直接用它选型吗?可以作为参考但不能当唯一依据。基准覆盖的是 50 个真实群聊的任务分布,跟自家产品的场景未必一致,更稳的用法是把它当成回归测试集,先在自家场景上补一批题,再拿这份公开集当横向对照。
小结
Agent 记忆这块今年的进展集中在两个方向,一是把上下文塞得更聪明,二是把记忆存到外部再按需取回。GroupAssistBench 把问题往后推了一格,存得下、取得回都不算完,能不能在具体服务里按历史约束办事才是终点。对做群助手的人,497 条配对记忆的 64% 是个很具体的靶子,它指向的环节是约束落实,召回率并不是这里的瓶颈,而这恰好属于提示层能改的部分。
相关阅读
- Anthropic 智能体记忆怎么设计:10 个文件打赢 413 个文件
- MKA 多模态知识智能体基准:200 任务实测 4 模型成本差 16 倍
- Co-Design Bench 实测:26.4% 全对率,编码智能体还差多少
延伸阅读
- 大晓机器人ACE-Brain-0.6:六项空间感知超越GPT-6 Astra1 月前
- CloudOpsBench v1.0 榜单:Claude 云运维解决率仅 60.6%3 周前
- E-Commerce Bench 实测:18 模型开店 365 天,最高赚 14 倍2 周前
- MKA 多模态知识智能体基准:200 任务实测 4 模型成本差 16 倍2 周前
继续读
往下这几篇值得接着看:
- InclusionMed 医疗AI怎么选:22个模型49.1分与24倍成本差2026-11-19
- Anthropic 智能体记忆怎么设计:10 个文件打赢 413 个文件2026-11-19
- GPT-6.2 Astra 怎么选:8 美元每百万 token 与 5.2 分涨幅2026-11-18
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
