E-Commerce Bench 实测：18 模型开店 365 天，最高赚 14 倍

一句话结论：E-Commerce Bench 让 18 个大模型各自经营一家虚拟淘宝天猫店铺整整一年，结果是排名最赚钱的 GPT-5.6 Sol 在反欺诈一项上只排第 16，而开源组冠军 Qwen3.8-Max-Preview 是 18 个模型里唯一表现出长程学习迹象的那个。

过去几年大模型的智能体评测，基本套路是给一个明确目标，模型在有限回合内尽力完成。找宝藏、写报告、修一个 bug，交付物好不好用决定分数。这类任务有清晰的终止状态，模型做几步就见分晓。

真实世界里的长程经营没有这种终止状态。开店要选品，供应商要一家家谈，谈下来的价格要一年后再谈第二次才划算，中间还有促销、灾害、断货、账期在搅局。2026 年 9 月，阿里淘天集团与通义千问团队联合发布 E-Commerce Bench（arXiv 编号 2608.30730），把这个场景完整搬进了评测沙盘，代码开放在 GitHub 的 QwenLM/E-CommerceBench 仓库。

一、这个基准怎么搭出来的

基准的底座是淘宝天猫的真实平台日志脱敏数据。环境里有 6,886 个商品分布在 60 个品类，背后是 576 个供应商和 12 种可开的店型，全年日历上固定了 10 个市场事件和 8 场促销。品类销量、退货率、节庆曲线这些数字都来自实际线上表现并做了脱敏处理。

每个智能体拿 10 万元本金起步，一个回合对应一个模拟日，一年 365 天。agent 最多同时经营 4 家店，要做的事包括调研市场、谈进货价、定销售策略、管现金流，目标是让年末总资产尽可能高。

时间是最硬的约束。一天从早八到晚六只有 600 分钟可用，每次调工具都要扣时间。查一次余额 10 分钟，开一家店 60 分钟，给供应商发一条消息 30 分钟。调研和动手共用同一份预算，想清楚再动和边动边想的代价完全不一样。

结算设计成三账户。采购、仓储、运营费在到期时直接从银行账户扣，收入则要等发货之后先扣佣金进入平台担保账户，再过 9 天才到平台钱包，还得手动提现回银行才算能用的现金。库存按件按天收仓储费，关店也停不下来，除非愿意亏本清货。

确定性是这个基准最大的技术特点。买家侧的购买和退货走固定需求模型，价格弹性、星期几、季节性、促销排期、市场事件、店铺信誉都算进去，随机种子来自 episode 本身。卖方侧有一个确定性谈判内核，每一个定价、让步、接受或拒绝的决策都由它定下来，大模型只负责把这些决策渲染成对话。576 家供应商里 152 家是欺诈方，占 26.4%，它们的内核在多次运行之间不变。结果差异因此完全归因于策略，而非运气。

二、18 模型总排名，赚钱的和不擅长谈判的是两类模型

榜单覆盖 18 个模型，每个跑 5 轮共 90 回合。年末总资产是主分数，后面六列分别对应谈判质量、反欺诈、现金流与偿付能力、运营效率、执行力和长程学习，最后三列记录消耗而非得分，破产回合会原样计入均值，也就是标准差那一列要解释的东西。

这份榜单最反直觉的地方在于主分数和分项能力脱节。GPT-5.6 Sol 把 10 万元本金做成了 143 万元，约 14 倍增长，全场第一，但它的欺诈采购占比 18.48% 在 18 个模型里排第 16。它的对手 Fable5 总资产只有 80 万元排名第二，每次工具调用却能带来 479 元利润，比 GPT-5.6 Sol 的 363 元高出一截，调用次数还少了 59.9%。

更极端的例子是 Claude Opus 4.7 和 Claude Opus 4.6。前者总资产 25.9 万元只排第 5，谈判质量 CSE+ 拿到 0.811 的全场最高，欺诈采购 0.12% 是全场最低，每次工具调用还能留下 1.75 元可控收益；后者总资产几乎相同，CSE+ 只有 0.649。同一家厂商的两个版本在主榜上打平，能力画像却完全不同。

开源组这边，Qwen3.8-Max-Preview 以 41.6 万元排在开源第一，是初始资金的 4.2 倍，比第二名 GLM 5.2 (high) 高出 38%。榜单末尾的 Qwen3.5-Plus 年末只剩 1.1 万元，5 轮里 4 轮破产，回撤与峰值之比 0.979 意味着它几乎把本金亏光。

三、反欺诈是全场差距最大的一项

欺诈采购占比指流向欺诈供应商的采购金额占全部采购的比例。最高与最低之间相差超过 160 倍。参照线是 26.4%，也就是完全不做筛查、把采购款平摊给全部 576 家供应商时的水平。18 个模型全部低于这条线，说明每个模型都能筛掉一部分欺诈者，但离及格线仍然有距离。

五种骗局被拆成独立的类型统计，152 家欺诈供应商平均分摊下来每种都在 30 家上下。vip_fee 和 future_discount 各 31 家，qty_bait、quality_downgrade、fake_urgency 各 30 家。vip_fee 走的是会员费加下一单承诺折扣的路子，fake_urgency 靠制造截止时间逼单，future_discount 用下一单的折扣换这一单抬高的价格，qty_bait 靠数量诱饵拉高预付款，quality_downgrade 则在发货时悄悄降级。

真正的分水岭在选谁聊和聊完下不下单这两步之间。每个模型接触过的供应商里欺诈方占比都接近 26.4%，差别出在成交环节。Claude Opus 4.7 接触过的欺诈供应商中最终下单的只有 4.0%，GPT-5.6 Sol 高达 31.7%。

四、长程学习几乎集体失效

长程学习这一维用的是 AnchorRatio。基准的设计里卖方内核永远不会低于自己的保留价成交，所以 agent 已经拿到的最好价格就是供应商成本线的上界，且只会越来越紧。把每次重复进货的成交价换算成它在议价区间中的位置，再和把已拿到的价格随机重排这个零假设比较，AnchorRatio 为 1.0 表示出价顺序和随机顺序看不出区别，小于 1.0 表示确实在往更便宜的方向压。

全年一共 8,647 次重复进货，18 个模型里只有 2 个低于 1.0，中位数 1.369，15 个模型朝更贵的方向偏离零假设超过两个标准差。17 个模型年末成交里欺诈供应商的占比比年初还高。一年跑下来，模型并没有变得更会买东西。18 个里只有 Qwen3.8-Max-Preview 的 AnchorRatio 是 0.834，Gemini 3.5 Flash 以 0.918 排第二，这两个是仅有的学习迹象。

错误分析给出的失败模式更具体。90 个回合里有 16 个模型至少一次踩中付款前就被欺诈（32 回合），16 个模型踩中付款后才发现欺诈（35 回合），16 个模型对同一个欺诈供应商重复下单（38 回合）。另有 15 个模型出现开价被直接接受没有再谈的回合，共 58 次。10 个模型因为透支停摆，4 个模型因现金时序破产。工具层面 18 个模型全都出现过重复查询同一个商品或供应商列表的情况，合计 76 回合，原因是检索结果被挤出上下文窗口后模型没有写进记忆而是重新查一遍。

五、常见问题

E-Commerce Bench 是什么

它是阿里淘天集团与通义千问团队联合发布的长程经营智能体基准，用淘宝天猫真实平台数据脱敏后构建，覆盖 6,886 个商品、576 家供应商、60 个品类和 12 种店型。每个模型从 10 万元本金起步经营 365 天，模型只负责把确定性内核给出的谈判决策渲染成对话，价格和接受拒绝的决策不归模型管。代码以 MIT 许可开放在 GitHub 的 QwenLM/E-CommerceBench 仓库。

哪个模型在 E-Commerce Bench 上表现最好

按年末总资产主分数，GPT-5.6 Sol 第一，10 万元做到 143 万元，接近 14 倍。开源第一是 Qwen3.8-Max-Preview，41.6 万元，约 4.2 倍。但这个单一分数会掩盖大量信息，反欺诈第一是 Claude Opus 4.7 的 0.12%，每次工具调用利润第一是 Fable5 的 479 元，长程学习第一是 Qwen3.8-Max-Preview 的 AnchorRatio 0.834。想看具体某一项能力，得看对应分项榜单。

大模型能胜任长期电商经营吗

从这份榜单看，短期内还做不到。90 个回合里有 4 个模型至少出现一次破产，8,647 次重复进货的中位数 AnchorRatio 是 1.369，说明大多数模型一年下来在重复进货时出价反而比随机顺序更贵。18 个模型全部低于 26.4% 的欺诈基线但也都离得很远。基准的价值在于把这些短板量化，让后续优化有可比的靶子，而不是给出一个可以宣告解决的结论。

六、小结

E-Commerce Bench 补上了 Agent 评测里长期缺的一块，把一年经营、四家并发店铺、真实平台数据和确定性对手方放进了同一个可复现环境。18 个模型的横评给出了一组反直觉的结论，资产榜第一的模型反欺诈倒数第三，每次工具调用效率最高的模型总资产只有第二，操作最省钱的模型学习能力最差。长程学习这一维几乎全线不及格，是整个长程智能体领域当下最实在的一块短板。

相关阅读

• 千问办公电商版深度解读：一个 AI 入口打通多平台电商经营，邀测中
• MKA 多模态知识智能体基准：200 任务实测 4 模型成本差 16 倍
• Co-Design Bench 实测：26.4% 全对率，编码智能体还差多少
• CloudOpsBench v1.0 榜单：Claude 云运维解决率仅 60.6%
• DeepSeek Super-agent 深度：P95 15.7 分钟对比 29.5 分钟
• Kimi K3.1 Pro 发布：Terminal-Bench 4.0 拿 65.7%
• Qwen3.8-Omni-Flash：29 项基准涨 25%、API 降 93%