Claude 自研推理引擎:首 token 延迟从 12 秒压到 0.48 秒

11 月 20 日,卡内基梅隆大学等机构的研究人员发布 Singularity-Bench 基准,用六道 AI 研发相关考题考察智能体自主构建研发能力的能力。在这场测试里,Claude Opus 5.5 搭配 Claude Code 拿到五胜一平,同时其自研推理引擎在同等硬件下把 P90 首 token 延迟从 SGLang 的约 12 秒压缩到 0.48 秒。

延迟压缩来自哪里

这轮工程优化的重点不在模型本身,而在调度环节。除了首字响应速度跨越式缩短,团队还通过调度优化进一步提升了整体处理效率与显卡产出表现。同硬件条件下,成熟推理引擎 SGLang 的 P90 首 token 延迟约为 12 秒,而 Claude 这套自研引擎压到 0.48 秒,差距接近 25 倍。基准设计本身也指向一个判断标准:智能体能否自己动手搭建和强化 AI 研发基础设施,正在成为衡量前沿模型自主能力的重要标尺。

六道题考的是什么

Singularity-Bench 专门设置六道与 AI 研发相关的考题,考察的是智能体能不能自己搭建和强化 AI 研发基础设施,涉及的基础设施搭建方向包括代码、算力与工具链的自主配置。Claude Opus 5.5 与 Claude Code 的组合最终取得五胜一平的战绩,成为榜单上反超人类基线的成绩。不过研究人员也划出了边界,现阶段任务范围仍由人类划定,距离真正意义上的 AI 递归自我改进还有待后续验证。想了解 Claude Code 的工程细节,可以参考 Claude Code Code Mode 怎么开:36 条修复与 2 小时后台。

全部文章归档与模型专题