Anthropic 线程机制 首字延迟降 35%

2 hours ago AI闪点

11 月 3 日，Anthropic 在 Claude 平台开放 Message Threads 公测。此前每次 API 请求都要重发整段对话历史，新机制只传上次之后发生变化的部分。公司称在 50 万到 100 万 token 的请求区间内，首字延迟下降约 35%。

机制细节

线程在两次请求之间保持加密并驻留内存，5 分钟无活动即过期。Anthropic 强调 token 用量本身不变，Claude 依然会读完整对话，减少的是重复传输带来的等待时间。

公司把受益人群指向三类：编码智能体、计算机操作类智能体，以及需要处理大量文档或图像的流程。这些场景的共同点是单次请求携带的历史上下文很重。价格与额度一侧的背景可以看 Claude Haiku 5.5 深度 GDPval-AA 1620 分与降价 90%。

值得关注的地方

长上下文场景的成本压力不只在延迟，还在于每次重发整段历史带来的传输与处理开销。把这部分从请求里剥掉，等于把上下文管理从调用方的手工活变成平台侧能力。公测阶段的接口细节与稳定性还需要继续观察。

从工程角度看，这个改动把上下文从无状态传输变成了有状态传输。此前长会话应用要在服务端自己缓存历史、再决定每次带多少上下文过去，缓存逻辑分散在各家代码里，一个环节处理不好就会重复计费或丢上下文。线程机制把这部分交给平台，调用方只需要持有一个线程句柄。

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

继续读

同一批更新里这几篇值得一看：

想快速查定义？对应的词条在这里：

Related News