11 月 5 日，Together AI 发布 Together Compiler（TKCC），一套由编码智能体驱动的持续编译系统，会随线上流量变化不断重新优化推理前向计算。官方数据显示，在 SemiAnalysis InferenceX 的 AgentX 工作负载上，它把每用户 P90 吞吐推到 1111 TPS，比 InferenceX 最佳配置高出最多 2.6 倍，每个配置 24 小时内完成、每个模型最多占用 2 个节点。
持久引擎带来 252 倍实验吞吐
多数智能体优化流程每做一次实验都要重启 vLLM、SGLang 或 TensorRT-LLM，而 Together Compiler 只启动一次引擎，智能体通过 RPC 提交候选前向计算，服务器热替换函数指针并重新捕获 CUDA 图。团队测得 MiniMax M3.1 Flash 在 TensorRT-LLM 上冷启动一次要 761 秒。系统设快慢两层评测，快层跑 12 层做筛选，慢层跑 60 层确认收益，两层方案比只用慢层多测了 8.1 倍候选（1354 对 168）。
这套系统里智能体的做法也有点反常识。官方实验显示，用专家整理的知识库引导智能体，12 小时后的加速效果反而比不用知识库低 25% 到 31%；只给一句「让前向计算尽可能快」的朴素智能体反而胜过专家策略，10 轮试验后的集成分数为 6.2 对 4.9。团队的解释是自定义日志结构会吃掉最多 43% 的工具调用，因此现在直接把引擎源码交给智能体，而不是给一层中间表示。
流量漂移是核心问题
实测中，一个国家地区的提示长度约 97K Token、另一处只有 70K，某客户 P90 输入长度三天内从 18K 涨到 33K。随机数据训练出的算子会误导优化：某个智能体写的 top-k 算子在随机数据上只要 20 微秒，换到 70K 上下文的真实流量最长要 62 毫秒。测试覆盖 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 与 Llama 1B，硬件包含 B200、B300、GB300、H100、MI355X 与 Trainium2，其中 GLM 5.3 在 MI355X 上只从 463 涨到 480 TPS。
延伸阅读
- 商汤大装置日均6万亿Token：PD分离把异构集群吞吐拉高5倍2 周前
- FlashMap 投机解码：Qwen3-8B 加速 6.14 倍与 16 token 草稿1 周前
- 是石科技 TokenFleet 发布：P95 首 Token 延迟降 32.4%2 周前
- llm-d 1.0发布：17000节点吞吐提升2.9倍，首token延迟砍掉85%2 周前
继续读
同一批更新里这几篇值得一看：
- DeepSeek 开源 DeepInfer：日处理 155 万亿 Token2026-10-30
- FlashMap 投机解码：一次起草 16 token，加速 6.14 倍2026-10-29
- 硅基流动 Token 生产力公式：单卡解码超 1920 tokens/s2026-10-25