10 月 26 日，京东广告联合华为鲲鹏超节点披露生成式推荐落地进展，端到端推理时延降低 15%。真正的瓶颈不在 GPU，而在通算侧的缓存层级与调用开销。
300 毫秒预算里只剩 20 到 100 毫秒
京东给全链路时延的预算是 300 毫秒，留给广告模型推理的部分只有 20 到 100 毫秒。广告业务日请求量千亿级，单次推理必须控制在几十毫秒内，否则收益归零。用户侧对卡顿的判断在 600 多毫秒，扣掉基站通信之后留给数据中心的空间更小。而迁移到生成式推荐之后，行为上下文增长 10 倍、模型结构放大 100 倍、算力需求提高约 1000 倍，机房扩容的周期却按季度计。
四级缓存压成两级，300TB 共享内存池
时延主要来自两块。一是 KV Cache，行为序列超过 1K 之后缓存容量需求被急剧放大，传统的片上内存、本地 DDR、本地 SSD、远端 Redis 四级缓存无法同时满足又快、又大、又稳定。二是 RPC 通信，每次用户请求最少要建立几十个 RPC 服务调用，RPC 耗时占整体时延 20% 以上，百万级 RPC 导致每节点 TB 级内存消耗。京东的做法是把第四级远端数据库和第三级一并砍掉，只留片上内存与一块足够大的 DDR，通过灵衢互联建成 300TB 共享内存池。
业务体量与缓存命中率的实际杠杆
京东覆盖超 7 亿年度活跃用户，平台上 70% 的商家同时也是广告主，每月帮助顶级品牌触达超 4000 万核心受众。缓存与互联层级的改造效果，站内此前在国产算力侧做过一轮更细的拆解，见 DeepSeek 开源昇腾组件：375GB/s 互联。超节点把层级压下来之后，互联带宽能支撑多大的并发，直接决定这次优化能兑现多少收益。
延伸阅读
- 京东宣布5年内创造超10万机器人维修工程师就业岗位：签约近百家厂商、推SaaS系统1 周前
- OPPO Enco Air4s 发布：32dB 主动降噪、43 小时续航，首发 179 元2 周前
- 芒果超媒前三季营收93.51亿：AI长剧把成本压到真人剧20%5 分前
- 美国银行警告：4 类风险指向1 条底线，别把密码交给AI5 分前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- 京东宣布5年内创造超10万机器人维修工程师就业岗位：签约近百家厂商、推SaaS系统2026-10-18
- OPPO Enco Air4s 发布：32dB 主动降噪、43 小时续航，首发 179 元2026-10-15
- 芒果超媒前三季营收93.51亿：AI长剧把成本压到真人剧20%2026-10-28