2026年，中国AI初创公司月之暗面（Moonshot AI）推出的Kimi Transformer模型系列，在Transformer架构的底层研究上取得了显著突破，特别是其名为「Attention Residuals」的研究成果。此项突破解决了Transformer架构中十年未决的残差连接和预归一化稀释问题。
十年禁区的突破
Kimi团队发现自2015年ResNet论文提出的残差连接公式被所有主流大型语言模型沿用至今，但存在缺陷——导致深层贡献被稀释以及有效深度受限等问题。
Kimi的「Attention Residuals」研究通过引入注意力机制来决定哪些层的信息更重要，而非像传统方法那样平等对待每一层，从而提高了计算效率和模型性能。
谷歌大V高度评价
这一进展获得了谷歌高级AI产品经理Shubham Saboo的高度评价，他表示：「Kimi触及了十年间无人敢碰的禁区！」这一评价在AI圈引发热议，有网友称这是「天才洞察」。
性能炸裂：相当于免费获得1.25倍算力
由于优化了层间信息流动，Kimi在相同硬件条件下实现了更高的有效算力输出。有分析师指出，这相当于「免费获得1.25倍算力」，对于大规模部署具有重大意义。
月之暗面最新进展
月之暗面已在2026年1月27日发布了万亿参数的MoE模型Kimi K2.5，并预计在2026年3月发布更强大的Kimi K3模型。此外，Kimi Linear模型通过混合线性注意力机制，显著提升了长文本处理的效率和速度。
相关阅读
这条线上还有几篇站内文章可以接着看：
延伸阅读
- 谷歌EmbeddingGemma2开源：740M参数塞进手机，端侧多模态检索首次轻量落地1 月前
- 华为openJiuwen开源AgentOS：多智能体协同+自演进，企业级智能体底座面世1 月前
- SkyClaw-v1.0 发布：1M 上下文 Agent 模型，输入 0.5 元/百万 tokens，兼容 OpenAI API2 月前
- Chrome 自动填充升级：3 类信息从 Gmail 读取填表单2 周前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- Gemini Omni 1.2 Flash：15 秒视频，0.07 美元每秒2026-11-06
- ChatGPT 周活 12 亿：搜索量已达谷歌 20%2026-11-04
- 谷歌 Project Suncatcher：4 枚 TPU 在轨跑通 AI 推理2026-11-04
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记