2026年，中国AI初创公司月之暗面（Moonshot AI）推出的Kimi Transformer模型系列，在Transformer架构的底层研究上取得了显著突破，特别是其名为「Attention Residuals」的研究成果。此项突破解决了Transformer架构中十年未决的残差连接和预归一化稀释问题。
十年禁区的突破
Kimi团队发现自2015年ResNet论文提出的残差连接公式被所有主流大型语言模型沿用至今，但存在缺陷——导致深层贡献被稀释以及有效深度受限等问题。
Kimi的「Attention Residuals」研究通过引入注意力机制来决定哪些层的信息更重要，而非像传统方法那样平等对待每一层，从而提高了计算效率和模型性能。
谷歌大V高度评价
这一进展获得了谷歌高级AI产品经理Shubham Saboo的高度评价，他表示：「Kimi触及了十年间无人敢碰的禁区！」这一评价在AI圈引发热议，有网友称这是「天才洞察」。
性能炸裂：相当于免费获得1.25倍算力
由于优化了层间信息流动，Kimi在相同硬件条件下实现了更高的有效算力输出。有分析师指出，这相当于「免费获得1.25倍算力」，对于大规模部署具有重大意义。
月之暗面最新进展
月之暗面已在2026年1月27日发布了万亿参数的MoE模型Kimi K2.5，并预计在2026年3月发布更强大的Kimi K3模型。此外，Kimi Linear模型通过混合线性注意力机制，显著提升了长文本处理的效率和速度。
相关阅读
这条线上还有几篇站内文章可以接着看：
延伸阅读
- 阿里 Qwen-Image-3.0 发布：4.5k Token 单次生成九宫格信息图，但开源权重没了2 月前
- 微信 AI 开源 WeKnora 0.8.0：知识库从”能查”到”能执行”，技能沙箱支持 Docker/E2B/Cube3 天前
- 小红书开源 dots3-note preview：IMO 满分同系列，280B 参数只激活 16B，512K 多模态上下文1 月前
- NeoHorse-1 发布：基元律动联合无问芯穹推出 Agent-Native 模型，4B/9B 双版本3 天前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。