10 月 16 日，可解释性研究机构 Goodfire 研究员 Nick Cammarata 发表长篇论文”Neural Networks Are Already Clean”，对可解释性领域沿用多年的”叠加假说”提出系统性反驳。他指出大型神经网络的内部结构远比此前认为的清晰可读，约 90% 的神经元对应单一、清晰的概念，而非此前假设的”多义性”混乱。这一结论在 AI 社区引发激烈争论：OpenAI 研究员 Roon 称之为”历史性时刻”，而 Google DeepMind 研究员 Neel Nanda 则警告不应过度炒作。
推翻叠加假说
叠加假说（Superposition Hypothesis）认为：当可用神经元不足时，神经网络会将不相关的概念打包进同一神经元，以减少相互干扰，从而形成看似”纠缠”的内部结构。为解开这些纠缠，各实验室普遍训练稀疏自编码器作为”第二模型”来分离概念。Cammarata 的新研究则指出，大多数神经元本身就是单一概念的清晰表征，不需要额外的解码步骤。
从纠缠到清晰
Cammarata 在论文中以 InceptionV1 中经典的”猫脸+车头”神经元为例——此前被引用为多义性的著名案例，他本人也曾将其作为叠加现象的论据。如今他重新解读该神经元为”V 形检测器”，并认为这说明大多数神经网络的内部表征本就是干净的。该研究对 AI 安全具有直接意义：如果神经网络的运作机制可以直观读出，那么欺骗性或危险性行为也可以在模型回路中被直接发现。
延伸阅读
- Anthropic 联手 OpenEvidence：临床 AI 免费覆盖约 100 国3 周前
- Anthropic高管：开放式AI模型比闭源模型风险更高，网络安全事件风险更大2 天前
- 巴克莱全面部署Claude：年底50%工程师用上AI编程，12万封邮件日均自动分拣2 周前
- Anthropic 招股书曝光：2025 年净亏 420 亿美元，来年要花 5180 亿3 周前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：