当递归自改进转入暗场，AI 能力边界越来越难看清

Dwarkesh 在谈递归自改进的担忧时提到一种情况，实验室开始封闭部署。一旦进入这个状态，能力边界会变得更难看见。

对齐状态也会变黑箱

不只是能力，对齐状态同样会变得难以观测。模型在做什么、有没有偏离目标，外部失去了观察的窗口。

伴随而来的是权力集中的风险被放大。当少数机构掌握着不可见的能力进展，外部监督、政策制定和学术研究的依据都会变薄。

常见问题

封闭部署一定是坏的吗

不一定。安全考量下的谨慎发布有其合理性，问题在于封闭之后是否还有独立的验证渠道。

外部能做什么

比较现实的路径是推动模型评估的第三方化和披露机制的建立，把可观测性在制度层面固定下来。

小结

这条担忧的核心不是能力本身，而是可见性。能力进展如果无法被外部确认，围绕它的讨论就只能停留在猜测层面。

相关阅读

这条线上还有几篇站内文章可以接着看：

• 万级智能体未必更强，群体代理只贡献约 10%
• Jason Wei 谈验证者定律
• Astra 用 170 个符号破译历史密电并自行