Jason Wei 谈验证者定律:可衡量的任务更易被攻克

Jason Wei 在斯坦福的演讲纪要里谈到了智能商品化。其中一个判断是,越容易被衡量的任务,越容易被 AI 攻克。

锯齿能力是什么意思

他提到模型的能力呈锯齿状,这意味着进步是不均匀的。有些任务已经做得比人好,紧挨着的任务可能依然很差。理解这一点,比记住某个基准分数更有用,因为它解释了为什么模型时好时坏。

自我改进不是单个开关

关于自我改进,他的说法是不该把它看成一个可以打开或关掉的开关,实际情况要复杂得多。这个提法对应的是把递归自改进简化成二元判断的流行叙事。

常见问题

验证者定律的核心是什么

按这次演讲的表述,任务的可衡量程度决定了它被 AI 攻克的难易。容易验证的任务,模型更容易通过反复试错做对。

小结

这套说法的价值在于给出了一条判断标准。与其问 AI 能不能做某件事,不如先问这件事好不好衡量。答案往往就藏在这个问题里。

相关阅读

这条线上还有几篇站内文章可以接着看: