Jason Wei 谈验证者定律：可衡量的任务更易被攻克

Jason Wei 在斯坦福的演讲纪要里谈到了智能商品化。其中一个判断是，越容易被衡量的任务，越容易被 AI 攻克。

锯齿能力是什么意思

他提到模型的能力呈锯齿状，这意味着进步是不均匀的。有些任务已经做得比人好，紧挨着的任务可能依然很差。理解这一点，比记住某个基准分数更有用，因为它解释了为什么模型时好时坏。

关于自我改进，他的说法是不该把它看成一个可以打开或关掉的开关，实际情况要复杂得多。这个提法对应的是把递归自改进简化成二元判断的流行叙事。

按这次演讲的表述，任务的可衡量程度决定了它被 AI 攻克的难易。容易验证的任务，模型更容易通过反复试错做对。

这套说法的价值在于给出了一条判断标准。与其问 AI 能不能做某件事，不如先问这件事好不好衡量。答案往往就藏在这个问题里。