Jason Wei 谈验证者定律:可衡量的任务更易被攻克

Jason Wei 在斯坦福的演讲纪要里谈到了智能商品化。其中一个判断是,越容易被衡量的任务,越容易被 AI 攻克。 锯齿能力是什么意思 他提到模型的能力呈锯齿状,这意味着进步是不均匀的。有些任务已经做得比人好,紧挨着的任务可能依然很差。理…

5 days ago AI笔记

万级智能体未必更强,群体代理只贡献约 10%

Dwarkesh 转发了一段 Patel 的访谈。讨论里提到一个具体数字,在 Navier-Stokes 相关的发现中,群体代理大约只贡献了 10%。 数量不等于能力 由此引出的判断是,万级代理的协作效果可能弱于万人。这个结论对当下堆规模的…

5 days ago AI笔记

当递归自改进转入暗场,AI 能力边界越来越难看清

Dwarkesh 在谈递归自改进的担忧时提到一种情况,实验室开始封闭部署。一旦进入这个状态,能力边界会变得更难看见。 对齐状态也会变黑箱 不只是能力,对齐状态同样会变得难以观测。模型在做什么、有没有偏离目标,外部失去了观察的窗口。 伴随而来…

5 days ago AI笔记

Astra 用 170 个符号破译历史密电并自行验证

Astra 发帖称模型复原了一组历史密电的密钥。它重建了 ADFGVX 换位,用到的密文符号只有 170 个。 它还会自己验证 除了给出候选答案,模型还写了代码去验证这些候选。这一点比破译结果本身更值得关注。给出答案和证明答案正确是两回事,…

5 days ago AI笔记

微软 AI 负责人警告自主 AI 失控与资产风险

微软 AI CEO 在 BBC 的一段采访里谈到自主 AI。他的判断是,这类系统可能会赚钱、拥有资产,由此带来与人类争夺资源的可能。 失控风险被直接点名 采访中失控这个词被直接提了出来。把它放进资产这个语境里看,逻辑很清楚。一个能自己获取资…

5 days ago AI笔记

OpenAI、微软高管内部承认 AI 可替代新闻文章,法院文件曝光

一边声称「合理使用」,一边私下承认「对出版业构成生存威胁」。当地时间 9 月 17 日,美国曼哈顿联邦法院公开了一批此前被涂黑的文件,其中披露了 OpenAI 与微软高管在发现程序中的内部表态——这些证词直接瓦解了两家公司关于 AI 训练「…

6 days ago AI资讯