OpenAI 谷歌等 4 家统一 robots.txt 退出信号

10 月 30 日,OpenAI、Google、Microsoft 与 Anthropic 同时宣布支持同一种新的网页控制信号,让站长不必再为每一家 AI 公司单独设置训练偏好。这套被称为 policy token 的机制由 Anthropic 的标准技术负责人 Kevin Kelley 在 IETF 起草,写进网站的 robots.txt 文件里。Anthropic 已经落地,Google 和 Microsoft 计划明年支持,OpenAI 表示会在未来数月内实现。

一个信号管住所有爬虫

在此之前,站点要表达不希望内容被拿去训练,只能逐家对接,或者像 Cloudflare 那样直接默认拦截 AI 爬虫,或者用 Really Simple Licensing 标准向抓取方收费。新的 policy token 试图把这件事收敛成一个通用字段:站点写一次偏好,多家公司的爬虫读到后都应当限制访问。

Meta 传播部门负责人 Andy Stone 也表态支持这个方向,不过没有明确承诺 Meta 会遵守该信号,只说希望看到更多 AI 公司一起参与标准的制定与落地。

搜索引擎可见性不受影响

各家的承诺边界基本一致。Microsoft 表示会提供颗粒度更细的开关,站点可以分别选择退出 AI 训练或者退出 AI grounding,也就是把模型指向经过核验的信息源以减少幻觉,但站点内容仍会正常出现在 Bing 的搜索结果里。Google 此前已经有一套类似控制,允许站点决定内容是否出现在 AI 搜索特性里或用于训练,而不影响搜索排序排名。

值得注意的是 Anthropic 是唯一一家立刻支持的厂商。这项标准由一家模型公司提出、其余头部厂商随后跟进的路径,和此前围绕 AI 训练版权归属的多轮谈判形成对照。ChatGPT 出版商通道的运作结果显示,内容能否进入 AI 摘要位置已经直接决定流量分配的量级,而退出机制是否统一,直接影响出版商的实际议价能力。