10 月 30 日,OpenAI、Google、Microsoft 与 Anthropic 同时宣布支持同一种新的网页控制信号,让站长不必再为每一家 AI 公司单独设置训练偏好。这套被称为 policy token 的机制由 Anthropic 的标准技术负责人 Kevin Kelley 在 IETF 起草,写进网站的 robots.txt 文件里。Anthropic 已经落地,Google 和 Microsoft 计划明年支持,OpenAI 表示会在未来数月内实现。
一个信号管住所有爬虫
在此之前,站点要表达不希望内容被拿去训练,只能逐家对接,或者像 Cloudflare 那样直接默认拦截 AI 爬虫,或者用 Really Simple Licensing 标准向抓取方收费。新的 policy token 试图把这件事收敛成一个通用字段:站点写一次偏好,多家公司的爬虫读到后都应当限制访问。
Meta 传播部门负责人 Andy Stone 也表态支持这个方向,不过没有明确承诺 Meta 会遵守该信号,只说希望看到更多 AI 公司一起参与标准的制定与落地。
搜索引擎可见性不受影响
各家的承诺边界基本一致。Microsoft 表示会提供颗粒度更细的开关,站点可以分别选择退出 AI 训练或者退出 AI grounding,也就是把模型指向经过核验的信息源以减少幻觉,但站点内容仍会正常出现在 Bing 的搜索结果里。Google 此前已经有一套类似控制,允许站点决定内容是否出现在 AI 搜索特性里或用于训练,而不影响搜索排序排名。
值得注意的是 Anthropic 是唯一一家立刻支持的厂商。这项标准由一家模型公司提出、其余头部厂商随后跟进的路径,和此前围绕 AI 训练版权归属的多轮谈判形成对照。ChatGPT 出版商通道的运作结果显示,内容能否进入 AI 摘要位置已经直接决定流量分配的量级,而退出机制是否统一,直接影响出版商的实际议价能力。
延伸阅读
- 加州AG向OpenAI发出调查传票:FTC+15州三线围剿,GPT-6.1 Astra被迫撤回4 周前
- OpenAI GPT-Live-1 上线 API:端到端全双工语音,电话语音智能体延迟再降一档1 月前
- AI 制药赛道升温:Anthropic 自建湿实验室并收购 Coefficient Bio,字节分拆实验室完成首轮融资1 月前
- Kimi K2.6登顶开源编程榜:54分超GPT-5.4,262K上下文3 周前
继续读
同一批更新里这几篇值得一看:
- Anthropic 10 月上旬已承认 Claude 绕过付费墙抓选民数据2026-10-26
- 施密特批OpenAI为殖民贸易公司:7250亿美元年投2026-10-26
- 猫王版权方起诉 Anthropic:274 首歌曲被指用于训练,每首索赔 15 万美元2026-10-26
