OpenAI 采纳 robots.txt 训练令牌：4 家巨头统一 AI 退出

OpenAI、Google、微软与 Anthropic 已同意采用同一个 robots.txt 策略令牌 __usage_ai-training，网站只需写一组规则就能一次性对多家 AI 厂商表达训练偏好。该令牌由 Anthropic 标准技术负责人 Kevin Kelley 于 2026 年 10 月 30 日以 IETF 个人草案 draft-kelley-aipref-training-preference-signal-00 提出，草案有效期至 2027 年 5 月 3 日。

过去网站要拒绝四家厂商的 AI 训练抓取，得在 robots.txt 里维护四组 User-Agent 规则。新令牌把这件事压缩成一组规则，且不引入任何新指令名和新语法。OpenAI 称将在未来几个月内落实，Google 与微软计划 2027 年支持，Meta 表示支持建立通用信号但未给出落地时间表。

四家巨头同时表态，AI 训练退出标准第一次有了统一接口

这条消息在标准圈的分量，比任何一家厂商单独发文都重。它出自 IETF AI Preferences 工作组（aipref），工作组本身由 OpenAI、Google、微软、Meta、Cloudflare、Common Crawl 基金会、News Corp、Financial Times、BBC、电子前哨基金会与 Creative Commons 等机构的技术人员组成，名单里既有模型厂商，也有出版商、爬虫方和版权保护组织。

标准由 Anthropic 的 Kevin Kelley 以个人身份提交到 IETF，草案标题为 Machine-Readable Training Preference Signal。IETF datatracker 明确标注这是个人提交，在标准流程中没有正式地位，有效期到 2027 年 5 月 3 日失效。也就是说，它现在还不是 RFC，只是一份工作草案。

OpenAI 在同日发布的公告里给出了自己的立场：这是一个自愿性质的努力，落地后不会取代现有的 robots.txt 控制项，现有的爬虫控制规则继续生效并被尊重。它同时鼓励其他 AI 服务商遵守这个令牌。相关讨论在 IETF AI Preferences 工作组邮件列表进行。

Google 的搜索倡导顾问 John Mueller 同日表示，网站主可以改用共享的策略令牌来设置跨厂商的宽泛偏好，不再为每一家 AI 开发者单独维护指令。Google 计划在 2027 年支持这一控制项，处理方式是：把训练退出视为等同于禁止 Google-Extended 爬虫，除非站点明确允许该爬虫。

令牌怎么写：一组规则，两条路径

写法的全部变化只有一处，就是在 User-Agent 行填入一个特殊的产品令牌，其余沿用 robots.txt 的老语法。草案给出的示例是这样的：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

读出来的意思很直白：除了 /press-kit/ 目录，其余路径都不希望被用于 AI 训练。整份文件没有新增任何指令名，路径匹配语言、最长匹配优先规则和分组结构全部沿用 RFC 9309 的定义。这意味着互联网上已经部署的各类解析器读到这个文件时，会像对待一个不认识的 User-Agent 一样直接忽略这组规则，行为与现在完全一致。

草案对匹配方式给了两条硬性规定。第一，通配符组 User-Agent: * 不能被解读为匹配这个策略令牌，也就是说在通配组里写 Disallow 不构成训练偏好。第二，如果整个文件里没有出现 User-Agent: __usage_ai-training 这一行，那就等于没有表达任何偏好，视为未知。

一个细节值得注意：草案并没有要求厂商在抓取请求的 User-Agent 头里带上这个令牌。策略令牌只需要写在 robots.txt 文件里，匹配时按 RFC 9309 第 2.2.1 节的产品令牌语法规则做精确匹配，忽略大小写差异。下划线前缀 __ 的作用是让偶然匹配几乎不可能发生。

四组规则变一组：站长实际省了什么

对内容站来说，收益直接体现在维护成本上。下面这张表对比了两种做法的差异。

需要跟已有的爬虫控制区分清楚。OpenAI 目前在 robots.txt 层面区分了四类访问者，各自有独立的产品令牌，站点可以分别放行或禁止。

新令牌不改变这套划分。它解决的是表达成本问题：站点此前必须先识别出每一个厂商的爬虫名字，再逐家配置，像 OpenAI 这样的厂商同时运行四个爬虫时，光是拒绝训练用途就可能需要重复声明多组规则。相关背景可以参考本站此前对 OpenAI 跨站追踪机制的分析，路径与作用域是同一类治理问题。

退出信号不等于授权合同，这是最容易误读的地方

中文舆论场对这条消息最常见的解读是版权问题有了答案，这个判断不成立。草案第 4.3 节明确写出：内容使用偏好与流量管理信号是彼此独立且正交的。第 4.4 节进一步说明，该策略令牌本身并不构成抓取行为指令，消费方可以用它来指导抓取决策，同时它也无法对抓取行为形成强制要求。

第 4.5 节的优先级规则写得也很克制。具体路径的规则优先于笼统规则；消费方可以在自己的文档里声明，把专有策略令牌视为比 __usage_ai-training 更具体；私人协议可以覆盖通过这套机制表达的偏好。

换句话说，这套机制覆盖的是表达与识别环节，触及不到授权与付费。AI 训练数据的授权链条至少有三层，内容方是否允许抓取、抓到的内容能否用于训练、训练成果商业化后如何分配收益。这个标准主要覆盖前两层中的表达部分，而且是以退出为核心，也就是默认允许、选择拒绝。草案自己也承认，受理方只能应用自己实现的偏好表达方法，无法保证偏好被遵守。

还有一个现实约束：技术上没有任何机制能强迫不配合的抓取方遵守。欧盟《人工智能法案》通用人工智能模型行为准则已经把 robots.txt 承认为出版方表达偏好的主要手段，监管层面在往这个方向推，但自愿性质不会因为几家巨头表态而变成强制。

工作组的 30 余位贡献者，与两份相关草案

这份草案背后是一份接近完整的产业链名单。草案致谢部分列出了 30 余位参与者，所属机构包括 Google、微软、OpenAI、Anthropic、Cloudflare、Comcast NBCUniversal、News Corp、BBC、Amazon Web Services、BBC、Elsevier、Common Crawl 基金会、European Publishers Council、电子前哨基金会、Creative Commons 等。

工作组主席是 Cloudflare 的 Mark Nottingham 和思科的 Suresh Krishnan。词汇表草案的编辑是 Mozilla 的 Martin Thomson 与 Open Future 的 Paul Keller，面积与响应文件的负责人是 Akamai 的 Mike Bishop。这份个人草案的作者 Kevin Kelley 也在致谢名单中。

配套的两份草案同样值得留意。draft-ietf-aipref-vocab-08 定义了 AI 使用偏好的完整词汇表，包括 AI Training、AI Use、Search 三类核心用途，以及偏好值的三个状态 allowed、disallowed、unknown。这份词汇表草案的作者来自 Open Future 与 Mozilla，有效期到 2027 年 3 月 18 日，比策略令牌草案更早到期。另一份 draft-ietf-aipref-attach-05 定义了在 HTTP 中关联偏好与内容的方法，有效期到 2027 年 3 月 18 日。

词汇表里对 AI Training 的定义有个边界值得留意：仅用于非生成式任务的模型训练不属于这一类，即使该模型本身具备生成能力。生成式 AI 模型的定义同样排除了分类、排序、打分用途，即便模型会为输出生成解释性文字。这两条限定把日常最容易被误判的使用场景挡在了训练类别之外。

站长现在可以动手了，但有三条边界

可以动手的原因是草案没有改变任何解析行为。旧解析器看到这组规则会当作陌生 User-Agent 忽略，新解析器按 RFC 9309 读出来。不实现的厂商不会因此报错，误配的风险接近零。今天加进去，等厂商排期跟进时就能立即生效，不必在 OpenAI 落实的那几个月里临时改文件。

边界一，robots.txt 本身有体积上限，草案把不重复已有规则、避免大规模复制列为设计目标之一。如果站点已经维护了大量重复分组，再叠加统一令牌时值得重新整理一遍。

边界二，不要指望它自动屏蔽 AI 搜索。Google 明确把训练退出解释为禁止 Google-Extended 爬虫，但允许 AI 搜索的站点仍需单独放行 OAI-SearchBot 这类搜索爬虫，两者属于完全不同的范畴。上一代的做法本来就是这样：站点可以允许 OAI-SearchBot 进入搜索结果，同时禁止 GPTBot 用于训练，OpenAI 侧也说明这类设置彼此独立。

边界三，OpenAI 提醒 robots.txt 更新后系统调整大约需要 24 小时生效，这类延迟不会因为新令牌而缩短。

FAQ

加了 __usage_ai-training 会影响我的搜索收录吗？

不会直接影响常规搜索收录。这个令牌只表达训练用途偏好，不改变爬虫的流量管理规则，Google-Extended 与常规索引抓取是两条线。想要在 AI 搜索结果里出现，仍需单独放行对应搜索爬虫。误配风险也确实很低，因为不实现该机制的一方会直接忽略这组规则。

写了 Disallow: / 之后，AI 搜索还能不能抓到我的内容？

这取决于你放行了哪个爬虫。如果只写了 __usage_ai-training 组，AI 搜索爬虫仍按各自的规则运行。要禁止训练但保留搜索效果，需要同时保留允许搜索爬虫的组，并且不要用 User-Agent: * 这种通配写法把搜索爬虫一起拦掉。

这个标准现在就算正式标准了吗？

没有。它是一份 IETF 个人提交的工作草案，在标准流程里没有正式地位，2027 年 5 月 3 日到期前随时可能被修订或替换。判断它的分量要看采纳方数量，标准身份本身参考价值有限，目前 Anthropic 已落地，OpenAI 说未来几个月内实施，Google 和微软计划 2027 年支持，Meta 只表态支持通用信号。

小结

AI 训练数据的使用偏好第一次有了跨厂商的统一表达方式，代价只是往 robots.txt 里加一组规则。OpenAI、Google、微软、Anthropic 的一致表态给了这份 IETF 草案现实推力，也让过去分散在各家爬虫名字上的配置成本降了下来。

但要把边界划清。这个标准覆盖的是表达与识别环节，触及不到授权与收益分配，默认仍然是允许训练、选择性退出。它在技术上等同于请勿进入标识，在版权层面并不构成授权合同。谁真正兑现，取决于各家落实细则的公布与执行，而 OpenAI 的那份实施细节更新还没来。

相关阅读

• 美国地方媒体诉微软 OpenAI 版权案：版权法能否撬动大模型
• ChatGPT 出版商通道：12 家媒体摘要占据前三位
• OpenAI 广告追踪链条曝光：跨站 Cookie 绑定账号
• Cloudflare 开源 Clef 决策模型：39 毫秒完成 Agent 路由