10 月 30 日，OpenAI、Google、微软分别宣布支持一个跨厂商的 AI 训练偏好信号：网站在 robots.txt 里写一个以策略令牌 __usage_ai-training 为 User-Agent 的分组，用 Disallow / Allow 按路径表达“不许 / 允许用于 AI 训练”，参与的厂商都按它处理，不必再给每家的爬虫分别写规则。方案来自 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提交的草案，基于 AIPREF 工作组对“AI 训练”的定义。
置信度：高（95） · 事件时间 2026-10-30
理由
- 此前网站要分别屏蔽 GPTBot、Google-Extended、ClaudeBot 等，漏一家就等于默许。Google 称：网站用这个令牌声明不许训练、又没有单独写 Google-Extended 时，Google 会当作已禁止 Google-Extended；各家原有的专属控制继续有效，可以统一表态后再单独放行某一家。
- 落地时间不一：据 The Verge，Anthropic 已经采用；Google 称计划 2027 年与其他厂商一起支持；微软称 2027 年 2 月 1 日起在抓取时执行；OpenAI 称“未来几个月”。Meta 表示支持这一方向，但没说是否会遵守。
- 微软同时调整自家规则：新增页面级的“AI 训练”和单独的“AI 接地”（grounding，即回答时引用网页）偏好，接地可选 Disallow 或只限微软自家产品使用的 DisallowExtended；这些设置不影响网页在必应搜索结果中的排名资格，旧的 NoArchive / NoCache 在 2027 年 3 月 1 日后不再被当作训练和接地偏好读取。
用法
- 不想被用于训练的网站可以在 robots.txt 里加：User-Agent: __usage_ai-training 下一行 Disallow: /（可再用 Allow 放开个别目录）；通配符 User-Agent: * 不会被当作这个令牌。草案全文在 IETF datatracker（draft-kelley-aipref-training-preference-signal）。
- 用必应 / Copilot 的站长另看必应网站管理员博客的迁移说明：用 NoArchive / NoCache 的网站要在 2027 年 3 月 1 日前改用新设置，12 月 15 日起可在 Bing Webmaster Tools 登记临时接地偏好。
风险
- 这只是一份个人提交的 IETF 草案（-00 版），草案自己写明没有获得 IETF 认可；AIPREF 工作组的其余词汇表还在讨论。
- 它只是偏好声明，不是访问控制：不参与的厂商和爬虫可以无视；它也不涉及授权费或付费。
- OpenAI 原文请求被拒（403），OpenAI 的具体承诺和时间表来自 RSS 摘要和 The Verge 转述。
打开 · Google 搜索中心博客 · 必应博客 · IETF 草案 draft-kelley-aipref-training-preference-signal · The Verge