10 30 OpenAI, Google и Microsoft объявили о поддержке кросс-вендорного сигнала предпочтений для обучения ИИ: сайты могут указать в robots.txt группу с User-Agent, равным стратегическому токену __usage_ai-training, и использовать директивы Disallow / Allow для указания путей, «запрещенных / разрешенных для обучения ИИ». Все участвующие вендоры будут обрабатывать этот сигнал единообразно, что избавляет от необходимости писать отдельные правила для краулеров каждой компании. Решение основано на черновике, представленном Кевином Келли, руководителем по стандартам в Anthropic, в IETF, и опирается на определение «обучения ИИ», данное рабочей группой AIPREF.
Уверенность: высокая (95) · Время события 2026-10-30
Причины
- Ранее сайтам приходилось отдельно блокировать GPTBot, Google-Extended, ClaudeBot и других; пропуск одного краулера означал молчаливое согласие. Google заявил: если сайт использует этот токен для запрета обучения и не указывает отдельно Google-Extended, Google будет считать, что Google-Extended также запрещен. Существующие специфические для каждого вендора настройки продолжают действовать, позволяя сначала задать общее ограничение, а затем отдельно разрешить доступ конкретному вендору.
- Сроки внедрения различаются: по данным The Verge, Anthropic уже использует этот механизм; Google планирует поддержать его в 2027 году вместе с другими вендорами; Microsoft объявила, что будет применять его при сканировании с 1 2 2027 года; OpenAI заявила о внедрении «в ближайшие несколько месяцев». Meta выразила поддержку этого направления, но не уточнила, будет ли соблюдать эти правила.
- Microsoft также изменила собственные правила: добавлены постраничные настройки предпочтений для «обучения ИИ» и отдельного «привязки к источникам» (grounding, то есть цитирования веб-страниц в ответах). Для привязки к источникам можно выбрать Disallow или DisallowExtended, ограничивающий использование только продуктами Microsoft. Эти настройки не влияют на ранжирование страниц в результатах поиска Bing. Старые директивы NoArchive / NoCache перестанут учитываться как предпочтения для обучения и привязки к источникам после 1 3 2027 года.
Использование
- Сайты, не желающие, чтобы их контент использовался для обучения, могут добавить в robots.txt строку User-Agent: __usage_ai-training, а на следующей строке — Disallow: / (при необходимости можно использовать Allow для открытия отдельных директорий). Директива User-Agent: * не будет интерпретироваться как этот токен. Полный текст черновика доступен в IETF datatracker (draft-kelley-aipref-training-preference-signal).
- Владельцы сайтов, использующие Bing / Copilot, должны ознакомиться с инструкциями по миграции в блоге Bing Webmaster: сайты, использующие NoArchive / NoCache, должны перейти на новые настройки до 1 3 2027 года. С 15 12 года можно будет регистрировать временные предпочтения для привязки к источникам в Bing Webmaster Tools.
Риски
- Это лишь личный черновик IETF (версия -00), в котором явно указано, что он не получил одобрения IETF; остальная часть глоссария рабочей группы AIPREF все еще обсуждается.
- Это только декларация предпочтений, а не контроль доступа: вендоры и краулеры, не участвующие в инициативе, могут игнорировать эти правила; механизм также не касается лицензионных отчислений или платного использования.
- Запрос к первоисточнику OpenAI был отклонен (403), поэтому конкретные обязательства и сроки OpenAI основаны на RSS-резюме и пересказе The Verge.
Открыть · Блог Google Search Central · Блог Bing · Черновик IETF draft-kelley-aipref-training-preference-signal · The Verge