10월 30일, OpenAI, Google, Microsoft는 각각 크로스 벤더 AI 학습 선호도 신호를 지원한다고 발표했습니다. 웹사이트는 robots.txt 파일에 정책 토큰 __usage_ai-training을 User-Agent로 사용하는 그룹을 작성하고, Disallow / Allow 지시문을 경로별로 사용하여 'AI 학습용 사용 금지 / 허용'을 표현합니다. 참여하는 모든 벤더는 이 신호를 따르므로, 각사의 크롤러에 대해 개별적으로 규칙을 작성할 필요가 없습니다. 이 방안은 Anthropic의 표준 기술 책임자 Kevin Kelley가 IETF에 제출한 초안에 기반하며, AIPREF 워킹 그룹의 'AI 학습' 정의를 따릅니다.
신뢰도: 높음 (95) · 이벤트 시간 2026-10-30
이유
- 이전에는 웹사이트에서 GPTBot, Google-Extended, ClaudeBot 등을 개별적으로 차단해야 했으며, 하나라도 누락하면 사실상 허용한 것과 같았습니다. Google은 웹사이트에서 이 토큰을 사용하여 학습 금지를 선언하고 Google-Extended에 대한 별도 규칙이 없는 경우, Google은 이를 Google-Extended도 금지한 것으로 간주한다고 밝혔습니다. 각사의 기존 전용 제어는 계속 유효하며, 통일된 선언 후 특정 벤더만 개별적으로 허용할 수 있습니다.
- 적용 시점이 다릅니다: The Verge에 따르면, Anthropic은 이미 이를 채택했습니다. Google은 2027년에 다른 벤더들과 함께 지원할 계획이라고 밝혔습니다. Microsoft는 2027년 2월 1일부터 크롤링 시 이를 적용한다고 밝혔습니다. OpenAI는 '향후 몇 달 내'라고 언급했습니다. Meta는 이 방향에 지지를 표명했으나 준수 여부에 대해서는 언급하지 않았습니다.
- Microsoft는 동시에 자사 규칙을 조정했습니다: 페이지 단위의 'AI 학습' 및 별도의 'AI 그라운딩'(grounding, 즉 답변 시 웹 페이지 인용) 선호도를 추가했습니다. 그라운딩은 Disallow 또는 Microsoft 제품 전용 사용으로 제한하는 DisallowExtended를 선택할 수 있습니다. 이러한 설정은 Bing 검색 결과에서 웹 페이지의 순위 자격에 영향을 미치지 않으며, 기존 NoArchive / NoCache는 2027년 3월 1일 이후 학습 및 그라운딩 선호도로 더 이상 읽히지 않습니다.
사용법
- 학습에 사용되기를 원하지 않는 웹사이트는 robots.txt에 다음을 추가할 수 있습니다: User-Agent: __usage_ai-training 다음 줄에 Disallow: / (개별 디렉터리를 허용하기 위해 Allow를 추가로 사용할 수 있음). 와일드카드 User-Agent: *는 이 토큰으로 간주되지 않습니다. 초안 전문은 IETF datatracker(draft-kelley-aipref-training-preference-signal)에서 확인할 수 있습니다.
- Bing / Copilot을 사용하는 웹마스터는 Bing 웹마스터 블로그의 마이그레이션 안내를 참고해야 합니다: NoArchive / NoCache를 사용하는 웹사이트는 2027년 3월 1일 전에 새로운 설정으로 변경해야 하며, 12월 15일부터 Bing Webmaster Tools에서 임시 그라운딩 선호도를 등록할 수 있습니다.
리스크
- 이는 개인이 제출한 IETF 초안(-00 버전)일 뿐이며, 초안 자체에 IETF의 인정을 받지 못했음이 명시되어 있습니다. AIPREF 워킹 그룹의 나머지 용어집은 아직 논의 중입니다.
- 이는 선호도 선언일 뿐 접근 제어가 아닙니다: 참여하지 않는 벤더와 크롤러는 이를 무시할 수 있으며, 라이선스 비용이나 유료화와도 관련이 없습니다.
- OpenAI의 원문 요청은 거부되었습니다(403). OpenAI의 구체적인 약속과 일정은 RSS 요약 및 The Verge의 보도를 통해 확인되었습니다.
열기 · Google 검색 센터 블로그 · Bing 블로그 · IETF 초안 draft-kelley-aipref-training-preference-signal · The Verge