Vào ngày 30 tháng 10, OpenAI, Google và Microsoft đã lần lượt tuyên bố hỗ trợ một tín hiệu ưu tiên huấn luyện AI liên nhà cung cấp: các trang web có thể ghi trong robots.txt một nhóm với User-Agent là mã chính sách __usage_ai-training, sử dụng Disallow / Allow theo đường dẫn để thể hiện “không cho phép / cho phép sử dụng cho huấn luyện AI”, tất cả các nhà cung cấp tham gia đều xử lý theo tín hiệu này, không cần phải viết quy tắc riêng cho từng con bọ tìm kiếm của mỗi hãng. Giải pháp này xuất phát từ bản dự thảo do Kevin Kelley, Trưởng nhóm Kỹ thuật Tiêu chuẩn của Anthropic, đệ trình lên IETF, dựa trên định nghĩa về “huấn luyện AI” của nhóm công tác AIPREF.
Độ tin cậy: Cao (95) · Thời gian sự kiện 2026-10-30
Lý do
- Trước đây, các trang web phải chặn riêng biệt GPTBot, Google-Extended, ClaudeBot, v.v., bỏ sót một hãng nào đó đồng nghĩa với việc mặc nhiên cho phép. Google cho biết: nếu trang web sử dụng mã này để tuyên bố không cho phép huấn luyện và không viết riêng quy tắc cho Google-Extended, Google sẽ coi như Google-Extended đã bị cấm; các điều khiển độc quyền hiện có của từng hãng vẫn tiếp tục có hiệu lực, có thể thống nhất tuyên bố trước rồi sau đó cho phép riêng từng hãng.
- Thời điểm triển khai không đồng nhất: Theo The Verge, Anthropic đã áp dụng; Google cho biết kế hoạch hỗ trợ cùng với các nhà cung cấp khác vào năm 2027; Microsoft cho biết sẽ thực thi khi thu thập dữ liệu từ ngày 1 tháng 2 năm 2027; OpenAI cho biết “trong vài tháng tới”. Meta bày tỏ sự ủng hộ đối với hướng đi này, nhưng không nói rõ liệu có tuân thủ hay không.
- Microsoft đồng thời điều chỉnh quy tắc của riêng mình: thêm các tùy chọn ưu tiên “Huấn luyện AI” cấp trang và “Grounding AI” riêng biệt (grounding, tức là trích dẫn trang web khi trả lời), grounding có thể chọn Disallow hoặc DisallowExtended (chỉ giới hạn sử dụng cho các sản phẩm của Microsoft); các thiết lập này không ảnh hưởng đến tư cách xếp hạng của trang web trong kết quả tìm kiếm Bing, các thiết lập cũ NoArchive / NoCache sẽ không còn được đọc làm tùy chọn ưu tiên huấn luyện và grounding sau ngày 1 tháng 3 năm 2027.
Cách sử dụng
- Các trang web không muốn bị sử dụng cho huấn luyện có thể thêm vào robots.txt: User-Agent: __usage_ai-training, dòng tiếp theo là Disallow: / (có thể dùng thêm Allow để mở cho phép một số thư mục cụ thể); User-Agent: * (dấu sao) sẽ không được coi là mã này. Toàn văn bản dự thảo có trên IETF datatracker (draft-kelley-aipref-training-preference-signal).
- Quản trị viên trang web sử dụng Bing / Copilot hãy xem thêm hướng dẫn di chuyển trên blog dành cho quản trị viên website của Bing: các trang web dùng NoArchive / NoCache phải chuyển sang thiết lập mới trước ngày 1 tháng 3 năm 2027, từ ngày 15 tháng 12 có thể đăng ký tùy chọn ưu tiên grounding tạm thời trên Bing Webmaster Tools.
Rủi ro
- Đây chỉ là một bản dự thảo IETF do cá nhân đệ trình (phiên bản -00), chính bản dự thảo ghi rõ rằng nó chưa được IETF chấp thuận; phần còn lại của bảng từ vựng của nhóm công tác AIPREF vẫn đang trong quá trình thảo luận.
- Đây chỉ là tuyên bố về tùy chọn ưu tiên, không phải kiểm soát truy cập: các nhà cung cấp và con bọ tìm kiếm không tham gia có thể bỏ qua; nó cũng không liên quan đến phí bản quyền hay thanh toán.
- Yêu cầu nguyên văn từ OpenAI bị từ chối (403), các cam kết cụ thể và lộ trình thời gian của OpenAI được lấy từ tóm tắt RSS và bài đưa tin của The Verge.
Mở · Blog Trung tâm Tìm kiếm Google · Blog Bing · Dự thảo IETF draft-kelley-aipref-training-preference-signal · The Verge