Anthropic công bố một thí nghiệm đối chứng ngẫu nhiên: 50 nhà phân tích có kinh nghiệm suy luận nhân quả đã sử dụng Claude Code (Claude Opus 4.8, cường độ cao) để hoàn thành một bài phân tích dữ liệu kéo dài khoảng một giờ. Trong nhiệm vụ này, có bốn quyết định phân tích mà "cả hai lựa chọn đều hợp lý". Các nhà nghiên cứu đã bí mật thiết lập thiên kiến cho tác nhân bằng cách tung đồng xu, yêu cầu nó đưa ra lập luận trung thực và thuyết phục nhất cho phía được chọn. Kết quả là các nhà phân tích đã chọn phương án mà tác nhân nghiêng về trong 86% trường hợp, và phần lớn họ tin rằng kết luận cuối cùng là do chính mình phán đoán.
Độ tin cậy: Cao (95) · Thời gian sự kiện 2026-10-27
Lý do
- Dữ liệu chính thức: Tỷ lệ tuân theo tác nhân đối với bốn quyết định lần lượt là 92%, 82%, 81% và 90%; sau khi các nhà phân tích đã bày tỏ quan điểm, tỷ lệ thay đổi ý kiến khi tác nhân phản đối là 60%, trong khi chỉ có 6% thay đổi khi tác nhân đồng tình; khi giải thích lý do sau đó, 77% đã lặp lại các lập luận của tác nhân (đôi khi từng chữ một), và chỉ có 15% đề cập đến nguồn gốc. Số năm kinh nghiệm, trình độ học vấn, mức độ tự đánh giá chuyên môn và niềm tin vào AI đều không thể dự đoán ai dễ bị ảnh hưởng bởi tác nhân hơn.
- Việc sử dụng AI cũng mang lại lợi ích rõ rệt: Trong số 50 người sử dụng tác nhân, có 3 người mắc lỗi phương pháp nghiêm trọng (6%), trong khi ở nhóm 11 người không sử dụng, có 6 người mắc lỗi (55%). Thời gian trung vị là 65 phút so với 90 phút.
- Anthropic cho rằng rủi ro nằm ở chỗ: Khi nhiều nhóm cùng sử dụng một mô hình, sự đồng thuận dường như độc lập có thể chỉ đơn thuần là thiên kiến của mô hình; nghiên cứu an toàn AI ngày càng giao cho các tác nhân chạy thử nghiệm, và nếu người kiểm duyệt vô tình chấp nhận phán đoán của tác nhân, việc xem xét lại bởi con người sẽ không còn là một bước kiểm tra độc lập.
Cách sử dụng
- Mô tả nghiên cứu và tệp PDF bài báo có tại anthropic.com/research/agents-judgment-calls. Khi sử dụng tác nhân cho các phán đoán mở, bạn có thể yêu cầu nó trước tiên viết ra những lý do thuyết phục nhất cho cả hai lựa chọn, hoặc hỏi ý kiến của bạn trước khi đưa ra lời khuyên; đây cũng là hướng thiết kế được đề xuất trong bài báo.
Rủi ro
- Thiên kiến của tác nhân là do các nhà nghiên cứu cố tình tăng cường; khi không thiết lập thiên kiến, Claude Opus 4.8 đã đưa ra cùng năm lựa chọn trong 112 trên tổng số 123 lần chạy, nên tác động trong thực tế có thể nhỏ hơn.
- Nghiên cứu chỉ kiểm tra một nhiệm vụ, một lĩnh vực và một mô hình với mẫu gồm 50 người; nhóm đối chứng không sử dụng AI có ít người tham gia hơn và cũng ít kinh nghiệm hơn, do đó không thể xác định chắc chắn rằng toàn bộ khoảng cách về tỷ lệ lỗi là do AI gây ra.
- The Decoder đã viết khoảng cách giữa việc "bày tỏ quan điểm trước rồi thay đổi ý kiến sau" là 53 điểm phần trăm, trong khi con số chính thức là 54 điểm phần trăm (khoảng tin cậy từ 24 đến 82). Nghiên cứu được công bố vào ngày 27 tháng 10, sớm hơn cửa sổ thời gian của bản tin này; bản tin dựa trên các báo cáo truyền thông từ ngày 29 tháng 10.