Ai2 (Viện nghiên cứu trí tuệ nhân tạo Allen) công bố bài báo 《Old Ideas, Novel Problems》 cùng bộ dữ liệu chuẩn đi kèm: sử dụng các nhận xét phản biện từ ICLR 2026 để xây dựng tập hợp các ý tưởng nghiên cứu có độ mới cao/thấp, kiểm tra độ tin cậy của sáu mô hình GPT và Claude khi đóng vai trò “giám khảo đánh giá độ mới”, phát hiện ra rằng chỉ cần thay đổi vài từ trong câu lệnh cũng có thể khiến kết quả đánh giá đảo chiều đáng kể.
Độ tin cậy: Cao (80) · Thời gian sự kiện 2026-10-27
Lý do
- Ví dụ cực đoan nhất: Với cùng một cặp “ý tưởng của con người so với ý tưởng do AI tạo ra”, khi GPT-5.4 sử dụng một cách hỏi đơn giản hơn, độ chính xác giảm từ 93.5% xuống 40.9%, thấp hơn cả mức đoán ngẫu nhiên, và hơn một nửa số cặp đã thay đổi kết quả đánh giá.
- Thêm công cụ tìm kiếm hoặc thêm bước suy luận không nhất thiết làm tăng độ chính xác: Khi bật chế độ suy luận cực cao cho GPT-5.6 Sol và kết nối với công cụ tìm kiếm arXiv thời gian thực, chỉ số macro-F1 đạt 0.78, thấp hơn 11 điểm so với Claude Opus 4.6 (0.89) khi dùng câu lệnh đơn giản, trong khi chi phí cho mỗi lần đánh giá cao hơn khoảng 10 lần.
- Các hệ thống đánh giá độ mới chuyên dụng cũng không thắng thế: Claude Opus 4.6 với mức suy luận thấp kết hợp bỏ phiếu ba lần đạt 0.854, tổng chi phí 2.59 đô la; Idea Novelty Checker đạt 0.642 (30.66 đô la), còn bộ đánh giá của Sakana AI Scientist đạt 0.772 (82.05 đô la).
- Các hệ thống nghiên cứu khoa học tự động ngày càng sử dụng một mô hình khác để chấm điểm độ mới cho các ý tưởng do AI đề xuất, nghiên cứu này cho thấy những điểm số đó rất dễ bị ảnh hưởng bởi cách thiết lập bài kiểm tra.
Cách sử dụng
- Bài báo trên arXiv 2610.02022; dữ liệu chuẩn nằm trên Hugging Face tại allenai/novelty-judge-bench, mã nguồn trên GitHub tại allenai/novelty-eval, kèm theo quy trình có thể tái tạo bộ dữ liệu đánh giá bằng các nhận xét phản biện mới.
- Khi tự sử dụng LLM làm giám khảo, bạn có thể làm theo cách của bài báo bằng cách thử nhiều loại câu lệnh khác nhau, xem xét liệu kết quả đánh giá có đảo chiều hay không, rồi mới quyết định có nên tin tưởng vào kết quả đó hay không.
Rủi ro
- Nghiên cứu chủ yếu kiểm tra các mô hình cũ hơn như GPT-5.x và Claude 4.5 / 4.6, chưa rõ kết luận có thể áp dụng cho các mô hình mới nhất hay không.
- Nhận định “ý tưởng do AI tạo ra kém mới hơn ý tưởng của con người” là một nhãn yếu do tác giả đặt ra; chỉ đọc blog của Ai2, chưa đọc toàn văn bài báo.