Tiêu đề gốc: Our first phase of embedded assessments
OpenAI công bố giai đoạn thử nghiệm đầu tiên của chương trình “đánh giá tích hợp”, cho phép các nhà nghiên cứu từ Apollo Research, METR, Transluce và Goodfire độc lập đánh giá sự căn chỉnh (alignment), các biện pháp an toàn và hệ thống giám sát của mô hình ngay trong nội bộ. Theo TechCrunch, Apollo bắt đầu làm việc trong tuần này, tập trung vào việc kiểm tra xem các mô hình có cố gắng phá vỡ cơ chế căn chỉnh và kiểm soát của chính chúng hoặc của các mô hình kế tiếp hay không; Goodfire sử dụng các công cụ giải thích được (interpretability) để giám sát quá trình huấn luyện; METR tự quyết định những gì cần kiểm tra và xác minh liệu hệ thống giám sát của OpenAI có thể phát hiện ra vấn đề hay không; Transluce xem xét liệu các đánh giá an toàn sau huấn luyện của bản thân OpenAI đã đủ hay chưa. Apollo và Goodfire được trả thù lao, còn METR và Transluce làm việc miễn phí.
Tại sao quan trọng Việc đánh giá bên ngoài được chuyển từ kiểm tra ngẫu nhiên trước khi phát hành sang giai đoạn huấn luyện và triển khai nội bộ; tuy nhiên, phạm vi những gì được phép xem xét do OpenAI quy định, nên tính độc lập vẫn còn gây nghi ngờ.
Độ tin cậy: Tin cậy cao · Nguồn từ OpenAI và 2 tổ chức khác (bao gồm nguồn chính thức) · Thời gian sự kiện 11-16 16:00 (giờ Bắc Kinh)
Lý do
- Được công bố trên trang web chính thức của OpenAI
- Bài báo của TechCrunch, trích dẫn các điều khoản hợp tác công khai của Apollo
Cách sử dụng
- Đọc mô tả về chương trình thử nghiệm trên trang web chính thức của OpenAI và trang web của Apollo Research
Rủi ro
- Biên tập viên không thể mở bài viết gốc của OpenAI (trang từ chối truy cập), chỉ xác minh bản tóm tắt chính thức của OpenAI và bài báo của TechCrunch
- Theo TechCrunch, Apollo chỉ được tiếp cận những nhân sự và tài liệu do OpenAI chỉ định, và OpenAI giữ quyền không cung cấp một số thông tin vì lý do an toàn hoặc sở hữu trí tuệ
Mở · TechCrunch