Tiêu đề gốc: thinkingmachines/Inkling-2-Small
Mô hình đa phương thức tổng quát do Thinking Machines phát hành, đầu vào là văn bản và hình ảnh, đầu ra là văn bản, hướng tới các ứng dụng như tác nhân và gọi công cụ, trợ lý lập trình, hội thoại và tăng cường truy xuất. Kiến trúc gồm 48 lớp giải mã, các lớp tiền truyền chuyên gia thưa thớt, mỗi token chọn 8 từ 384 chuyên gia, kết hợp cơ chế chú ý cục bộ và toàn cục; tổng số tham số là 594B, số tham số kích hoạt là 17B, độ dài ngữ cảnh tối đa là 1M token. Theo thông tin chính thức, quá trình tiền huấn luyện, huấn luyện trung gian và hậu huấn luyện đều được thực hiện ở độ chính xác NVFP4, do đó phiên bản kiểm tra mô hình (checkpoint) NVFP4 được ưu tiên giới thiệu, ngoài ra còn có phiên bản MXFP8 (theo thông tin chính thức, điểm đánh giá chỉ cao hơn 1–2 phần trăm).
Tại sao quan trọng Huấn luyện gốc bằng định dạng độ chính xác thấp, trọng số được cấp phép Apache, các khung suy luận và hậu huấn luyện chính hỗ trợ ngay từ khi ra mắt, có thể triển khai cục bộ hoặc tự tinh chỉnh
Điểm tăng 95 · Lượt thích 95 · Số lượt tải xuống 12
Lý do
- Trong bảng đánh giá chính thức, BrowseComp (có nén ngữ cảnh) đạt 90.2%, DeepSWE đạt 72.1%, ARC-AGI-2 đạt 81.7%, OmniDocBench đạt 94.6%; trong cùng bảng, chỉ số AA Index của DeepSeek-V4.1-Flash-1017 là 32.6, cao hơn mức 30.6 của nó, các hạng mục có điểm số chênh lệch nhau
- Hệ sinh thái triển khai và huấn luyện đã sẵn sàng: SGLang, vLLM, TokenSpeed, Unsloth cung cấp công thức suy luận cục bộ, Miles, SkyRL và các nền tảng khác hỗ trợ hậu huấn luyện, Together, Baseten, Cloudflare và các bên thứ ba khác cung cấp API
- Chính thức còn liệt kê các bài đánh giá an toàn (FORTRESS, StrongREJECT, v.v.) và liên kết chính sách sử dụng
Cách dùng
- Trước tiên hãy thử nghiệm trực tuyến trên Tinker Playground, hoặc gọi API theo hướng dẫn trong Tinker Cookbook; nếu tinh chỉnh bằng Tinker, cần cài đặt thêm tml-renderers
- Triển khai cục bộ: Tải mô hình thinkingmachines/Inkling-2-Small (NVFP4) theo công thức SGLang / vLLM được cung cấp trong thẻ mô hình; nếu cần FP8, hãy sử dụng Inkling-2-Small-MXFP8
Rủi ro
- Yêu cầu phần cứng cao: Phiên bản NVFP4 cần tổng cộng khoảng 500GB VRAM (ví dụ: 2 thẻ B300 hoặc 4 thẻ H200), phiên bản MXFP8 cần khoảng 800GB
- Bảng điểm do chính thức cung cấp, điểm số của một số mô hình so sánh lấy từ các bảng xếp hạng bên thứ ba hoặc tập dữ liệu công khai, thiết lập đánh giá khác nhau
- Bản tin này chưa được chạy thử nghiệm, hiệu quả thực tế hãy tham khảo thẻ mô hình