Tiêu đề gốc: thinkingmachines/Inkling-2-Mini
Thinking Machines Lab ra mắt vào ngày 20 tháng 11, phiên bản nhỏ hơn sau Inkling 2 Small, tiếp nhận văn bản và hình ảnh, xuất văn bản, hướng tới các tác nhân và lời gọi công cụ, trợ lý lập trình, hội thoại và RAG. Bộ giải mã gồm 24 lớp, trong đó 12 lớp ở giữa dùng chung trọng số và lặp ba lần (mỗi token thực hiện tổng cộng 48 phép tính lớp), mỗi lớp chọn 8 trong số 128 chuyên gia, kết hợp cơ chế chú ý cục bộ và toàn cục; tổng tham số 26.4B, tham số kích hoạt 3.4B, tính cả vòng lặp tương đương khoảng 5.4B tham số kích hoạt hiệu dụng, ngữ cảnh tối đa 1M token. Trọng số là một điểm kiểm tra độ chính xác hỗn hợp NVFP4 / MXFP8 khoảng 20GB, theo thông tin chính thức, một máy DGX Spark, thiết bị chip Apple có bộ nhớ trên 32GB hoặc card đồ họa có VRAM 32GB là đủ để suy luận cục bộ.
Tại sao quan trọng Trong bảng so sánh chính thức, điểm lập trình và tác nhân ngang bằng hoặc cao hơn so với các mô hình cùng kích thước; một điểm kiểm tra duy nhất khoảng hai mươi GB, có thể chạy trên Mac và một card đồ họa, giấy phép Apache
Điểm tăng 221.5 · Lượt thích 636 · Lượt tải 136
Lý do
- So sánh chính thức với Gemma 4 31B, Muse Glimmer, Qwen3.8-27B, Nemotron 3.5 Super VL: SWE-bench Verified 79.2%, SWE-bench Pro v2 (Hard) 77.9%, BrowseComp 79.0%, MCP Atlas 82.7%, OmniDocBench 92.8%, AA Index 20.1 ngang hàng với Qwen3.8-27B
- Trong các bài kiểm tra an toàn nội bộ, tỷ lệ thao tác sai, vi phạm ẩn và thao tác phá hoại thấp nhất trong năm mô hình; chính thức tuyên bố đây là mô hình vòng lặp đầu tiên của họ và đã nghiên cứu tác động của vòng lặp đối với giám sát chuỗi suy nghĩ
- Hỗ trợ ra mắt từ Hugging Face, SGLang, vLLM, llama.cpp, Ollama, v.v.; Unsloth đã phát hành phiên bản lượng tử hóa GGUF; cũng có thể gọi và tinh chỉnh thông qua API của nền tảng Tinker
Cách sử dụng
- Trọng số: https://huggingface.co/thinkingmachines/Inkling-2-Mini;在线试用:https://tinker.thinkingmachines.ai/playground
- Để suy luận cục bộ, triển khai theo công thức SGLang / vLLM / TokenSpeed được liên kết trong thẻ; phiên bản GGUF xem tại unsloth/Inkling-2-Mini-GGUF, chạy bằng llama.cpp hoặc Ollama (chip Apple)
- Huấn luyện hậu kỳ có thể dùng Miles, SkyRL; người dùng Tinker cài đặt gói tml-renderers, tham khảo tinker-cookbook
Rủi ro
- Chính thức ghi rõ: yếu hơn Inkling 2 Small trong các câu hỏi kiến thức, dễ trả lời sai một cách tự tin hơn; khi điều chỉnh mã, có thể sa vào suy luận dài lặp đi lặp lại việc tự kiểm tra, khuyến nghị giới hạn số token đầu ra và số vòng lặp của tác nhân
- Khi sử dụng công cụ, có thể xóa hoặc ghi đè tệp mà không cần xác nhận, chính thức khuyến nghị chạy trong môi trường sandbox và thêm xác nhận cho các thao tác phá hoại; trong các bài kiểm tra tiếng Trung, đã xuất hiện tình huống câu bị cắt ngắn, trộn lẫn tiếng Trung và tiếng Anh
- Ngay cả ở mức cấu hình suy luận tối thiểu cũng không thể tắt hoàn toàn suy nghĩ; các lớp vòng lặp khiến lượng tính toán mỗi token cao hơn mức mà tham số kích hoạt biểu kiến, hỗ trợ cho mô hình vòng lặp khi chạy cục bộ còn mới, tốc độ khác nhau tùy theo framework. Đánh giá là tự kiểm tra của chính thức, mục này chưa được chạy