Thinking Machines mở mã nguồn mô hình cục bộ Inkling 2 Mini

Thinking Machines Lab mở mã nguồn Inkling 2 Mini vào ngày 20 tháng 11: kiến trúc chuyên gia hỗn hợp, tổng tham số 264 tỷ, tham số kích hoạt 34 tỷ, các lớp trung gian của mô hình lặp ba lần cho mỗi token, thực hiện nhiều suy luận hơn với ít token hơn. Nhà phát triển tuyên bố mô hình này dẫn đầu tất cả các mô hình mã nguồn mở có tổng tham số dưới 1000 tỷ trên các bài đánh giá như DeepSWE v1.1 (48.2%) và Vals Index v2.2 (46.5%); phần lớn trọng số ở định dạng NVFP4, bốn lớp cuối cùng ở định dạng MXFP8, tổng mức sử dụng bộ nhớ khoảng 20GB, có thể chạy trên laptop tiêu dùng. Bài đăng trên blog Hugging Face giới thiệu rằng mô hình hỗ trợ ngữ cảnh 100 vạn token và đầu vào hình ảnh-văn bản, hỗ trợ ngay từ ngày đầu tiên các công cụ transformers, llama.cpp, MLX và SGLang; đồng thời phát hành một phiên bản nghiên cứu cho phép điều chỉnh số lần lặp.

Tiêu đề gốc: Chào mừng Inkling 2 Mini, Hiệu suất tiên tiến cho thiết lập cục bộ của bạn

Thinking Machines Lab mở mã nguồn Inkling 2 Mini vào ngày 20 tháng 11: kiến trúc chuyên gia hỗn hợp, tổng tham số 264 tỷ, tham số kích hoạt 34 tỷ, các lớp trung gian của mô hình lặp ba lần cho mỗi token, thực hiện nhiều suy luận hơn với ít token hơn. Nhà phát triển tuyên bố mô hình này dẫn đầu tất cả các mô hình mã nguồn mở có tổng tham số dưới 1000 tỷ trên các bài đánh giá như DeepSWE v1.1 (48.2%) và Vals Index v2.2 (46.5%); phần lớn trọng số ở định dạng NVFP4, bốn lớp cuối cùng ở định dạng MXFP8, tổng mức sử dụng bộ nhớ khoảng 20GB, có thể chạy trên laptop tiêu dùng. Bài đăng trên blog Hugging Face giới thiệu rằng mô hình hỗ trợ ngữ cảnh 100 vạn token và đầu vào hình ảnh-văn bản, hỗ trợ ngay từ ngày đầu tiên các công cụ transformers, llama.cpp, MLX và SGLang; đồng thời phát hành một phiên bản nghiên cứu cho phép điều chỉnh số lần lặp.

Tại sao quan trọng Sử dụng các lớp lặp thay vì tăng số lượng tham số để cải thiện suy luận, trọng số mã nguồn mở đủ nhỏ để vừa trên laptop, cung cấp thêm một lựa chọn cho các tác nhân lập trình cục bộ.

Độ tin cậy: Cao · Nguồn Thinking Machines Lab và 2 nguồn khác (bao gồm nguồn chính thức) · Thời gian sự kiện 11-20 08:00 (giờ Bắc Kinh)

Lý do

  • Trang phát hành chính thức của Thinking Machines và blog chính thức của Hugging Face cùng công bố vào ngày hôm đó, kèm theo chi tiết kiến trúc và bảng đánh giá
  • Trọng số mã nguồn mở, được hỗ trợ ngay từ ngày đầu tiên bởi các khung suy luận cục bộ phổ biến

Cách sử dụng

  • Tải trọng số từ Hugging Face, chạy cục bộ bằng transformers, llama.cpp hoặc MLX; cũng có thể suy luận và tinh chỉnh trên nền tảng Tinker của Thinking Machines

Rủi ro

  • Điểm đánh giá do Thinking Machines tự báo cáo, các thiết lập đánh giá giữa các mô hình là khác nhau
  • Nhà phát triển giải thích rằng việc lặp lại không làm tăng lượng kiến thức mà mô hình có thể ghi nhớ, điểm đánh giá về kiến thức tương đương với các mô hình cùng kích thước

Mở · Thinking Machines Lab

Hugging Face

Xem tin AI mới nhất