Maxwell V1 Flash: Mô hình MoE suy luận và tác nhân với lượng kích hoạt nhỏ

Mô hình ngôn ngữ MoE của maxwell-model được tạo vào ngày 13 tháng 10 và cập nhật vào ngày 14 tháng 11 (tên nội bộ là Maxwell-V1.0-Flash), tổng số tham số 35B, kích hoạt 3B mỗi token (không bao gồm embedding), ngữ cảnh 256K, chỉ văn bản thuần. Sử dụng cơ chế chú ý thưa theo khối MBSA tự phát triển (giới hạn 4,096 token cho mỗi nhóm chú ý chính KV, theo công bố chính thức, nhân xử lý nhanh hơn 6.7 lần so với GQA dày đặc ở ngữ cảnh 256K), dòng dư mHC 4 đường và các chuyên gia hạt mịn (chọn 12 từ 256, cộng thêm 2 chuyên gia chia sẻ); huấn luyện trước đa ngôn ngữ trên khoảng 26T token, bộ tokenizer tiết kiệm hơn cho các ngôn ngữ Đông Nam Á như tiếng Thái, Lào, Miến Điện và Khmer. Giấy phép Apache-2.0.

Tiêu đề gốc: maxwell-model/Maxwell-V1-Flash

Mô hình ngôn ngữ MoE của maxwell-model được tạo vào ngày 13 tháng 10 và cập nhật vào ngày 14 tháng 11 (tên nội bộ là Maxwell-V1.0-Flash), tổng số tham số 35B, kích hoạt 3B mỗi token (không bao gồm embedding), ngữ cảnh 256K, chỉ văn bản thuần. Sử dụng cơ chế chú ý thưa theo khối MBSA tự phát triển (giới hạn 4,096 token cho mỗi nhóm chú ý chính KV, theo công bố chính thức, nhân xử lý nhanh hơn 6.7 lần so với GQA dày đặc ở ngữ cảnh 256K), dòng dư mHC 4 đường và các chuyên gia hạt mịn (chọn 12 từ 256, cộng thêm 2 chuyên gia chia sẻ); huấn luyện trước đa ngôn ngữ trên khoảng 26T token, bộ tokenizer tiết kiệm hơn cho các ngôn ngữ Đông Nam Á như tiếng Thái, Lào, Miến Điện và Khmer. Giấy phép Apache-2.0.

Tại sao quan trọng Lượng kích hoạt tương đương với các mô hình cùng phân khúc của Qwen, theo công bố chính thức điểm số cao hơn trong các tác vụ tìm kiếm và dòng lệnh; ví dụ chính thức triển khai trên một GPU, giấy phép Apache

Điểm tăng 154 · Lượt thích 156 · Lượt tải 287

Lý do

  • So sánh chính thức với 4 mô hình cùng phân khúc như Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it: BrowseComp 76.30 (bật quản lý ngữ cảnh 82.20), Terminal-Bench 58.65, SWE-Bench-Verified (khung Claude Code) 65.40, AIME 2025 mean@8 96.25, đều là điểm cao nhất trong bảng
  • Cũng có các điểm yếu: IFBench 64.80, BBEH 52.51, CoSER 53.54 đều thấp hơn nhiều mô hình trong bảng, điểm trung bình tuân thủ chỉ dẫn thấp hơn Gemma 4 và Muse Glimmer
  • Chính thức cung cấp hình ảnh vLLM tùy chỉnh, báo cáo kỹ thuật và trang dùng thử trực tuyến

Cách sử dụng

  • Tải về bằng lệnh hf download maxwell-model/Maxwell-V1-Flash, chạy vllm serve bằng docker với hình ảnh maxwellmodel/vllm-openai:v0.30.0, thêm các tham số --trust-remote-code --block-size 128 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder
  • Mặc định bật chế độ suy nghĩ; đối với hội thoại nhiều vòng và gọi công cụ, cần truyền lại nguyên trạng reasoning_content và tool_calls từ vòng trước; các bài đánh giá chính thức thường dùng nhiệt độ 0.6, top_p 0.95, top_k 20
  • Yêu cầu driver NVIDIA phiên bản 580 trở lên (CUDA 13.0), với driver cũ cần thêm -e VLLM_ENABLE_CUDA_COMPATIBILITY=1 vào lệnh docker run

Rủi ro

  • Không có thông tin về đội ngũ phát triển hoặc tổ chức, chỉ để lại email liên hệ
  • Phụ thuộc vào hình ảnh vLLM tùy chỉnh chính thức và trust_remote_code; không có yêu cầu về VRAM được công bố, toàn bộ trọng số 35B trên một GPU cần VRAM lớn
  • Kho lưu trữ được tạo từ ngày 13 tháng 10, nhưng mới tăng điểm gần đây; tất cả điểm số đều từ khung đánh giá nội bộ của nhà phát triển. Bài viết này chưa chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất