ProprietaryLegal/Volta-Max-uPLIft-FP4-DeepSeek-V4.1-Flash-1017-NVFP4-8xV100-SXM2-PP2xTP4

Tác giả đã nạp toàn bộ các chuyên gia định tuyến (routing experts) vào card đồ họa dưới định dạng nén cấp IQ2, sau đó thay thế dần các trọng số bằng gói NVFP4 chính thức của NVIDIA theo thứ tự tần suất sử dụng cho đến khi hết dung lượng: trong số 15360 chuyên gia định tuyến, có 6087 chuyên gia giữ nguyên độ chính xác NVFP4, đảm nhận từ 79% đến 85% tỷ lệ định tuyến giải mã trong các mẫu được đo lường. Tác giả cho biết phiên bản ngày 13 tháng 11 đạt tốc độ sinh văn bản khoảng 117.7 token mỗi giây cho một yêu cầu đơn lẻ, và từ 143 đến 175 token mỗi giây đối với các tác vụ mã hóa có độ dài từ 1K đến 256K; tỷ lệ khớp với tham chiếu NVFP4 cho token tiếp theo là 95.1%. Phương pháp này chậm hơn so với Volta sPLIt của cùng tác giả nhưng độ chính xác gần hơn với bản gốc.

Tác giả đã nạp toàn bộ các chuyên gia định tuyến (routing experts) vào card đồ họa dưới định dạng nén cấp IQ2, sau đó thay thế dần các trọng số bằng gói NVFP4 chính thức của NVIDIA theo thứ tự tần suất sử dụng cho đến khi hết dung lượng: trong số 15360 chuyên gia định tuyến, có 6087 chuyên gia giữ nguyên độ chính xác NVFP4, đảm nhận từ 79% đến 85% tỷ lệ định tuyến giải mã trong các mẫu được đo lường. Tác giả cho biết phiên bản ngày 13 tháng 11 đạt tốc độ sinh văn bản khoảng 117.7 token mỗi giây cho một yêu cầu đơn lẻ, và từ 143 đến 175 token mỗi giây đối với các tác vụ mã hóa có độ dài từ 1K đến 256K; tỷ lệ khớp với tham chiếu NVFP4 cho token tiếp theo là 95.1%. Phương pháp này chậm hơn so với Volta sPLIt của cùng tác giả nhưng độ chính xác gần hơn với bản gốc.

Tại sao quan trọng Quyết định chuyên gia nào giữ nguyên độ chính xác gốc dựa trên tần suất sử dụng theo từng byte, tất cả các chuyên gia đều nằm trong VRAM và không truyền qua PCIe; tốc độ, độ chính xác và các thử nghiệm thất bại đều được công khai theo ngày, giúp dễ dàng tái hiện.

Số sao 18

Lý do

  • Kho lưu trữ được tạo vào ngày 10 tháng 11, mã nguồn và tài liệu được cấp phép theo Apache-2.0; đã đọc README, mỗi con số đều ghi rõ ngày đo lường, điều kiện và dữ liệu gốc
  • README có một mục riêng dành cho các phần "không thành công hoặc chưa đủ tốt", ví dụ như chất lượng của kỹ thuật đọc nhanh prompt (fast-read prompt) vẫn chưa được xác nhận

Cách sử dụng

  • Cần hai bo mạch NVLink cho card 4 với tổng cộng 8 chiếc V100-SXM2-32GB: biên dịch engine theo README, tải gói ôm mặt dung lượng 556 GB và xác minh bằng SHA256SUMS, sau đó khởi động bằng serve_hot_iq.sh

Rủi ro

  • Yêu cầu phần cứng cao, người dùng thông thường không thể tái hiện; các số liệu về tốc độ và độ chính xác đều đến từ máy của tác giả
  • Kỹ thuật đọc nhanh prompt được bật mặc định sẽ làm thay đổi đầu ra, tác giả lưu ý rằng chất lượng của nó vẫn chưa được xác nhận

Mở

GitHub

Xem tin AI mới nhất