Tideway: Chạy các mô hình MoE lớn trên máy tính cá nhân tiêu dùng

Việc chạy các mô hình hỗn hợp chuyên gia (MoE) lớn trên máy tính cá nhân có bộ nhớ VRAM và RAM hạn chế đòi hỏi phải phân tán trọng số qua ba tầng: VRAM, RAM và ổ cứng thể rắn NVMe, khiến việc di chuyển các chuyên gia trở thành nút thắt cổ chai trực tiếp trên đường dẫn quan trọng. Các tác giả cho rằng các hệ thống hiện tại coi mỗi tầng là một bộ nhớ đệm độc lập, dẫn đến hiện tượng thrashing (tráo đổi liên tục). Tideway hợp nhất RAM và VRAM thành một vùng nhớ đồng nhất, được hỗ trợ bởi ổ cứng SSD; trước tiên thu hồi các bản sao trùng lặp giữa các tầng. Trong giai đoạn prefill (tiền xử lý), nó mượn VRAM để tải dữ liệu theo luồng với cơ chế bộ đệm kép và “neo giữ” các chuyên gia trong RAM có thể tái sử dụng. Trong giai đoạn decode (giải mã), nó trả lại phần VRAM đã mượn, chuyển đổi thành các khe nhớ đệm chuyên gia có địa chỉ cố định. Khi giải mã, nó sử dụng CUDA Graph phân đoạn, cho phép nạp vào các chuyên gia bị thiếu giữa các đoạn đồ thị mà không cần phải ghi lại đồ thị. Bài báo cáo cáo rằng độ trễ end-to-end trung bình nhanh hơn 1.97 lần, thời gian phản hồi ký tự đầu tiên (TTFT) nhanh hơn 2.40 lần và thông lượng giải mã cao hơn 1.61 lần (so với baseline nhanh nhất).

Tiêu đề gốc: Tideway: Quản lý bộ nhớ phân tầng nhận biết pha cho suy luận MoE trên thiết bị người dùng cuối

Việc chạy các mô hình hỗn hợp chuyên gia (MoE) lớn trên máy tính cá nhân có bộ nhớ VRAM và RAM hạn chế đòi hỏi phải phân tán trọng số qua ba tầng: VRAM, RAM và ổ cứng thể rắn NVMe, khiến việc di chuyển các chuyên gia trở thành nút thắt cổ chai trực tiếp trên đường dẫn quan trọng. Các tác giả cho rằng các hệ thống hiện tại coi mỗi tầng là một bộ nhớ đệm độc lập, dẫn đến hiện tượng thrashing (tráo đổi liên tục). Tideway hợp nhất RAM và VRAM thành một vùng nhớ đồng nhất, được hỗ trợ bởi ổ cứng SSD; trước tiên thu hồi các bản sao trùng lặp giữa các tầng. Trong giai đoạn prefill (tiền xử lý), nó mượn VRAM để tải dữ liệu theo luồng với cơ chế bộ đệm kép và “neo giữ” các chuyên gia trong RAM có thể tái sử dụng. Trong giai đoạn decode (giải mã), nó trả lại phần VRAM đã mượn, chuyển đổi thành các khe nhớ đệm chuyên gia có địa chỉ cố định. Khi giải mã, nó sử dụng CUDA Graph phân đoạn, cho phép nạp vào các chuyên gia bị thiếu giữa các đoạn đồ thị mà không cần phải ghi lại đồ thị. Bài báo cáo cáo rằng độ trễ end-to-end trung bình nhanh hơn 1.97 lần, thời gian phản hồi ký tự đầu tiên (TTFT) nhanh hơn 2.40 lần và thông lượng giải mã cao hơn 1.61 lần (so với baseline nhanh nhất).

Tại sao quan trọng Khi chạy các mô hình MoE lớn cục bộ, trọng số chắc chắn sẽ tràn ra RAM và ổ cứng; các tác giả tuyên bố rằng độ trễ end-to-end và thời gian phản hồi ký tự đầu tiên đều ngắn hơn so với các giải pháp hiện có nhanh nhất

Lượt thích 8 · Số sao mã nguồn 6

Lý do

  • Máy thử nghiệm trong README là RTX 5090 (32 GB VRAM) kết hợp với RAM từ 16–128 GiB, các mô hình bao gồm Qwen3.6-35B-A3B (BF16), Gemma4-26B-A4B (BF16) và DeepSeek-V4-Flash (FP4, khoảng 155 GiB)
  • Các tác giả tuyên bố nhanh hơn tối đa 3.14 lần trong các phiên hội thoại lập trình viên AI đa vòng trên TraceLab; các baseline đối chứng bao gồm FreeToken, llama.cpp, SSD-LLaMA và FlashMoE
  • Mã nguồn theo giấy phép Apache-2.0, kèm theo hoạt ảnh phát lại tốc độ đo được cho việc lưu trú chuyên gia và 29 phiên hội thoại của tác nhân AI

Cách dùng

  • Mã: https://github.com/Afterglow231/Tideway;需要 Linux, Python 3.12 trở lên, card đồ họa NVIDIA, bộ công cụ CUDA 13 và GCC
  • Sau khi chạy python -m pip install -e ., hãy chạy python scripts/build_backend.py để lắp ráp backend; gọi tideway.activate_backend() trước khi nhập FreeToken, sau đó sử dụng tideway.offload.install theo hướng dẫn trong docs/usage.md để trang bị phân lớp chuyên gia cho engine

Rủi ro

  • Đây là một backend được xây dựng trên nền tảng FreeToken 0.1.2, không phải là một chương trình trò chuyện sẵn sàng sử dụng ngay; bạn cần tự cấu hình điểm kiểm tra mô hình, các khe VRAM dành cho chuyên gia và độ dài ngữ cảnh
  • Mức độ tăng tốc khác nhau đáng kể tùy thuộc vào dung lượng RAM; trong README, khi Qwen3.6-35B-A3B chạy với 64 GiB RAM, độ trễ end-to-end chỉ nhanh hơn 1.13 lần; hai baseline SSD-LLaMA và FlashMoE được các tác giả tự hiện thực dựa trên bài báo. Mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất