Edge0-AI/Edge0

Edge0 là một framework suy luận MoE dạng stream mã nguồn mở: trọng số của các chuyên gia được lưu trữ và nạp vào bộ nhớ theo nhu cầu, bộ nhớ đỉnh điểm phụ thuộc vào các chuyên gia đang được kích hoạt thay vì tổng số tham số; một đầu dự định tuyến (pre-routing head) đã được huấn luyện sẽ dự đoán trước các chuyên gia cần thiết cho token tiếp theo, tác giả tuyên bố thông lượng giải mã tăng tối đa 59%; nền tảng lượng tử hóa 4 bit kết hợp với LoRA được chưng cất (distilled) để bù đắp cho tổn thất do lượng tử hóa. Vào ngày 4 tháng 11, engine hợp nhất edge0-infer dựa trên GGML đã được phát hành, sử dụng cùng một giao diện C++ chạy trên macOS, iOS, Android và Windows, kèm theo dòng lệnh, dịch vụ cục bộ tương thích OpenAI và các ví dụ ứng dụng trò chuyện; phiên bản Edge0-35B-A3B đi kèm dựa trên Qwen3.6-35B-A3B, theo tự kiểm tra của tác giả, điểm trung bình trên năm hạng mục của OpenCompass thấp hơn bản gốc 3.9 điểm.

Edge0 là một framework suy luận MoE dạng stream mã nguồn mở: trọng số của các chuyên gia được lưu trữ và nạp vào bộ nhớ theo nhu cầu, bộ nhớ đỉnh điểm phụ thuộc vào các chuyên gia đang được kích hoạt thay vì tổng số tham số; một đầu dự định tuyến (pre-routing head) đã được huấn luyện sẽ dự đoán trước các chuyên gia cần thiết cho token tiếp theo, tác giả tuyên bố thông lượng giải mã tăng tối đa 59%; nền tảng lượng tử hóa 4 bit kết hợp với LoRA được chưng cất (distilled) để bù đắp cho tổn thất do lượng tử hóa. Vào ngày 4 tháng 11, engine hợp nhất edge0-infer dựa trên GGML đã được phát hành, sử dụng cùng một giao diện C++ chạy trên macOS, iOS, Android và Windows, kèm theo dòng lệnh, dịch vụ cục bộ tương thích OpenAI và các ví dụ ứng dụng trò chuyện; phiên bản Edge0-35B-A3B đi kèm dựa trên Qwen3.6-35B-A3B, theo tự kiểm tra của tác giả, điểm trung bình trên năm hạng mục của OpenCompass thấp hơn bản gốc 3.9 điểm.

Tại sao quan trọng Việc dự đoán trước các chuyên gia cần sử dụng giúp chồng lấn quá trình đọc từ ổ đĩa và tính toán, cho phép chạy cục bộ các mô hình MoE lớn ngay cả trên điện thoại và máy tính thông thường.

Số sao 9670 (+483 / 24h)

Lý do

  • Tăng 483 sao trong 24 giờ (chỉ phản ánh mức độ quan tâm)
  • README cung cấp bảng đo tốc độ của tác giả trên các nền tảng khác nhau: MacBook M5 sử dụng Metal đạt tốc độ giải mã khoảng 24.8 tok/s, bộ nhớ đỉnh điểm 3.43 GiB, iPhone 17 Pro Max khoảng 13.2 tok/s

Cách sử dụng

  • Biên dịch theo hướng dẫn Getting Started của edge0-infer, sử dụng công cụ tài nguyên đi kèm để tải xuống Edge0-35B-A3B-preview, chuyển đổi và khởi động dòng lệnh hoặc dịch vụ cục bộ

Rủi ro

  • Tốc độ và điểm số đều do tác giả tự kiểm tra; quá trình chuẩn bị lần đầu yêu cầu khoảng 18 GB trọng số gốc và khoảng 20 GB không gian cho tài nguyên đã chuyển đổi
  • Engine hợp nhất hiện chỉ hỗ trợ phiên bản 35B, phiên bản 8B vẫn đang trong kế hoạch; tốc độ của ổ cứng SSD ảnh hưởng trực tiếp đến tốc độ tạo sinh

Mở

Trendshift(GitHub Trending 快照)

Xem tin AI mới nhất