Nguồn gốc: Quazim0t0/Qwenx86-4B-compact
Mô hình thử nghiệm do Quazim0t0 xây dựng dựa trên Qwenputer (dự án của divagr1925): thêm 13 lớp "chip" vào trước các lớp ban đầu của Qwen3.5-4B, với trọng số được tính toán trực tiếp bởi trình biên dịch (không qua huấn luyện), tạo ra một lõi x86 64 bit, với 64 KB bộ nhớ được đặt trong trạng thái Gated DeltaNet. Sau khi Qwen đưa ra lời gọi công cụ, máy tính nằm trong trọng số sẽ thực thi: máy tính chính xác, MicroPython, trình biên dịch C nhỏ gọn qcc, lưu trữ ghi chú, cùng với việc truy xuất các hằng số khoa học và tài liệu Python đều được viết dưới dạng firmware vào trong checkpoint. Phiên bản v2 bổ sung các chức năng bộ nhớ như tệp, cơ sở dữ liệu sự kiện, và hồi tưởng nguyên văn; phiên bản v3 cho phép Qwen tự quyết định thời điểm truy xuất và lưu trữ bộ nhớ trong cuộc hội thoại. Tác giả cho biết trên 28 câu hỏi đầu tiên của bộ dữ liệu GSM8K, khi sử dụng công cụ máy tính, mô hình trả lời đúng 26 câu, trong khi Qwen không sử dụng công cụ chỉ trả lời đúng 23 câu.
Tại sao quan trọng Minh họa ý tưởng chạy chương trình trực tiếp từ trọng số của mô hình mà không cần sandbox bên ngoài, có thể chạy trên một card đồ họa 16 GB
Điểm tăng 52 · Lượt thích 52 · Lượt tải 121
Lý do
- Công cụ không gọi dịch vụ bên ngoài mà được thực thi ngay trong quá trình tính toán forward của chính mô hình; tác giả có một Space gỡ lỗi riêng, cho phép phát lại từng bước các thanh ghi, bộ nhớ và đầu ra của máy
- Phiên bản compact chiếm khoảng 9 GB VRAM, có thể chạy trên card đồ họa 16 GB; trọng số theo giấy phép Apache-2.0, phần trình biên dịch theo giấy phép MIT
Cách sử dụng
- Chạy pip install -r requirements.txt, sau đó trong thư mục repository chạy lệnh python -m qwenx86.run --tool calc "câu hỏi", có thể thay đổi công cụ thành c, python, science, pydoc, notes
- Trải nghiệm chức năng bộ nhớ bằng lệnh python -m qwenx86.memory chat
Rủi ro
- Đây là bản demo mang tính nghiên cứu: bản thân Qwen không được huấn luyện cho các công cụ này, đôi khi sẽ định dạng lại kết quả trả về từ công cụ
- Tốc độ chậm: máy chỉ tạo ra 1 token mỗi bước, một lần biên dịch và chạy C cần từ 10 đến 600 nghìn token máy
- Bộ dịch x86 không hỗ trợ nhảy gián tiếp, MicroPython là phiên bản rút gọn; yêu cầu card đồ họa CUDA
- Bản tin này chưa được chạy thử, hiệu quả thực tế hãy xem theo mô hình thẻ (model card)