Mô hình thử nghiệm của tác giả độc lập: Chèn 11 lớp CPU RISC-V 32 bit (RV32IM) với trọng số được tính trực tiếp bởi trình biên dịch (không qua huấn luyện) vào trước Qwen3.5-4B, sử dụng trạng thái của Gated DeltaNet làm bộ nhớ, có thể chạy các chương trình C và MicroPython trong quá trình forward của mô hình; Qwen viết các lệnh gọi calc theo định dạng gọi công cụ thông thường, kết quả được mô hình tự ghi lại từng bit, không gọi trình thông dịch bên ngoài.
Điểm tăng 80 · Lượt thích 80 · Lượt tải 321
Lý do
- Tác giả tự kiểm tra (giải mã tham lam, mỗi nhóm 40 câu hỏi): Phép tính số nguyên tổng hợp tăng từ 75.0 của mô hình cơ sở lên 97.5, DeepMind mul_big tăng từ 55.0 lên 97.5, tương đương với kết quả khi mô hình cơ sở gọi công cụ Python thực sự.
- Tác giả tuyên bố rằng việc phát lại khoảng 23 vạn vị trí đầu ra của CPU không có sự khác biệt so với trình mô phỏng tham chiếu, CPU vượt qua các bài kiểm tra chính thức riscv-tests; trọng số gốc của Qwen không thay đổi, độ phân kỳ KL giữa hành vi văn bản và mô hình cơ sở là 6e-4.
- Hướng tiếp cận mới: Nhúng tính toán xác định vào trọng số thay vì sử dụng sandbox bên ngoài; trên L4 đạt khoảng 3,200 token truy vết mỗi giây. Giấy phép Apache-2.0, chưa được ghi nhận trong các số trước đó.
Cách sử dụng
- git clone divagr18/qwenputer, vào thư mục experimental/riscv và chạy uv sync --extra hf; hf download divagr1925/Qwen3.5-4B-Qwenputer --local-dir qwenputer-rv.
- uv run python -m chipformer.rv.chat qwenputer-rv --firmware tests/data/rv/calc-bridge.elf --ask "Use calc: what is 123456789 * 987654321?"; Trình điều khiển RvChat chịu trách nhiệm nạp firmware vào trạng thái và chặn các token truy vết CPU khỏi các lớp của Qwen.
Rủi ro
- Tính chất nghiên cứu: Hiện tại chỉ mới trình diễn các phép tính số học, đánh giá chỉ gồm 40 câu hỏi mỗi nhóm, đều do tác giả tự kiểm tra; cần sử dụng trình điều khiển và firmware của tác giả, không phải là mô hình có thể trò chuyện ngay khi tải thông thường.
- Trọng số bf16 chiếm 18.8 GB (phần lớn là đệm bằng không), từ điển mở rộng thêm 23 vạn token truy vết; chỉ xử lý văn bản.
- Một phiên bản hệ thống tệp riêng biệt được phát hành sau đó; thông tin trích dẫn mã trên GitHub ghi là MIT, trong khi thẻ mô hình ghi là Apache-2.0.