독립 저자의 실험 모델: Qwen3.5-4B 앞에 학습 없이 컴파일러가 직접 가중치를 계산한 11층의 32비트 RISC-V CPU(RV32IM)를 삽입하고, Gated DeltaNet의 상태를 메모리로 사용하여 모델의 순방향 전파 과정에서 C 및 MicroPython 프로그램을 실행할 수 있습니다. Qwen은 일반적인 도구 호출 형식으로 calc 호출을 작성하며, 결과는 외부 인터프리터를 호출하지 않고 모델이 직접 비트 단위로 다시 씁니다.
상승 점수 80 · 좋아요 80 · 다운로드 수 321
이유
- 저자 자체 테스트(탐욕적 디코딩, 각 그룹 40문제): 합성 정수 연산이 기본 모델의 75.0에서 97.5로 상승했으며, DeepMind mul_big는 55.0에서 97.5로 상승하여 기본 모델이 실제 Python 도구를 호출한 성능과 동등합니다.
- 저자는 약 23만 개의 CPU 출력 위치를 재생했을 때 참조 시뮬레이터와 차이가 없으며, CPU가 공식 riscv-tests를 통과했다고 주장합니다. Qwen의 원래 가중치는 변경되지 않았으며, 텍스트 동작의 기본 모델 대비 KL 발산은 6e-4입니다.
- 방향성이 신규: 결정적 계산을 외부 샌드박스가 아닌 가중치에 내장함. L4에서 초당 약 3,200개의 궤적 토큰을 처리합니다. 라이선스는 Apache-2.0이며, 이전 호에서는 다루지 않았습니다.
사용법
- git clone divagr18/qwenputer를 실행한 후 experimental/riscv 디렉터리로 이동하여 uv sync --extra hf를 실행합니다. hf download divagr1925/Qwen3.5-4B-Qwenputer --local-dir qwenputer-rv를 실행합니다.
- uv run python -m chipformer.rv.chat qwenputer-rv --firmware tests/data/rv/calc-bridge.elf --ask "Use calc: what is 123456789 * 987654321?"를 실행합니다. RvChat 드라이버는 펌웨어를 상태에 로드하고 CPU 궤적 토큰을 Qwen 레이어 외부로 차단하는 역할을 담당합니다.
리스크
- 연구 성격: 현재 공개된 것은 산술 연산뿐이며, 평가는 각 그룹당 40문제에 불과하고 모두 저자 자체 테스트입니다. 저자의 드라이버와 펌웨어를 사용해야만 작동하며, 일반 로딩만으로 대화할 수 있는 모델이 아닙니다.
- bf16 가중치 크기는 18.8GB(대부분 제로 패딩)이며, 어휘에 23만 개의 궤적 토큰이 추가되었습니다. 텍스트만 처리합니다.
- 파일 시스템 버전은 별도로 배포됩니다. GitHub 코드의 인용 정보는 MIT로 기재되어 있으나, 모델 카드는 Apache-2.0로 기재되어 있습니다.