원제: Quazim0t0/Qwenx86-4B-compact
Quazim0t0가 divagr1925의 프로젝트인 Qwenputer를 기반으로 제작한 실험 모델입니다. 기존 Qwen3.5-4B 레이어 앞에 학습 없이 컴파일러가 직접 가중치를 계산해 생성한 '칩 레이어' 13개를 추가하여, 64비 x86 코어와 Gated DeltaNet 상태에 저장된 64KB 메모리를 구현했습니다. Qwen이 도구 호출을 하면 가중치 내의 이 컴퓨터가 이를 실행합니다: 정확한 계산기, MicroPython, 소형 C 컴파일러 qcc, 노트 저장 기능, 그리고 과학 상수 및 Python 문서 검색 기능이 모두 체크포인트에 펌웨어로 기록되어 있습니다. v2에서는 파일, 사실 데이터베이스, 축어적 회상 등 기억 기능이 추가되었으며, v3에서는 Qwen이 대화 중 언제 기억을 저장하고 불러올지 스스로 결정합니다. 저자에 따르면 GSM8K의 첫 28문제에서 계산기 도구를 사용하여 26문제를 맞혔으며, 도구를 사용하지 않은 Qwen은 23문제를 맞혔습니다.
중요성 외부 샌드박스 없이 모델 자체 가중치로 프로그램을 실행하는 방식을 시연했으며, 16GB 그래픽 카드 하나로 구동 가능
상승 점수 52 · 좋아요 52 · 다운로드 수 121
이유
- 도구는 외부 서비스를 호출하는 것이 아니라 모델 자체의 순방향 계산 내에서 실행됩니다. 저자는 레지스터, 메모리 및 기계 출력 결과를 단계별로 재생할 수 있는 디버깅 Space를 별도로 제공합니다.
- compact 버전은 약 9GB의 VRAM을 차지하며, 16GB 그래픽 카드로 구동 가능합니다. 가중치는 Apache-2.0 라이선스, 컴파일러 부분은 MIT 라이선스를 따릅니다.
사용법
- pip install -r requirements.txt를 실행한 후, 저장소 디렉토리에서 python -m qwenx86.run --tool calc "질문"을 실행합니다. 도구는 c, python, science, pydoc, notes 등으로 변경할 수 있습니다.
- 기억 기능은 python -m qwenx86.memory chat 명령어를 통해 체험할 수 있습니다.
리스크
- 연구 목적의 데모입니다: Qwen 자체는 이러한 도구들을 위해 학습되지 않았으므로, 때로는 도구의 반환값 형식을 변경하기도 합니다.
- 속도가 느립니다: 기계는 각 단계에서 1개의 토큰만 생성하며, C 컴파일 및 실행 한 번에 10만에서 600만의 기계 토큰이 소요됩니다.
- x86 번역기는 간접 점프를 지원하지 않으며, MicroPython은 경량화된 버전입니다. CUDA 그래픽 카드가 필요합니다.
- 이 항목은 실행되지 않았으므로, 효과는 모델 카드를 기준으로 합니다.