Qwenx86-4B:一台 x86 电脑を重みにコンパイルした Qwen

Quazim0t0 が Qwenputer(divagr1925 のプロジェクト)をベースに作成した実験モデル:Qwen3.5-4B の既存の各層の前に、コンパイラが直接重みを算出する(学習を経ない)「チップ層」を 13 層追加し、64 ビット x86 コアと 64 KB のメモリを Gated DeltaNet の状態内に実装した。Qwen がツール呼び出しを発行すると、重みの中に組み込まれたこのコンピュータが実行を担当する:精密計算機、MicroPython、小型 C コンパイラ qcc、ノート保存、および科学定数と Python ドキュメント検索はすべてファームウェアとしてチェックポイントに書き込まれている。v2 ではファイル、事実データベース、逐語的回想などの記憶機能が追加され、v3 では Qwen が会話内で記憶の保存と取得のタイミングを自律的に判断する。著者によると、GSM8K の最初の 28 問において、計算機ツールを使用した場合の正解数は 26 問、ツールを使用しない Qwen の正解数は 23 問であった。

原題:Quazim0t0/Qwenx86-4B-compact

Quazim0t0 が Qwenputer(divagr1925 のプロジェクト)をベースに作成した実験モデル:Qwen3.5-4B の既存の各層の前に、コンパイラが直接重みを算出する(学習を経ない)「チップ層」を 13 層追加し、64 ビット x86 コアと 64 KB のメモリを Gated DeltaNet の状態内に実装した。Qwen がツール呼び出しを発行すると、重みの中に組み込まれたこのコンピュータが実行を担当する:精密計算機、MicroPython、小型 C コンパイラ qcc、ノート保存、および科学定数と Python ドキュメント検索はすべてファームウェアとしてチェックポイントに書き込まれている。v2 ではファイル、事実データベース、逐語的回想などの記憶機能が追加され、v3 では Qwen が会話内で記憶の保存と取得のタイミングを自律的に判断する。著者によると、GSM8K の最初の 28 問において、計算機ツールを使用した場合の正解数は 26 問、ツールを使用しない Qwen の正解数は 23 問であった。

なぜ重要か 外部サンドボックスに依存せず、モデル自身の重みでプログラムを実行するアプローチを実証しており、16 GB の GPU で動作可能

上昇スコア 52 · いいね 52 · ダウンロード数 121

理由

  • ツールは外部サービスを呼び出すのではなく、モデル自身のフォワード計算内で実行される。著者は別途、レジスタ、メモリ、マシン出力を段階的に再生できるデバッグ用 Space を用意している
  • compact 版は約 9 GB の VRAM を消費し、16 GB の GPU で動作可能。重みは Apache-2.0、コンパイラ部分は MIT ライセンス

使い方

  • pip install -r requirements.txt を実行し、リポジトリディレクトリで python -m qwenx86.run --tool calc 「質問」を実行する。ツールは c、python、science、pydoc、notes に変更可能
  • 記憶機能は python -m qwenx86.memory chat で体験可能

リスク

  • 研究目的のデモ:Qwen 自体はこれらのツール向けに訓練されていないため、ツール返り値の形式を書き換えることがある
  • 速度が遅い:マシンは各ステップで 1 個のトークンしか出力せず、C のコンパイルと実行には 10 万から 600 万個のマシントークンが必要
  • x86 トランスレータは間接ジャンプに対応しておらず、MicroPython は簡略版。CUDA GPU が必要
  • 本項目は未実行であり、効果はモデルカードを参照のこと

開く

Hugging Face Trending

最新の AI ニュースを見る