著者は、すべてのルーティング専門家(エキスパート)をまず IQ2 圧縮形式で GPU にロードし、使用頻度が高い順に NVIDIA 公式の NVFP4 パッケージ内の重みへと置き換えていき、メモリが満杯になるまで続けた。その結果、15360 個あるルーティング専門家のうち 6087 個は NVFP4 精度を維持しており、測定サンプルにおいてデコード時のルーティングの 79% から 85% を担当した。著者によれば、11 月 13 日時点のバージョンでは、単一リクエストでの生成速度は毎秒約 117.7 トークンであり、コード類で長さが 1K から 256K の場合は毎秒 143 から 175 トークンとなる。次のトークンが NVFP4 参照結果と一致する割合は 95.1% であった。同じ著者によるより高速な Volta sPLIt よりも遅いが、公式の精度にはより近い。
なぜ重要か 各バイトの使用頻度に基づいてどの専門家が元の精度を保持するかを決定し、すべての専門家を PCIe を経由せずに VRAM 内に配置する。速度、精度、失敗した試みについても日付付きで公開されており、再現性を確保している。
スター数 18
理由
- リポジトリは 11 月 10 日に作成され、コードとドキュメントは Apache-2.0 ライセンスで提供されている。README を確認したところ、すべての数値に測定日付、条件、および生データが明記されていた
- README には「成功しなかった、あるいはまだ不十分」というセクションが独立して設けられており、例えば高速プロンプト読み取りの品質は未確認であることが挙げられている
使い方
- NVLink ボードを備えた 4 カードが合計 8 枚(V100-SXM2-32GB)必要。README に従ってエンジンをコンパイルし、556 GB の「抱きつき」パッケージをダウンロードして SHA256SUMS で検証した後、serve_hot_iq.sh を使用して起動する
リスク
- ハードウェア要件が高く、一般ユーザーでは再現が困難。速度と精度の数値はすべて著者自身のマシンによるもの
- デフォルトで有効になる高速プロンプト読み取り機能は出力を変化させる可能性があり、その品質は著者によって未確認である旨が注記されている