SenseNova-Loop-9B:中間層を2回実行するマルチモーダル小規模モデル

SenseNovaチームが11月17日にアップロードした正式版(10月31日にPreview版を先行公開)。モデルカードによるとパラメータ数は約9B:32層のデコーダーにおいて第4〜27層が重みを共有し、各フォワードパスで2回実行されるため、合計56層分の計算量となる(公式換算で推論当量約14.6B)。さらに、デュアル残差ストリームmHC、および4層ごとに3層の線形注意機構と1層のフル注意機構を組み合わせたハイブリッド構造を採用。テキストと画像を入力として受け取り、テキストを出力し、コンテキスト長は512K。複雑な推論、プログラミング、ツール呼び出し、マルチモーダルタスク向け。Apache-2.0ライセンス。

原題:sensenova/SenseNova-Loop-9B

SenseNovaチームが11月17日にアップロードした正式版(10月31日にPreview版を先行公開)。モデルカードによるとパラメータ数は約9B:32層のデコーダーにおいて第4〜27層が重みを共有し、各フォワードパスで2回実行されるため、合計56層分の計算量となる(公式換算で推論当量約14.6B)。さらに、デュアル残差ストリームmHC、および4層ごとに3層の線形注意機構と1層のフル注意機構を組み合わせたハイブリッド構造を採用。テキストと画像を入力として受け取り、テキストを出力し、コンテキスト長は512K。複雑な推論、プログラミング、ツール呼び出し、マルチモーダルタスク向け。Apache-2.0ライセンス。

なぜ重要か 公式によれば、エージェントおよびデータ分析評価において、パラメータ数が約3倍のQwenモデルに匹敵する性能を示し、4ビット量子化によりVRAM要件は十数GBに低下

上昇スコア 185 · いいね 188 · ダウンロード数 0

理由

  • 公式によれば、正式版は図中の7項目の評価すべてにおいてPreview版を上回っている:AutomationBench 14.33 → 36.67、Terminal-Bench 2.1 40.45 → 59.55、GAIA 37.86 → 69.90;Qwen3.8-27Bとの比較では、AIDABench 65.31 対 65.01、NL2Repo 41.36 対 44.60
  • 公式によるVRAM推定:4ビット重みで約4.9 GB、8ビットKVキャッシュを加えた場合、64K / 128K / 256Kコンテキストでそれぞれ約10 / 12 / 15 GiBが必要
  • 公式はループ回数の実験を実施:1から4回のループのうち、3〜4回でスコアが最も良いため、速度とのバランスを考慮してデフォルトは2回に設定;カードにはWebページ、SVG、ポスター、3Dシーンの生成例のアニメーションGIFが含まれている

使い方

  • Transformers 5.18.0:AutoTokenizerおよびAutoModelForCausalLMの両方でtrust_remote_code=Trueを指定し、dtypeにはbfloat16を使用;apply_chat_template内でenable_thinking=Trueに設定すると思考モードが有効になり、Falseに設定すると無効になる
  • サービスデプロイ:LightLLM公式イメージ(例:--tp 4)はOpenAI互換インターフェースを提供;vLLMおよびSGLangは未マージのPR(vLLM #64832、SGLang #47281)を取得して手動でインストールする必要がある
  • MTP推測デコーディングに対応しており、ドラフトモデルの訓練スクリプトはGitHubのOpenSenseNova/SenseSpecに、ファインチューニングの例はOpenSenseNova/torchtitanにある

リスク

  • 重みのダウンロードにはHugging Faceへのログインとアクセス条項への同意が必要(自動承認);デプロイコマンドはPreview版を引き継いでおり、公式は正式版のエンジンバージョンと設定を後日更新すると述べている
  • カードには初日に公式AWQ 4ビット版を提供すると記載されているが、本記事作成時点ではsensenova名義の公開リストにはまだ存在しない;VRAM数値は公式の推定値
  • 公式が挙げている弱点:ツール定義や制約が多い場合に要件を漏らすことがあり、プログラミングや長チェーンのエージェントタスクでは不安定性が見られ、複雑な3D/アニメーションWebページは2〜3回の修正が必要;スコアはすべて公式のチャートに基づくもので、本記事では検証を行っていない

開く

Hugging Face Trending

最新の AI ニュースを見る