SenseNova が 10 月 30 日に公開したプレビュー版マルチモーダルモデル。テキストと画像を入力し、テキストを出力する。長いコンテキストとエージェントタスク（ドキュメント読解、コード作成、外部ツール呼び出し）を想定している。構造上、第 4～27 層の重みを共有して2回実行し、32 層の重みで 56 層分の計算を行い、2系統の mHC 残差ストリームで情報フローを管理する。
上昇スコア 70 · いいね 70 · ダウンロード数 12
理由
- 方針は「パラメータを増やさず深さを増す」こと。保存パラメータは約 9B、推論計算パラメータは約 14.6B。デコーダは線形注意力3層とフル注意力1層を交互に配置し、学習時の最大シーケンス長は 262,144 トークン。MTP による高速化に対応済みで、DSpark や DFlash2 のドラフトモデルは現在学習中。
- モデルカードには動的デザイン動画、PPT デザイン、データ分析の例が示されている（公式により Raccoon Work 製品で作成されたと明記）。比較図は BIRD-Dev、Terminal Bench 2.1、AutomationBench、RaccoonPPTBench など8つのエージェントおよびオフィス系ベンチマークをカバーしている。
- ライセンスは Apache-2.0。SFT / DPO / MTP のファインチューニングスクリプト（単一マシン8GPU）が付属。これまで当欄では未収録だった。
使い方
- Transformers：pip install "transformers==5.18.0" accelerate safetensors（公式検証環境は PyTorch 2.11.0 + CUDA 13.0）。AutoModelForCausalLM を trust_remote_code=True、bfloat16 で単一 GPU にロード。apply_chat_template で enable_thinking=True / False を切り替えて思考モードを制御。
- サーブ化：LightLLM 公式イメージで4GPU 例（--tp 4）。OpenAI 互換の /v1/chat/completions エンドポイントを提供。SGLang は PR 47281 のブランチを自前で取得してビルドする必要がある。
- ファインチューニング：git clone OpenSenseNova/torchtitan を実行し、examples/train/SenseNova-Loop-9B-Preview 内の mhc2_loop2_titan.sh を使って SFT を実行。
リスク
- プレビュー版：技術レポートは未公開。モデルカードには Transformers 推論実装の公開詳細が「未定」と記載されており、SGLang サポートは未マージの PR のみに存在。
- 性能は比較図のみで示されており、モデルカードに数値スコアの記載がないため、当欄では具体的な数字を検証できない。例は公式自社製品由来。
- ループ構造により、推論実装ではループ範囲と mHC ルーティングを厳密に再現する必要がある。サードパーティ製の量子化や変換バージョンは互換性がない可能性がある。