Apex-35B:科学研究およびエージェントタスク向け通義千問(Qwen)のファインチューニング

新組織Apex Intelligenceの最初のモデル。Qwen3.6-35B-A3B(総パラメータ数35B、トークンあたりアクティブパラメータ約3B)をベースに、自社データと科学研究の軌跡を用いて継続学習を実施。公式ではClaude Code(v2.1.280)内での使用を推奨。日常のプログラミング、質問応答、検索、エージェントタスクに加え、流体力学やロボットのシミュレーションにおいて計算の計画、プログラムの作成・実行、結果に基づく手法の改善を行う科学研究ワークフローに対応。各ターンで思考を行うか、またその長さをモデル自身が決定する。公式によれば、開発過程では自社製の自動科学研究システム「Apex Research」を用いて、弱点領域の訓練データの生成、訓練レシピの調整、GPUカーネルおよび推論の最適化を行った。コンテキストウィンドウは262,144トークン(入力と出力で共有)。

原題:Apexintelligence-AI/Apex-35B-V1.0

新組織Apex Intelligenceの最初のモデル。Qwen3.6-35B-A3B(総パラメータ数35B、トークンあたりアクティブパラメータ約3B)をベースに、自社データと科学研究の軌跡を用いて継続学習を実施。公式ではClaude Code(v2.1.280)内での使用を推奨。日常のプログラミング、質問応答、検索、エージェントタスクに加え、流体力学やロボットのシミュレーションにおいて計算の計画、プログラムの作成・実行、結果に基づく手法の改善を行う科学研究ワークフローに対応。各ターンで思考を行うか、またその長さをモデル自身が決定する。公式によれば、開発過程では自社製の自動科学研究システム「Apex Research」を用いて、弱点領域の訓練データの生成、訓練レシピの調整、GPUカーネルおよび推論の最適化を行った。コンテキストウィンドウは262,144トークン(入力と出力で共有)。

なぜ重要か 同サイズのオープンソースモデルの中で、「プログラムを書いて実験を実行し、その結果に基づいて計画を修正する」という科学研究ワークフローに特化した例は稀。トークンあたりアクティブパラメータは約30億で、量子化版も提供されておりローカル環境でのデプロイが可能

上昇スコア 26 · いいね数 103 · ダウンロード数 2566

理由

  • 公式の比較表では、ベースモデルのQwen3.6-35B-A3Bに対し、SciCode主問題で62.6対37.5、BrowseCompで69.4対42.1、BFCL V4で84.0対75.2、HLEで47.2対36.2と向上。ただしLiveCodeBench v6では82.3となり、ベースモデルの84.5をやや下回っている
  • 同表内のGLM5.3やDeepSeek V4.1 Flashなど、より大規模なモデルの多くは依然として高いスコアを記録しているが、本モデルの位置づけは同サイズ帯における科学研究およびエージェントタスクの専門特化にある
  • GGUF版ではBF16および28種類の量子化が提供されており、最小のIQ1_Sは約9.0 GB

使い方

  • hf download Apexintelligence-AI/Apex-35B-V1.0 --local-dir Apex-35B-V1.0(BF16は約72 GB)。量子化版はApexintelligence-AI/Apex-35B-V1.0-GGUFを参照
  • SGLang ≥0.5.22またはvLLM ≥0.32.0でOpenAI互換インターフェースを起動可能。推論およびツール呼び出しパーサーにはqwen3 / qwen3_coderを使用し、MTP投機デコーディングを有効化できる
  • リポジトリに含まれるchat_template.jinjaを必ず使用すること。Qwen3.6のテンプレートに置き換えないこと。llama.cppを使用する場合は--jinjaオプションを付与する必要がある

リスク

  • 訓練データは自社データであり、カード(モデルカード)には規模や出典が記載されていない。「再帰的自己改善」は公式の説明に過ぎず、RoboRSI、Real2Sim、CFD-Benchの3項目は自社内部のベンチマークであり、第三者による検証は不可能
  • すべてのスコアは公式による自己評価。フルコンテキストでのBF16実行には、単一GPUまたは複数GPUのテンソル並列で141GB以上のメモリが必要。古いドライバ(570)環境ではSGLangおよびTransformersの起動に問題が発生する可能性がある。本項目は未実行

開く

Hugging Face Trending

最新の AI ニュースを見る