DeepSeekは、自社の大規模オンラインサービスを支える推論フレームワーク「DeepInfer」をオープンソース化しました。このバージョンはオフライン（バッチ）推論のみを提供し、現在DeepSeek-V4.1-Flashに対応しています。
スター数 23403
信頼度：高（80） · イベント日時 2026-10-15
理由
- リポジトリは 10-16 に作成されました（最近の動きであり、過去 24 時間以内の出来事です）。GitHubのdeepseek-aiからの情報取得は前回は失敗しましたが、今回は初めて候補に入りました。
- 公式によれば、これはオンラインサービスで使用されているものと同一のフレームワークです。自社開発のFlashMLA、DeepGEMM、DeepEPなどのカーネル、Attention DP / CPおよびMoE EP + EPLB並列化、DSpark投機的デコーディング（信頼度に基づく検証スケジュール付き）、非同期スケジューリングを採用しています。
- batch-invariant推論と決定論的サンプリングを有効にでき、同じ入力とサンプリングパラメータで同じ出力が得られます（NVIDIAのみ対応）。正規表現、JSON Schema、EBNFによる出力制約に対応しています。
- リポジトリにはAIME 2026、HLE、GPQA Diamondのオフライン評価スクリプトが含まれています。スター数は単に関心の高さを示すものです。
使い方
- 環境：Linux、GCC 13+、Python 3.12が必要。NVIDIAではCUDA 13、昇騰（Ascend）ではCANN 9.2が必要です。空のPython 3.12環境で export DEEPINFER_ACCELERATOR=nvidia（昇騰の場合はascend）を実行した後、./build.shを実行します。
- python examples/offline_inference.pyを実行すると、デフォルトでdeepseek-ai/DeepSeek-V4.1-Flash-1017がHugging Faceキャッシュにダウンロードされます。ローカルに重みがある場合は、DEEPINFER_HF_MODEL_DIRでそのパスを指定します。マルチGPUでは、--ep 8、--ep 2 --dp 8などのパラメータを使用します。
- 決定論的出力：DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0を設定し、SamplingParamsに固定のseq_seedを渡します。構造化出力では、SamplingParamsにso_argsを渡します。
リスク
- NVIDIA SM100アーキテクチャのGPUとHuawei昇騰 950 NPUのみに対応しており、コンシューマー向けGPUでは使用できません。公式のパフォーマンスグラフは、prefillに 4 カード、decodeに 64 カードを使用した場合の測定結果です。
- このバージョンにはKVキャッシュシステム、Prefill/Decode分離デプロイ、マルチレプリカ負荷分散が含まれていないため、完全なオンラインサービスとして直接構築することはできません。現在対応しているモデルはV4.1-Flashのみです。