DuoはIntentとRealizationの2つのモジュールで構成されています。ユーザーの動画は音声認識と強制アライメントによって断片化され、Intentに送られます。Intentは統一されたタイムライン上で、応答するかどうか、そしてどのように応答するかを決定し、その後Realizationを導いてアシスタントの音声・映像を生成します。今回公開されるのは、Duo-1.0の因果的ベース版、4ステップ蒸留版、FP8量子化版、および画質が改善されたDuo-1.2因果的ベース版です。重みはMiniMax H3から初期化され、メインブランチは研究用のオフラインフローを提供し、vLLM-OmniおよびSGLang-Omniブランチはリアルタイムのストリーミングデプロイを提供します。
なぜ重要か 多くの生成モデルはユーザーの話が終わるまで結果を出力しませんが、このモデルは自己回帰的なIntentモジュールを用いて、いつ、どのように会話に参加するかを決定し、生成モジュールを駆動して音声・映像を出力します。さらに、ストリーミングデプロイもオープンソース化されています。
Hugging Faceいいね 4 · Hugging Face上昇スコア 4 · Hugging Faceダウンロード数 0
ライセンス:条件付き商用利用可 · ComfyUI:未対応 · VRAM:記載なし
地域制限:MiniMax H3のオープンウェイトライセンスには、EU、英国、韓国、米国(LICENSEのExcluded Territories)は含まれておらず、これら4地域ではMiniMaxからの別途の許諾が必要です。
理由
- 論文、技術レポート、ブラウザデモコンソール、およびHugging Faceオンラインデモが添付されています
- コードはApache-2.0ライセンスで、ModelScopeでも重みが同期提供されています
使い方
- github.com/inclusionAI/Duoをクローンし、READMEに従ってモデル用と音声用の2つのPython環境をそれぞれ構築します。
hf download inclusionAI/Duo-1.2-causal-base --local-dir weightsを実行し、configs/inference.jsonを編集した後、run\_demo.py --port 4173を実行します。Webページで動画を録画し、その応答を確認してください
リスク
- プレビュー版であり、現時点では基本的な音声・映像対話のみをサポートしています。視覚的なインタラクションはv2を待つ必要があります。デフォルトのオフライン設定では2枚のCUDA GPUが必要です
- 重みはMiniMax H3コミュニティライセンスに従うため、EU、英国、韓国、米国では適用されません