Pika H3 Flex:6ステップで音声付き動画を生成、複数の参照画像を使用可能

PikaがMiniMax-H3上で後訓練したLoRAアダプターのセットで、同期ステレオ音声付きの動画を生成し、公式によれば6ステップのサンプリングで出力可能。2つのアダプターに分割:FL2VAはテキストから動画への生成および最初のフレーム、最後のフレーム、最初と最後のフレームの制御を担当;Ref2VAはマルチモーダル参照を担当し、最大9枚の画像、3本の動画、3本の音声、合計12個の参照ファイルに対応。ローカルオープンソース推論ではネイティブに480p / 768p、24 fps、5–15秒の出力に対応し、11種類の画面比率をサポート;1080pから4K、トラック別音声、プロンプト強化はPikaのマネージドAPIでのみ提供。

原題:Pika-Labs/Pika-H3-Flex

PikaがMiniMax-H3上で後訓練したLoRAアダプターのセットで、同期ステレオ音声付きの動画を生成し、公式によれば6ステップのサンプリングで出力可能。2つのアダプターに分割:FL2VAはテキストから動画への生成および最初のフレーム、最後のフレーム、最初と最後のフレームの制御を担当;Ref2VAはマルチモーダル参照を担当し、最大9枚の画像、3本の動画、3本の音声、合計12個の参照ファイルに対応。ローカルオープンソース推論ではネイティブに480p / 768p、24 fps、5–15秒の出力に対応し、11種類の画面比率をサポート;1080pから4K、トラック別音声、プロンプト強化はPikaのマネージドAPIでのみ提供。

なぜ重要か オープンウェイトによりローカル実行が可能で、ComfyUIには公式ワークフローがあり、マルチショット短編映画、プロモーション動画、参照画像に基づくアニメーション制作に適している

上昇スコア 151 · いいね 528 · ダウンロード数 1083

理由

  • 1つのモデルで映像と音声(環境音、セリフ、BGM)を同時に出力でき、別途音声モデルを接続する必要がない
  • 最初と最後のフレーム制御および複数参照の2つの制御方式があり、作者が挙げる用途はマルチショットナラティブ、モーショングラフィック、プロモーション動画、参照画像に基づくアニメーション
  • ComfyUIには公式チュートリアルとR2V、FL2VA、T2Vの3種類のワークフローテンプレートがあり、リポジトリにはComfy形式のBF16 LoRAが含まれている

使い方

  • GitHubリポジトリ Pika-Labs/Pika-H3-Flex をクローンし、pip / Conda / Docker のクイックスタートに従ってインストール後、pika-h3-pro コマンドで t2va、i2va、l2va、fl2va または ref2va タスクを選択
  • ComfyUI:comfy/loras/ 内のLoRAをMiniMax-H3ベースモデルと組み合わせ、公式のPika H3 Flexワークフローテンプレートを使用
  • プロンプトは公式ガイドに従い、時間セグメントごとにカメラワーク、アクション、セリフ、音声を記述

リスク

  • アダプターはMiniMax H3コミュニティライセンスで公開されており、商用利用前に条項を確認する必要がある
  • ベースモデルコンポーネントの合計サイズは約210 GBで、公式はH100 80GB環境でのテスト結果のみを提供しており、大きなリクエストにはCPUオフロードを有効にする必要がある
  • デモ動画はクリエイティブなサンプルであり、公式は公開パッケージで正確に再現できることを保証していない
  • 本項目は未実行であり、効果はモデルカードを参照

開く

Hugging Face Trending

最新の AI ニュースを見る