P-JiT 21K:花 21K ドルでゼロから訓練したテキストから画像への生成研究モデル

Linum が公開した研究用チェックポイント:P-JiT(Pyramid-JiT)はピクセル空間拡散アーキテクチャで、2B パラメータの DiT を採用しています。512px で 6.1 億サンプル、1024px で 5000 万サンプルを訓練し、その後 FDFO 変体を用いてポストトレーニングを行いました。作者によれば、計算コストは約 2.1 万ドルです。テキストエンコーダーには凍結された Qwen3.5-4B を使用しています。訓練時の説明は 50~80 語の稠密な記述であり、コードリポジトリには短いプロンプトをこの形式に拡張するスクリプトが付属しています(OpenRouter API Key が必要ですが、無効化可能です)。作者は、これが次世代ビデオモデルに向けた段階的な成果であると説明しています。

原題:Linum-AI/pjit-21k

Linum が公開した研究用チェックポイント:P-JiT(Pyramid-JiT)はピクセル空間拡散アーキテクチャで、2B パラメータの DiT を採用しています。512px で 6.1 億サンプル、1024px で 5000 万サンプルを訓練し、その後 FDFO 変体を用いてポストトレーニングを行いました。作者によれば、計算コストは約 2.1 万ドルです。テキストエンコーダーには凍結された Qwen3.5-4B を使用しています。訓練時の説明は 50~80 語の稠密な記述であり、コードリポジトリには短いプロンプトをこの形式に拡張するスクリプトが付属しています(OpenRouter API Key が必要ですが、無効化可能です)。作者は、これが次世代ビデオモデルに向けた段階的な成果であると説明しています。

なぜ重要か 低コストでゼロからテキストから画像への生成モデルを訓練した完全なサンプルを公開しており、効率的な訓練手法を研究する人々にとって比較対象として適しています

上昇スコア 66 · いいね 66 · ダウンロード数 382

理由

  • 重み、推論コード、訓練に関する考え方をまとめたブログがすべて公開されており、ライセンスは Apache-2.0 です
  • 作者が訓練コストとデータ規模を明記しているため、他のモデルとの訓練効率の比較が容易です
  • 5つのサンプルのプロンプトとシードが提供されており、再現が可能です

使い方

  • git clone Linum-AI/pjit-21k の後に pip install -e . を実行し、generate.py を使用して生成します。デフォルトでは 50 ステップの Euler サンプラー、ガイダンス強度 15 です
  • 短いプロンプトの場合は拡張機能を有効にするか、50~80 語の詳細な説明を自分で作成することを推奨します

リスク

  • 作者は文字の書き込みやポスター作成ができないことを明確に説明しており、訓練時には文字を含む画像を意図的に除外しています
  • モデルが小さいため、全身像、複数人の相互作用、複数の物体、常識的なディテールでエラーが発生しやすいです
  • 実験的な研究用チェックポイントであり、本番用モデルではありません。重みは fp32 で、サイズは約 8.7 GB です
  • 本項目は実行されておらず、効果はモデルカードを参照してください

開く

Hugging Face Trending

最新の AI ニュースを見る