Tessera-small:ピクセルアートを文として生成する小規模モデル

個人開発者 Jagrat Patel(TheJagStudio)が11月9日にアップロード。Tesseraは、16×16のスピリット画像の各ピクセルをトークンとして扱い(学習された512色のパレットから選択し、0番は透明)、双方向Transformerが完全にマスクされたキャンバスから開始し、凍結されたCLIPテキストエンコーダを条件として、約16ステップで全256ピクセルを並列に開示する。VAEなし、潜在空間なし、自己回帰でもない。Tessera-smallは47.6Mパラメータで、Pixel Art Atlas 1.4Mデータセット上で訓練され、CC BY-NC 4.0ライセンスの下にある。

原題:thejagstudio/tessera-small

個人開発者 Jagrat Patel(TheJagStudio)が11月9日にアップロード。Tesseraは、16×16のスピリット画像の各ピクセルをトークンとして扱い(学習された512色のパレットから選択し、0番は透明)、双方向Transformerが完全にマスクされたキャンバスから開始し、凍結されたCLIPテキストエンコーダを条件として、約16ステップで全256ピクセルを並列に開示する。VAEなし、潜在空間なし、自己回帰でもない。Tessera-smallは47.6Mパラメータで、Pixel Art Atlas 1.4Mデータセット上で訓練され、CC BY-NC 4.0ライセンスの下にある。

なぜ重要か 5,000万パラメータ未満、単一GPUで数時間の訓練で済み、ゲームアイコンやピクセル素材の作成に適している。構造も学習に最適だが、非商用利用のみ許可されている

上昇スコア 46 · いいね 51 · ダウンロード数 0

理由

  • 作者によると、RTX PRO 6000 Blackwell上で約5.5時間(82,342ステップ、30エポック)訓練した
  • 検証セットにおけるマスクされたピクセルの予測精度は78.8%。CLIPスコアは25.24で、実際のスピリット画像では25.28
  • 部分的な再描画に対応。オンラインデモ「Tessera Pixel Studio」Spaceあり

使い方

  • hf_hub_downloadでtessera-small-fp16.ptをダウンロードし、TesseraPipeline.from_checkpointで読み込む(コードはデモSpaceのファイル内にある)。例:steps=16、cfg_scale=3.0、num_per_prompt=8
  • openai/clip-vit-base-patch32のテキストエンコーダも必要(同梱されておらず、MITライセンス)。テキストは最大24トークン

リスク

  • CC BY-NC 4.0:モデルおよび生成画像ともに商用利用不可(販売不可、有料ゲームやアプリへの組み込み不可)。商用利用には作者との別途契約が必要
  • 出力は16×16の小型画像のみ。推論コードはモデルリポジトリに含まれておらず、デモSpaceから取得する必要がある。本項目は未実行

開く

Hugging Face Trending

最新の AI ニュースを見る