Tessera-small:把像素画当句子生成的小模型

个人开发者 Jagrat Patel(TheJagStudio)11 月 9 日上传。Tessera 把 16×16 精灵图的每个像素当成一个 token(从学到的 512 色调色板里选,0 号是透明),双向 Transformer 从全遮盖画布开始,以冻结的 CLIP 文本编码器为条件,约 16 步并行揭开全部 256 个像素;没有 VAE、没有潜空间,也不是自回归。Tessera-small 47.6M 参数,在 Pixel Art Atlas 1.4M 数据集上训练,CC BY-NC 4.0 许可。

原题:thejagstudio/tessera-small

个人开发者 Jagrat Patel(TheJagStudio)11 月 9 日上传。Tessera 把 16×16 精灵图的每个像素当成一个 token(从学到的 512 色调色板里选,0 号是透明),双向 Transformer 从全遮盖画布开始,以冻结的 CLIP 文本编码器为条件,约 16 步并行揭开全部 256 个像素;没有 VAE、没有潜空间,也不是自回归。Tessera-small 47.6M 参数,在 Pixel Art Atlas 1.4M 数据集上训练,CC BY-NC 4.0 许可。

为什么重要 不到五千万参数、单张卡训练几个小时,适合做游戏图标和像素素材,结构也适合拿来学习;只许非商用

上升分 46 · 点赞 51 · 下载量 0

理由

  • 作者称在一张 RTX PRO 6000 Blackwell 上训练约 5.5 小时(82,342 步、30 轮)
  • 验证集被遮盖像素的预测准确率 78.8%;CLIP 分数 25.24,真实精灵图为 25.28
  • 支持局部重绘;有在线演示 Space Tessera Pixel Studio

用法

  • hf_hub_download 下载 tessera-small-fp16.pt,用 TesseraPipeline.from_checkpoint 加载(代码在演示 Space 的文件里);示例 steps=16、cfg_scale=3.0、num_per_prompt=8
  • 还需要 openai/clip-vit-base-patch32 的文本编码器(不随附,MIT 许可),文本最多 24 个 token

风险

  • CC BY-NC 4.0:模型和生成的图都不能商用(不能卖、不能放进付费游戏或应用),商用要找作者另签
  • 只出 16×16 小图;推理代码不在模型仓库,要从演示 Space 拿。本条未运行

打开

Hugging Face Trending

浏览最新 AI 动态