Tessera-small: маленькая модель, генерирующая пиксельную графику как предложения

Загружено индивидуальным разработчиком Jagrat Patel (TheJagStudio) 11 9. Tessera рассматривает каждый пиксель спрайтового изображения размером 16×16 как токен (выбираемый из выученной палитры из 512 цветов, где индекс 0 обозначает прозрачность); двунаправленный Transformer начинает работу с полностью замаскированного холста, используя в качестве условия замороженный текстовый энкодер CLIP, и параллельно раскрывает все 256 пикселей примерно за 16 шагов; здесь нет VAE, нет латентного пространства и нет авторегрессии. Модель Tessera-small имеет 47.6 млн параметров, обучена на датасете Pixel Art Atlas объемом 1.4 млн и распространяется под лицензией CC BY-NC 4.0.

Оригинальное название: thejagstudio/tessera-small

Загружено индивидуальным разработчиком Jagrat Patel (TheJagStudio) 11 9. Tessera рассматривает каждый пиксель спрайтового изображения размером 16×16 как токен (выбираемый из выученной палитры из 512 цветов, где индекс 0 обозначает прозрачность); двунаправленный Transformer начинает работу с полностью замаскированного холста, используя в качестве условия замороженный текстовый энкодер CLIP, и параллельно раскрывает все 256 пикселей примерно за 16 шагов; здесь нет VAE, нет латентного пространства и нет авторегрессии. Модель Tessera-small имеет 47.6 млн параметров, обучена на датасете Pixel Art Atlas объемом 1.4 млн и распространяется под лицензией CC BY-NC 4.0.

Почему это важно Менее 50 млн параметров, обучение занимает несколько часов на одной видеокарте, подходит для создания игровых иконок и пиксельных ассетов, а архитектура удобна для изучения; разрешено только некоммерческое использование

Рост рейтинга: 46 · Лайки: 51 · Загрузки: 0

Причины

  • Автор утверждает, что обучение заняло около 5.5 часов на одной видеокарте RTX PRO 6000 Blackwell (82,342 шагов, 30 эпох)
  • Точность предсказания замаскированных пикселей на валидационной выборке составляет 78.8%; оценка по CLIP равна 25.24, для реальных спрайтов — 25.28
  • Поддерживается частичная перерисовка; доступна онлайн-демонстрация Space Tessera Pixel Studio

Использование

  • Скачайте tessera-small-fp16.pt через hf_hub_download и загрузите с помощью TesseraPipeline.from_checkpoint (код находится в файлах демонстрационного Space); примеры параметров: steps=16, cfg_scale=3.0, num_per_prompt=8
  • Также требуется текстовый энкодер openai/clip-vit-base-patch32 (не включен в поставку, лицензия MIT), максимальная длина текста — 24 токенов

Риски

  • Лицензия CC BY-NC 4.0: ни модель, ни сгенерированные изображения нельзя использовать в коммерческих целях (нельзя продавать, нельзя включать в платные игры или приложения); для коммерческого использования необходимо заключить отдельное соглашение с автором
  • Генерируются только маленькие изображения размером 16×16; код для инференса отсутствует в репозитории модели и его нужно брать из демонстрационного Space. Данный пункт не был проверен на практике

Открыть

Hugging Face Trending

Открыть последние новости ИИ