Оригинальное название: thejagstudio/tessera-small
Загружено индивидуальным разработчиком Jagrat Patel (TheJagStudio) 11 9. Tessera рассматривает каждый пиксель спрайтового изображения размером 16×16 как токен (выбираемый из выученной палитры из 512 цветов, где индекс 0 обозначает прозрачность); двунаправленный Transformer начинает работу с полностью замаскированного холста, используя в качестве условия замороженный текстовый энкодер CLIP, и параллельно раскрывает все 256 пикселей примерно за 16 шагов; здесь нет VAE, нет латентного пространства и нет авторегрессии. Модель Tessera-small имеет 47.6 млн параметров, обучена на датасете Pixel Art Atlas объемом 1.4 млн и распространяется под лицензией CC BY-NC 4.0.
Почему это важно Менее 50 млн параметров, обучение занимает несколько часов на одной видеокарте, подходит для создания игровых иконок и пиксельных ассетов, а архитектура удобна для изучения; разрешено только некоммерческое использование
Рост рейтинга: 46 · Лайки: 51 · Загрузки: 0
Причины
- Автор утверждает, что обучение заняло около 5.5 часов на одной видеокарте RTX PRO 6000 Blackwell (82,342 шагов, 30 эпох)
- Точность предсказания замаскированных пикселей на валидационной выборке составляет 78.8%; оценка по CLIP равна 25.24, для реальных спрайтов — 25.28
- Поддерживается частичная перерисовка; доступна онлайн-демонстрация Space Tessera Pixel Studio
Использование
- Скачайте tessera-small-fp16.pt через hf_hub_download и загрузите с помощью TesseraPipeline.from_checkpoint (код находится в файлах демонстрационного Space); примеры параметров: steps=16, cfg_scale=3.0, num_per_prompt=8
- Также требуется текстовый энкодер openai/clip-vit-base-patch32 (не включен в поставку, лицензия MIT), максимальная длина текста — 24 токенов
Риски
- Лицензия CC BY-NC 4.0: ни модель, ни сгенерированные изображения нельзя использовать в коммерческих целях (нельзя продавать, нельзя включать в платные игры или приложения); для коммерческого использования необходимо заключить отдельное соглашение с автором
- Генерируются только маленькие изображения размером 16×16; код для инференса отсутствует в репозитории модели и его нужно брать из демонстрационного Space. Данный пункт не был проверен на практике