Titre original : thejagstudio/tessera-small
L'éditeur individuel Jagrat Patel (TheJagStudio) a mis en ligne le 9 11. Tessera considère chaque pixel d'une image de sprites de 16×16 comme un token (choisi dans une palette de 512 couleurs apprise, le numéro 0 étant transparent), un Transformer bidirectionnel partant d'un canvas entièrement masqué, conditionné par un encodeur de texte CLIP gelé, révélant parallèlement les 256 pixels en environ 16 étapes ; pas de VAE, pas d'espace latent, et pas non plus autorégressif. Tessera-small compte 47.6 M de paramètres, entraîné sur le jeu de données Pixel Art Atlas de 1.4 M, sous licence CC BY-NC 4.0.
Pourquoi c'est important Moins de cinquante millions de paramètres, quelques heures d'entraînement sur une seule carte, idéal pour les icônes de jeux et les ressources pixelisées, la structure est également adaptée à l'apprentissage ; usage non commercial uniquement
Score de progression 46 · J'aime 51 · Téléchargements 0
Raisons
- L'auteur indique un entraînement d'environ 5.5 heures sur une RTX PRO 6000 Blackwell (82,342 pas, 30 époques)
- Précision de prédiction des pixels masqués sur l'ensemble de validation : 78.8% ; score CLIP : 25.24, contre 25.28 pour les vrais sprites
- Prise en charge de la retouche locale ; une démonstration en ligne Space Tessera Pixel Studio est disponible
Utilisation
- Téléchargez tessera-small-fp16.pt via hf_hub_download, chargez-le avec TesseraPipeline.from_checkpoint (le code se trouve dans les fichiers de la démonstration Space) ; exemples : steps=16, cfg_scale=3.0, num_per_prompt=8
- L'encodeur de texte de openai/clip-vit-base-patch32 est également nécessaire (non inclus, licence MIT), le texte est limité à 24 tokens maximum
Risques
- CC BY-NC 4.0 : le modèle et les images générées ne peuvent pas être utilisés à des fins commerciales (pas de vente, pas d'intégration dans des jeux ou applications payants), un accord séparé avec l'auteur est requis pour un usage commercial
- Ne produit que des petites images de 16×16 ; le code d'inférence n'est pas dans le dépôt du modèle, il faut le récupérer depuis la démonstration Space. Cet élément n'a pas été exécuté