P-JiT 21K : modèle de recherche de génération d'images à partir de texte, entraîné de zéro pour 21K dollars

Point de contrôle de recherche publié par Linum : P-JiT (Pyramid-JiT), architecture de diffusion dans l'espace pixel, DiT de 2B paramètres, entraîné sur 6.1 millions d'échantillons à 512px et 5000 mille échantillons à 1024px, puis affiné via une variante FDFO, avec un coût de calcul estimé par les auteurs à environ 2.1 mille dollars. L'encodeur de texte utilise Qwen3.5-4B gelé. Les descriptions d'entraînement sont des légendes denses de 50 à 80 mots ; le dépôt de code inclut un script pour étendre les prompts courts dans ce format (nécessite une clé API OpenRouter, désactivable). Les auteurs précisent qu'il s'agit d'une étape intermédiaire vers un modèle vidéo de nouvelle génération.

Titre original : Linum-AI/pjit-21k

Point de contrôle de recherche publié par Linum : P-JiT (Pyramid-JiT), architecture de diffusion dans l'espace pixel, DiT de 2B paramètres, entraîné sur 6.1 millions d'échantillons à 512px et 5000 mille échantillons à 1024px, puis affiné via une variante FDFO, avec un coût de calcul estimé par les auteurs à environ 2.1 mille dollars. L'encodeur de texte utilise Qwen3.5-4B gelé. Les descriptions d'entraînement sont des légendes denses de 50 à 80 mots ; le dépôt de code inclut un script pour étendre les prompts courts dans ce format (nécessite une clé API OpenRouter, désactivable). Les auteurs précisent qu'il s'agit d'une étape intermédiaire vers un modèle vidéo de nouvelle génération.

Pourquoi c'est important Publie un exemple complet d'entraînement de zéro d'un modèle de génération d'images à partir de texte à faible coût, utile pour les chercheurs étudiant les méthodes d'entraînement efficaces

Score en hausse de 66 · J'aime 66 · Téléchargements 382

Raisons

  • Les poids, le code d'inférence et le blog sur la méthodologie d'entraînement sont tous publics, sous licence Apache-2.0
  • Les auteurs indiquent clairement le coût d'entraînement et la taille des données, facilitant la comparaison de l'efficacité d'entraînement avec d'autres modèles
  • Les prompts et les graines des cinq exemples sont fournis, permettant la reproduction

Utilisation

  • Après git clone Linum-AI/pjit-21k, exécutez pip install -e ., puis générez avec generate.py ; par défaut, 50 pas Euler, force de guidage 15
  • Pour les prompts courts, il est recommandé d'activer l'extension ou d'écrire soi-même des descriptions détaillées de 50 à 80 mots

Risques

  • Les auteurs précisent explicitement que le modèle ne peut pas écrire de texte ni créer d'affiches, les images contenant du texte ayant été intentionnellement retirées lors de l'entraînement
  • Le modèle étant petit, les portraits en pied, les interactions entre plusieurs personnes, les scènes avec plusieurs objets et les détails relevant du sens commun sont sujets à erreurs
  • Point de contrôle de recherche expérimental, non destiné à la production ; les poids sont en fp32, taille d'environ 8.7 GB
  • Cette entrée n'a pas été exécutée ; les résultats dépendent de la carte du modèle

Ouvrir

Hugging Face Trending

Parcourir les dernières actualités IA