dflow_2b

dflow_2b est un modèle de génération d'images par texte basé sur le flux de correspondance (flow matching), comportant 2B de paramètres. L'encodeur de texte est une partie de T5Gemma 2 270M, et l'auto-encodeur dinac3_96 a été entraîné par l'auteur lui-même. Il accepte des descriptions standard et des descriptions de mise en page au format JSON ; les caractères entre guillemets doubles sont lus lettre par lettre, ce qui aide à l'orthographe ; la longueur maximale du prompt est de 6,144 tokens. L'auteur indique qu'il faut environ 7 Go de mémoire vidéo libre, que la compilation de la première image prend 30–45 secondes supplémentaires, et qu'ensuite, sur une RTX 4090, une image de 832×1216 prend environ 10 secondes. Le dépôt est également un dossier de nœuds personnalisés ComfyUI, accompagné d'exemples de workflows et d'un rapport technique.

dflow_2b est un modèle de génération d'images par texte basé sur le flux de correspondance (flow matching), comportant 2B de paramètres. L'encodeur de texte est une partie de T5Gemma 2 270M, et l'auto-encodeur dinac3_96 a été entraîné par l'auteur lui-même. Il accepte des descriptions standard et des descriptions de mise en page au format JSON ; les caractères entre guillemets doubles sont lus lettre par lettre, ce qui aide à l'orthographe ; la longueur maximale du prompt est de 6,144 tokens. L'auteur indique qu'il faut environ 7 Go de mémoire vidéo libre, que la compilation de la première image prend 30–45 secondes supplémentaires, et qu'ensuite, sur une RTX 4090, une image de 832×1216 prend environ 10 secondes. Le dépôt est également un dossier de nœuds personnalisés ComfyUI, accompagné d'exemples de workflows et d'un rapport technique.

Pourquoi c'est important Ne dépend d'aucun modèle de base existant, l'encodeur de texte et l'auto-encodeur sont très petits, ce qui permet de l'exécuter sur des cartes graphiques grand public ; le format de mise en page est compatible avec MOSS-Image, permettant de créer des affiches via JSON.

J'aime (Hugging Face) 14 · Score de tendance (Hugging Face) 14 · Téléchargements (Hugging Face) 26

Licence : Non commercial · ComfyUI : Nœuds inclus dans le dépôt · Mémoire vidéo : ≈6 Go (estimation)

Raisons

  • La fiche du modèle inclut une galerie d'exemples (à glisser dans ComfyUI pour restaurer le workflow), un rapport technique et des notes de mise à jour
  • L'auteur précise explicitement qu'il s'agit d'une version préliminaire 0.215, encore en entraînement, avec une qualité d'image instable nécessitant plusieurs essais de graines aléatoires

Utilisation

  • Python : après hf download data-archetype/dflow\_2b --local-dir dflow\_2b, exécutez pip install -e dflow\_2b, puis utilisez DFlowPipeline.from\_pretrained("dflow\_2b") pour générer des images ; nécessite Python 3.12, PyTorch 2.13 et une carte graphique NVIDIA compatible avec bf16

Risques

  • Licence non commerciale MG-BY-NC 2.0, l'encodeur de texte est également soumis aux conditions d'utilisation de Gemma
  • Pour ComfyUI, il faut télécharger l'intégralité du dépôt dans custom\_nodes et installer les dépendances ; le code des nœuds n'a pas été audité
  • Version préliminaire, les poids et les résultats des versions futures changeront

Ouvrir

抱脸 comfyui 标签

Parcourir les dernières actualités IA