Une recette de conversion « autorégressif → modèle de langage à diffusion masquée » n'entraînant que LoRA : tous les paramètres du modèle de base sont gelés, les adaptateurs représentent 4.1–5.8% des paramètres finaux, et le modèle converti peut prédire en parallèle à partir d'une séquence entièrement masquée, effectuer un débruitage itératif et utiliser un contexte bidirectionnel lors de tests d'attention contrôlée. Les auteurs ont réussi la conversion sur quatre modèles — Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B et Ministral 8B — sans réglage spécifique à l'architecture, et affirment que Ministral est la première conversion de la famille Mistral rapportée publiquement.
J'aime 8 · Étoiles du code 2
Raisons
- Coût faible : les auteurs affirment que chaque conversion nécessite 25,000 itérations et au maximum 102.4M tokens, et se termine en 3.1–4.0 heures sur un seul GPU Google Colab ; le nombre de paramètres reste inchangé après la fusion de l'adaptateur dans le modèle de base.
- Les auteurs affirment que le meilleur BYOD-Gemma obtient une moyenne de 50.6% sur neuf tâches, contre 51.9% pour LLaDA 8B Instruct dans le même cadre d'évaluation, tout en conservant la majeure partie des connaissances du modèle parent.
- Visibilité directe : les quatre conversions disposent de démonstrations en ligne sur Hugging Face Spaces, les adaptateurs LoRA pour Gemma / Llama, etc., sont disponibles sur Hugging Face (par ex. Ruurd/BYOD-Gemma-2-9B), le code d'entraînement et d'évaluation est sous licence MIT, et le notebook Colab permet de visualiser les courbes de perte et le processus de débruitage pendant l'entraînement.
Utilisation
- Le plus rapide : ouvrez le notebook Colab notebooks/train_diffusion.ipynb indiqué dans le README, sélectionnez le modèle à entraîner, puis ouvrez la page d'inférence interactive à l'étape 6.
- En local : pip install -e ., cp .env.example .env, remplissez le jeton en lecture seule Hugging Face, puis python train.py --model llama --mode quick (le mode quick utilise un petit modèle de niveau 1B et un LoRA de rang 128, et ne reproduit pas les scores de l'article ; le mode paper utilise un LoRA de rang 1024, l'exécution originale a utilisé 96 Go de mémoire vidéo).
- Inférence : utilisez load_hub_adapter_session("Ruurd/BYOD-Gemma-2-9B", …) suivi de denoise(…) dans lad-generic ; vous ne pouvez pas utiliser la fonction generate() causale standard ; python merge_adapter.py permet de fusionner l'adaptateur dans le modèle de base.
Risques
- Les auteurs indiquent eux-mêmes que la qualité de la génération ouverte à faible nombre d'étapes est le principal défaut : générer 128 tokens en 64 étapes donne une perplexité de 8.3–11.1, contre 4.1 pour LLaDA et 2.2–3.0 pour le modèle autorégressif original.
- Les modèles parents tels que Llama et Gemma sont des dépôts à accès restreint, il faut d'abord accepter les conditions ; les adaptateurs suivent la licence du modèle de base (par ex. la licence Gemma).
- Les benchmarks de code dans l'évaluation exécutent le code Python généré, le README recommande d'utiliser un environnement jetable ; les scores sont ceux rapportés par les auteurs.