一套只训 LoRA 的“自回归 → 掩码扩散语言模型”转换配方：底模参数全部冻结，适配器占最终参数的 4.1–5.8%，转换后模型能从全掩码序列出发并行预测、迭代去噪，并在受控注意力测试里用到双向上下文。作者在 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B、Ministral 8B 四个模型上不做架构专门调参就转换成功，称 Ministral 是首个公开报告的 Mistral 系转换。
点赞 8 · 代码星数 2
理由
- 成本低：作者称每次转换 25,000 次迭代、最多 102.4M token，在一张 Google Colab GPU 上 3.1–4.0 小时完成；适配器合并回底模后参数量不变。
- 作者称最强的 BYOD-Gemma 在九项任务上平均 50.6%，同一评测框架下 LLaDA 8B Instruct 为 51.9%，并保留了大部分父模型知识。
- 能直接看：四个转换都有抱脸 Space 在线演示，Gemma / Llama 等 LoRA 适配器已上抱脸（Ruurd/BYOD-Gemma-2-9B 等），训练和评测代码 MIT，Colab 笔记本里能边训边看损失曲线和去噪过程。
用法
- 最快：打开 README 里的 Colab 笔记本 notebooks/train_diffusion.ipynb，选模型训练，第 6 步打开交互推理页。
- 本地：pip install -e .，cp .env.example .env 填抱脸只读 token，python train.py --model llama --mode quick（quick 用 1B 级小模型和 rank-128 LoRA，不复现论文分数；paper 模式用 rank-1024 LoRA，原始运行用了 96 GB 显存）。
- 推理：用 lad-generic 里的 load_hub_adapter_session("Ruurd/BYOD-Gemma-2-9B", …) 加 denoise(…)，不能用普通的 causal generate()；python merge_adapter.py 可把适配器合并进底模。
风险
- 作者自己写明低步数下开放生成质量是主要短板：生成 128 token 用 64 步时困惑度 8.3–11.1，LLaDA 为 4.1，原自回归模型为 2.2–3.0。
- Llama、Gemma 等父模型是门控仓库，要先接受条款；适配器跟随底模许可（如 Gemma 许可）。
- 评测里的代码基准会执行生成的 Python，README 建议用一次性环境；分数为作者报告。