Một công thức chuyển đổi "từ tự hồi quy sang mô hình ngôn ngữ khuếch tán có mặt nạ" chỉ bằng cách huấn luyện LoRA: toàn bộ tham số của mô hình cơ sở được đóng băng, bộ thích ứng (adapter) chiếm 4.1–5.8% tổng số tham số cuối cùng. Sau khi chuyển đổi, mô hình có thể dự đoán song song từ một chuỗi toàn bộ bị che (mask), khử nhiễu lặp đi lặp lại và sử dụng ngữ cảnh hai chiều trong các bài kiểm tra cơ chế chú ý (attention) có kiểm soát. Tác giả đã chuyển đổi thành công trên bốn mô hình: Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B và Ministral 8B mà không cần điều chỉnh tham số chuyên biệt cho kiến trúc, đồng thời tuyên bố Ministral là bản chuyển đổi đầu tiên thuộc dòng Mistral được công bố rộng rãi.
Lượt thích 8 · Số sao mã nguồn 2
Lý do
- Chi phí thấp: Tác giả cho biết mỗi lần chuyển đổi cần 25,000 vòng lặp, tối đa 102.4 token, hoàn thành trong 3.1–4.0 giờ trên một GPU Google Colab; sau khi hợp nhất bộ thích ứng vào mô hình cơ sở, số lượng tham số không thay đổi.
- Tác giả cho biết phiên bản BYOD-Gemma mạnh nhất đạt điểm trung bình 50.6% trên chín tác vụ, trong khi LLaDA 8B Instruct đạt 51.9% trong cùng khung đánh giá, và vẫn giữ được phần lớn kiến thức của mô hình gốc.
- Có thể xem trực tiếp: Cả bốn bản chuyển đổi đều có demo trực tuyến trên Hugging Face Space, các bộ thích ứng LoRA cho Gemma / Llama v.v. đã được tải lên Hugging Face (ví dụ: Ruurd/BYOD-Gemma-2-9B), mã huấn luyện và đánh giá theo giấy phép MIT, và có thể vừa huấn luyện vừa theo dõi đường cong mất mát (loss curve) cũng như quá trình khử nhiễu trong notebook Colab.
Cách sử dụng
- Nhanh nhất: Mở notebook Colab trong README tại notebooks/train_diffusion.ipynb, chọn mô hình để huấn luyện, ở bước 6 hãy mở trang suy luận tương tác.
- Chạy cục bộ: pip install -e ., cp .env.example .env và điền token chỉ đọc của Hugging Face, chạy python train.py --model llama --mode quick (chế độ quick sử dụng mô hình nhỏ cỡ 1B và LoRA hạng 128, không tái tạo điểm số trong bài báo; chế độ paper sử dụng LoRA hạng 1024, các lần chạy gốc đã sử dụng 96 GB VRAM).
- Suy luận: Sử dụng load_hub_adapter_session("Ruurd/BYOD-Gemma-2-9B", …) cùng với denoise(…) từ lad-generic, không thể sử dụng hàm generate() kiểu nhân quả (causal) thông thường; chạy python merge_adapter.py để hợp nhất bộ thích ứng vào mô hình cơ sở.
Rủi ro
- Tác giả tự ghi nhận rằng chất lượng sinh văn bản mở ở số bước thấp là điểm yếu chính: khi sinh 128 token với 64 bước, độ perplexity là 8.3–11.1, so với 4.1 của LLaDA và 2.2–3.0 của mô hình tự hồi quy gốc.
- Các mô hình gốc như Llama, Gemma là các kho lưu trữ có kiểm soát truy cập (gated repositories), cần chấp nhận các điều khoản trước; bộ thích ứng tuân theo giấy phép của mô hình cơ sở (ví dụ: giấy phép Gemma).
- Các benchmark mã hóa trong phần đánh giá sẽ thực thi mã Python được sinh ra, README khuyến nghị sử dụng môi trường tạm thời (disposable); các điểm số là do tác giả báo cáo.