G-STAR: Nén ngắn hơn các token hình ảnh trong sinh ảnh tự hồi quy

Thế tiến thoái lưỡng nan của sinh ảnh tự hồi quy rời rạc: chuỗi token dài giúp chất lượng hình ảnh tốt nhưng chậm, còn nén không gian quá mạnh thì mỗi token không chứa đủ thông tin. Các tác giả chỉ ra dựa trên lượng tử hóa tích hợp rằng, khi lượng thông tin danh nghĩa không đổi, nếu hệ số nén không gian trên mỗi trục tăng gấp α lần, thì kích thước nhóm phải tăng gấp α² lần. G-STAR tuân theo quy luật này để đạt mức nén 32 lần, tương đương nén 64 lần (đóng gói không mất dữ liệu 2×2 token nén 32 lần vào một bước), và sử dụng đầu ra "bán tự hồi quy": các đặc trưng tại mỗi vị trí trong nhóm được tính toán song song một lần, sau đó lấy mẫu tuần tự bằng một lớp transformer nhân quả. Khung chính là Qwen3, cùng một mô hình hỗ trợ sinh ảnh từ văn bản, chỉnh sửa ảnh theo chỉ dẫn và hiểu biết về hình ảnh. Các tác giả tuyên bố rằng ở độ phân giải 1024×1024, mô hình nhanh hơn 20 lần so với các mô hình tự hồi quy rời rạc trước đây, với khoảng 2.5 giây mỗi ảnh trên một GPU H200.

Tiêu đề gốc: G-STAR: Group-Scaled Token Capacity for Deeply Compressed Autoregressive Generation

Thế tiến thoái lưỡng nan của sinh ảnh tự hồi quy rời rạc: chuỗi token dài giúp chất lượng hình ảnh tốt nhưng chậm, còn nén không gian quá mạnh thì mỗi token không chứa đủ thông tin. Các tác giả chỉ ra dựa trên lượng tử hóa tích hợp rằng, khi lượng thông tin danh nghĩa không đổi, nếu hệ số nén không gian trên mỗi trục tăng gấp α lần, thì kích thước nhóm phải tăng gấp α² lần. G-STAR tuân theo quy luật này để đạt mức nén 32 lần, tương đương nén 64 lần (đóng gói không mất dữ liệu 2×2 token nén 32 lần vào một bước), và sử dụng đầu ra "bán tự hồi quy": các đặc trưng tại mỗi vị trí trong nhóm được tính toán song song một lần, sau đó lấy mẫu tuần tự bằng một lớp transformer nhân quả. Khung chính là Qwen3, cùng một mô hình hỗ trợ sinh ảnh từ văn bản, chỉnh sửa ảnh theo chỉ dẫn và hiểu biết về hình ảnh. Các tác giả tuyên bố rằng ở độ phân giải 1024×1024, mô hình nhanh hơn 20 lần so với các mô hình tự hồi quy rời rạc trước đây, với khoảng 2.5 giây mỗi ảnh trên một GPU H200.

Tại sao quan trọng Sinh ảnh tự hồi quy thường chậm do chuỗi quá dài; ở đây đưa ra quy luật về cách tăng đồng thời hệ số nén và kích thước nhóm, giúp cân bằng giữa tốc độ và chất lượng hình ảnh

Thích 40 · Số sao mã nguồn 24

Lý do

  • Hai phiên bản: G-STAR-Pro-8B (nén 32 lần, ưu tiên chất lượng) với điểm GenEval 0.84, GEdit-Bench 7.45; G-STAR-Flash-1.7B (tương đương nén 64 lần, ưu tiên tốc độ) với độ trễ được tối ưu dần từ 22.23 giây của cơ sở đầu ra nhân quả xuống còn 2.50 giây sau khi triển khai dịch vụ SGLang
  • Mã suy luận (sinh ảnh từ văn bản, chỉnh sửa ảnh) và mã huấn luyện (tiền huấn luyện, SFT) đều đã được công bố, giấy phép MIT; Hugging Face đã có một điểm kiểm tra sinh ảnh từ văn bản cùng với bộ tokenizer và bộ tinh chỉnh siêu phân giải 2 lần đi kèm
  • Các tác giả cũng liệt kê những điểm yếu: điểm DPG-Bench của Pro-8B là 83.38, thấp hơn so với các mô hình khuếch tán như Qwen-Image, Z-Image

Cách sử dụng

  • Mã nguồn: https://github.com/DAGroup-PKU/G-STAR;权重:抱脸 DAGroup-PKU/G-star
  • Cài đặt môi trường, tải điểm kiểm tra và bộ tinh chỉnh đi kèm theo docs/installation-and-usage.md rồi chạy gstar.infer; các tác giả khuyến nghị thêm --prompt-enhance để mở rộng lời nhắc bằng Qwen-Image-2.1-PE trước

Rủi ro

  • Các điểm kiểm tra và bộ tinh chỉnh khác chưa được công bố; mỗi điểm kiểm tra phải đi kèm với bộ tinh chỉnh được phát hành đồng thời, các tệp xuất g8 và g16 không tương thích với nhau
  • Suy luận đã được xác minh trên GPU H100 với 80GB; con số 2.5 giây là kết quả trên H200 sau khi áp dụng CUDA Graph, hợp nhất toán tử và dịch vụ SGLang, các số liệu do tác giả báo cáo, mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất