HiUni: Cùng một backbone vừa xem hình vừa vẽ hình

Nhóm ernie-research đã mở rộng trực tiếp khả năng sinh tạo trên các mô hình ngôn ngữ thị giác được tiền huấn luyện: cả hiểu và sinh tạo đều dùng chung một ViT được căn chỉnh với ngôn ngữ và backbone Transformer dày đặc, sự khác biệt giữa các tác vụ chỉ nằm ở đầu ra. Để giải quyết vấn đề tối ưu hóa khó khăn trong không gian pixel và việc ViT làm mất các chi tiết không gian, họ đã thêm một Pixel Diffusion Head khử nhiễu trực tiếp trong không gian pixel, cùng với một đường dẫn HiGate nhẹ để bổ sung các chi tiết cục bộ trước khi xuất ra. Bài báo cáo cho biết điểm trung bình về khả năng hiểu gần tương đương với mô hình ngôn ngữ thị giác gốc, còn khả năng sinh tạo và chỉnh sửa hình ảnh có tính cạnh tranh.

Tựa đề gốc: HiUni: Harmonizing Understanding and Generation in Shared Visual Space

Nhóm ernie-research đã mở rộng trực tiếp khả năng sinh tạo trên các mô hình ngôn ngữ thị giác được tiền huấn luyện: cả hiểu và sinh tạo đều dùng chung một ViT được căn chỉnh với ngôn ngữ và backbone Transformer dày đặc, sự khác biệt giữa các tác vụ chỉ nằm ở đầu ra. Để giải quyết vấn đề tối ưu hóa khó khăn trong không gian pixel và việc ViT làm mất các chi tiết không gian, họ đã thêm một Pixel Diffusion Head khử nhiễu trực tiếp trong không gian pixel, cùng với một đường dẫn HiGate nhẹ để bổ sung các chi tiết cục bộ trước khi xuất ra. Bài báo cáo cho biết điểm trung bình về khả năng hiểu gần tương đương với mô hình ngôn ngữ thị giác gốc, còn khả năng sinh tạo và chỉnh sửa hình ảnh có tính cạnh tranh.

Tại sao quan trọng Hầu hết các mô hình thống nhất đều trang bị các biểu diễn thị giác hoặc đường dẫn tính toán riêng biệt cho việc hiểu và sinh tạo; mô hình này chứng minh rằng việc dùng chung một bộ cũng khả thi, khả năng hiểu hầu như không giảm, và backbone 4B trên một GPU đơn có thể tạo ra hình ảnh lớn

Thích 23 · Số sao mã nguồn 12

Lý do

  • README cho biết backbone là 4B, các tham số chuyên dụng cho sinh tạo chỉ là 0.9B, không dùng VAE mà xuất trực tiếp pixel, độ phân giải tối đa 2048×2048; sinh ảnh từ văn bản với độ phân giải 2048² cần khoảng 13 GB VRAM
  • Mã nguồn bao gồm huấn luyện Megatron (toàn bộ và LoRA), suy luận và chuyển đổi điểm kiểm tra (checkpoint) giữa Megatron và transformers, đồng thời quy trình huấn luyện cũng được mở
  • Có hai định dạng trọng số: định dạng transformers và định dạng Megatron, ngoài ra còn có phiên bản HiUni Base không được huấn luyện trên dữ liệu tổng hợp

Cách sử dụng

  • Mã nguồn: https://github.com/ernie-research/HiUni;权重:https://huggingface.co/ernie-research/HiUni;分词器和处理器用 Qwen/Qwen3-VL-4B-Instruct
  • Python 3.10+, bất kỳ GPU CUDA nào: pip install -r hf_inference/requirements.txt, đặt các điểm kiểm tra vào checkpoints/pixel_dit_hf
  • Sinh ảnh từ văn bản: PROMPT="…" bash hf_inference/scripts/run_hf_t2i.sh (mặc định 2048², 25 bước, CFG 4); chỉnh sửa: IMAGE=input.jpg PROMPT="…" bash hf_inference/scripts/run_hf_edit.sh; cũng có thể thực hiện hỏi đáp hình ảnh

Rủi ro

  • Cả README và trang Hugging Face đều không ghi giấy phép cho trọng số, cần xác nhận với tác giả trước khi sử dụng cho mục đích thương mại
  • Chất lượng sinh tạo chỉ được mô tả là "có tính cạnh tranh", mục này chưa kiểm tra các điểm số cụ thể; HiUni Base được khuyến nghị sử dụng ở độ phân giải 1024×1024. Mục này chưa được chạy thử

Mở · Mã nguồn · Trang bài báo trên Hugging Face

Hugging Face Daily Papers

Xem tin AI mới nhất