Tiêu đề gốc: Jeveration: System One Models Now Generate
Các tác giả đã áp dụng mô hình ra quyết định song song kiểu "tư duy nhanh" để tạo hình ảnh: trên một mô hình ngôn ngữ thị giác bị đóng băng (README cho biết backbone là Qwen3.5-4B), tất cả các vị trí đồng thời dự đoán các mã hình ảnh rời rạc, tạo ra toàn bộ hình ảnh 512×512 chỉ trong một lần forward. Thách thức là các dự đoán song song phải ghép lại thành một hình ảnh hài hòa; cách tiếp cận của bài báo là để tất cả các vị trí chia sẻ cùng một trạng thái ngẫu nhiên, mỗi lần lấy mẫu sẽ tạo ra một hình ảnh khác nhau nhưng hoàn chỉnh; vì khi giám sát trực tiếp bằng hình ảnh, mô hình sẽ bỏ qua trạng thái này, nên trước tiên học một phân phối của các mã hình ảnh rời rạc để hướng dẫn quá trình tạo đơn bước. Cùng kiến trúc này cũng thống nhất việc chuyển đổi từ hình ảnh sang hình ảnh và dự đoán dày đặc, một checkpoint thực hiện ba loại tác vụ. Bài báo tuyên bố rằng trên một GPU H200, có thể tạo một hình ảnh 512×512 trong 78 mili giây, nhanh hơn tối đa 122 lần so với các mô hình thống nhất hiện có, với chất lượng hình ảnh và dự đoán dày đặc "có tính cạnh tranh".
Tại sao quan trọng Hầu hết các mô hình tạo sinh cần lặp lại hàng chục bước; mô hình này tạo hình ảnh chỉ trong một lần forward, cùng một bộ trọng số vừa thực hiện chuyển đổi từ hình ảnh sang hình ảnh, vừa dự đoán độ sâu, phân đoạn và pháp tuyến
Lượt thích 112 · Số sao mã nguồn 41
Lý do
- Cả mã nguồn và trọng số đều theo giấy phép Apache-2.0, trọng số khoảng 6.5 GB, Hugging Face cũng có một Space demo trực tuyến
- Chuyển đổi từ hình ảnh sang hình ảnh hỗ trợ chuyển đổi từ bản vẽ đường viền hoặc bản đồ độ sâu sang hình ảnh, tô màu ảnh đen trắng, cũng như ba kiểu chuyển đổi phong cách: anime, Ghibli và màu nước; dự đoán dày đặc cung cấp một lần các thông tin về loại đối tượng, độ sâu (mét) và pháp tuyến bề mặt cho từng pixel
- README cho biết trên cùng phần cứng và phần mềm, với seed cố định, có thể tái tạo chính xác cùng một hình ảnh
Cách sử dụng
- Mã nguồn: https://github.com/Carol-lyh/Jeveration;权重:https://huggingface.co/linlinlinlinsdada/Jeveration,演示:https://huggingface.co/spaces/linlinlinlinsdada/Jeveration
- Môi trường yêu cầu Python 3.12 và GPU CUDA: sau khi chạy pip install -r requirements.txt, dùng lệnh hf download để tải trọng số về thư mục weights/; backbone Qwen3.5-4B, tokenizer TA-TiTok và bộ mã hóa văn bản CLIP sẽ tự động tải xuống khi chạy lần đầu
- Tạo hình ảnh từ văn bản: python generate.py --weights weights/jeveration.pt --decoder weights/decoder512.pt --prompt "…" --seed 0 --out samples/; chuyển đổi từ hình ảnh sang hình ảnh dùng image_to_image.py kèm tham số --task (hed, depth, colorize, anime, ghibli, watercolor), dự đoán dày đặc dùng dense_predict.py; app.py có thể khởi chạy giao diện web Gradio
Rủi ro
- Tóm tắt chỉ nói chất lượng hình ảnh "có tính cạnh tranh", không cung cấp điểm số chất lượng cụ thể; con số 78 mili giây là tốc độ đo được bởi các tác giả trên GPU H200, mục này chưa được chạy thử nghiệm
- Chỉ hỗ trợ một độ phân giải duy nhất là 512×512; dự đoán dày đặc chỉ được huấn luyện trên các cảnh nội thất của bộ dữ liệu NYUv2