Open Vision Banana: Công thức mở để biến đổi mô hình tạo ảnh thành mô hình phân đoạn và độ sâu

Các nghiên cứu gần đây cho rằng các mô hình tạo ảnh đã học được cách hiểu về thế giới thực, Vision Banana xử lý các tác vụ thị giác như 'chỉnh sửa ảnh có điều kiện', nhưng dữ liệu, trọng số và mã nguồn đều không được công khai. Open Vision Banana cung cấp một công thức hoàn toàn mở và có thể tái tạo: tinh chỉnh trên các mô hình cơ sở FLUX.2 [klein] 4B và 9B, sử dụng từ 210 đến 380 cặp mẫu từ các bộ dữ liệu công khai, một mô hình duy nhất có thể chuyển đổi giữa phân đoạn ngữ nghĩa / phân đoạn thể hiện / phân đoạn chỉ định, ước lượng độ sâu và ước lượng pháp tuyến bề mặt thông qua lời nhắc, đồng thời vẫn giữ nguyên gần như hoàn toàn khả năng chỉnh sửa ảnh và tạo ảnh từ văn bản của mô hình gốc. Các tác giả đã phân tích mã hóa màu sắc, thiết kế lời nhắc, thích ứng tham số và tỷ lệ pha trộn tác vụ, phát hiện ra rằng những lựa chọn này tương tác lẫn nhau, và các phương pháp hiệu quả khi dùng riêng lẻ có thể trở nên kém hiệu quả khi kết hợp. Họ cũng đề xuất 'tích hợp chú giải': sử dụng nhiều bảng đối chiếu lớp-màu khác nhau để thực hiện phân đoạn nhiều lần rồi bỏ phiếu, giúp cải thiện kết quả phân đoạn mà không cần huấn luyện lại.

Tiêu đề gốc: Open Vision Banana: A Fully Open Recipe for Generative Visual Perception

Các nghiên cứu gần đây cho rằng các mô hình tạo ảnh đã học được cách hiểu về thế giới thực, Vision Banana xử lý các tác vụ thị giác như 'chỉnh sửa ảnh có điều kiện', nhưng dữ liệu, trọng số và mã nguồn đều không được công khai. Open Vision Banana cung cấp một công thức hoàn toàn mở và có thể tái tạo: tinh chỉnh trên các mô hình cơ sở FLUX.2 [klein] 4B và 9B, sử dụng từ 210 đến 380 cặp mẫu từ các bộ dữ liệu công khai, một mô hình duy nhất có thể chuyển đổi giữa phân đoạn ngữ nghĩa / phân đoạn thể hiện / phân đoạn chỉ định, ước lượng độ sâu và ước lượng pháp tuyến bề mặt thông qua lời nhắc, đồng thời vẫn giữ nguyên gần như hoàn toàn khả năng chỉnh sửa ảnh và tạo ảnh từ văn bản của mô hình gốc. Các tác giả đã phân tích mã hóa màu sắc, thiết kế lời nhắc, thích ứng tham số và tỷ lệ pha trộn tác vụ, phát hiện ra rằng những lựa chọn này tương tác lẫn nhau, và các phương pháp hiệu quả khi dùng riêng lẻ có thể trở nên kém hiệu quả khi kết hợp. Họ cũng đề xuất 'tích hợp chú giải': sử dụng nhiều bảng đối chiếu lớp-màu khác nhau để thực hiện phân đoạn nhiều lần rồi bỏ phiếu, giúp cải thiện kết quả phân đoạn mà không cần huấn luyện lại.

Tại sao quan trọng Tái tạo ý tưởng của Vision Banana (vốn chỉ công bố bài báo mà không mở mã nguồn), và công khai từng bước, cho phép bạn áp dụng trực tiếp trên mô hình cơ sở tạo ảnh của riêng mình

Lượt thích 29 · Số sao mã nguồn 14

Lý do

  • Các tác giả báo cáo phiên bản zero-shot 9B đạt 73.9 mIoU trên Cityscapes, cao hơn 69.9 do Vision Banana báo cáo; ước lượng độ sâu tương đương với các mô hình độ sâu bất biến affine tốt nhất hiện nay; tích hợp chú giải cải thiện kết quả tối đa 8.7 và 15.0 điểm trên Cityscapes và COCO-Object
  • Nội dung công khai đầy đủ: quy trình tải và xử lý dữ liệu, script huấn luyện và đánh giá, trọng số cuối cùng zero-shot và non-zero-shot cho 4B / 9B, các điểm kiểm tra trung gian, mô hình ablation và LoRA
  • Các tác giả cũng nêu rõ những hạn chế: phiên bản non-zero-shot kém Vision Banana chưa đến năm điểm trong phân đoạn chỉ định và suy luận, khoảng cách trong phân đoạn thể hiện còn lớn hơn

Cách sử dụng

  • Mã nguồn: https://github.com/OpenVisionBanana/OpenVisionBanana;权重:抱脸 FunAILab/Open-Vision-Banana
  • Sử dụng Flux2KleinPipeline của diffusers để tải black-forest-labs/FLUX.2-klein-base-9B, thay thế transformer bằng trọng số trong thư mục con tương ứng của kho lưu trữ; lời nhắc bắt đầu bằng các nhãn tác vụ như [TASK: SEMANTIC_SEGMENTATION] và cung cấp màu sắc cho các lớp, xem PROMPTS.md để biết lời nhắc cho từng tác vụ

Rủi ro

  • Trọng số được phái sinh từ FLUX.2 [klein] Base, được phát hành theo giấy phép phi thương mại của FLUX, không được phép sử dụng cho mục đích thương mại; mã nguồn theo giấy phép Apache-2.0
  • Kết quả trên Cityscapes và phân đoạn thể hiện sử dụng tích hợp chú giải (chạy lần lượt 20 và 11 lần) và bộ lọc bằng mô hình ngôn ngữ đa phương thức lớn, kết quả suy luận đơn lẻ sẽ thấp hơn; các kết quả này do tác giả báo cáo, bản tin này chưa chạy thử

Mở · Mã nguồn · Trang bài báo

Hugging Face Daily Papers

Xem tin AI mới nhất