Tiêu đề gốc: thejagstudio/tessera-small
Nhà phát triển cá nhân Jagrat Patel (TheJagStudio) đã tải lên vào ngày 9 tháng 11. Tessera coi mỗi pixel của ảnh sprite 16×16 là một token (được chọn từ bảng màu 512 màu đã học, mã 0 là trong suốt), một Transformer hai chiều bắt đầu từ canvas bị che hoàn toàn, được điều kiện hóa bởi bộ mã hóa văn bản CLIP đông lạnh, và song song tiết lộ toàn bộ 256 pixel trong khoảng 16 bước; không có VAE, không có không gian tiềm ẩn, và cũng không phải tự hồi quy. Tessera-small có 47.6M tham số, được huấn luyện trên bộ dữ liệu Pixel Art Atlas 1.4M, theo giấy phép CC BY-NC 4.0.
Tại sao quan trọng Dưới 50 triệu tham số, huấn luyện vài giờ trên một card đồ họa, phù hợp để tạo biểu tượng trò chơi và tài nguyên pixel, cấu trúc cũng thích hợp để học hỏi; chỉ cho phép sử dụng phi thương mại
Điểm tăng 46 · Lượt thích 51 · Lượt tải 0
Lý do
- Tác giả tuyên bố đã huấn luyện khoảng 5.5 giờ (82,342 bước, 30 epoch) trên một card RTX PRO 6000 Blackwell
- Độ chính xác dự đoán các pixel bị che trên tập kiểm chứng là 78.8%; điểm CLIP là 25.24, trong khi ảnh sprite thật là 25.28
- Hỗ trợ vẽ lại cục bộ; có demo trực tuyến Space Tessera Pixel Studio
Cách sử dụng
- Tải tessera-small-fp16.pt bằng hf_hub_download, tải bằng TesseraPipeline.from_checkpoint (mã nằm trong các tệp của Space demo); ví dụ với steps=16, cfg_scale=3.0, num_per_prompt=8
- Cũng cần bộ mã hóa văn bản của openai/clip-vit-base-patch32 (không đi kèm, giấy phép MIT), văn bản tối đa 24 token
Rủi ro
- CC BY-NC 4.0: Cả mô hình và ảnh được tạo ra đều không được phép sử dụng thương mại (không được bán, không được đưa vào trò chơi hoặc ứng dụng trả phí), nếu muốn sử dụng thương mại phải ký thỏa thuận riêng với tác giả
- Chỉ tạo ảnh nhỏ 16×16; mã suy luận không nằm trong kho mô hình, phải lấy từ Space demo. Mục này chưa được chạy thử