pplx-decider v1.3: Mô hình phân loại đa phương thức của Perplexity

Perplexity tải lên vào ngày 9 tháng 11, phiên bản tiếp theo của v1.2, là mô hình phân loại đa phương thức dựa trên nền tảng Qwen3.8-27B. Một yêu cầu cung cấp một trạng thái (văn bản, JSON hoặc hình ảnh) và một số câu hỏi, mỗi câu hỏi thuộc một trong bốn loại: choice (1–255 lựa chọn, trả về xác suất cho từng lựa chọn), noul (có / không, trả về xác suất đúng), score (chấm điểm từ 2 đến 255 mức, trả về mức điểm kỳ vọng) và locate mới (trích xuất các đoạn văn bản nguyên văn từ nguồn gốc, kèm vị trí ký tự và điểm số). Mô hình không xuất ra toàn bộ từ vựng mà sử dụng một đầu đọc gồm 255 dòng, với các lớp attention toàn phần nhìn thấy đầu vào theo cả hai chiều; nhiệt độ đã được hiệu chỉnh trên dữ liệu giữ lại (holdout data), và có file decision_config.json. Giấy phép Apache-2.0.

Gốc: perplexity-ai/pplx-decider-v1.3

Perplexity tải lên vào ngày 9 tháng 11, phiên bản tiếp theo của v1.2, là mô hình phân loại đa phương thức dựa trên nền tảng Qwen3.8-27B. Một yêu cầu cung cấp một trạng thái (văn bản, JSON hoặc hình ảnh) và một số câu hỏi, mỗi câu hỏi thuộc một trong bốn loại: choice (1–255 lựa chọn, trả về xác suất cho từng lựa chọn), noul (có / không, trả về xác suất đúng), score (chấm điểm từ 2 đến 255 mức, trả về mức điểm kỳ vọng) và locate mới (trích xuất các đoạn văn bản nguyên văn từ nguồn gốc, kèm vị trí ký tự và điểm số). Mô hình không xuất ra toàn bộ từ vựng mà sử dụng một đầu đọc gồm 255 dòng, với các lớp attention toàn phần nhìn thấy đầu vào theo cả hai chiều; nhiệt độ đã được hiệu chỉnh trên dữ liệu giữ lại (holdout data), và có file decision_config.json. Giấy phép Apache-2.0.

Tại sao quan trọng Phù hợp cho các tác vụ phân loại hàng loạt như phân loại ticket hỗ trợ, kiểm duyệt nội dung và định tuyến; chỉ xuất ra xác suất mà không tạo văn bản, giúp dễ dàng sắp xếp và đặt ngưỡng, giấy phép Apache

Điểm tăng 27 · Lượt thích 92 · Lượt tải 1304

Lý do

  • Chế độ separate mặc định tính toán riêng cho từng câu hỏi, việc thêm, xóa hoặc thay đổi các câu hỏi khác không ảnh hưởng đến câu trả lời; chế độ isolated chia sẻ một lần đọc vào nên tiết kiệm hơn, theo tài liệu chính thức, có 1.5–2.2% câu trả lời ưu tiên sẽ thay đổi trên mẫu thử
  • Khi fast=True, tài liệu chính thức cho biết chế độ separate nhanh hơn khoảng 1.7–1.9 lần, chế độ isolated nhanh hơn 9–18 lần, tỷ lệ khớp giữa câu trả lời ưu tiên và triển khai tham chiếu đạt trên 99.4%
  • Tài liệu chính thức ghi nhận đóng góp từ bộ dữ liệu tasksource, cho rằng phần lớn cải thiện đến từ bộ dữ liệu này; quá trình huấn luyện, đánh giá và các trường hợp sử dụng được mô tả trong blog của Perplexity

Cách sử dụng

  • Yêu cầu Python 3.12 trở lên, card đồ họa CUDA, trọng số BF16 chiếm khoảng 49 GiB cộng thêm bộ nhớ làm việc; sau khi dùng snapshot_download, thêm source/src vào sys.path, rồi import từ pplx_decider import Decider; cũng có thể cài đặt bằng pip install ./source
  • Sau khi dùng Decider.from_pretrained(checkpoint, device="cuda"), gọi decide({"state": ..., "questions": {...}, "images": [...]}); khi cần sắp xếp, dùng decider.logits() để lấy hiệu số giữa xác suất đúng và sai của loại noul, tránh hiện tượng bão hòa xác suất dẫn đến điểm bằng nhau
  • Loại locate yêu cầu trạng thái chỉ chứa văn bản thuần, không kèm hình ảnh, tối đa 128 câu hỏi mỗi yêu cầu; hình ảnh tự động được thu nhỏ xuống dưới 1.6 MP, chiếm khoảng 1,600 vị trí; max_length mặc định là 32,768 token

Rủi ro

  • Mô hình ghi rằng "kho lưu trữ là riêng tư, cần token có quyền truy cập", nhưng khi xem xét mục này, kho lưu trữ lại công khai và có thể đọc được, hãy kiểm tra quyền truy cập thực tế
  • Mô hình không cung cấp điểm đánh giá; không thể tái tạo checkpoint này bằng suy luận nhân quả thông thường, bắt buộc phải sử dụng mã nguồn đi kèm, và cách xây dựng prompt của v1.1 / v1.2 cũng không thể áp dụng trực tiếp
  • Khi phụ thuộc vào giá trị xác suất, tài liệu chính thức khuyến nghị hiệu chỉnh lại bằng dữ liệu lưu lượng thực tế của bạn, vì một mức nhiệt độ duy nhất không phù hợp cho mọi tác vụ. Mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất