Mô hình “phán quyết” được Liquid AI hậu huấn luyện trên LFM3-Omni-2B, là phiên bản d1-2B bổ sung đầu vào âm thanh: cung cấp cho nó một đoạn văn bản hoặc trạng thái JSON, hình ảnh, khung hình video, đoạn âm thanh và một số câu hỏi có tên (có thể viết hoặc nói trực tiếp), một lần truyền về phía trước sẽ trả về câu trả lời và xác suất cho từng câu hỏi, không tạo ra văn bản; hướng tới việc phân loại cuộc gọi đến và tin nhắn thoại, nhận diện sự kiện âm thanh, cũng như các tác vụ phán quyết văn bản và hình ảnh tương tự như d1-2B.
Tăng 81 điểm · 81 lượt thích · 1083 lượt tải xuống
Lý do
- Các loại câu hỏi bao gồm phán quyết đúng/sai, câu hỏi một lựa chọn / nhiều lựa chọn, chấm điểm từ 2 đến 10 cấp, trích xuất văn bản / số / ngày tháng từ trạng thái (kèm vị trí trong văn bản gốc), ước tính số lượng với khoảng tin cậy p10–p90, và khoanh vùng một hoặc tất cả các đối tượng trong hình ảnh.
- Nhà phát triển tuyên bố thời gian phán quyết mỗi lần là 5.8 ms trên H100, 3.7 ms trên AMD MI325X, 12.4 ms / 8.2 ms khi kèm âm thanh dài 10 giây, và 21.1 ms trên Apple M5 Pro.
- Kiểm thử âm thanh chính thức (độ chính xác hiệu dụng, 0 là mức ngẫu nhiên): nhận diện ý định lệnh từ trợ lý giọng nói người thật SLURP khi nghe đọc đạt 81.7, âm thanh môi trường ESC-50 đạt 84.5, nhận diện 43 ngôn ngữ đạt 92.5; phiên bản d1-2B thu thập vào ngày 29 tháng 10 không hỗ trợ âm thanh, phiên bản này chưa được ghi nhận trong các kỳ trước.
Cách sử dụng
- pip install "transformers>=5.19" torch torchvision pillow; AutoModel.from_pretrained("LiquidAI/d1-Omni-2B", trust_remote_code=True), gọi model.system_one(trạng_thái, {tên_câu_hỏi: {type, instructions, …}}, media=[{"type": "audio", "path": "call.wav"}]); không có tham số lấy mẫu để điều chỉnh.
- Âm thanh sử dụng định dạng PCM WAV 16 bit (tự động lấy mẫu lại thành 16 kHz); nếu hỏi bằng lời nói, hãy thay thế instructions bằng đoạn âm thanh; để xử lý hàng loạt, sử dụng system_one_batch, trước tiên gọi model.compile() để khởi động nóng (lần biên dịch đầu tiên mất khoảng một phút).
- Các giá trị hoặc khung hình bị thiếu sẽ trả về None khi độ tin cậy found thấp hơn 0.5; ngưỡng phán quyết cần được hiệu chuẩn bằng dữ liệu từ nghiệp vụ của bạn.
Rủi ro
- Không phải là mô hình trò chuyện, không tạo ra bản ghi chép cũng không tạo ra giọng nói; độ chính xác giảm mạnh với các đoạn hội thoại dài (nghe đọc Belebele đạt 41.8, văn bản viết đạt 83.6), rõ rệt hơn với các ngôn ngữ không dùng ký tự Latin; giọng nói không hỗ trợ tiếng Hindi, tiếng Thái, tiếng Việt và tiếng Indonesia.
- Khi không cần âm thanh, nhà phát triển khuyến nghị sử dụng d1-2B: mạnh hơn về văn bản và khoanh vùng đơn, độ hiệu chuẩn tốt hơn; điểm trung bình trên các benchmark công khai của mô hình này là 67.7, thấp hơn mức 70.2 của d1-2B.
- Giấy phép là LFM Open License v1.0, không phải Apache / MIT; yêu cầu trust_remote_code; tất cả các điểm số đều do nhà phát triển tự kiểm thử.