Gốc: HAL-X-AI/THX-02
Mô hình ra quyết định kiểu 'tư duy' của HAL-X-AI: Cung cấp cho mô hình một trạng thái (tin nhắn, ticket hỗ trợ, tài liệu, bản ghi JSON, dấu vết tác nhân, ảnh hoặc biểu đồ) và một câu hỏi viết bằng ngôn ngữ tự nhiên, mô hình sẽ đưa ra xác suất cho từng phương án của mỗi câu hỏi mà không tạo ra văn bản tự do. Các câu hỏi được chia thành ba loại: trắc nghiệm một đáp án (tối đa 255 phương án), đúng/sai và chấm điểm theo thứ tự; mỗi yêu cầu hỗ trợ tối đa 4 hình ảnh. Mô hình có 4.5 tỷ tham số, cùng với một bộ điều hợp tư duy 60 triệu tham số: khi xác suất cao nhất của câu trả lời trực tiếp thấp hơn ngưỡng và cần suy luận nội bộ, mô hình sẽ viết một ghi chú suy luận gồm vài chục từ trước khi đưa ra quyết định. Tác giả cho biết độ trễ trung vị mỗi yêu cầu là 50 mili giây khi không tư duy và 79 mili giây khi tự động tư duy (trên một card RTX PRO 6000), đạt 65.06 trên mẫu lấy từ tập công khai Decision Index 0.3.
Tại sao quan trọng Các tác vụ phân loại như phân luồng ticket hỗ trợ, kiểm duyệt nội dung hay thao tác giao diện không cần huấn luyện lại cho từng nhiệm vụ mới, nhãn được ghi trực tiếp trong yêu cầu
Điểm tăng 48 · Lượt thích 50 · Lượt tải 2134
Lý do
- Minh họa các trường hợp sử dụng như phân luồng ticket hỗ trợ khách hàng đa ngôn ngữ, đặt vé máy bay bằng cách nhấn nút từng bước theo ảnh chụp màn hình, chơi trò Snake theo hình ảnh, tất cả đều không cần huấn luyện riêng cho các tác vụ này
- Cung cấp client PyPI không phụ thuộc và server tự xây dựng, hỗ trợ giao diện batch; có thể gọi API trên Termux Android, và chạy cục bộ trên điện thoại có đủ bộ nhớ
- Trọng số theo giấy phép Apache-2.0
Cách sử dụng
- Sau khi chạy pip install "thx02[local]", dùng from thx02 import THX02; THX02.load("HAL-X-AI/THX-02"), rồi gọi model.decide(trạng thái, từ điển câu hỏi) để nhận xác suất cho từng phương án
- Server tự xây dựng: thx02-serve --model . --port 8200, gửi yêu cầu tới /v1/decide hoặc /v1/decide/batch; đặt think thành "auto" để bật chế độ tư duy tự động
Rủi ro
- Kết quả là do tác giả tự kiểm tra trên 6,018 yêu cầu mẫu, chưa chạy trên toàn bộ tập công khai và bảng xếp hạng riêng tư; điểm của các mô hình khác trong bảng so sánh được lấy từ kết quả công khai của chúng
- Tính năng tư duy yêu cầu một dịch vụ suy luận GPU riêng, chỉ có thể trả lời trực tiếp trên CPU và điện thoại
- Tác giả lưu ý rằng xác suất chỉ được hiệu chỉnh trên phân phối huấn luyện, cần kiểm tra bằng vài trăm mẫu có nhãn trước khi áp dụng vào các lĩnh vực khác biệt lớn
- Bài viết này chưa được chạy thử, hiệu quả thực tế dựa trên thẻ mô hình