SOV-Transcribe-1: Mô hình chuyển đổi giọng nói thành văn bản với trọng số mở của Salesforce

Mô hình nhận dạng giọng nói phi dòng chảy do Salesforce tải lên vào ngày 10 tháng 11, thẻ mô hình cho biết tổng số tham số là 26.6B (kích hoạt 4.6B, bao gồm bộ mã hóa âm thanh), được cấu thành từ bộ mã hóa âm thanh Whisper large-v3, lớp chiếu và Gemma 4 26B A4B MoE. Hỗ trợ 7 ngôn ngữ gồm tiếng Anh, Pháp, Đức, Tây Ban Nha, Ý, Bồ Đào Nha và Hà Lan; đo được trên một đoạn âm thanh đơn lẻ lên tới 30 phút; có thể sử dụng chỉ dẫn bằng ngôn ngữ tự nhiên để chọn giữa bản ghi nguyên văn hoặc bản ghi đã chỉnh sửa, kiểm soát dấu câu và định dạng số, đồng thời cung cấp tên riêng, thuật ngữ hoặc mô tả chủ đề để hỗ trợ nhận dạng các từ khó. Giấy phép Apache-2.0.

Tiêu đề gốc: salesforce-sovereign-intelligence/SOV-Transcribe-1

Mô hình nhận dạng giọng nói phi dòng chảy do Salesforce tải lên vào ngày 10 tháng 11, thẻ mô hình cho biết tổng số tham số là 26.6B (kích hoạt 4.6B, bao gồm bộ mã hóa âm thanh), được cấu thành từ bộ mã hóa âm thanh Whisper large-v3, lớp chiếu và Gemma 4 26B A4B MoE. Hỗ trợ 7 ngôn ngữ gồm tiếng Anh, Pháp, Đức, Tây Ban Nha, Ý, Bồ Đào Nha và Hà Lan; đo được trên một đoạn âm thanh đơn lẻ lên tới 30 phút; có thể sử dụng chỉ dẫn bằng ngôn ngữ tự nhiên để chọn giữa bản ghi nguyên văn hoặc bản ghi đã chỉnh sửa, kiểm soát dấu câu và định dạng số, đồng thời cung cấp tên riêng, thuật ngữ hoặc mô tả chủ đề để hỗ trợ nhận dạng các từ khó. Giấy phép Apache-2.0.

Tại sao quan trọng Có thể triển khai trên máy chủ riêng, nhận dạng chính xác hơn các chi tiết như tên riêng, số điện thoại và email, chỉ cần một câu lệnh để điều khiển việc tạo bản ghi nguyên văn hay bản ghi đã chỉnh sửa

Điểm tăng 46 · Lượt thích 60 · Lượt tải 572

Lý do

  • Theo thông tin chính thức, tính đến ngày 12 tháng 11, mô hình này xếp thứ 1 trong số các mô hình có trọng số mở (xếp thứ 7 trên bảng xếp hạng tổng) trên bảng xếp hạng chuyển đổi giọng nói thành văn bản phi dòng chảy của Artificial Analysis, và xếp thứ 2 về độ chính xác thực thể và tỷ lệ hoàn thành tác vụ trong số 23 hệ thống trên VoiceCodeBench
  • Được trang bị mô hình nháp giải mã suy đoán DFlash, tốc độ giải mã nhanh hơn khoảng 2–3 lần khi xử lý từng yêu cầu riêng lẻ; theo thử nghiệm chính thức trên một card RTX PRO 6000 Blackwell, một đoạn ghi âm dài 30 giây được trả kết quả trong 0.22 giây, với tốc độ chuyển đổi tối đa 1,039 giây âm thanh mỗi giây
  • Thẻ mô hình cung cấp các mẫu lời nhắc (nguyên văn, từ khóa, tự động phát hiện ngôn ngữ, chỉ định ngôn ngữ) cùng với lời nhắc và tập lệnh chấm điểm cho từng bài đánh giá, giúp dễ dàng tái hiện kết quả

Cách sử dụng

  • Transformers (>=5.19,<5.23): Sử dụng AutoProcessor và AutoModelForMultimodalLM với trust_remote_code=True để tải mô hình, âm thanh được đọc ở dạng đơn kênh với tần số 16 kHz, sau đó gọi processor.apply_transcription_request(audio, prompt="...") rồi generate
  • vLLM (được khuyến nghị chính thức): Tải xuống vllm_plugin/* từ kho lưu trữ này bằng lệnh hf download, sau đó pip install (sẽ cài đặt vLLM 0.32.0), rồi chạy vllm serve, sử dụng giao diện tương thích OpenAI /v1/audio/transcriptions; mặc định xử lý 600 giây mỗi lần, để hỗ trợ 30 phút cần đặt biến môi trường VLLM_MAX_AUDIO_DECODE_DURATION_S thành 1800
  • Để cung cấp gợi ý về danh từ riêng, sử dụng mẫu: This audio may contain the following words or phrases: {keywords}. Transcribe the audio into text.; khuyến nghị chính thức là sử dụng giải mã tham lam (temperature=0) và tắt tính năng thinking

Rủi ro

  • Không hỗ trợ tiếng Trung và không hỗ trợ nhận dạng dòng chảy; các xếp hạng và tốc độ đều là tuyên bố từ phía nhà phát triển, bảng đánh giá chỉ có hình ảnh
  • Hỗ trợ gốc vẫn đang trong quá trình tích hợp vào vLLM và Transformers, hiện tại cần sử dụng trust_remote_code hoặc plugin chính thức; tốc độ được đo trên card chuyên dụng có bộ nhớ VRAM 96 GB, chưa có thông tin chính thức về khả năng chạy trên card đồ họa thông thường
  • Trong một số ít trường hợp, mô hình có thể lặp lại một ký tự hoặc cụm từ cho đến khi đạt giới hạn độ dài, phía nhà phát triển đã xử lý bằng cách loại bỏ qua hậu xử lý; đối với các đoạn ghi âm dài, nên cắt thành các đoạn nhỏ dựa trên khoảng dừng. Mục này chưa được chạy thử

Mở

Hugging Face Trending

Xem tin AI mới nhất