Оригинальное название: salesforce-sovereign-intelligence/SOV-Transcribe-1
Непотоковая модель распознавания речи, загруженная Salesforce 11 10. Согласно карточке модели, общее количество параметров составляет 26.6 млрд (активных — 4.6 млрд, включая аудиоэнкодер). Модель состоит из аудиоэнкодера Whisper large-v3, проекционного слоя и MoE-модели Gemma 4 26B A4B. Поддерживает 7 языков: английский, французский, немецкий, испанский, итальянский, португальский и нидерландский. Максимальная длина протестированного аудиофрагмента — 30 минут. С помощью инструкций на естественном языке можно выбирать между дословной транскрипцией и отредактированным текстом, управлять пунктуацией и форматом чисел, а также передавать имена, термины или описания тем для улучшения распознавания сложных слов. Лицензия Apache-2.0.
Почему это важно Можно развернуть на собственном сервере, лучше распознаются такие детали, как имена, телефоны и адреса электронной почты, а выбор между дословной транскрипцией и отредактированным текстом управляется одной фразой
Рост рейтинга на 46 · Лайков 60 · Загрузок 572
Причины
- По официальным данным, по состоянию на 11 12 модель занимает 1-е место среди моделей с открытыми весами и 7-е место в общем рейтинге в таблице Artificial Analysis для непотокового распознавания речи, а также 2-е место по точности распознавания сущностей и успешности выполнения задач среди 23 систем в VoiceCodeBench
- В комплекте идет черновая модель для спекулятивного декодирования DFlash, которая ускоряет декодирование примерно в 2–3 раз при обработке одного запроса; официально на одной карте RTX PRO 6000 Blackwell запись длительностью 30 секунд обрабатывается за 0.22 секунд, что позволяет транскрибировать до 1,039 секунд аудио в секунду
- В карточке модели приведены шаблоны промптов (дословная транскрипция, ключевые слова, автоопределение языка,指定 язык), а также промпты и скрипты оценки для различных тестов, что облегчает воспроизведение результатов
Использование
- Transformers (>=5.19,<5.23): загрузка через AutoProcessor и AutoModelForMultimodalLM с параметром trust_remote_code=True; аудио загружается в моноформате с частотой 16 кГц, затем вызывается processor.apply_transcription_request(audio, prompt="...") и метод generate
- vLLM (официально рекомендуется): после загрузки файлов vllm_plugin/* из репозитория с помощью hf download и установки через pip (устанавливается vLLM 0.32.0) запускается команда vllm serve; используется интерфейс /v1/audio/transcriptions, совместимый с OpenAI; по умолчанию длительность одного запроса составляет 600 секунд, для обработки аудио длительностью 30 минут необходимо установить переменную окружения VLLM_MAX_AUDIO_DECODE_DURATION_S равной 1800
- Для подсказок с именами собственными используется промпт: This audio may contain the following words or phrases: {keywords}. Transcribe the audio into text.; официально рекомендуется использовать жадное декодирование (temperature=0) и отключать режим thinking
Риски
- Не поддерживается китайский язык и потоковое распознавание; данные о рейтинге и скорости предоставлены производителем, таблицы с результатами тестов представлены только в виде изображений
- Нативная поддержка еще не интегрирована в vLLM и Transformers, поэтому сейчас требуется использование trust_remote_code или официального плагина; скорость измерена на профессиональной видеокарте с 96 ГБ видеопамяти, информация о возможности запуска на обычных видеокартах отсутствует
- В редких случаях модель может бесконечно повторять один и тот же символ или фразу до достижения лимита длины; официально эта проблема решается постобработкой; для длинных записей рекомендуется разбивать аудио на сегменты по паузам. Данный пункт не проверялся на практике