Оригинальное название: Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription
Потоковые системы распознавания речи часто исправляют уже выведенный текст, из-за чего переводчики и голосовые агенты, реагирующие на каждое слово мгновенно, выполняют лишнюю работу или действуют неверно. R2T2 дообучается на Qwen3-ASR-1.7B с использованием 1,500 часов аудио на китайском и английском языках; аудиоэнкодер замораживается, а модель обучается с помощью предложенных авторами меток «самого длинного стабильного префикса», чтобы определить, какие символы можно уверенно выводить и когда следует ждать дополнительного аудио, без изменения архитектуры модели. Авторы сообщают, что при размере блока 160 мс частота ошибок распознавания составляет 5.76%, тогда как у базовой модели в тех же условиях она равна 21.01%, что близко к показателю 5.15% для полного контекста; хотя обучение проводилось только на китайском и английском языках, улучшение распространяется и на десять других языков.
Почему это важно Синхронный перевод и голосовые агенты реагируют на каждое слово мгновенно, поэтому любое исправление текста приводит к лишней работе или ошибкам; веса, код инференса и серверная часть уже опубликованы
Лайков: 27 · Звёзд на GitHub: 871
Причины
- Предназначен для субтитров в реальном времени, синхронного перевода и голосовых агентов: уже отправленный текст не изменяется, что уменьшает мерцание на экране и переделку работы на последующих этапах
- Веса доступны на Hugging Face и ModelScope; поддерживаются три способа инференса (vLLM, transformers, llama.cpp) и WebSocket-сервис
- Размер блока можно настраивать в диапазоне от 80 мс до 2 с, что позволяет выбирать баланс между точностью и задержкой без повторного обучения
Использование
- Код: https://github.com/netease-youdao/Confucius4-R2T2;权重:抱脸和魔搭 netease-youdao/Confucius4-R2T2
- В README рекомендуется запускать примеры через Docker; также можно использовать Python API для офлайн- или потоковой транскрипции либо запустить WebSocket-сервис для интеграции в приложения; онлайн-демо: https://r2t2.youdao.com/demo
Риски
- При дообучении использовались только китайский и английский языки, поэтому качество работы с другими языками следует оценивать по тестам авторов
- В README указано, что метрики задержки не включают время ожидания в очереди, сетевые задержки и время рендеринга, поэтому фактическая задержка при развертывании будет выше
- Сравнение с другими моделями выполнено авторами самостоятельно; в данном обзоре тесты не проводились