Confucius4-R2T2: потоковое распознавание речи без исправления уже выведенного текста

Потоковые системы распознавания речи часто исправляют уже выведенный текст, из-за чего переводчики и голосовые агенты, реагирующие на каждое слово мгновенно, выполняют лишнюю работу или действуют неверно. R2T2 дообучается на Qwen3-ASR-1.7B с использованием 1,500 часов аудио на китайском и английском языках; аудиоэнкодер замораживается, а модель обучается с помощью предложенных авторами меток «самого длинного стабильного префикса», чтобы определить, какие символы можно уверенно выводить и когда следует ждать дополнительного аудио, без изменения архитектуры модели. Авторы сообщают, что при размере блока 160 мс частота ошибок распознавания составляет 5.76%, тогда как у базовой модели в тех же условиях она равна 21.01%, что близко к показателю 5.15% для полного контекста; хотя обучение проводилось только на китайском и английском языках, улучшение распространяется и на десять других языков.

Оригинальное название: Confucius4-R2T2: A Stable-Prefix Streaming ASR Model for Real Real-Time Transcription

Потоковые системы распознавания речи часто исправляют уже выведенный текст, из-за чего переводчики и голосовые агенты, реагирующие на каждое слово мгновенно, выполняют лишнюю работу или действуют неверно. R2T2 дообучается на Qwen3-ASR-1.7B с использованием 1,500 часов аудио на китайском и английском языках; аудиоэнкодер замораживается, а модель обучается с помощью предложенных авторами меток «самого длинного стабильного префикса», чтобы определить, какие символы можно уверенно выводить и когда следует ждать дополнительного аудио, без изменения архитектуры модели. Авторы сообщают, что при размере блока 160 мс частота ошибок распознавания составляет 5.76%, тогда как у базовой модели в тех же условиях она равна 21.01%, что близко к показателю 5.15% для полного контекста; хотя обучение проводилось только на китайском и английском языках, улучшение распространяется и на десять других языков.

Почему это важно Синхронный перевод и голосовые агенты реагируют на каждое слово мгновенно, поэтому любое исправление текста приводит к лишней работе или ошибкам; веса, код инференса и серверная часть уже опубликованы

Лайков: 27 · Звёзд на GitHub: 871

Причины

  • Предназначен для субтитров в реальном времени, синхронного перевода и голосовых агентов: уже отправленный текст не изменяется, что уменьшает мерцание на экране и переделку работы на последующих этапах
  • Веса доступны на Hugging Face и ModelScope; поддерживаются три способа инференса (vLLM, transformers, llama.cpp) и WebSocket-сервис
  • Размер блока можно настраивать в диапазоне от 80 мс до 2 с, что позволяет выбирать баланс между точностью и задержкой без повторного обучения

Использование

  • Код: https://github.com/netease-youdao/Confucius4-R2T2;权重:抱脸和魔搭 netease-youdao/Confucius4-R2T2
  • В README рекомендуется запускать примеры через Docker; также можно использовать Python API для офлайн- или потоковой транскрипции либо запустить WebSocket-сервис для интеграции в приложения; онлайн-демо: https://r2t2.youdao.com/demo

Риски

  • При дообучении использовались только китайский и английский языки, поэтому качество работы с другими языками следует оценивать по тестам авторов
  • В README указано, что метрики задержки не включают время ожидания в очереди, сетевые задержки и время рендеринга, поэтому фактическая задержка при развертывании будет выше
  • Сравнение с другими моделями выполнено авторами самостоятельно; в данном обзоре тесты не проводились

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ