Оригинальное название: inworld/sava
Загружено Inworld 11 14 (от той же компании, что и Voice Isolator, добавленный вчера). SAVA считывает монофонический аудиопоток в реальном времени с частотой дискретизации 16 кГц и каждые 40 мс выдает две вероятности: является ли текущий кадр речью (с опережением на 120 мс, результат выдается с задержкой 120 мс) и завершил ли говорящий свою реплику (без опережения). Общая сеть использует как акустические признаки, так и контекст предложения для различения речи и кашля, смеха, музыки или звука клавиатуры. Модель содержит 25.5 млн параметров; архитектура включает каузальные log-mel признаки, основной блок из 3 блоков Mamba-2 и 1 блоков внимания, а также две выходные головы для детекции речи и завершения реплики. Официально указано, что обучение проводилось на примерно 5,000 часах реальной и синтетической диалоговой речи с добавлением нелингвистических вокализаций, шума, музыки и комнатных ревербераций. Код и веса распространяются под лицензией Apache-2.0.
Почему это важно Небольшая модель выполняет две задачи одновременно, работает на CPU и имеет лицензию Apache; способна различать человеческую речь и кашель, смех, музыку или стук по клавиатуре
Рост рейтинга: 38 · Лайки: 57 · Загрузки: 0
Обоснование
- Официальное тестирование на CPU Apple M3 Max: обработка одного аудиопотока занимает 3.8 мс на каждый кадр длительностью 40 мс; также проводилось тестирование на NVIDIA Ampere, Hopper и Blackwell
- Детекция речи сравнивается с Silero VAD, детекция завершения реплики — с pipecat smart-turn v3.2; метрика AUC приводится отдельно для каждого набора данных без общего рейтинга; официально отмечается, что у SAVA есть опережение на 120 мс, что делает сравнение задержек неравноценным
- В репозитории прилагается эталонная стратегия определения смен говорящих, которая разбивает две кривые вероятностей на сегменты речи; приложения могут использовать собственные стратегии
Использование
- pip install inworld-sava (требуется Python 3.10 или выше), затем sava run recording.wav; опция --turns_dir turns/ выводит сегментированные реплики, --curves curves.json сохраняет кривые вероятностей; для ввода с микрофона установите пакет inworld-sava[mic] и запустите sava mic
- Python: загрузка через sava.load("inworld/sava") (при первом запуске происходит автоматическое скачивание и проверка хеша), получение кривых через sava.run, сегментация по стратегии sava.Policy() через sava.segment; для потоковой обработки используйте sava.Session(model), передавая данные через push() при получении каждого фрагмента аудио с частотой 16 кГц и вызывая flush() в конце
- По умолчанию используется CPU, другие устройства можно указать через --device; на GitHub inworld-ai/sava доступны руководства по интеграции и полные таблицы бенчмарков, файл AGENTS.md можно передать программирующему агенту для автоматической установки
Риски
- Модель реагирует на любую человеческую речь, не различая конкретных говорящих; обработка перебиваний и слов-паразитов (типа «угу») зависит от диалоговой стратегии приложения
- Официально указано, что тихие шумы, похожие на голос, могут вызывать ложные срабатывания (тест ESC-50 демонстрирует именно такие случаи); бенчмарки выполнены разработчиками самостоятельно
- Рецепт обучения, код и данные не опубликованы. Данный пункт не был проверен в работе