Voice Isolator: открытая модель разделения голоса от Inworld

Модель разделения голоса v1, загруженная Inworld 14 числа 11 месяца, имеет две версии чекпоинтов с общей архитектурой: офлайн-версия voice-isolator-v1 (64 млн параметров, каждый кадр видит весь отрезок длительностью 8 секунд) предназначена для записи звука, а версия реального времени voice-isolator-v1-realtime (58 млн параметров, каузальная потоковая обработка, при упреждении в 20 мс алгоритмическая задержка составляет 63 мс) — для прямых трансляций и звонков. На вход подается монофонический сигнал с частотой дискретизации 48 кГц, на выходе получаются два потока: голос и удаленный фон; сумма этих двух потоков равна исходному входу. Версия v1 выполняет только шумоподавление и не восстанавливает отсутствующие частотные диапазоны записи (функция восстановления запланирована для версии v2). Код и веса распространяются под лицензией Apache-2.0.

Оригинальное название: inworld/voice-isolator

Модель разделения голоса v1, загруженная Inworld 14 числа 11 месяца, имеет две версии чекпоинтов с общей архитектурой: офлайн-версия voice-isolator-v1 (64 млн параметров, каждый кадр видит весь отрезок длительностью 8 секунд) предназначена для записи звука, а версия реального времени voice-isolator-v1-realtime (58 млн параметров, каузальная потоковая обработка, при упреждении в 20 мс алгоритмическая задержка составляет 63 мс) — для прямых трансляций и звонков. На вход подается монофонический сигнал с частотой дискретизации 48 кГц, на выходе получаются два потока: голос и удаленный фон; сумма этих двух потоков равна исходному входу. Версия v1 выполняет только шумоподавление и не восстанавливает отсутствующие частотные диапазоны записи (функция восстановления запланирована для версии v2). Код и веса распространяются под лицензией Apache-2.0.

Почему это важно Лицензия Apache допускает коммерческое использование, версия реального времени имеет настолько низкую задержку, что подходит для звонков и прямых трансляций; можно очищать записи, обрабатывать голосовые данные, а остаточный фон может использоваться как инструмент для разделения музыкальных партий

Рост рейтинга: 56 · Лайки: 60 · Количество загрузок: 0

Причины

  • Архитектура представляет собой двухпоточную сеть с разделением по частотным полосам в области STFT: каждый кадр разбивается на 46 частотных полос, используются 4 блоков внимания и 3 блоков Mamba, на выходе генерируются ограниченные комплексные маски и остаточный сигнал
  • По официальным данным, обучение проводилось примерно на 10,000 часах аудиозаписей, охватывающих многоязычное чтение вслух и диалоги, озвучку персонажей, шепот и пение, при этом сохраняются собственные смех, дыхание и вздохи говорящего
  • При одновременной речи двух людей сохраняется более громкий голос; если громкость близка, обычно сохраняются оба. Модель не выполняет выбор конкретного диктора по заданию

Использование

  • Установите пакет командой pip install inworld-voice-isolation, затем выполните voice-isolate in.wav out.wav (при первом запуске офлайн-модель автоматически загружается и проверяется по хешу); удаленный фон сохраняется отдельно в файл out_background.wav; флаг --no-background позволяет сохранить только голос, а --output-sr 0 сохраняет исходную частоту дискретизации
  • Потоковый режим: создайте объект VoiceIsolator("inworld/voice-isolator", mode="streaming", lookahead_frames=2) и вызовите метод stream(), передавая по 960 отсчетов каждые 20 мс; в конце вызовите flush(); для командной строки добавьте параметры --mode streaming --lookahead 2
  • Если доступна CUDA, используйте её; на Mac с чипами Apple используйте mps (требуется PyTorch версии 2.6 или выше), иначе используйте CPU; в репозитории GitHub inworld-ai/voice-isolator доступны интерактивная демонстрация и описание бенчмарков, а файл AGENTS.md можно передать программирующему агенту для автоматической установки

Риски

  • Официально тестирование проводилось только на видеокартах A100, H100, B200, B300 и на CPU; маломощные видеокарты не проверялись
  • График результатов бенчмарка VIBE из карточки модели получен на основе внутреннего набора данных Inworld, который не публикуется
  • Выполняется только шумоподавление без восстановления: отсутствующие в исходной записи частотные диапазоны не восстанавливаются. Данный пункт не был выполнен

Открыть

Hugging Face Trending

Открыть последние новости ИИ