На вход подается аудиозапись со смешанными голосами нескольких людей, шумом и реверберацией, а также видеоряд губ целевого говорящего. Модель выводит только голос этого человека, работая каузально (в реальном времени по мере поступления данных). Сепаратор выполняет многомасштабное разделение во временной и частотной областях за один проход кодирования-декодирования, в отличие от предыдущих легковесных решений, которые многократно вызывали маленькие сепараторы. При обучении добавлена «контрастная функция потерь для говорящих в пространстве энкодера», специально предназначенная для подавления перекрестных помех от голосов других людей, находящихся рядом; при инференсе это не требует дополнительных вычислительных затрат. Авторы также публикуют бенчмарк RealSSA: в симулированных сценах присутствует 1–5 ближних мешающих говорящих и еще 10–15 дальних мешающих говорящих, а также имеется отдельный тестовый набор с реальными записями.
Лайков: 149 · Звезд на GitHub: 20
Причины
- Полнота поставки: код для обучения и оценки, веса моделей Falcon и Falcon-Big (на платформе Hugging Face: JusperLee/Falcon, JusperLee/Falcon-Big), онлайн-демо на Hugging Face ZeroGPU, а также локальное демо в реальном времени Falcon Studio. Код и веса распространяются под лицензией Apache-2.0.
- По заявлению авторов, по сравнению с каузальной моделью AV-TFGridNet количество параметров уменьшено на 91.9%, вычислительная нагрузка снижена в 20.2 раз, а задержка на GPU уменьшена в 11.1 раз; согласно данным статьи, количество обучаемых параметров составляет 0.5 млн (всего 11.72 млн с учетом замороженного энкодера для чтения по губам).
- По заявлению авторов, модель показывает лучшие результаты среди каузальных методов на наборах данных RealSSA-Sim, LRS2-2Mix, LRS3-2Mix и VoxCeleb2-2Mix; в README приведена полная сравнительная таблица с девятью базовыми методами.
- Готовность к внедрению: Falcon Studio отслеживает губы через браузер с помощью MediaPipe, отправляет разделенный звук в наушники или через виртуальный звуковой интерфейс в Zoom / Tencent Meeting; согласно README, при окне длительностью 2 секунд и генерации нового аудиофрагмента каждые 0.5 секунд обработка одного окна на Apple M5 Pro с использованием Metal занимает примерно 0.12 секунд.
Использование
- Самый быстрый способ попробовать: откройте ссылку на Space в README (JusperLee/Falcon-Studio), запишите фрагмент длительностью до 60 секунд прямо в браузере и выполните разделение.
- Локальный режим реального времени: клонируйте репозиторий git clone github.com/JusperLee/Falcon, установите зависимости pip install -r studio/requirements.txt (требуется Python 3.10–3.12, поддерживаются Apple Metal / NVIDIA CUDA / CPU). На macOS дважды щелкните по файлу studio/Start Falcon.command или запустите скрипт studio/scripts/launch.sh; на Linux с NVIDIA добавьте флаг --device cuda. Веса автоматически загружаются с Hugging Face при первом запуске.
- Офлайн-обработка одного файла: преобразуйте аудио в монофонический файл mix.wav с частотой дискретизации 16 кГц с помощью ffmpeg, затем выполните python infer_file.py --audio mix.wav --mouth mouth.npy --out target.wav --model JusperLee/Falcon. Файл mouth.npy содержит последовательность серых кропов губ целевого говорящего с частотой кадров 25 fps и размером 96×96. Также доступен программный интерфейс FalconRuntime.from_pretrained.
- Обучение: данные должны быть организованы в соответствии со структурой каталогов LRS2/LRS3, индексы создаются с помощью скриптов из папки DataPreProcess, затем запускается обучение командой python audio_train.py --conf_dir configs/Falcon.yml.
Риски
- Обязательно наличие видео с лицом / губами целевого говорящего; для чисто аудио-сцен метод неприменим. При офлайн-инференсе необходимо самостоятельно подготовить последовательность кропов губ.
- Решение с виртуальным звуковым интерфейсом для интеграции с видеоконференциями (BlackHole) доступно только для macOS; для других систем маршрутизацию звука нужно настраивать самостоятельно. В README нет полных инструкций по работе в реальном времени на CPU.
- Оба набора данных RealSSA требуют ручного одобрения доступа; RealSSA-Sim распространяется под лицензией CC BY-NC-ND 4.0. Многоканальные фрагменты, опубликованные в датасете, требуют предварительной обработки для использования с монофоническим загрузчиком данных из репозитория. Ссылки на веса визуального бэкбона для чтения по губам, необходимые для обучения, в README пока не приведены.
- Все показатели качества и эффективности заявлены авторами; поскольку демо-аудио не прослушивалось, субъективная оценка качества звука не приводится.
Примечание редактора: в отличие от обычного шумоподавления, здесь требуется извлечь голос именно «того человека, который виден на видео», при этом голоса других людей, говорящих рядом, также удаляются. Это подходит для сцен видеоконференций, интервью и слуховых аппаратов.