Microsoft VibeVoice: открытые модели распознавания и синтеза речи

Семейство открытых речевых моделей от Microsoft: VibeVoice-ASR способен обрабатывать аудио длительностью 60 минут за один проход, выдавая структурированную транскрипцию с указанием говорящих и временных меток, поддерживает 50 языков и пользовательский контекст, включен в Hugging Face Transformers; ASR-Streaming, выпущенный в 9 месяце, выполняет транскрипцию в реальном времени во время записи; VibeVoice-Realtime-0.5B — это модель синтеза речи в реальном времени, поддерживающая потоковый ввод текста.

Оригинальное название: microsoft/VibeVoice

Семейство открытых речевых моделей от Microsoft: VibeVoice-ASR способен обрабатывать аудио длительностью 60 минут за один проход, выдавая структурированную транскрипцию с указанием говорящих и временных меток, поддерживает 50 языков и пользовательский контекст, включен в Hugging Face Transformers; ASR-Streaming, выпущенный в 9 месяце, выполняет транскрипцию в реальном времени во время записи; VibeVoice-Realtime-0.5B — это модель синтеза речи в реальном времени, поддерживающая потоковый ввод текста.

Количество звезд: 55952 (+223 / 24 ч)

Причины

  • За последние 24 часов добавлено 223 звезд, общее количество звезд — 55952, проект занимает 20 место в трендах Trendshift за день (отражает только уровень внимания).

Риски

  • Код для синтеза длинных многоголосых аудиозаписей (VibeVoice-TTS) был удален из репозитория из-за злоупотреблений.
  • В README указано, что синтезированный голос может использоваться для имитации личности и мошенничества; использование должно быть законным и сопровождаться указанием на генерацию ИИ.
  • Последнее обновление README датируется 9 месяцем; попадание в текущий рейтинг не означает выхода новой версии.

Открыть

Trendshift(GitHub Trending 快照)

Открыть последние новости ИИ