Titre original : inworld/voice-isolator
Modèle de séparation vocale v1 publié par Inworld le 14 11, deux points de contrôle partageant une même architecture : la version hors ligne voice-isolator-v1 (64 M paramètres, chaque image voit l'intégralité des 8 secondes) pour les enregistrements, et la version temps réel voice-isolator-v1-realtime (58 M paramètres, flux causal, avec une anticipation de 20 ms entraînant une latence algorithmique de 63 ms) pour les directs et les appels. L'entrée est un signal mono à 48 kHz, la sortie comprend deux flux : la voix et le bruit de fond supprimé ; la somme des deux flux reconstitue l'entrée originale. La v1 ne fait que réduire le bruit, sans restaurer les bandes de fréquence manquantes dans l'enregistrement (la fonction de restauration est prévue pour la v2). Le code et les poids sont sous licence Apache-2.0.
Pourquoi c'est important Licence Apache utilisable commercialement, latence de la version temps réel suffisamment basse pour les appels et les directs ; permet de nettoyer les enregistrements, de préparer des données vocales, et le résidu de bruit de fond peut aussi servir à la séparation des accompagnements musicaux
Score de progression 56 · J'aime 60 · Téléchargements 0
Raisons
- L'architecture est un réseau à deux branches opérant sur des bandes de fréquence dans le domaine STFT : chaque image est divisée en 46 bandes, avec 4 blocs d'attention et 3 blocs Mamba, produisant des masques complexes bornés et des résidus
- Selon l'éditeur, l'entraînement a utilisé environ 10,000 heures d'audio, couvrant des lectures et dialogues multilingues, des doublages de personnages, des chuchotements et du chant, tout en préservant les rires, respirations et soupirs propres au locuteur
- Lorsque deux personnes parlent simultanément, la voix la plus forte est conservée ; si les niveaux sonores sont proches, les deux sont généralement conservées ; le modèle ne sélectionne pas un locuteur spécifique
Utilisation
- pip install inworld-voice-isolation, puis voice-isolate in.wav out.wav (le modèle hors ligne est téléchargé automatiquement et son empreinte vérifiée lors de la première utilisation) ; le bruit de fond supprimé est sauvegardé séparément dans out_background.wav ; --no-background ne sauvegarde que la voix, --output-sr 0 conserve le taux d'échantillonnage original
- Mode flux : VoiceIsolator("inworld/voice-isolator", mode="streaming", lookahead_frames=2) puis appel de stream(), poussant 960 échantillons toutes les 20 ms, avec flush() à la fin ; en ligne de commande, ajoutez --mode streaming --lookahead 2
- Utilisez CUDA si disponible, mps sur les Mac à puce Apple (PyTorch 2.6 ou supérieur), sinon CPU ; le dépôt GitHub inworld-ai/voice-isolator propose une démo interactive et des informations sur les benchmarks, et AGENTS.md peut être fourni à un agent de programmation pour l'installation
Risques
- L'éditeur n'a testé que sur A100, H100, B200, B300 et CPU ; les cartes graphiques modestes n'ont pas été testées
- Les graphiques des scores du benchmark VIBE dans la fiche proviennent de l'ensemble d'évaluation interne d'Inworld, qui n'est pas public
- Réduction de bruit uniquement, sans restauration : les bandes de fréquence perdues dans l'enregistrement original ne sont pas reconstituées. Cette entrée n'a pas été exécutée