Un outil local permettant aux agents de codage d'« écouter » le son : il transforme l'audio en preuves exploitables par l'agent (descriptions textuelles, scores de correspondance, horodatages, transcription complète), et permet de synthétiser des effets sonores via du code, en itérant grâce à l'écoute.
Nombre d'étoiles 3050 (+108 / 24h)
Raison
- Les commandes describe / match / find / timeline indiquent à quoi ressemble le son, à quel point il correspond à une description, les segments les plus pertinents dans un enregistrement long, ainsi que la « transcription » seconde par seconde de la vidéo entière et la synchronisation audio-vidéo
- critique évalue les effets sonores des vidéos promotionnelles générées par du code et fournit des suggestions de modifications horodatées, en se référant à 7 vidéos professionnelles publiées, organisées par l'auteur
- forge crée des effets sonores dans le code à l'aide de recettes de synthèse physique, puis effectue une recherche évolutive après notation par un jury intégré ; la version 0.4 annonce une bibliothèque de 252 effets sonores, ajoute des préréglages de lancement et place chaque effet selon la musique et les points de montage
- Fournit une CLI, une API Python et un serveur MCP ; l'auteur documente dans docs/VALIDATION.md la méthode de mesure de chaque chiffre, et explique dans LIMITS.md quelles décisions ne sont pas fiables
Utilisation
- Nécessite Python 3.10+ et ffmpeg ; après un git clone, créez un venv, installez d'abord la version CPU de torch, puis exécutez pip install -e ".[mcp,llm,dev]", et utilisez python -m earshot doctor --load pour l'auto-vérification
- Intégration à Claude Code : claude mcp add earshot --scope user -- <venv>/bin/python -m earshot mcp (avec MCP, le modèle reste chargé en mémoire, évitant de le recharger à chaque commande)
- Le dossier skills/ du dépôt contient deux compétences (earshot, real-sound) ; copiez-les dans ~/.claude/skills/ pour permettre à l'agent de les utiliser selon le flux de travail
Risques
- La première utilisation télécharge deux modèles ouverts (environ 1.1 GB selon l'auteur) ; chaque appel CLI recharge le modèle, ce qui prend selon l'auteur 20–40 secondes
- L'auteur admet que la synthèse d'effets sonores optimise les scores de son propre modèle, ce qui peut biaiser les vérifications ; le modèle de réalisme est facilement trompé et ne peut pas entendre les fréquences supérieures à 14 kHz ni le contenu vocal
- Les enregistrements de référence sont protégés par le droit d'auteur et ne sont pas inclus dans le dépôt ; l'option --refset de forge nécessite des références fournies par l'utilisateur ; le code est sous licence MIT, tandis que les deux modèles ont leurs propres licences