Leonxlnx/earshot

コーディングエージェントに「音」を聴かせるローカルツール:音声をエージェントが推論できる証拠(テキスト説明、一致度、タイムスタンプ、全文書き起こし)に変換し、コードで効果音を合成して、聴覚に基づいて反復改善できます。

コーディングエージェントに「音」を聴かせるローカルツール:音声をエージェントが推論できる証拠(テキスト説明、一致度、タイムスタンプ、全文書き起こし)に変換し、コードで効果音を合成して、聴覚に基づいて反復改善できます。

スター数 3050(+108 / 24時間)

理由

  • describe / match / find / timeline などのコマンドにより、音がどのようなものか、記述との一致度、長い録音の中で最適なセグメント、動画全体の秒単位の「書き起こし」と音声・映像の同期状況を提供します
  • critique は、著者が整理した 7 本の専門的な公開動画を参照し、コード生成によるプロモーション動画の効果音にスコアを付け、タイムスタンプ付きの修正提案を行います
  • forge は物理的な合成レシピを用いてコード内で効果音を生成し、内蔵レビュアーによる採点後に進化探索を行います;0.4 版では、著者によると効果音ライブラリは 252 個に達し、launch プリセットが追加され、BGM と編集点に合わせて各効果音を配置します
  • CLI、Python API、MCP サーバーを提供します;著者は docs/VALIDATION.md に各数値の測定方法を書き、LIMITS.md には信頼できない判断について個別に説明しています

使い方

  • Python 3.10+ と ffmpeg が必要です;git clone 後に venv を作成し、まず CPU 版の torch をインストールしてから pip install -e ".[mcp,llm,dev]" を実行し、python -m earshot doctor --load で自己チェックを行います
  • Claude Code への統合:claude mcp add earshot --scope user -- <venv>/bin/python -m earshot mcp(MCP 方式ではモデルが常駐するため、コマンドごとに再読み込みする必要がありません)
  • リポジトリの skills/ には 2 つのスキル(earshot、real-sound)が付属しており、~/.claude/skills/ にコピーすることで、エージェントがワークフローに従って使用できます

リスク

  • 初回使用時に 2 つのオープンモデル(著者によると約 1.1 GB)がダウンロードされます;CLI 呼び出しごとにモデルを再読み込みする必要があり、著者によると 20〜40 秒かかります
  • 著者は、効果音の合成が自モデルのスコアを最適化していることを認めており、モデルチェックが「迎合」される可能性があります;リアルさ判定モデルは騙されやすく、14 kHz 以上の周波数や音声コンテンツを聴取できません
  • 参照録音には著作権があり、リポジトリには含まれていないため、forge の --refset には自分で参照素材を用意する必要があります;コードは MIT ライセンスですが、2 つのモデルにはそれぞれ独自のライセンスがあります

開く

GitHub

最新の AI ニュースを見る