코딩 에이전트가 소리를 '듣게' 하는 로컬 도구: 오디오를 에이전트가 추론할 수 있는 증거(텍스트 설명, 일치도, 타임스탬프, 전체 전사)로 변환하고, 코드로 효과음을 합성하며 청취를 통해 반복 개선합니다.
스타 수 3050 (+108 / 24시간)
이유
- describe / match / find / timeline 등의 명령어는 소리의 특징, 설명과의 일치도, 긴 녹음 파일 내 최적의 구간, 그리고 전체 영상의 초 단위 '전사본' 및 오디오-비디오 동기화 상태를 제공합니다
- critique는 저자가 정리한 7개의 전문 공개 영상을 기준으로, 코드로 생성된 홍보 영상에 효과음 점수와 타임스탬프가 포함된 수정 제안을 제공합니다
- forge는 물리적 합성 레시피를 코드로 사용하여 효과음을 생성하고, 내장된 평가자가 점수를 매긴 후 진화적 탐색을 수행합니다; 0.4 버전에서 저자는 효과음 라이브러리가 252개로 확장되었으며, 새로운 launch 프리셋이 추가되어 배경 음악과 편집 지점에 맞춰 각 효과음을 배치한다고 밝혔습니다
- CLI, Python API 및 MCP 서버를 제공합니다; 저자는 docs/VALIDATION.md에 각 수치의 측정 방법을 명시했으며, LIMITS.md를 별도로 작성하여 신뢰할 수 없는 판단 기준을 설명했습니다
사용법
- Python 3.10 이상 및 ffmpeg이 필요합니다; git clone 후 venv를 생성하고, 먼저 CPU 버전의 torch를 설치한 뒤 pip install -e ".[mcp,llm,dev]"를 실행하며, python -m earshot doctor --load로 자체 점검을 수행합니다
- Claude Code 연동: claude mcp add earshot --scope user -- \u003cvenv\u003e/bin/python -m earshot mcp (MCP 방식을 사용하면 모델이 상주하여 매번 명령어 실행 시 모델을 다시 로드하지 않아도 됩니다)
- 저장소의 skills/ 폴더에는 두 가지 스킬(earshot, real-sound)이 포함되어 있으며, 이를 ~/.claude/skills/로 복사하면 에이전트가 절차에 따라 사용할 수 있습니다
리스크
- 첫 사용 시 두 개의 오픈 모델(저자 기준 약 1.1 GB)이 다운로드됩니다; 매 CLI 호출마다 모델을 다시 로드해야 하며, 저자는 이에 20–40초가 소요된다고 밝혔습니다
- 저자는 합성 효과음이 자체 모델의 점수를 최적화하는 과정임을 인정하며, 모델 검사가 '아첨'에 의해 왜곡될 수 있음을 언급했습니다; 사실성 모델은 속이기 쉬우며, 14 kHz 이상의 소리나 음성 내용은 들을 수 없습니다
- 참고 녹음 파일은 저작권이 있어 저장소에 포함되지 않으며, forge의 --refset 옵션은 사용자가 직접 참고 자료를 준비해야 합니다; 코드는 MIT 라이선스이지만, 두 모델은 각각 별도의 라이선스를 따릅니다