Локальный инструмент, позволяющий кодовым агентам «слышать» звук: превращает аудио в доказательства, пригодные для рассуждений агента (текстовые описания, степень совпадения, временные метки, полная транскрипция), а также позволяет синтезировать звуковые эффекты с помощью кода и итеративно улучшать их на слух.
Звёзды 3050 (+108 / 24ч)
Причины
- Команды describe / match / find / timeline показывают, на что похож звук, насколько он соответствует описанию, какие фрагменты наиболее подходят в длинных записях, а также предоставляют посекундную «транскрипцию» всего видео и информацию о синхронизации звука и изображения
- Команда critique оценивает звуковые эффекты для промо-роликов, сгенерированных кодом, и предоставляет рекомендации по исправлению с временными метками, опираясь на 7 профессиональных релизных роликов, отобранных автором
- Команда forge создаёт звуковые эффекты в коде с использованием физических формул синтеза, а затем эволюционирует поиск на основе оценок встроенного эксперта; в версии 0.4 автор утверждает, что библиотека звуков содержит 252 элементов, добавлены пресеты launch, а каждый звук размещается согласно музыке и монтажным точкам
- Предоставляются CLI, Python API и MCP-сервер; в файле docs/VALIDATION.md автор описал методику проверки каждого показателя, а в отдельном файле LIMITS.md указано, какие выводы нельзя считать надёжными
Использование
- Требуется Python 3.10+ и ffmpeg; после git clone создайте venv, сначала установите CPU-версию torch, затем выполните pip install -e ".[mcp,llm,dev]" и запустите самопроверку python -m earshot doctor --load
- Интеграция с Claude Code: claude mcp add earshot --scope user -- <venv>/bin/python -m earshot mcp (при использовании MCP модель остаётся в памяти, что исключает её перезагрузку при каждой команде)
- В каталоге skills/ репозитория находятся два навыка (earshot, real-sound); скопируйте их в ~/.claude/skills/, чтобы агент мог использовать их по установленному процессу
Риски
- При первом использовании загружаются две открытые модели (по словам автора, около 1.1 ГБ); при каждом вызове CLI модель перезагружается, что, по словам автора, занимает 20–40 секунд
- Автор признаёт, что синтез звуковых эффектов оптимизирует оценки собственной модели, поэтому проверки моделью могут быть «подкуплены»; модель оценки реалистичности легко обмануть, и она не воспринимает частоты выше 14 кГц и речевое содержание
- Референсные записи защищены авторским правом и не входят в репозиторий; для опции --refset в команде forge необходимо самостоятельно подготовить референсные материалы; код распространяется под лицензией MIT, а каждая из двух моделей имеет собственную лицензию