Cactus-Compute/whistle
面向手机、可穿戴、机器人和单片机的语音转文字模型:整个模型是一个 16.9 MB 文件,不用 GPU,可转写、给词级时间戳、输出语音嵌入。
面向手机、可穿戴、机器人和单片机的语音转文字模型:整个模型是一个 16.9 MB 文件,不用 GPU,可转写、给词级时间戳、输出语音嵌入。
上升分 79 · 点赞 507 · 下载量 54876
**理由**
- 支持英、德、法、西、意、荷、波 7 种语言,自动识别语种;静音和稳定噪声返回空结果而不是编造句子,可流式长时间转写。
- 关键词偏置:传入人名、地名、产品词等,解码时优先保留;每个词带起止时间和概率,便于高亮、跳转和剪辑。
- 与同公司的 Needle 共用同一个 CPU 引擎和 .cact 格式,一次调用可完成语音转写再做工具调用。官方称 WER 在 86,174 条语音上测得、测试音频未进训练集。
**用法**
- pip install cactus-needle;needle.transcribe("clip.wav")\["text"\],word\_timestamps=True 取词级时间戳,keywords=\[...\] 加关键词,language="de" 指定语种。
- 输入为 16 kHz 单声道;其他采样率和麦克风采集需装 \[mic\] 扩展。needle whistle compare 可在同一段音频上对比 Whisper 和 Moonshine。
- 各平台二进制和 C API 在 Cactus-Compute/needle3 仓库,可编进移动端或嵌入式应用。
**风险**
- 不支持中文和日文,目前只有 7 种欧洲语言。
- 音乐等非语音声音仍可能被转成文字,常开麦克风场景作者建议前置语音活动检测或唤醒词。
- 对比数字中 Whisper 和 Moonshine 取自其论文,具体 WER 在模型卡里是图表,未给文字表格。
[打开](https://huggingface.co/Cactus-Compute/whistle)