Cactus-Compute/whistle

面向手机、可穿戴、机器人和单片机的语音转文字模型:整个模型是一个 16.9 MB 文件,不用 GPU,可转写、给词级时间戳、输出语音嵌入。

面向手机、可穿戴、机器人和单片机的语音转文字模型:整个模型是一个 16.9 MB 文件,不用 GPU,可转写、给词级时间戳、输出语音嵌入。 上升分 79 · 点赞 507 · 下载量 54876 **理由** - 支持英、德、法、西、意、荷、波 7 种语言,自动识别语种;静音和稳定噪声返回空结果而不是编造句子,可流式长时间转写。 - 关键词偏置:传入人名、地名、产品词等,解码时优先保留;每个词带起止时间和概率,便于高亮、跳转和剪辑。 - 与同公司的 Needle 共用同一个 CPU 引擎和 .cact 格式,一次调用可完成语音转写再做工具调用。官方称 WER 在 86,174 条语音上测得、测试音频未进训练集。 **用法** - pip install cactus-needle;needle.transcribe("clip.wav")\["text"\],word\_timestamps=True 取词级时间戳,keywords=\[...\] 加关键词,language="de" 指定语种。 - 输入为 16 kHz 单声道;其他采样率和麦克风采集需装 \[mic\] 扩展。needle whistle compare 可在同一段音频上对比 Whisper 和 Moonshine。 - 各平台二进制和 C API 在 Cactus-Compute/needle3 仓库,可编进移动端或嵌入式应用。 **风险** - 不支持中文和日文,目前只有 7 种欧洲语言。 - 音乐等非语音声音仍可能被转成文字,常开麦克风场景作者建议前置语音活动检测或唤醒词。 - 对比数字中 Whisper 和 Moonshine 取自其论文,具体 WER 在模型卡里是图表,未给文字表格。 [打开](https://huggingface.co/Cactus-Compute/whistle)

Parcourir les dernières actualités IA