Third Intelligence 的日语语音识别模型:沿用 NVIDIA Parakeet-TDT 的结构(FastConformer 编码器 + TDT 解码器,解码时能一次跳过几帧),把预测网络里的 LSTM 换成 Kimi Linear 的 Kimi Delta Attention,官方称准确率更高、速度几乎不变。训练用了约 46,000 小时公开语料(ReazonSpeech、Common Voice、YODAS)加内部数据。10 月 22 日上传权重,近 7 期没有收录。
上升分 54 · 点赞 55 · 下载量 1532
理由
- 官方在自建并公开的 asr-ja-bench v1.1(5 个公开数据集、23.38 小时,评测数据完全没进训练)上测得加权 CER strict 6.12%,是所测开源模型里最低的,和 GPT-Transcribe(6.07%)相当;MAI-Transcribe 2、Scribe v2、Gemini 3.1 Pro 更准。
- 速度:官方称单张 H200 上 RTFx 3,236,和 Parakeet(3,407)差不多快、CER strict 低约 1.1 个点,比 Nemotron 3.5 Transcribe 和 Whisper large-v3 快约 15–17 倍;按日本区 H200 按需价估算,转写一小时音频约 0.003–0.004 美元。
- 实用功能齐:长音频按静音切段批量转写;人名、术语可以加自定义词表(写法对应读音),官方称多花约 1.3 倍时间;配 NVIDIA Nemotron-3-Diarization 能出带说话人标签的稿子。
用法
- pip install "haas-asr @ git+https://github.com/third-intelligence/Haas-ASR.git",然后 model = haas_asr.load_model("third-intelligence/Haas-ja-v1.0")、audio = haas_asr.load_audio("example.wav")、model.transcribe([audio]);超过 30 秒的录音用 haas_asr.transcribe_longform(model, audio, batch_size=64)。
- 自定义词表:haas_asr.Vocabulary({"写法": ["读音(假名)"]}),作为 vocabulary 参数传给 transcribe 或 transcribe_longform。
- 先听效果可以用官方 Space 的长音频页 third-intelligence-haas-ja-v1-0.hf.space/longform。
风险
- 只识别日语;要 Linux + NVIDIA GPU + NeMo 2.7,预测网络依赖 flash-linear-attention 的 Triton / CUDA 内核,CPU 和 macOS 跑不了。
- 为离线整句转写训练,低延迟流式还要再调;输出风格不能控制,倾向省略语气词,汉字、假名和数字的写法跟训练数据走。
- 基准是官方自己整理的(样本元数据和重建脚本已公开);成本按 GPU 满载估算,不含运营开销;商用 API 的速度经 OpenRouter 测,含网络时间,只作参考。