LiquidAI/d1-Omni-2B

Liquid AI 在 LFM3-Omni-2B 上后训练的“判定模型”,是 d1-2B 加上音频输入的版本:给它一段文字或 JSON 状态、图片、视频帧、音频片段和若干具名问题(可以写也可以直接说),一次前向就返回每题的答案和概率,不生成文字;面向来电和语音留言分流、声音事件识别,以及和 d1-2B 相同的文本、图片判定。

Liquid AI 在 LFM3-Omni-2B 上后训练的“判定模型”,是 d1-2B 加上音频输入的版本:给它一段文字或 JSON 状态、图片、视频帧、音频片段和若干具名问题(可以写也可以直接说),一次前向就返回每题的答案和概率,不生成文字;面向来电和语音留言分流、声音事件识别,以及和 d1-2B 相同的文本、图片判定。

上升分 81 · 点赞 81 · 下载量 1083

理由

  • 问题类型覆盖是否判断、单选 / 多选、2–10 级打分、从状态里抽文字 / 数字 / 日期(带原文位置)、带 p10–p90 区间的数量估计,以及在图里框出一个或全部物体。
  • 官方称在 H100 上每次判定 5.8 ms、AMD MI325X 上 3.7 ms,带 10 秒音频为 12.4 ms / 8.2 ms,Apple M5 Pro 上 21.1 ms。
  • 官方音频测试(有效准确率,0 为随机):真人语音助手指令意图 SLURP 听读 81.7、环境声 ESC-50 84.5、43 种语言辨识 92.5;10 月 29 日已收的 d1-2B 不能听音频,这一版此前各期没有收录。

用法

  • pip install "transformers>=5.19" torch torchvision pillow;AutoModel.from_pretrained("LiquidAI/d1-Omni-2B", trust_remote_code=True),调用 model.system_one(状态, {问题名: {type, instructions, …}}, media=[{"type": "audio", "path": "call.wav"}]);没有采样参数可调。
  • 音频用 16 位 PCM WAV(自动重采样到 16 kHz);口头提问就把 instructions 换成音频片段;批量用 system_one_batch,先 model.compile() 预热(首次编译约一分钟)。
  • 缺失的值或框在 found 低于 0.5 时返回 None;判定阈值要用自己业务的数据校准。

风险

  • 不是聊天模型,不出转写也不出语音;长段口语准确率掉得多(Belebele 听读 41.8,书面 83.6),非拉丁文字语言更明显;语音不支持印地语、泰语、越南语、印尼语。
  • 不需要音频时官方建议用 d1-2B:文本和单框更强、校准更好;本模型公开基准平均 67.7,低于 d1-2B 的 70.2。
  • 许可是 LFM Open License v1.0,不是 Apache / MIT;需要 trust_remote_code;所有分数为官方自测。

打开

Hugging Face Trending

浏览最新 AI 动态