Liquid AI が LFM3-Omni-2B を後訓練した「判定モデル」で、d1-2B に音声入力を追加したバージョンです。テキストまたは JSON 状態、画像、動画フレーム、音声クリップ、および複数の名前付き質問（テキストまたは音声で入力可能）を受け取り、1 回のフォワードパスで各質問への回答と確率を返します。テキストは生成しません。着信や音声メッセージの振り分け、音声イベントの認識、および d1-2B と同じテキスト・画像判定に対応しています。
上昇スコア 81 · いいね 81 · ダウンロード数 1083
理由
- 質問タイプは、真偽判定、単一選択／複数選択、2～10 段階のスコアリング、状態からのテキスト／数値／日付の抽出（原文の位置情報付き）、p10～p90 区間付きの数量推定、および画像内の物体の単一または全物体のバウンディングボックス検出をカバーしています。
- 公式によれば、H100 では 1 回の判定に 5.8 ms、AMD MI325X では 3.7 ms、10 秒の音声付きでは 12.4 ms / 8.2 ms、Apple M5 Pro では 21.1 ms かかります。
- 公式の音声テスト（有効精度、ランダムは 0）：人間の音声アシスタントの意図認識 SLURP 聴取 81.7、環境音 ESC-50 84.5、43 言語の識別 92.5。10 月 29 日時点で公開されていた d1-2B は音声入力に対応しておらず、このバージョンは以前のリリースには含まれていませんでした。
使い方
- pip install "transformers>=5.19" torch torchvision pillow; AutoModel.from_pretrained("LiquidAI/d1-Omni-2B", trust_remote_code=True) を実行し、model.system_one(状態, {質問名: {type, instructions, …}}, media=[{"type": "audio", "path": "call.wav"}]) を呼び出します。サンプリングパラメータの調整はできません。
- 音声は 16 ビット PCM WAV 形式を使用します（自動的に 16 kHz にリサンプリングされます）。音声で質問する場合は、instructions を音声クリップに置き換えます。バッチ処理には system_one_batch を使用し、事前に model.compile() でウォームアップしてください（初回コンパイルは約 1 分かかります）。
- 値またはバウンディングボックスが見つからない場合、found が 0.5 未満の場合は None を返します。判定閾値は、自社の業務データでキャリブレーションする必要があります。
リスク
- チャットモデルではなく、文字起こしや音声出力は行いません。長い口語テキストでは精度が大きく低下します（Belebele 聴取 41.8、テキスト 83.6）。非ラテン文字の言語でその傾向が顕著です。音声はヒンディー語、タイ語、ベトナム語、インドネシア語に対応していません。
- 音声が必要ない場合は、公式は d1-2B の使用を推奨しています。テキストと単一バウンディングボックスの性能がより強く、キャリブレーションも優れています。本モデルの公開ベンチマーク平均は 67.7 で、d1-2B の 70.2 より低いです。
- ライセンスは LFM Open License v1.0 であり、Apache / MIT ではありません。trust_remote_code が必要です。すべてのスコアは公式による自己テスト結果です。