Liquid AI가 LFM3-Omni-2B를 후처리하여 만든 '판정 모델'로, d1-2B에 오디오 입력을 추가한 버전입니다. 텍스트 또는 JSON 상태, 이미지, 비디오 프레임, 오디오 클립 및 여러 개의 명명된 질문(텍스트로 작성하거나 직접 말해도 됨)을 입력하면 한 번의 순방향 추론으로 각 질문에 대한 답변과 확률을 반환하며 텍스트를 생성하지 않습니다. 전화 및 음성 사서함 분류, 소리 이벤트 인식, 그리고 d1-2B와 동일한 텍스트 및 이미지 판정에 사용됩니다.
상승 점수 81 · 좋아요 81 · 다운로드 수 1083
이유
- 질문 유형은 예/아니오 판단, 단일 선택 / 다중 선택, 2–10 등급 점수 매기기, 상태에서 텍스트 / 숫자 / 날짜 추출(원문 위치 포함), p10–p90 구간의 수량 추정, 그리고 이미지에서 하나 또는 모든 객체 바운딩 박스 그리기를 포함합니다.
- 공식적으로 H100에서 판정당 5.8 ms, AMD MI325X에서 3.7 ms, 10초 오디오가 포함된 경우 12.4 ms / 8.2 ms, Apple M5 Pro에서 21.1 ms라고 주장합니다.
- 공식 오디오 테스트(유효 정확도, 0은 무작위 기준): 실제 음성 어시스턴트 명령 의도 SLURP 청취 81.7, 환경 소리 ESC-50 84.5, 43개 언어 식별 92.5; 10월 29일에 수집된 d1-2B는 오디오를 처리할 수 없으므로 이 버전은 이전 호에 포함되지 않았습니다.
사용법
- pip install "transformers>=5.19" torch torchvision pillow; AutoModel.from_pretrained("LiquidAI/d1-Omni-2B", trust_remote_code=True), model.system_one(상태, {질문 이름: {type, instructions, …}}, media=[{"type": "audio", "path": "call.wav"}]) 호출; 조정 가능한 샘플링 매개변수가 없습니다.
- 오디오는 16비 PCM WAV 형식(자동으로 16 kHz로 리샘플링)을 사용하며; 구두 질문의 경우 instructions를 오디오 클립으로 교체합니다. 배치는 system_one_batch를 사용하며, 먼저 model.compile()로 워밍업합니다(첫 컴파일은 약 1분 소요).
- 누락된 값이나 박스는 found가 0.5 미만일 때 None을 반환합니다; 판정 임계값은 자체 비즈니스 데이터로 보정해야 합니다.
리스크
- 채팅 모델이 아니며, 전사나 음성 출력도 제공하지 않습니다; 긴 구어체에서 정확도가 크게 저하됩니다(Belebele 청취 41.8, 서면 83.6), 비라틴 문자 언어에서 더 두드러집니다; 힌디어, 태국어, 베트남어, 인도네시아어는 음성을 지원하지 않습니다.
- 오디오가 필요하지 않은 경우 공식적으로 d1-2B 사용을 권장합니다: 텍스트 및 단일 바운딩 박스 성능이 더 강하고 보정이 더 잘 됩니다; 이 모델의 공개 벤치마크 평균은 67.7로, d1-2B의 70.2보다 낮습니다.
- 라이선스는 Apache / MIT가 아닌 LFM Open License v1.0입니다; trust_remote_code가 필요하며; 모든 점수는 공식 자체 테스트 결과입니다.