Le « modèle de jugement » post-entraîné par Liquid AI sur LFM3-Omni-2B est une version du d1-2B avec entrée audio : on lui fournit un texte ou un état JSON, des images, des images vidéo, des extraits audio et plusieurs questions nommées (écrites ou parlées), et il renvoie en une seule passe avant la réponse et la probabilité pour chaque question, sans générer de texte ; destiné au tri des appels et messages vocaux, à la reconnaissance d'événements sonores, ainsi qu'au jugement textuel et visuel identique à celui du d1-2B.
Montée 81 · J'aime 81 · Téléchargements 1083
Raisons
- La couverture des types de questions inclut le jugement vrai/faux, les QCM à choix unique / multiples, la notation sur une échelle de 2–10, l'extraction de texte / chiffres / dates à partir d'un état (avec position dans le texte original), l'estimation de quantités avec intervalles p10–p90, ainsi que l'encadrement d'un ou de tous les objets dans une image.
- Selon la documentation officielle, chaque jugement prend 5.8 ms sur H100, 3.7 ms sur AMD MI325X, et 12.4 ms / 8.2 ms avec un audio de 10 secondes, ainsi que 21.1 ms sur Apple M5 Pro.
- Tests audio officiels (précision effective, 0 correspondant au hasard) : intention des commandes vocales d'assistants humains SLURP en écoute 81.7, sons environnementaux ESC-50 84.5, identification de 43 langues 92.5 ; la version d1-2B reçue le 29 10 ne peut pas traiter l'audio, et cette variante n'avait pas été incluse dans les numéros précédents.
Utilisation
- pip install "transformers>=5.19" torch torchvision pillow ; AutoModel.from_pretrained("LiquidAI/d1-Omni-2B", trust_remote_code=True), appel de model.system_one(état, {nom_question: {type, instructions, …}}, media=[{"type": "audio", "path": "call.wav"}]) ; aucun paramètre d'échantillonnage n'est réglable.
- L'audio doit être au format PCM WAV 16 bits (rééchantillonné automatiquement à 16 kHz) ; pour poser une question orale, remplacez instructions par un extrait audio ; pour le traitement par lots, utilisez system_one_batch après avoir préchauffé avec model.compile() (la première compilation prend environ une minute).
- Les valeurs ou cadres manquants renvoient None lorsque found est inférieur à 0.5 ; les seuils de jugement doivent être calibrés sur vos propres données métier.
Risques
- Ce n'est pas un modèle de chat, il ne produit ni transcription ni synthèse vocale ; la précision chute fortement sur les longs passages parlés (Belebele en écoute 41.8, écrit 83.6), surtout pour les langues non latines ; la voix ne prend pas en charge l'hindi, le thaï, le vietnamien et l'indonésien.
- Lorsque l'audio n'est pas nécessaire, la documentation officielle recommande d'utiliser d1-2B : meilleur sur le texte et l'encadrement unique, avec un calibrage supérieur ; la moyenne des benchmarks publics de ce modèle est de 67.7, inférieure aux 70.2 du d1-2B.
- La licence est LFM Open License v1.0, et non Apache / MIT ; trust_remote_code est requis ; tous les scores proviennent des tests internes officiels.