«Модель принятия решений», дообученная Liquid AI на базе LFM3-Omni-2B, представляет собой версию d1-2B с добавлением аудиовхода: ей подаются текстовый или JSON-статус, изображения, кадры видео, аудиофрагменты и несколько именованных вопросов (которые можно задать текстом или произнести вслух), и за один прямой проход она возвращает ответы и вероятности для каждого вопроса, не генерируя текст; предназначена для маршрутизации входящих звонков и голосовых сообщений, распознавания звуковых событий, а также для принятия решений по тексту и изображениям, аналогично d1-2B.
Рост на 81 · Лайки 81 · Загрузки 1083
Обоснование
- Типы вопросов охватывают проверку бинарных решений, одиночный / множественный выбор, оценку по шкале 2–10, извлечение текста / чисел / дат из состояния (с указанием позиции в исходном тексте), оценку количества с интервалом p10–p90, а также выделение одного или всех объектов на изображении.
- Официально заявлено время принятия решения 5.8 мс на H100, 3.7 мс на AMD MI325X, 12.4 мс / 8.2 мс для аудио длительностью 10 секунд и 21.1 мс на Apple M5 Pro.
- Официальное тестирование аудио (эффективная точность, где 0 соответствует случайному угадыванию): распознавание намерений в командах голосовых помощников SLURP при прослушивании 81.7, распознавание звуков окружающей среды ESC-50 84.5, определение языка среди 43 языков 92.5; версия d1-2B, выпущенная 29 10 месяца, не поддерживала аудио, и в предыдущих выпусках эта версия не была включена.
Использование
- pip install "transformers>=5.19" torch torchvision pillow; AutoModel.from_pretrained("LiquidAI/d1-Omni-2B", trust_remote_code=True), вызов model.system_one(состояние, {имя_вопроса: {type, instructions, …}}, media=[{"type": "audio", "path": "call.wav"}]); параметры сэмплирования отсутствуют.
- Аудио должно быть в формате PCM WAV с глубиной 16 бит (автоматическая передискретизация до 16 кГц); для устных вопросов замените instructions на аудиофрагмент; для пакетной обработки используйте system_one_batch, предварительно выполнив model.compile() для прогрева (первая компиляция занимает около минуты).
- Отсутствующие значения или рамки возвращаются как None, если found ниже 0.5; порог принятия решений необходимо калибровать на данных вашего бизнеса.
Риски
- Это не чат-модель, она не выполняет транскрипцию и не генерирует речь; точность значительно снижается на длинных устных фрагментах (прослушивание Belebele 41.8, письменный текст 83.6), особенно для языков с не-латиницей; голосовая поддержка не включает хинди, тайский, вьетнамский и индонезийский.
- Если аудио не требуется, официально рекомендуется использовать d1-2B: она лучше работает с текстом и одиночными рамками, имеет лучшую калибровку; средняя оценка этой модели на публичных бенчмарках составляет 67.7, что ниже показателя d1-2B 70.2.
- Лицензия — LFM Open License v1.0, а не Apache / MIT; требуется trust_remote_code; все результаты получены в ходе официальных внутренних тестов.