AutoTrust-JEV-27B v1.1: модель принятия решений, отвечающая только на вопросы с вариантами ответов

Текстовая модель принятия решений с 270 млрд параметров v1.1, выпущенная AutoTrust Labs (название в карточке модели — AutoTrust-JEV-27B v1.1). Согласно заявлению upstream, прилагаемому к репозиторию, модель построена на базе d3 (Decision 3.0) от команды vLLM Semantic Router, а её основа — Qwen3.8-27B. Модель не генерирует свободные ответы: вопрос вместе с вариантами ответов подается в фиксированном формате, модель выдает только один токен, ограниченный кодом варианта ответа, а движок преобразует логарифмические вероятности в вероятности для каждого варианта. Поддерживаются только вопросы с одним правильным ответом и вопросы «да/нет», принимается только текстовый ввод. Хотя в названии репозитория есть слово Vision, в карточке модели указано, что входные данные — только текст.

Исходное название: autotrust/AutoTrust-Decider-Pro-Vision-27B-v1.1

Текстовая модель принятия решений с 270 млрд параметров v1.1, выпущенная AutoTrust Labs (название в карточке модели — AutoTrust-JEV-27B v1.1). Согласно заявлению upstream, прилагаемому к репозиторию, модель построена на базе d3 (Decision 3.0) от команды vLLM Semantic Router, а её основа — Qwen3.8-27B. Модель не генерирует свободные ответы: вопрос вместе с вариантами ответов подается в фиксированном формате, модель выдает только один токен, ограниченный кодом варианта ответа, а движок преобразует логарифмические вероятности в вероятности для каждого варианта. Поддерживаются только вопросы с одним правильным ответом и вопросы «да/нет», принимается только текстовый ввод. Хотя в названии репозитория есть слово Vision, в карточке модели указано, что входные данные — только текст.

Почему это важно Для агентов, выбирающих инструменты, классифицирующих намерения или решающих, вызывать ли API, достаточно прочитать только код выбранного варианта, без генерации длинных рассуждений

Рост рейтинга 112 · Лайки 1561 · Загрузки 151462

Обоснование

  • Авторы заявляют, что на публичном наборе данных Decision Index 0.3 достигнут публичный индекс 67.31 (на 37 бенчмарках, 140,178 оцениваемых запросов); в пяти областях наивысший балл за навыки получен в категории «Инструменты и автоматизация» — 85.19
  • В детализированных баллах классификация намерений CLINC150+OOS, выбор инструмента BFCL и банковская классификация намерений BANKING77 показывают результаты выше 93; в той же таблице по сравнению с JEV-27B большинство бенчмарков выше, однако в задачах на рассуждение, таких как MMLU-Pro, GPQA Diamond и HLE, результаты ниже, чем у Jev 1.14
  • Результаты оценки и архив баллов находятся в датасете autotrust/jev-decision-index-results, что позволяет провести независимую проверку

Использование

  • Установите фиксированные версии пакетов: pip install vllm==0.31.0 transformers==5.17.0 и пакет StartLux-Decision, указанный в карточке модели. После загрузки модели запустите сервис с помощью скрипта serve_vllm.sh из репозитория (для видеокарты 80 ГБ установите MAX_LEN=32768)
  • Сам эндпоинт vLLM не является интерфейсом принятия решений: необходимо использовать скрипт jev_vllm_engine.py из репозитория для формирования запроса в формате jev_format.py и преобразования логарифмических вероятностей кодов вариантов в вероятности для каждого варианта
  • После установки набора для оценки Decision Index можно повторно запустить оценку командой python -m decision_index run --engine jev_vllm_engine:JevVllmEngine; команда загрузки в карточке модели использует старое название AutoTrust-JEV-27B-v1.1, при этом Hugging Face перенаправит на текущий репозиторий

Риски

  • Результаты являются самоотчетными, полученными авторами локально на одной видеокарте NVIDIA B300; в карточке модели указано, что они еще не проверены администраторами лидерборда, а приватные или полные результаты не публикуются
  • Авторы предупреждают, что эти баллы получены на адаптированных версиях задач, что не гарантирует надежность в реальных сценариях и не означает, что вероятности откалиброваны; перед использованием в задачах с высокими рисками необходимо провести валидацию на собственных данных; результат HLE близок к случайному
  • Модель зависит от фиксированных версий vLLM и плагина StartLux (двустороннее чтение всего промпта, отключение кэширования префиксов и т. д.); при смене фреймворка для инференса результаты могут отличаться; в данном случае тестирование не проводилось

Открыть

Hugging Face Trending

Открыть последние новости ИИ