THX-02: модель принятия решений, оценивающая вероятности вариантов ответа за десятки миллисекунд

«Модель принятия решений с размышлениями» от HAL-X-AI: ей подаются состояние (сообщения, тикеты, документы, записи в формате JSON, траектории агентов, фотографии или диаграммы) и вопрос на естественном языке, а она возвращает вероятности для каждого варианта ответа на каждый вопрос, не генерируя свободный текст. Вопросы делятся на три типа: выбор одного варианта (до 255 вариантов), верно/неверно и упорядоченная оценка; один запрос может содержать до 4 изображений. Модель имеет 4.5 млрд параметров, а также адаптер размышлений на 60 млн параметров: если максимальная вероятность прямого ответа ниже порога и внутренняя оценка требует рассуждений, модель сначала пишет заметку с рассуждениями на несколько десятков слов, а затем принимает решение. Авторы сообщают, что медианная задержка на запрос без размышлений составляет 50 мс, а с автоматическим размышлением — 79 мс (на одной карте RTX PRO 6000), при этом на выборке из открытого набора данных Decision Index 0.3 получен результат 65.06.

Оригинал: HAL-X-AI/THX-02

«Модель принятия решений с размышлениями» от HAL-X-AI: ей подаются состояние (сообщения, тикеты, документы, записи в формате JSON, траектории агентов, фотографии или диаграммы) и вопрос на естественном языке, а она возвращает вероятности для каждого варианта ответа на каждый вопрос, не генерируя свободный текст. Вопросы делятся на три типа: выбор одного варианта (до 255 вариантов), верно/неверно и упорядоченная оценка; один запрос может содержать до 4 изображений. Модель имеет 4.5 млрд параметров, а также адаптер размышлений на 60 млн параметров: если максимальная вероятность прямого ответа ниже порога и внутренняя оценка требует рассуждений, модель сначала пишет заметку с рассуждениями на несколько десятков слов, а затем принимает решение. Авторы сообщают, что медианная задержка на запрос без размышлений составляет 50 мс, а с автоматическим размышлением — 79 мс (на одной карте RTX PRO 6000), при этом на выборке из открытого набора данных Decision Index 0.3 получен результат 65.06.

Почему это важно Для таких задач, как маршрутизация тикетов, модерация контента и управление интерфейсом, не требуется переобучение под новые задачи: метки указываются непосредственно в запросе

Рост рейтинга: 48 · Лайки: 50 · Загрузки: 2134

Причины

  • Продемонстрированы такие варианты использования, как многоязычная маршрутизация тикетов службы поддержки, бронирование авиабилетов путем пошагового нажатия кнопок на скриншотах и игра в «Змейку» на основе визуального ряда, при этом ни одна из этих задач не требовала специального обучения
  • Предоставляются клиент для PyPI без зависимостей и собственный сервер, поддерживается пакетный интерфейс; API можно вызывать из Termux на Android, а на смартфонах с достаточным объемом памяти модель можно запускать локально
  • Веса распространяются под лицензией Apache-2.0

Использование

  • После установки pip install "thx02\[local\]" выполните from thx02 import THX02; THX02.load("HAL-X-AI/THX-02") и используйте model.decide(состояние, словарь_вопросов) для получения вероятностей каждого варианта
  • Собственный сервер: thx02-serve --model . --port 8200, запросы отправляются на /v1/decide или /v1/decide/batch; установите think в значение "auto" для включения автоматического размышления

Риски

  • Результаты получены авторами в ходе самостоятельного тестирования на выборке из 6,018 запросов; полное тестирование на открытом наборе данных и в закрытом рейтинге еще не проводилось; баллы других моделей в сравнительных строках взяты из их публичных результатов
  • Функция размышлений требует отдельного сервиса инференса на GPU; на CPU и смартфонах возможен только прямой ответ
  • Авторы предупреждают, что вероятности откалиброваны только в пределах обучающего распределения; при переходе к сильно отличающимся областям необходимо сначала проверить калибровку на нескольких сотнях размеченных примеров
  • Данный пункт не был выполнен; фактическая эффективность определяется модельной картой

Открыть

Hugging Face Trending

Открыть последние новости ИИ