Оригинал: HAL-X-AI/THX-02
«Модель принятия решений с размышлениями» от HAL-X-AI: ей подаются состояние (сообщения, тикеты, документы, записи в формате JSON, траектории агентов, фотографии или диаграммы) и вопрос на естественном языке, а она возвращает вероятности для каждого варианта ответа на каждый вопрос, не генерируя свободный текст. Вопросы делятся на три типа: выбор одного варианта (до 255 вариантов), верно/неверно и упорядоченная оценка; один запрос может содержать до 4 изображений. Модель имеет 4.5 млрд параметров, а также адаптер размышлений на 60 млн параметров: если максимальная вероятность прямого ответа ниже порога и внутренняя оценка требует рассуждений, модель сначала пишет заметку с рассуждениями на несколько десятков слов, а затем принимает решение. Авторы сообщают, что медианная задержка на запрос без размышлений составляет 50 мс, а с автоматическим размышлением — 79 мс (на одной карте RTX PRO 6000), при этом на выборке из открытого набора данных Decision Index 0.3 получен результат 65.06.
Почему это важно Для таких задач, как маршрутизация тикетов, модерация контента и управление интерфейсом, не требуется переобучение под новые задачи: метки указываются непосредственно в запросе
Рост рейтинга: 48 · Лайки: 50 · Загрузки: 2134
Причины
- Продемонстрированы такие варианты использования, как многоязычная маршрутизация тикетов службы поддержки, бронирование авиабилетов путем пошагового нажатия кнопок на скриншотах и игра в «Змейку» на основе визуального ряда, при этом ни одна из этих задач не требовала специального обучения
- Предоставляются клиент для PyPI без зависимостей и собственный сервер, поддерживается пакетный интерфейс; API можно вызывать из Termux на Android, а на смартфонах с достаточным объемом памяти модель можно запускать локально
- Веса распространяются под лицензией Apache-2.0
Использование
- После установки
pip install "thx02\[local\]"выполнитеfrom thx02 import THX02; THX02.load("HAL-X-AI/THX-02")и используйтеmodel.decide(состояние, словарь_вопросов)для получения вероятностей каждого варианта - Собственный сервер:
thx02-serve --model . --port 8200, запросы отправляются на/v1/decideили/v1/decide/batch; установитеthinkв значение"auto"для включения автоматического размышления
Риски
- Результаты получены авторами в ходе самостоятельного тестирования на выборке из 6,018 запросов; полное тестирование на открытом наборе данных и в закрытом рейтинге еще не проводилось; баллы других моделей в сравнительных строках взяты из их публичных результатов
- Функция размышлений требует отдельного сервиса инференса на GPU; на CPU и смартфонах возможен только прямой ответ
- Авторы предупреждают, что вероятности откалиброваны только в пределах обучающего распределения; при переходе к сильно отличающимся областям необходимо сначала проверить калибровку на нескольких сотнях размеченных примеров
- Данный пункт не был выполнен; фактическая эффективность определяется модельной картой