Оригинальное название: perplexity-ai/pplx-decider-v1.3
Загружено Perplexity 11 9 числа, следующая версия после v1.2, мультимодальная модель классификации на базе Qwen3.8-27B. Один запрос принимает состояние (текст, JSON или изображение) и набор вопросов, каждый из которых относится к одному из четырех типов: choice (от 1 до 255 вариантов, возвращает вероятности для каждого варианта), noul (да / нет, возвращает вероятность истинности), score (оценка по шкале от 2 до 255, возвращает ожидаемый уровень) и новый тип locate (извлекает дословные фрагменты из исходного текста с указанием позиций символов и оценок). Модель не использует вывод по всей таблице слов, а применяет считывающую голову из 255 строк, при этом все слои внимания видят входные данные в обоих направлениях; температура откалибрована на валидационных данных, конфигурация хранится в decision_config.json. Лицензия Apache-2.0.
Почему это важно Подходит для маршрутизации заявок, модерации контента и принятия решений о маршрутизации в массовых сценариях; возвращает только вероятности без генерации текста, что удобно для ранжирования и установки пороговых значений, лицензия Apache
Рост рейтинга 27 · Лайки 92 · Загрузки 1304
Причины
- В режиме по умолчанию separate каждый вопрос обрабатывается независимо, поэтому добавление, удаление или перестановка других вопросов не влияет на ответ; режим isolated использует общее чтение входных данных, что экономичнее, но, по официальным данным, на выборке меняется 1.5–2.2% предпочтительных ответов
- При fast=True, по официальным данным, режим separate работает примерно в 1.7–1.9 раз быстрее, а режим isolated — в 9–18 раз быстрее, при этом совпадение предпочтительных ответов с эталонной реализацией составляет более 99.4%
- Официальная благодарность датасету tasksource, так как большая часть улучшений получена благодаря ему; детали обучения, оценки и примеры использования описаны в блоге Perplexity
Использование
- Требуется Python 3.12+, видеокарта CUDA, веса BF16 занимают около 49 ГиБ плюс рабочая память; после snapshot_download добавьте source/src в sys.path и выполните from pplx_decider import Decider; также можно установить через pip install ./source
- После вызова Decider.from_pretrained(checkpoint, device="cuda") используйте decide({"state": ..., "questions": {...}, "images": [...]}); для ранжирования используйте decider.logits(), чтобы получить разницу между вероятностями истины и лжи для типа noul, так как вероятности не насыщаются до ничем не различимых значений
- Тип locate требует чисто текстового состояния без изображений, не более 128 вопросов на запрос; изображения автоматически масштабируются до размера не более 1.6 МП, занимая примерно 1,600 токенов; по умолчанию max_length составляет 32,768 токенов
Риски
- В карточке указано «репозиторий является приватным, требуется токен с правами доступа», однако на момент просмотра данной записи репозиторий доступен для чтения публично, ориентируйтесь на фактический доступ
- В карточке отсутствуют оценки качества; обычная причинно-следственная логика не позволяет воспроизвести этот чекпоинт, необходимо использовать прилагаемый код, а также нельзя повторно использовать промпты из версий v1.1 / v1.2
- При использовании вероятностных значений официально рекомендуется перекалибровать модель на собственном трафике, так как единая температура не подходит для всех задач. Данная запись не была проверена запуском