pplx-decider v1.3: мультимодальная модель классификации от Perplexity

Загружено Perplexity 11 9 числа, следующая версия после v1.2, мультимодальная модель классификации на базе Qwen3.8-27B. Один запрос принимает состояние (текст, JSON или изображение) и набор вопросов, каждый из которых относится к одному из четырех типов: choice (от 1 до 255 вариантов, возвращает вероятности для каждого варианта), noul (да / нет, возвращает вероятность истинности), score (оценка по шкале от 2 до 255, возвращает ожидаемый уровень) и новый тип locate (извлекает дословные фрагменты из исходного текста с указанием позиций символов и оценок). Модель не использует вывод по всей таблице слов, а применяет считывающую голову из 255 строк, при этом все слои внимания видят входные данные в обоих направлениях; температура откалибрована на валидационных данных, конфигурация хранится в decision_config.json. Лицензия Apache-2.0.

Оригинальное название: perplexity-ai/pplx-decider-v1.3

Загружено Perplexity 11 9 числа, следующая версия после v1.2, мультимодальная модель классификации на базе Qwen3.8-27B. Один запрос принимает состояние (текст, JSON или изображение) и набор вопросов, каждый из которых относится к одному из четырех типов: choice (от 1 до 255 вариантов, возвращает вероятности для каждого варианта), noul (да / нет, возвращает вероятность истинности), score (оценка по шкале от 2 до 255, возвращает ожидаемый уровень) и новый тип locate (извлекает дословные фрагменты из исходного текста с указанием позиций символов и оценок). Модель не использует вывод по всей таблице слов, а применяет считывающую голову из 255 строк, при этом все слои внимания видят входные данные в обоих направлениях; температура откалибрована на валидационных данных, конфигурация хранится в decision_config.json. Лицензия Apache-2.0.

Почему это важно Подходит для маршрутизации заявок, модерации контента и принятия решений о маршрутизации в массовых сценариях; возвращает только вероятности без генерации текста, что удобно для ранжирования и установки пороговых значений, лицензия Apache

Рост рейтинга 27 · Лайки 92 · Загрузки 1304

Причины

  • В режиме по умолчанию separate каждый вопрос обрабатывается независимо, поэтому добавление, удаление или перестановка других вопросов не влияет на ответ; режим isolated использует общее чтение входных данных, что экономичнее, но, по официальным данным, на выборке меняется 1.5–2.2% предпочтительных ответов
  • При fast=True, по официальным данным, режим separate работает примерно в 1.7–1.9 раз быстрее, а режим isolated — в 9–18 раз быстрее, при этом совпадение предпочтительных ответов с эталонной реализацией составляет более 99.4%
  • Официальная благодарность датасету tasksource, так как большая часть улучшений получена благодаря ему; детали обучения, оценки и примеры использования описаны в блоге Perplexity

Использование

  • Требуется Python 3.12+, видеокарта CUDA, веса BF16 занимают около 49 ГиБ плюс рабочая память; после snapshot_download добавьте source/src в sys.path и выполните from pplx_decider import Decider; также можно установить через pip install ./source
  • После вызова Decider.from_pretrained(checkpoint, device="cuda") используйте decide({"state": ..., "questions": {...}, "images": [...]}); для ранжирования используйте decider.logits(), чтобы получить разницу между вероятностями истины и лжи для типа noul, так как вероятности не насыщаются до ничем не различимых значений
  • Тип locate требует чисто текстового состояния без изображений, не более 128 вопросов на запрос; изображения автоматически масштабируются до размера не более 1.6 МП, занимая примерно 1,600 токенов; по умолчанию max_length составляет 32,768 токенов

Риски

  • В карточке указано «репозиторий является приватным, требуется токен с правами доступа», однако на момент просмотра данной записи репозиторий доступен для чтения публично, ориентируйтесь на фактический доступ
  • В карточке отсутствуют оценки качества; обычная причинно-следственная логика не позволяет воспроизвести этот чекпоинт, необходимо использовать прилагаемый код, а также нельзя повторно использовать промпты из версий v1.1 / v1.2
  • При использовании вероятностных значений официально рекомендуется перекалибровать модель на собственном трафике, так как единая температура не подходит для всех задач. Данная запись не была проверена запуском

Открыть

Hugging Face Trending

Открыть последние новости ИИ