phylobio/DeepSeek-V4.1-Flash-epistemic-lora

Команда Phylo извлекла вектор направления (steering vector) из системного промпта, подчеркивающего научную строгость, и применила его к слоям 14–18 и 20–28. Поскольку фреймворк вывода не поддерживает векторы направления, они дистиллировали его в LoRA ранга 1 на нижних проекциях общих экспертов, обучая только матрицу A (сначала применяя гребневую регрессию для подгонки интенсивности каждого слова, а затем выполняя прямую дивергенцию Кульбака–Лейблера для модели с примененным направлением). Авторы утверждают, что это заметно снижает галлюцинации в бенчмарках AA-Omniscience и HalluLens, ценой чего является увеличение числа отказов от ответа и снижение точности на некоторых задачах проверки знаний; остальные бенчмарки остаются практически неизменными. Также доступны полные веса с уже объединенными параметрами.

Команда Phylo извлекла вектор направления (steering vector) из системного промпта, подчеркивающего научную строгость, и применила его к слоям 14–18 и 20–28. Поскольку фреймворк вывода не поддерживает векторы направления, они дистиллировали его в LoRA ранга 1 на нижних проекциях общих экспертов, обучая только матрицу A (сначала применяя гребневую регрессию для подгонки интенсивности каждого слова, а затем выполняя прямую дивергенцию Кульбака–Лейблера для модели с примененным направлением). Авторы утверждают, что это заметно снижает галлюцинации в бенчмарках AA-Omniscience и HalluLens, ценой чего является увеличение числа отказов от ответа и снижение точности на некоторых задачах проверки знаний; остальные бенчмарки остаются практически неизменными. Также доступны полные веса с уже объединенными параметрами.

Почему это важно Авторы обнаружили, что модель проявляет чрезмерную уверенность при оценке научных данных; этот адаптер делает её более осторожной и снижает количество выдумок. SGLang позволяет напрямую подключать его, не требуя изменений в фреймворке вывода.

Рост рейтинга 2 · Лайки 2 · Загрузки 58

Обоснование

  • Лицензия MIT; в карточке модели представлены графики изменений по каждому бенчмарку и доверительные интервалы 95%, а также ссылка на подробную статью авторов
  • Авторы отмечают, что после объединения весов и последующего квантования в FP8 теряется часть эффективности (τ²-bench 0.82 против адаптера 0.88), поэтому они рекомендуют развертывать модель именно в виде адаптера

Использование

  • Авторы тестировали решение на 4 видеокартах B200 с использованием образа dev-dsv41 для SGLang: необходимо скачать DeepSeek-V4.1-Flash-1017 и данный адаптер, затем запустить модель, добавив к полной команде из карточки модели параметры --enable-lora --lora-paths epistemic=/lora и другие. При отправке запросов следует указывать имя модели dsv4:epistemic и включать режим размышлений (thinking)

Риски

  • Адаптер подходит только для версии 1017; публичная версия vLLM пока не поддерживает LoRA для этой модели, а результаты, представленные в карточке модели и статье авторов, получены на их внутренней версии
  • Модель становится более консервативной, чаще перекладывает принятие решений на пользователя или отказывает в ответе; для развертывания требуется несколько видеокарт дата-центрового класса

Открыть

Hugging Face

Открыть последние новости ИИ