Hy4 flash: низкозатратная мультимодальная MoE-модель от Tencent Hunyuan

Инструктивная модель, загруженная командой Tencent Hunyuan 11 17. Согласно карточке модели, общее количество параметров составляет 220 млрд (из которых около 64 млрд приходится на N-граммные эмбеддинги Engram), активация на токен включает примерно 11.3 млрд текстовых параметров и 0.43 млрд визуальных параметров. Модель принимает на вход текст и изображения, выводит текст, контекстное окно составляет 1 млн токенов. По сравнению с Hy4, в ней чередуются разреженное и скользящее оконное внимание с шагом 1:3, маршрутизируемые эксперты помещены в низкоразмерное латентное пространство (выбор 512 из 16, плюс 1 общих экспертов), добавлены биграммные и триграммные N-граммные эмбеддинги. Также присутствует модуль чернового декодирования DFly2 с 0.85 млрд параметров и 5 слоями. Одновременно выпущены версия FP8 и предобученная базовая модель Hy4 flash-base под лицензией Tencent Hunyuan.

Оригинальное название: tencent/Hy4-flash

Инструктивная модель, загруженная командой Tencent Hunyuan 11 17. Согласно карточке модели, общее количество параметров составляет 220 млрд (из которых около 64 млрд приходится на N-граммные эмбеддинги Engram), активация на токен включает примерно 11.3 млрд текстовых параметров и 0.43 млрд визуальных параметров. Модель принимает на вход текст и изображения, выводит текст, контекстное окно составляет 1 млн токенов. По сравнению с Hy4, в ней чередуются разреженное и скользящее оконное внимание с шагом 1:3, маршрутизируемые эксперты помещены в низкоразмерное латентное пространство (выбор 512 из 16, плюс 1 общих экспертов), добавлены биграммные и триграммные N-граммные эмбеддинги. Также присутствует модуль чернового декодирования DFly2 с 0.85 млрд параметров и 5 слоями. Одновременно выпущены версия FP8 и предобученная базовая модель Hy4 flash-base под лицензией Tencent Hunyuan.

Почему это важно Официально заявлено, что баллы за офисные задачи немного выше, чем у Hy4 preview, а стоимость одной задачи составляет всего одну тринадцатую от его стоимости; встроенный модуль черновика ускоряет декодирование длинных контекстов

Рост рейтинга на 213 · Лайков 234 · Загрузок 159

Причины

  • Официально заявлено, что кэш KV снижен до 1/24 от уровня Hy3 и 1/6 от уровня Hy4, обучение с подкреплением сокращает среднее количество выходных токенов на 50%; в сочетании с мегаядром, 4-битным квантованием и DFly2 скорость декодирования превышает 150 токенов/с
  • Внутренний бенчмарк WorkIndex (создание презентаций, редактирование документов, исправление таблиц, обработка аудио и видео и другие 8 групп задач) показал результат 42.1, у Hy4 preview — 39.7, у Hy4 — 51.4; средняя стоимость за задачу составляет примерно 1/13 от стоимости Hy4 preview, 1/20 от стоимости Hy4 и 1/8 от стоимости DeepSeek-V4.1-Flash-1017
  • Слепая оценка 85 внутренних пользователей WorkBuddy по 259 задачам: удовлетворенность 2.79/4 (у Claude Haiku 5.5 — 2.81/4), медиана времени выполнения 6.7 минут, стоимость около 0.26 юаней за задачу

Использование

  • Поддержка Transformers еще не объединена, устанавливайте согласно командам в карточке из PR #50903 в transformers; загружайте через AutoModelForImageTextToText, установите reasoning_effort в high (по умолчанию, с размышлениями) или no_think, рекомендуемая температура 0.9, top_p 1.0
  • Развертывание сервиса: официальный образ vLLM vllm/vllm-openai:hy4-flash для версии FP8 (пример: --tensor-parallel-size 8, черновое декодирование DFly на 5 токенов, --tool-call-parser hy_v4 --reasoning-parser hy_v4); для SGLang используйте lmsysorg/sglang:hy4-flash (--tp 8, --speculative-algorithm DFLY)
  • Официально рекомендуется использовать для глубокого поиска, обработки документов, создания презентаций, простых фронтенд-демонстраций и управления компьютером; для длинных цепочек задач в области разработки ПО рекомендуется использовать Hy4; AngelSlim также предоставляет версию GGUF для сквозного тестирования, в репозитории прилагается руководство по дообучению

Риски

  • Лицензия Tencent Hunyuan не является стандартной открытой лицензией: при предоставлении услуг модели как сервиса (MaaS) и годовом глобальном доходе свыше 5000 млн долларов США или месячной активной аудитории продукта свыше 1 млрд пользователей требуется заключение отдельного письменного соглашения (за исключением чисто внутреннего использования)
  • Все официальные примеры развертывания используют тензорное параллельное выполнение на 8 картах, требования к видеопамяти для одной карты или потребительских видеокарт не указаны
  • WorkIndex и слепая оценка основаны на внутренних данных разработчика; официально указано, что базовая модель в тестах с малым количеством примеров иногда не следует формату ответа, что может повлиять на баллы. Данный пункт не проверялся

Открыть

Hugging Face Trending

Открыть последние новости ИИ