Qwen-Image-2.1-TailSteer

TailSteer представляет собой последний этап обучения модели Qwen-Image-2.1. Авторы утверждают, что базовые возможности генерации и редактирования исходной модели практически сохранены, при этом уменьшается накопление дрейфа текстур, возникающее при использовании результатов предыдущего раунда в качестве входных данных для следующего. На 10-м раунде оценки Add & Preserve показатель PSNR за пределами области редактирования выше на 1.22 дБ, а LPIPS ниже на 11.5%. Репозиторий содержит полные веса; архитектура и способ загрузки идентичны официальным, достаточно лишь заменить идентификатор модели. Также предоставлены инструкции по использованию в ComfyUI; набор данных для оценки и обучающий набор данных опубликованы.

TailSteer представляет собой последний этап обучения модели Qwen-Image-2.1. Авторы утверждают, что базовые возможности генерации и редактирования исходной модели практически сохранены, при этом уменьшается накопление дрейфа текстур, возникающее при использовании результатов предыдущего раунда в качестве входных данных для следующего. На 10-м раунде оценки Add & Preserve показатель PSNR за пределами области редактирования выше на 1.22 дБ, а LPIPS ниже на 11.5%. Репозиторий содержит полные веса; архитектура и способ загрузки идентичны официальным, достаточно лишь заменить идентификатор модели. Также предоставлены инструкции по использованию в ComfyUI; набор данных для оценки и обучающий набор данных опубликованы.

Почему это важно При многоэтапном редактировании выход каждого этапа становится входом для следующего, из-за чего детали постепенно размываются. Эта версия специально разработана для уменьшения такого накопительного дрейфа.

Реакция «Обнимаю лицо» (Hugging Face): 40 · Позиция в рейтинге роста: 39 · Загрузки: 141

Лицензия: только для исследований · ComfyUI: упомянуто в карточке модели · Видеопамять: ≈18 ГБ (оценка)

Обоснование

  • Занимает 3-е место в рейтинге роста моделей any-to-any на Hugging Face (отражает только уровень внимания)
  • В карточке модели представлены анимированные сравнения базовой модели и TailSteer при последовательном редактировании на протяжении 20 раундов, а также все промпты

Использование

  • В библиотеке diffusers используйте QwenImage21Pipeline.from_pretrained("Lyricccco/Qwen-Image-2.1-TailSteer"), передавая выход каждого раунда в качестве входных данных для следующего; в ComfyUI замените файлы базовой модели согласно инструкциям в карточке модели

Риски

  • Используется исследовательская лицензия Qwen, коммерческое использование запрещено
  • Показатели улучшения получены авторами на собственном наборе данных для оценки; модель содержит около 7 млрд параметров, требования к видеопамяти сопоставимы с базовой моделью

Открыть

抱脸 any-to-any 上升榜第 3

Открыть последние новости ИИ