MOSS-Image-heal: версия MOSS-Image с дообучением для более стабильного вывода в половинной точности

KBlueLeaf выполнил полное дообучение на базе MOSS-Image-Base, обучая только трансформер, при этом текстовый энкодер, VAE и другие компоненты остались официальными. Цель — «вылечить» поток остатков: автор утверждает, что максимальное значение в потоке снизилось с 58,411 до 3,083 (предел fp16 составляет 65,504), среднеквадратичное отклонение (RMS) потока остатков уменьшилось в 7.5 раз, а выбросы в весах также были подавлены, при этом выходные данные остаются близкими к базовой модели (косинусное сходство направления скорости составляет 0.9983). Обучение проводилось примерно на 320 тысячах образцов, заняло около 200 млрд 300 GPU-часов, изображения взяты из примерно 100 тысяч картинок с danbooru, описания включают теги, естественный язык и графовые структуры GBC в различных форматах. Предоставлены веса для diffusers и однофайловые версии для ComfyUI в форматах bf16 / fp16 / int8.

Оригинальное название: KBlueLeaf/MOSS-Image-heal

KBlueLeaf выполнил полное дообучение на базе MOSS-Image-Base, обучая только трансформер, при этом текстовый энкодер, VAE и другие компоненты остались официальными. Цель — «вылечить» поток остатков: автор утверждает, что максимальное значение в потоке снизилось с 58,411 до 3,083 (предел fp16 составляет 65,504), среднеквадратичное отклонение (RMS) потока остатков уменьшилось в 7.5 раз, а выбросы в весах также были подавлены, при этом выходные данные остаются близкими к базовой модели (косинусное сходство направления скорости составляет 0.9983). Обучение проводилось примерно на 320 тысячах образцов, заняло около 200 млрд 300 GPU-часов, изображения взяты из примерно 100 тысяч картинок с danbooru, описания включают теги, естественный язык и графовые структуры GBC в различных форматах. Предоставлены веса для diffusers и однофайловые версии для ComfyUI в форматах bf16 / fp16 / int8.

Почему это важно Обеспечивает численный запас для пользователей, нуждающихся в выводе с половинной точностью или квантовании до 8 бит, сохраняя близость выходных данных к базовой модели

Рост рейтинга: 65 · Лайки: 67 · Загрузки: 0

Причины

  • Автор утверждает, что в fp16 поток остатков базовой модели находится примерно в 6% от переполнения, тогда как версия heal обеспечивает запас примерно в 20 раз, что делает вывод с низкой точностью и квантованием более стабильным
  • Все цифры и графики приложены в каталоге reports/, методика описана в общедоступной документации
  • Однофайловые версии для ComfyUI можно напрямую заменить в рабочих процессах официального MOSS-Image

Использование

  • ComfyUI: поместите любой файл из каталога comfyui/ в models/diffusion_models/, используйте официальный текстовый энкодер и VAE от MOSS-Image; для файлов fp16 используйте флаг --fp16-unet
  • diffusers: загрузите официальный конвейер MOSS-Image-Base, затем замените трансформер на версию из этого репозитория

Риски

  • Все обучающие изображения взяты с danbooru, автор не предоставил отдельной информации о качестве генерации реалистичных сюжетов
  • Представлено всего два примера сравнения
  • Данная запись не была проверена на практике, результаты следует сверять с карточкой модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ