Оригинальное название: KBlueLeaf/MOSS-Image-heal
KBlueLeaf выполнил полное дообучение на базе MOSS-Image-Base, обучая только трансформер, при этом текстовый энкодер, VAE и другие компоненты остались официальными. Цель — «вылечить» поток остатков: автор утверждает, что максимальное значение в потоке снизилось с 58,411 до 3,083 (предел fp16 составляет 65,504), среднеквадратичное отклонение (RMS) потока остатков уменьшилось в 7.5 раз, а выбросы в весах также были подавлены, при этом выходные данные остаются близкими к базовой модели (косинусное сходство направления скорости составляет 0.9983). Обучение проводилось примерно на 320 тысячах образцов, заняло около 200 млрд 300 GPU-часов, изображения взяты из примерно 100 тысяч картинок с danbooru, описания включают теги, естественный язык и графовые структуры GBC в различных форматах. Предоставлены веса для diffusers и однофайловые версии для ComfyUI в форматах bf16 / fp16 / int8.
Почему это важно Обеспечивает численный запас для пользователей, нуждающихся в выводе с половинной точностью или квантовании до 8 бит, сохраняя близость выходных данных к базовой модели
Рост рейтинга: 65 · Лайки: 67 · Загрузки: 0
Причины
- Автор утверждает, что в fp16 поток остатков базовой модели находится примерно в 6% от переполнения, тогда как версия heal обеспечивает запас примерно в 20 раз, что делает вывод с низкой точностью и квантованием более стабильным
- Все цифры и графики приложены в каталоге reports/, методика описана в общедоступной документации
- Однофайловые версии для ComfyUI можно напрямую заменить в рабочих процессах официального MOSS-Image
Использование
- ComfyUI: поместите любой файл из каталога comfyui/ в models/diffusion_models/, используйте официальный текстовый энкодер и VAE от MOSS-Image; для файлов fp16 используйте флаг --fp16-unet
- diffusers: загрузите официальный конвейер MOSS-Image-Base, затем замените трансформер на версию из этого репозитория
Риски
- Все обучающие изображения взяты с danbooru, автор не предоставил отдельной информации о качестве генерации реалистичных сюжетов
- Представлено всего два примера сравнения
- Данная запись не была проверена на практике, результаты следует сверять с карточкой модели