P-JiT 21K: Исследовательская модель генерации изображений по тексту, обученная с нуля за 21K долларов

Исследовательский чекпоинт от Linum: P-JiT (Pyramid-JiT) — архитектура диффузии в пиксельном пространстве, DiT с 2B параметров, обученная на 6.1 млрд образцов при разрешении 512px и на 5000 млн образцов при разрешении 1024px, с последующим обучением с использованием варианта FDFO; авторы заявляют, что вычислительные затраты составили около 2.1 тыс. долларов. В качестве текстового кодировщика используется замороженная модель Qwen3.5-4B. Описания для обучения представляют собой плотные описания из 50–80 слов; в репозитории кода прилагается скрипт для расширения коротких промптов до этого формата (требуется API-ключ OpenRouter, можно отключить). Авторы указывают, что это промежуточный результат для создания видеомодели следующего поколения.

Оригинальное название: Linum-AI/pjit-21k

Исследовательский чекпоинт от Linum: P-JiT (Pyramid-JiT) — архитектура диффузии в пиксельном пространстве, DiT с 2B параметров, обученная на 6.1 млрд образцов при разрешении 512px и на 5000 млн образцов при разрешении 1024px, с последующим обучением с использованием варианта FDFO; авторы заявляют, что вычислительные затраты составили около 2.1 тыс. долларов. В качестве текстового кодировщика используется замороженная модель Qwen3.5-4B. Описания для обучения представляют собой плотные описания из 50–80 слов; в репозитории кода прилагается скрипт для расширения коротких промптов до этого формата (требуется API-ключ OpenRouter, можно отключить). Авторы указывают, что это промежуточный результат для создания видеомодели следующего поколения.

Почему это важно Полностью раскрыт пример обучения модели генерации изображений по тексту с нуля при низких затратах, что подходит для исследователей, изучающих методы эффективного обучения

Рост рейтинга 66 · Лайки 66 · Загрузки 382

Причины

  • Веса, код для инференса и блог с описанием подхода к обучению полностью открыты, лицензия Apache-2.0
  • Авторы указали затраты на обучение и объем данных, что позволяет сравнивать эффективность обучения с другими моделями
  • Для пяти примеров предоставлены промпты и seed, что обеспечивает воспроизводимость

Использование

  • После выполнения git clone Linum-AI/pjit-21k и pip install -e . генерация выполняется через generate.py; по умолчанию используется метод Euler с 50 шагами и интенсивностью guidance 15
  • Для коротких промптов рекомендуется включить расширение или самостоятельно написать подробное описание из 50–80 слов

Риски

  • Авторы явно указывают, что модель не может писать текст или создавать постеры, так как изображения с текстом были намеренно исключены из обучающей выборки
  • Модель небольшая, поэтому часто возникают ошибки при генерации изображений в полный рост, взаимодействий нескольких людей, множества объектов и деталей, требующих общих знаний
  • Это экспериментальный исследовательский чекпоинт, а не производственная модель; веса имеют формат fp32 и занимают около 8.7 ГБ
  • Данная модель не запускалась авторами поста; фактические результаты следует оценивать по карточке модели

Открыть

Hugging Face Trending

Открыть последние новости ИИ