Aurora2: сверхмалая MoE-модель, обученная с нуля на одной видеокарте

Базовая модель для исследований, загруженная AuroraAI-Research 11 18: около 4 млрд общих параметров, активация примерно 1900 тыс. параметров на токен, 12 слоев, размер скрытого представления 192, в каждом слое 32 маршрутизируемых экспертов (top-1) плюс 1 общих экспертов, контекстное окно 2,048 токенов, собственный байтовый BPE-токенизатор со словарем из 16,384 единиц (цифры разбиваются по разрядам). Обучение на 1000 млрд токенов заняло около 36 часов на одной видеокарте RTX Pro 6000. Данные в основном состоят из веб-текста ClimbMix, а также включают FineMath, Википедию, данные для математических рассуждений и диалоговые данные smoltalk. Выполнялось только предобучение, без дообучения по инструкциям или RLHF.

Оригинальное название: AuroraAI-Research/Aurora2-400M-A20M

Базовая модель для исследований, загруженная AuroraAI-Research 11 18: около 4 млрд общих параметров, активация примерно 1900 тыс. параметров на токен, 12 слоев, размер скрытого представления 192, в каждом слое 32 маршрутизируемых экспертов (top-1) плюс 1 общих экспертов, контекстное окно 2,048 токенов, собственный байтовый BPE-токенизатор со словарем из 16,384 единиц (цифры разбиваются по разрядам). Обучение на 1000 млрд токенов заняло около 36 часов на одной видеокарте RTX Pro 6000. Данные в основном состоят из веб-текста ClimbMix, а также включают FineMath, Википедию, данные для математических рассуждений и диалоговые данные smoltalk. Выполнялось только предобучение, без дообучения по инструкциям или RLHF.

Почему это важно Полностью опубликованы детали архитектуры, пропорции данных и время обучения, что позволяет индивидуальным исследователям воспроизвести эксперименты с малыми MoE-моделями. Лицензия Apache

Рост рейтинга 31 · Лайки 42 · Загрузки 643

Причины

  • В карточке модели подробно описаны архитектурные приемы: хеш-векторы n-грамм, пропуски в эмбеддингах, остаточные значения, гейтирование внимания по головам, обучаемые смещения маршрутизации, а также коэффициенты балансировки нагрузки и потерь z для маршрутизатора
  • Маршрутизация top-1 без потери токенов, использование оптимизатора Muon; подходит для исследования малых моделей, разреженной маршрутизации экспертов и эффективности обучения
  • Репозиторий предоставляет веса в трех форматах точности: FP32, BF16 и FP16

Использование

  • Загрузка через transformers модели AuroraAI-Research/Aurora2-400M-A20M (токенизатор находится в корне репозитория и автоматически добавляет BOS в начало), генерация продолжения текста с помощью generate, в примере из карточки указана температура 0.5
  • Веса в форматах BF16 / FP16 находятся в подкаталогах bf16/ и fp16/ соответственно; реализация инференса использует активации BF16, рекомендуется использовать видеокарты CUDA с поддержкой BF16
  • Для пакетного инференса используйте размер пакета 1 или пакеты без паддинга; beam search не поддерживается

Риски

  • Это базовая модель без дообучения по инструкциям, она не может использоваться как чат-ассистент; активация составляет всего около двадцати миллионов параметров на токен, что сильно ограничивает знания, способности к рассуждению и связность длинных текстов
  • Данные преимущественно на английском языке, контекстное окно составляет всего 2,048 токенов; в карточке модели не приведены результаты бенчмарков, перед использованием в прикладных задачах необходимо проверить лицензии всех обучающих наборов данных. Данный пункт не был выполнен

Открыть

Hugging Face Trending

Открыть последние новости ИИ