Оригинальное название: AuroraAI-Research/Aurora2-400M-A20M
Базовая модель для исследований, загруженная AuroraAI-Research 11 18: около 4 млрд общих параметров, активация примерно 1900 тыс. параметров на токен, 12 слоев, размер скрытого представления 192, в каждом слое 32 маршрутизируемых экспертов (top-1) плюс 1 общих экспертов, контекстное окно 2,048 токенов, собственный байтовый BPE-токенизатор со словарем из 16,384 единиц (цифры разбиваются по разрядам). Обучение на 1000 млрд токенов заняло около 36 часов на одной видеокарте RTX Pro 6000. Данные в основном состоят из веб-текста ClimbMix, а также включают FineMath, Википедию, данные для математических рассуждений и диалоговые данные smoltalk. Выполнялось только предобучение, без дообучения по инструкциям или RLHF.
Почему это важно Полностью опубликованы детали архитектуры, пропорции данных и время обучения, что позволяет индивидуальным исследователям воспроизвести эксперименты с малыми MoE-моделями. Лицензия Apache
Рост рейтинга 31 · Лайки 42 · Загрузки 643
Причины
- В карточке модели подробно описаны архитектурные приемы: хеш-векторы n-грамм, пропуски в эмбеддингах, остаточные значения, гейтирование внимания по головам, обучаемые смещения маршрутизации, а также коэффициенты балансировки нагрузки и потерь z для маршрутизатора
- Маршрутизация top-1 без потери токенов, использование оптимизатора Muon; подходит для исследования малых моделей, разреженной маршрутизации экспертов и эффективности обучения
- Репозиторий предоставляет веса в трех форматах точности: FP32, BF16 и FP16
Использование
- Загрузка через transformers модели AuroraAI-Research/Aurora2-400M-A20M (токенизатор находится в корне репозитория и автоматически добавляет BOS в начало), генерация продолжения текста с помощью generate, в примере из карточки указана температура 0.5
- Веса в форматах BF16 / FP16 находятся в подкаталогах bf16/ и fp16/ соответственно; реализация инференса использует активации BF16, рекомендуется использовать видеокарты CUDA с поддержкой BF16
- Для пакетного инференса используйте размер пакета 1 или пакеты без паддинга; beam search не поддерживается
Риски
- Это базовая модель без дообучения по инструкциям, она не может использоваться как чат-ассистент; активация составляет всего около двадцати миллионов параметров на токен, что сильно ограничивает знания, способности к рассуждению и связность длинных текстов
- Данные преимущественно на английском языке, контекстное окно составляет всего 2,048 токенов; в карточке модели не приведены результаты бенчмарков, перед использованием в прикладных задачах необходимо проверить лицензии всех обучающих наборов данных. Данный пункт не был выполнен