MiniMind опубликовал полный пайплайн обучения сверхмалой языковой модели с примерно 64 млн параметров: очистка данных, предобучение, контролируемая донастройка (SFT), LoRA, DPO, PPO / GRPO / CISPO, вызов инструментов, многоходовое обучение с подкреплением для агентов и дистилляция. Также доступны версии MoE и расширения для работы с изображениями и мультимодальными данными. По словам автора, один цикл этапа SFT на одной видеокарте 3090 занимает около 2 часов; веса размещены на Hugging Face и ModelScope, доступна онлайн-версия.
Почему это важно Ключевые алгоритмы написаны с нуля на нативном PyTorch без использования высокоуровневых интерфейсов transformers, trl или peft, что позволяет детально разобраться в каждом шаге обучения больших языковых моделей.
Количество звёзд 65991 (+192 / 24 ч)
Причины
- За 24 часов добавилось 192 звёзд, общее число звёзд составляет 65991. В Trendshift и GitHub Trending проект занимал 14 место в тот же день (что отражает только уровень внимания); лицензия Apache-2.0
- В журнале изменений README указано, что серия minimind-3 была выпущена в 4 месяце, а в 3 месяце добавлены скрипты многоходового обучения с подкреплением для использования инструментов (Tool-Use)
Использование
- Подготовьте датасет согласно README и последовательно запускайте скрипты предобучения, SFT и других этапов обучения; если вы хотите просто попробовать модель, используйте онлайн-демо на ModelScope
Риски
- Это учебная малая модель, её возможности значительно уступают универсальным большим моделям; репозиторий создан в 2024 году, за последние несколько месяцев не выходило новых основных версий
- В README отмечено, что веса не всех экспериментальных веток поддерживаются постоянно