Репозиторий не зависит от Flax, Equinox или PyTorch, параметры представляют собой обычные словари, а модель полностью реализована в файле deepseek_v3.py: в MLA для каждого токена кэшируется лишь небольшой латентный вектор, DeepSeekMoE состоит из 1 общих экспертов и 16 маршрутизируемых экспертов, балансировка нагрузки выполняется на основе смещений экспертов, также предусмотрен модуль предсказания нескольких токенов. Автор обучил модель с 3620 тыс. параметров (активируется 1360 тыс. на токен) на детективных романах из общественного достояния, обучение заняло около 2.6 часов на MacBook Air с чипом M5; при отключенном и включенном смещении для балансировки нагрузки валидационные потери практически одинаковы, но нагрузка на экспертов становится заметно более равномерной, что согласуется с утверждениями в статье.
Почему это важно В статье латентное внимание, смесь экспертов, балансировка нагрузки без вспомогательных потерь и предсказание нескольких токенов реализованы в виде отдельных функций, поэтому структуру V3 можно понять, просто читая код сверху вниз.
Звёзды: 102
Обоснование
- Репозиторий создан 13 11 месяца, лицензия MIT; README прочитан, прилагается подробная статья с покомпонентным разбором и воспроизводимые хеши данных
- Автор прямо указывает, что это демонстрация архитектуры, а не готовая языковая модель, и перечисляет нереализованные компоненты (обучение в FP8, DualPipe, YaRN и др.)
Использование
- Требуется Mac на Apple Silicon, Python 3.12 и uv: после клонирования установите зависимости с фиксированными версиями согласно README, запустите prepare_data.py для подготовки данных и train.py для обучения; если у вас нет Mac, можно запустить на CPU, следуя разделу «Running on CPU»
Риски
- Опубликованные контрольные точки представляют собой файлы pickle Python, которые при загрузке могут выполнять код; автор предупреждает загружать файлы только из доверенных источников
- Числовые результаты обучения получены в ходе единственного запуска автора