Vaibhaav-Tiwari/deepseek-v3-jax

Le dépôt ne dépend pas de Flax, Equinox ou PyTorch ; les paramètres sont de simples dictionnaires et le modèle est entièrement écrit dans deepseek_v3.py : MLA ne met en cache qu'un petit vecteur latent par token, DeepSeekMoE comprend 1 experts partagés et 16 experts routés, avec une répartition de charge basée sur les biais des experts, ainsi qu'un module de prédiction multi-tokens. L'auteur a entraîné un modèle de 3620 mille paramètres (avec 1360 mille paramètres activés par token) en utilisant des romans policiers du domaine public, et l'a fait tourner pendant environ 2.6 heures sur un MacBook Air M5. La perte de validation était presque identique avec et sans les biais de répartition de charge, mais la charge des experts était nettement plus uniforme, ce qui est cohérent avec les affirmations du papier.

Le dépôt ne dépend pas de Flax, Equinox ou PyTorch ; les paramètres sont de simples dictionnaires et le modèle est entièrement écrit dans deepseek_v3.py : MLA ne met en cache qu'un petit vecteur latent par token, DeepSeekMoE comprend 1 experts partagés et 16 experts routés, avec une répartition de charge basée sur les biais des experts, ainsi qu'un module de prédiction multi-tokens. L'auteur a entraîné un modèle de 3620 mille paramètres (avec 1360 mille paramètres activés par token) en utilisant des romans policiers du domaine public, et l'a fait tourner pendant environ 2.6 heures sur un MacBook Air M5. La perte de validation était presque identique avec et sans les biais de répartition de charge, mais la charge des experts était nettement plus uniforme, ce qui est cohérent avec les affirmations du papier.

Pourquoi c'est important L'attention latente, le mélange d'experts, la répartition de charge sans perte auxiliaire et la prédiction multi-tokens décrits dans le papier correspondent chacun à une fonction ; on peut comprendre l'architecture de V3 en lisant le code de haut en bas.

Nombre d'étoiles 102

Raisons

  • Le dépôt a été créé le 13 11, sous licence MIT ; le README a été lu, accompagné d'un article long avec des explications section par section et de hachages de données reproductibles.
  • L'auteur précise clairement qu'il s'agit d'une démonstration d'architecture, et non d'un modèle de langage utilisable en production, et énumère les parties non implémentées (entraînement FP8, DualPipe, YaRN, etc.).

Utilisation

  • Nécessite un Mac Apple Silicon, Python 3.12 et uv : après le clonage, installez les dépendances à versions fixées selon le README, exécutez prepare_data.py pour préparer les données et train.py pour l'entraînement ; si vous n'avez pas de Mac, vous pouvez exécuter le modèle sur CPU en suivant la section « Running on CPU ».

Risques

  • Les points de contrôle publiés sont des fichiers pickle Python, qui peuvent exécuter du code lors du chargement ; l'auteur recommande de ne charger que des fichiers provenant de sources fiables.
  • Les chiffres des résultats d'entraînement proviennent d'une seule exécution par l'auteur.

Ouvrir

GitHub

Parcourir les dernières actualités IA