Edge0 est un framework open source d'inférence MoE en streaming : les poids des experts sont stockés et chargés à la demande, la mémoire de pointe dépendant des experts actuellement activés plutôt que du nombre total de paramètres ; une tête de pré-routage entraînée prédit avec une étape d'avance les experts nécessaires pour le prochain token, ce qui, selon les auteurs, améliore le débit de décodage jusqu'à 59% ; un socle quantifié sur 4 bits est associé à des LoRA distillés pour compenser la perte due à la quantification. Le 11 4, un moteur unifié edge0-infer basé sur GGML a été publié, offrant une même interface C++ fonctionnant sur macOS, iOS, Android et Windows, avec des exemples de ligne de commande, de service local compatible OpenAI et d'application de chat ; le modèle Edge0-35B-A3B associé est basé sur Qwen3.6-35B-A3B, et les auteurs ont constaté lors de leurs propres tests que la moyenne des cinq scores OpenCompass était inférieure de 3.9 points par rapport à l'original.
Pourquoi c'est important En prédisant avec une étape d'avance quels experts utiliser, le chargement depuis le disque et les calculs se chevauchent, permettant ainsi d'exécuter localement de grands modèles MoE sur des smartphones et des ordinateurs ordinaires.
Nombre d'étoiles 9670 (+483 / 24h)
Raisons
- 483 nouvelles étoiles en 24 heures (indiquant uniquement le niveau d'attention)
- Le README fournit les tableaux de vitesse mesurés par les auteurs sur différentes plateformes : environ 24.8 tok/s de décodage et une mémoire de pointe de 3.43 GiB sur un MacBook M5 utilisant Metal, et environ 13.2 tok/s sur un iPhone 17 Pro Max
Utilisation
- Compilez selon le guide « Getting Started » de edge0-infer, utilisez l'outil de ressources intégré pour télécharger Edge0-35B-A3B-preview, convertissez-le, puis lancez la ligne de commande ou le service local
Risques
- Les vitesses et les scores sont des mesures effectuées par les auteurs eux-mêmes ; la préparation initiale nécessite environ 18 GB pour les poids bruts et environ 20 GB d'espace pour les ressources converties
- Le moteur unifié ne prend actuellement en charge que le format 35B, le format 8B étant encore prévu ; la vitesse du SSD affecte directement la vitesse de génération