hyperionaidev/smolmaxxing

smolmaxxing est un ensemble de correctifs pour llama.cpp : des noyaux ont été écrits pour les formats à 1 bits, 2 bits et ternaires, ciblant les Cortex-A55 et les puces Apple A7 ; les lignes de sortie rarement utilisées ont été supprimées du vocabulaire pour économiser de la mémoire ; pour les modèles à experts mixtes, seuls les experts fréquemment utilisés sont conservés en mémoire, tandis que les autres sont lus depuis la mémoire flash et que la couche suivante est préchargée. L'auteur affirme que le boîtier TV de Xiaomi peut exécuter Ling-mini-2.0 de 16 milliards de paramètres à 5.1 tokens par seconde, et qu'un smartphone OnePlus de 2022 peut exécuter Qwen3-Next-80B-A3B ; le dépôt inclut les journaux complets de 165 expériences, y compris les tentatives infructueuses.

smolmaxxing est un ensemble de correctifs pour llama.cpp : des noyaux ont été écrits pour les formats à 1 bits, 2 bits et ternaires sur Cortex-A55 et Apple A7, les lignes de sortie rarement utilisées sont supprimées du vocabulaire pour économiser la mémoire, et pour les modèles à mélange d'experts, seuls les experts fréquemment utilisés restent en mémoire tandis que les autres sont lus depuis le stockage flash avec préchargement de la couche suivante. L'auteur affirme qu'un boîtier TV Xiaomi peut exécuter Ling-mini-2.0 à 16 milliards de paramètres à 5.1 tokens par seconde, et qu'un smartphone OnePlus de l'année 2022 peut faire tourner Qwen3-Next-80B-A3B ; le dépôt contient les journaux complets des 165 expériences, y compris les tentatives infructueuses.

Pourquoi c'est important En plaçant les experts peu utilisés des modèles à mélange d'experts dans la mémoire flash pour une lecture à la demande, des appareils disposant d'environ 1GB de mémoire peuvent exécuter des modèles de plusieurs dizaines de milliards de paramètres, les chiffres ayant été mesurés directement sur l'appareil.

Nombre d'étoiles 699 (+61 / 24h)

Raisons

  • 61 nouvelles étoiles en 24 heures (indiquant uniquement l'attention portée) ; licence MIT
  • Pour chaque appareil, les données incluent la puce, la mémoire disponible, les modèles courants et la vitesse maximale mesurée sur l'appareil pour les plus grands modèles, avec publication de tous les journaux de référence

Utilisation

  • Pour les boîtiers TV et autres appareils Android ARMv8.2, suivez les instructions dans docs/tv-box-setup.md ; les smartphones Android disposant de 8GB de mémoire peuvent télécharger directement les versions GGUF mobiles publiées par l'auteur sur Hugging Face et les exécuter selon docs/phone.md

Risques

  • Les fichiers de modèles pour les boîtiers TV et les iPad ne peuvent être chargés qu'avec une version patchée de llama.cpp ; la solution pour iPad nécessite un appareil iOS 12 jailbreaké
  • Les données de vitesse et de qualité ont toutes été mesurées par l'auteur sur ses propres appareils

Ouvrir

GitHub

Parcourir les dernières actualités IA