inference-optimisation couvre le décodage mono-utilisateur et concurrent, le décodage spéculatif, le pré-remplissage, la capacité du cache KV, le temps de démarrage et la latence du premier jeton. Il exige que l'agent calcule d'abord les limites théoriques en fonction de la bande passante et de la puissance de calcul, puis modifie une seule variable à la fois, en alternant les mesures entre deux groupes de contrôle, en consignant chaque résultat (y compris les échecs) dans un registre, et ne publie qu'après validation par des tests de récupération de contexte long et de stabilité à pleine charge, vérifiés avec une version propre et figée. Il inclut des scripts de benchmarking, de calcul de limites et de mise en file d'attente écrits uniquement avec la bibliothèque standard Python et bash, permettant de tester tout service compatible OpenAI.
Pourquoi c'est important Il formalise la méthode de réglage de l'auteur sur divers GPU : modifier une seule chose à la fois, encadrer les changements par des groupes de contrôle avant et après, et ne considérer comme valides que les résultats passant les tests de récupération de contexte long et de stabilité à pleine charge.
Nombre d'étoiles 1114 (+184 / 24h)
Raisons
- 24 heures ont ajouté 184 étoiles, pour un total de 1114 étoiles (représentant uniquement l'attention) ; licence MIT, créé le 16 11
- Le README liste les données avant/après optimisation de l'auteur sur les GPU Intel Arc B390, Arc Pro B70, RTX 3090 et 4 cartes H200, avec liens vers les journaux bruts et les recettes
Utilisation
- Copiez skills/inference-optimisation du dépôt vers ~/.claude/skills/, puis dites à l'agent « Améliorer la vitesse de décodage et de pré-remplissage pour le modèle sur :8000 dans la limite de mémoire de 40 GiB » ; sans agent, vous pouvez directement exécuter ceiling.py pour calculer les limites et bench.py pour les benchmarks
Risques
- Les chiffres d'accélération sont les résultats de l'auteur sur son propre matériel (l'auteur affirme que le décodage mono-utilisateur sur B390 est passé de 43.6 à 53 tok/s), les résultats varieront selon le modèle, le moteur ou le GPU
- L'optimisation nécessite des redémarrages répétés du service d'inférence et des tests de charge prolongés, il est préférable de le faire sur une machine non exposée au public