RunanywhereAI/trnrt

TrnRT est le moteur d'inférence open source de RunAnywhere, offrant une interface compatible OpenAI sur une instance trn2.48xlarge. Le premier modèle pris en charge est GLM-5.3-Flash (320B MoE, avec 18B paramètres activés). Lors du décodage, un grand noyau NKI est synthétisé pour chaque demi-couche. Le cache de préfixe s'étend sur la mémoire de l'appareil et la mémoire hôte. Le graphe est compilé hors ligne sur l'hôte CPU, et le serveur ne compile plus par défaut. L'auteur utilise AgentX de SemiAnalysis pour rejouer des sessions réelles d'agents de programmation. Avec 32 requêtes concurrentes et un contexte de 1M, l'auteur indique un coût d'environ 0.04 dollars par million de tokens avec une taille de lot par défaut de 12, en se basant sur les prix des instances à prix réduit (spot).

TrnRT est le moteur d'inférence open source de RunAnywhere, offrant une interface compatible OpenAI sur une instance trn2.48xlarge. Le premier modèle pris en charge est GLM-5.3-Flash (320B MoE, avec 18B paramètres activés). Lors du décodage, un grand noyau NKI est synthétisé pour chaque demi-couche. Le cache de préfixe s'étend sur la mémoire de l'appareil et la mémoire hôte. Le graphe est compilé hors ligne sur l'hôte CPU, et le serveur ne compile plus par défaut. L'auteur utilise AgentX de SemiAnalysis pour rejouer des sessions réelles d'agents de programmation. Avec 32 requêtes concurrentes et un contexte de 1M, l'auteur indique un coût d'environ 0.04 dollars par million de tokens avec une taille de lot par défaut de 12, en se basant sur les prix des instances à prix réduit (spot).

Pourquoi c'est important Offre aux utilisateurs de Trainium un moteur capable de servir directement de grands modèles open source, tout en publiant des données de coût pour des charges de travail d'agents de programmation.

Étoiles 1050 (+771 / 24h)

Raison

  • 771 nouvelles étoiles en 24 heures (indique uniquement le niveau d'attention)
  • Le README précise que les données de test proviennent d'une version antérieure, et énumère les résultats de vérification montrant une équivalence graphique par graphique entre le code actuel et cette version, ainsi qu'une correspondance octet par octet des sorties pour 384 requêtes

Utilisation

  • Construire l'image avec Docker, compiler le cache hors ligne sur n'importe quel hôte x86_64 (cela prend plusieurs heures), puis le transférer sur une instance trn2.48xlarge pour démarrer le service, et l'appeler via le SDK OpenAI

Risques

  • Ne prend en charge qu'AWS Trainium2 et un seul modèle, GLM-5.3-Flash ; les autres modèles sont encore en projet
  • Les chiffres de coût sont calculés sur la base des prix spot us-east-2 du 3 11, ce qui est environ quatre fois plus cher si l'on utilise la tarification par blocs de capacité

Ouvrir

GitHub

Parcourir les dernières actualités IA