sybil-solutions/inference-optimisation-skill

inference-optimisation は、単一ユーザーおよび並行デコード、推測デコード、プリフィル、KV キャッシュ容量、起動時間、最初のトークンまでの遅延(TTFT)をカバーします。エージェントに対し、まず帯域幅と計算能力に基づいて理論上の上限を算出することを要求し、一度に1つの変数のみを変更して対照群の間で交互に測定を行います。すべての結果(失敗したものを含まず)を台帳に記録し、最終的に長いコンテキストの検索およびフル負荷時の安定性チェックを通過し、クリーンな固定バージョンで再検証してから公開します。Python の標準ライブラリと bash のみで作成されたベンチマークスクリプト、上限計算スクリプト、キューイングスクリプトが付属しており、OpenAI 互換のあらゆるサービスに対してベンチマークを実行できます。

inference-optimisation は、単一ユーザーおよび並行デコード、推測デコード、プリフィル、KV キャッシュ容量、起動時間、最初のトークンまでの遅延(TTFT)をカバーします。エージェントに対し、まず帯域幅と計算能力に基づいて理論上の上限を算出することを要求し、一度に1つの変数のみを変更して対照群の間で交互に測定を行います。すべての結果(失敗したものを含まず)を台帳に記録し、最終的に長いコンテキストの検索およびフル負荷時の安定性チェックを通過し、クリーンな固定バージョンで再検証してから公開します。Python の標準ライブラリと bash のみで作成されたベンチマークスクリプト、上限計算スクリプト、キューイングスクリプトが付属しており、OpenAI 互換のあらゆるサービスに対してベンチマークを実行できます。

なぜ重要か 著者が複数の GPU でチューニングを行う際のアプローチをルールとして明文化しています。一度に1箇所のみを変更し、前後に対照群を置き、長いコンテキストの検索とフル負荷時の安定性チェックを通過して初めて有効とみなします。

スター数 1114(+184 / 24時間)

理由

  • 24 時間で新たに 184 スター増加、合計スター数 1114(注目度のみを示す);MIT ライセンス、11 月 16 日に作成
  • README には、Intel Arc B390 統合 GPU、Arc Pro B70、RTX 3090、4 枚の H200 でのチューニング前後のデータが記載されており、元のログとレシピへのリンクが含まれています

使い方

  • リポジトリ内の skills/inference-optimisation を ~/.claude/skills/ にコピーし、エージェントに「40 GiB のメモリ上限内で :8000 上のモデルのデコードとプリフィル速度を向上させてください」と指示します。エージェントを使用しない場合でも、ceiling.py で上限を計算したり、bench.py でベンチマークを実行したりできます

リスク

  • 速度向上の数値はすべて著者のハードウェアでの結果です(著者によれば、B390 での単一ユーザーデコードは 43.6 から 53 tok/s に向上しました)。モデル、エンジン、または GPU が異なれば結果も異なります
  • チューニングには推論サービスの繰り返し再起動や長時間の負荷テストが必要であり、外部向けサービスを提供していないマシンで実施するのが最適です

開く

GitHub

最新の AI ニュースを見る