sybil-solutions/inference-optimisation-skill

inference-optimisation 覆盖单用户与并发解码、推测解码、预填充、KV 缓存容量、启动时间和首字延迟。它要求代理先按带宽和算力算出理论上限,再一次只改一个变量、在两侧对照组之间交替测量,每个结果(包括失败的)记进台账,最后通过长上下文检索和满负荷稳定性检查、用干净固定版本复验后才发布。附带只用 Python 标准库和 bash 写的测速、上限计算和排队脚本,可对任何 OpenAI 兼容服务测速。

inference-optimisation 覆盖单用户与并发解码、推测解码、预填充、KV 缓存容量、启动时间和首字延迟。它要求代理先按带宽和算力算出理论上限,再一次只改一个变量、在两侧对照组之间交替测量,每个结果(包括失败的)记进台账,最后通过长上下文检索和满负荷稳定性检查、用干净固定版本复验后才发布。附带只用 Python 标准库和 bash 写的测速、上限计算和排队脚本,可对任何 OpenAI 兼容服务测速。

为什么重要 它把作者在多种显卡上调速的做法写成规矩:一次只改一处、前后夹对照组,长上下文检索和满负荷稳定性过关才算数。

星数 1114(+184 / 24h)

理由

  • 24 小时新增 184 星,总星 1114(只代表关注度);MIT 许可,11 月 16 日新建
  • README 列出作者在 Intel Arc B390 核显、Arc Pro B70、RTX 3090、4 张 H200 上调优前后的数据,并链接原始日志和配方

用法

  • 把仓库里的 skills/inference-optimisation 复制到 ~/.claude/skills/,再对代理说「在 40 GiB 内存上限内为 :8000 上的模型提升解码和预填充速度」;不用代理也可以直接运行 ceiling.py 算上限、bench.py 测速

风险

  • 提速数字都是作者在自己硬件上的结果(作者称 B390 单用户解码从 43.6 提到 53 tok/s),换模型、引擎或显卡结果会不同
  • 调优要反复重启推理服务、长时间压测,最好在不对外服务的机器上做

打开

GitHub

浏览最新 AI 动态